图神经网络 04：从节点表示到图分类

假设每张图表示一个分子，我们希望模型预测整个分子的某种性质。此时，模型需要给整张图输出一个结果，而每张图包含的节点数又可能不同。我们可以让消息传递先产生节点表示，再用 Readout 将它们汇成固定长度的图级表示。 一个批次里有多张图 数据加载程序可以把多张图的节点特征排成一张大表，方便批量计算。不

大模型 01：序列数据与下一 Token 预测

我们先看两句话：“甲把文件交给乙”和“乙把文件交给甲”。两句话使用了相同的词，但交文件的人和收文件的人发生了变化。因此，文本模型除了识别词，还需要理解词的位置及其上下文关系。 序列模型就用来处理这类有顺序的数据。分词器可以把文本切成字、词或子词等 Token，音频和传感器记录也可以按时间步排列。本课

大模型 02：把 Transformer 的一次计算走通

上一课中，分词器把文本变成 Token，Embedding 层又把 Token 转成向量。接下来，模型怎样知道不同位置之间有什么关系？例如，一句话中的代词需要联系前面的人名，模型就需要从其他位置取得相关信息。 Transformer 使用注意力完成位置之间的信息汇总，再用前馈网络处理每个位置的表示。

大模型 03：从文本向量到 RAG 问答

假设我们想让一个问答助手回答“这个项目怎样启动”。答案写在项目文档里，但模型训练时未必见过这份资料。我们可以让系统先找到启动说明，再把说明和问题一起交给模型，让模型依据当前文档组织回答。这就是 RAG 应用的基本思路。 系统要完成这件事，首先得找到相关段落，因此本课会从文本向量讲起，再介绍检索与生成

大模型 04：让模型调用工具之前，要准备什么

假设用户问助手“明天的天气怎样”，而模型自身没有最新天气。应用可以提供一个查询天气的工具，让模型提出查询请求，再把实时结果交回给模型。这个过程把模型的语言能力与外部系统连接起来，也是工具调用的基本用途。 本课接在RAG 问答之后。RAG 主要帮助系统取得资料，工具调用还可以让系统执行具体动作，因此应

大模型 05：SFT、LoRA 与 DPO 怎样配合

假设一个通用模型已经能生成文本，但我们希望它按照特定任务的要求回答问题。微调通过任务数据继续训练模型，让它适应新的回答方式。本课会介绍三种经常一起出现的方法：SFT、LoRA 和 DPO。 这几个名称描述的侧重点不同。SFT 与 DPO 主要涉及数据和训练目标，LoRA 主要涉及哪些参数参与更新。我

大模型 06：用 AutoIF 整理指令数据

上一课中，我们已经区分 SFT 样本与偏好对。接下来，研究者还会遇到一个实际问题：训练数据从哪里来，生成出的回答怎样才能符合要求？例如，一条指令要求模型恰好给出两条建议，候选回答却可能写成三条。 AutoIF 将一部分能够明确检查的指令约束转换成验证函数，再利用执行反馈筛选数据。我们可以沿着“约束怎

大模型 07：模型量化与显存估算

我们选好一个模型以后，通常会先遇到资源问题：现有机器能不能装下它，运行时还需要多少额外空间？量化通过改变数值表示帮助模型节省部分存储和计算资源，但实际收益与格式、硬件和任务都有关系。 本课先从权重大小估算入手，再用 INT8 例子解释量化误差，最后讨论运行时怎样测量。读者只需要了解Transform

多模态 01：数据对齐与融合实验

假设我们同时拥有一段设备信号和相应的图像，希望模型结合两者判断设备状态。不同输入可能提供互补信息，不过它们首先要描述同一个对象和同一段过程，否则融合就失去了基础。 研究者还需要区分数据的来源。同一段信号转换出的时频图、小波图等表示，属于同源数据的多个视图；图像、文本或不同传感器的数据则可能来自不同模

机器人 01：模型、坐标系与正逆运动学

假设我们希望一条机械臂把末端移动到指定位置。程序首先需要知道机械臂由哪些部件连接而成，再计算关节角与末端位置的关系，最后才能把目标交给控制器执行。这两篇笔记就沿着这条过程准备机器人仿真的基础。 本课先介绍机器人模型与正逆运动学，下一课再讨论仿真步进和控制。读者需要掌握三角函数、矩阵和 Python