大模型训练笔记：SFT、LoRA、DPO 不是三个互斥选项

这几个缩写回答的不是同一个问题：SFT 和 DPO 主要涉及训练目标与数据组织，LoRA 则涉及参数更新方式。比较方案前，先把这两条轴分开。 用“数据与目标”区分训练阶段 方法 典型的数据形式 重点 SFT 输入上下文与期望回答 学习示范回答的条件生成 DPO 同一上下文下的偏好回答对 根据相对偏好

RAG 学习笔记：检索命中不等于回答有依据

RAG 把外部检索结果作为生成上下文，但“查到了资料”不能直接推出“回答正确”。我把验收拆成检索与回答两个部分，避免只展示一段看起来流畅的输出。 分清三层证据 层次 要检查的问题 来源 文档版本、更新时间和访问权限是否正确？ 检索 问题需要的证据是否进入候选片段？ 回答 最终论断是否真正被引用片段支

图神经网络入门：先检查消息究竟沿哪条边流动

学习 GNN 时，最容易被公式掩盖的错误之一，是把边的方向理解反了。先用一个能手算的小图检查消息，再去实现更复杂的网络。 从数据含义开始 一张图至少需要说明三件事：节点代表什么、边代表什么、每个节点有哪些在预测时可用的特征。边可以表示依赖、连接或交互，不必然表示两个节点属于相同类别。 常见任务也不相

卷积层学习笔记：先算清形状和参数，再理解特征

阅读 CNN 代码时，我先给每个张量写下形状，再检查卷积核、步长和通道数。这样比只记“提取局部特征”更容易发现实现错误。 四个维度分别是什么 PyTorch 的常见输入排列是 (N, C, H, W)：批大小、通道数、高度、宽度。普通二维卷积的权重排列为 (C_out, C_in / groups,

机器学习实操：把预处理放进训练边界

跑通一个项目，不等于得到了可信的评估。最值得反复检查的问题是：测试数据是否以某种方式参与了训练流程的决定？ 对讲义流程的一处修正 课程的第二次实操强调按步骤理解流程，但不能把“编码、缺失处理在划分前；标准化在划分后”当成通用规则。判断依据应是：这个步骤是否需要从样本中学习信息。 操作 需要注意的边界

机器学习入门：先定义预测时刻，再谈特征和模型

学习机器学习时，最先写下的不是模型名称，而是：对谁，在什么时候，利用当时能够获得的信息，预测什么结果？ 把问题写成可检查的约定 以“预测门店下周的商品销量”为例： 项目 本例中的定义 一个样本 某门店在某一周开始前的一次预测 特征 截至该时刻的历史销量、价格、已确定的促销安排 标签 随后这一周实际发