量化部署笔记：4位权重更小，不等于整台服务只占四分之一显存

量化改变的是数值表示与计算方式。判断能否部署，需要同时看权重、运行时内存和实际任务质量，而不是只看“几位”。 先算权重下限，再算运行空间 理想化地，参数数目 × 每参数位数 ÷ 8 得到权重数据本体的字节数。例如 70 亿参数的 16 位权重约为 140 亿字节，4 位约为 35 亿字节。但真实文件

文本向量笔记：同样是768维，为什么不能直接放在一起检索

词、token、上下文表示和句向量不是同一个层次的对象。检索前先确认“向量到底怎样生成”，往往比先选向量数据库更重要。 把四个对象分开 对象 含义 需要确认 token ID 词表中的离散编号 tokenizer 与词表版本 输入嵌入 根据 ID 查得的向量 属于哪套模型参数 上下文表示 随当前文本

大模型训练笔记：SFT、LoRA、DPO 不是三个互斥选项

这几个缩写回答的不是同一个问题：SFT 和 DPO 主要涉及训练目标与数据组织，LoRA 则涉及参数更新方式。比较方案前，先把这两条轴分开。 用“数据与目标”区分训练阶段 方法 典型的数据形式 重点 SFT 输入上下文与期望回答 学习示范回答的条件生成 DPO 同一上下文下的偏好回答对 根据相对偏好

RAG 学习笔记：检索命中不等于回答有依据

RAG 把外部检索结果作为生成上下文，但“查到了资料”不能直接推出“回答正确”。我把验收拆成检索与回答两个部分，避免只展示一段看起来流畅的输出。 分清三层证据 层次 要检查的问题 来源 文档版本、更新时间和访问权限是否正确？ 检索 问题需要的证据是否进入候选片段？ 回答 最终论断是否真正被引用片段支