量化部署笔记：4位权重更小，不等于整台服务只占四分之一显存

量化改变的是数值表示与计算方式。判断能否部署，需要同时看权重、运行时内存和实际任务质量，而不是只看“几位”。 先算权重下限，再算运行空间 理想化地，参数数目 × 每参数位数 ÷ 8 得到权重数据本体的字节数。例如 70 亿参数的 16 位权重约为 140 亿字节，4 位约为 35 亿字节。但真实文件

文本向量笔记：同样是768维，为什么不能直接放在一起检索

词、token、上下文表示和句向量不是同一个层次的对象。检索前先确认“向量到底怎样生成”，往往比先选向量数据库更重要。 把四个对象分开 对象 含义 需要确认 token ID 词表中的离散编号 tokenizer 与词表版本 输入嵌入 根据 ID 查得的向量 属于哪套模型参数 上下文表示 随当前文本

图分类笔记：把节点汇成一张图时，丢掉了什么信息

节点分类给每个节点预测标签；图分类则要给整张图输出结果。消息传递之后，还需要把可变数量的节点表示汇成图级表示，这一步通常称为 Readout。 批处理不等于把图混在一起 一个批次可以装多张独立图，但池化时必须保留每个节点所属的图。对所有节点直接求一个平均，会把多张图合成一个样本。PyG 的全局平均池

链接预测笔记：先把待预测的边从输入里隔离

链接预测里，边有双重身份：既可能是消息传递的输入，也可能是要预测的答案。先区分这两份数据，再训练编码器和解码器。 两种边列表各做什么 数据 作用 需要检查 消息传递边 构建节点表示 不包含当前评估的待预测正边及其反向副本 监督边 计算边分数与损失 与标签逐项对应，划分与负采样有记录 PyG 常用 e

GraphSAGE笔记：采样、聚合和归纳评估是三件事

GraphSAGE 的价值不只是换一种卷积层。它把根据节点特征及邻域生成表示的规则学出来，并结合采样支持大图训练。GraphSAGE 原论文 不要把模型名称当作数据划分 “归纳式”描述模型对训练时未见节点或图的评估设定，不是 GraphSAGE 独占的开关。只要使用可共享的特征变换，其他消息传递模型

GCN与GAT笔记：先分清度归一化和邻居Softmax

GCN 和 GAT 都在聚合邻域信息，但聚合权重的来源不同。理解这个区别，不需要先背一个数据集上的准确率。 GCN并不是给所有邻居相同权重 对经典无向图 GCN，加入自环后，用度矩阵做对称归一化：S = D^(-1/2) (A + I) D^(-1/2)，然后计算 S X W。边的系数与相邻节点的度

注意力模块笔记：形状不变，不等于接上就一定有效

SE、CBAM、ECA 都能用于调整 CNN 的中间特征，但“即插即用”只说明接口容易对接，不是效果保证。先把维度和成本算清楚，再设计实验，比先叠模块更重要。 三种模块分别在调整什么 以 B × C × H × W 特征为例： 模块 权重形状的典型形式 主要操作 SE B × C × 1 × 1 汇

迁移学习笔记：冻结骨干之前，先检查参数、模式和预处理

换一个分类头不等于完成迁移学习。一次实验至少有三份需要分别核对的状态：哪些参数可以训练、哪些模块处于训练模式、图像怎样进入网络。 骨干网络解决什么问题 骨干把图像变成可供后续任务使用的特征。分类头、检测头和分割解码器的输出目标不同，不能只替换输出维数就默认其他设置完全通用。ResNet 的残差连接可

多模态实验笔记：先对齐样本，再判断融合是否有效

把同一段信号变成时频图、小波图和其他表示，通常属于单源数据的多视图建模；不同传感器或图像与文本的联合建模，则又有各自的数据对齐问题。不要只因为输入文件的格式不同，就忽略它们是否源自同一条原始记录。 先保护数据边界 如果一段原始信号切成多个窗口，再为每个窗口生成多个视图，这些衍生样本存在关联。把它们随

机器人学习笔记：逆运动学算出角度后，为什么还要验证

正运动学从关节变量计算末端状态；逆运动学则寻找满足目标末端状态的关节变量。后一问题可能多解、无解，也可能只得到近似解。 “求解器返回了一组数字”和“机器人能够安全到达目标”之间，还有很多检查。这篇先用独立推导的二维几何例子说明最基本的一项：把解代回正运动学。 二连杆平面例子 设两根杆长分别为 l1、