大模型优化经典回顾

模型量化（Q）

用定点的数值运算代替浮点的数值运算。

模型剪枝（P）

一般指的是模型训练后进行反训练之前，或反训练之后部署之前进行剪枝，或保留模型的部分权重和结构。

• online：边剪枝边训练
• offline：不训练直接剪枝

权重聚类（C）

知识蒸馏（D）

算子融合（F）

模型训练好后，前面一层和后面一层可能存在合并关系，例如前面的卷积和后面的归一化，它们的算子层面可能进行合并——类似合并同类项。

注意：算子融合是无损的，但是能节省计算资源。