大模型的部署成本很高。蒸馏把大模型掌握的知识转移到小模型里。
工作原理
Hinton、Vinyals 和 Dean 在 2015 年描述了现代形式的蒸馏。教师模型的输出概率成为学生模型的“软目标”(soft targets)。普通标签只会说“这是 7”。而教师模型的概率还会告诉你:它有一点像 1,完全不像 4。这些额外信号能帮助学生模型学习。
为了把这些信号显露出来,他们调高 softmax 的温度。论文指出,更高的 T “produces a softer probability distribution over classes”(译文:会在各类别上产生更平滑的概率分布)。他们在 MNIST 上的结果:
| 模型 | 测试错误数 |
|---|---|
| 大型教师网络 | 67 |
| 小网络,只用标签训练 | 146 |
| 同一个小网络,在 T = 20 下蒸馏 | 74 |
对于大模型,蒸馏常常使用生成的文本而不是概率。教师模型写出回答,学生模型在这些回答上微调。DeepSeek-R1 论文报告,大模型的推理模式可以指导较小的模型。其模型卡列出了六个蒸馏模型,参数从 1.5B 到 70B,基于 Qwen2.5 和 Llama 基座,并在 DeepSeek-R1 生成的推理数据上微调。
为什么重要
- 成本和速度。 更小的模型需要更少的 GPU 显存,生成也更快,这会体现在每 token 价格和延迟上。
- 能力更窄。 学生模型在训练过的领域很强,在其他领域较弱。用你自己的任务测试它,而不是相信教师模型的基准成绩。
- 叠加使用。 在自托管部署中,蒸馏可以与量化和 LoRA 结合。
- 许可。 能否用教师模型的输出做训练,由它的许可证或 API 条款决定。
在 BroadNet Inference 上
BroadNet 的 API 参考没有说明其模型是否经过蒸馏,所以不要做这种假设。不过模型之间的价格差异确实说明了小模型的价值:BroadNet Gemma 4 VL 26B 的价格是每 1M 输出 token $0.22,而 GLM 5.3 是 $3.46。小模型够不够用,要靠你自己的评测来判断。编程智能体最佳开放模型一文按任务比较了各个选项。