---
title: "什么是模型蒸馏？大模型的教师模型与学生模型 | BroadRouter"
description: "蒸馏是训练一个小的学生模型去模仿更大的教师模型，让它运行起来更便宜。软目标的原理，以及蒸馏版思考模型是怎么做出来的。"
url: https://broadrouter.com/zh/glossary/distillation/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/distillation/)（2026-11-16 更新）。

# 知识蒸馏（knowledge distillation）

更新于 2026-11-16

蒸馏（知识蒸馏）是一种训练方法：让较小的学生模型学习复现较大教师模型的输出，例如其概率分布或生成的回答，使学生模型以更低的运行成本保留教师模型的大部分质量。

又称： 模型蒸馏、蒸馏、蒸馏模型、教师学生模型、师生训练、distillation、knowledge distillation、model distillation、distilled model、teacher-student training

大模型的部署成本很高。蒸馏把大模型掌握的知识转移到小模型里。

## 工作原理

Hinton、Vinyals 和 Dean 在 2015 年描述了现代形式的蒸馏。教师模型的输出概率成为学生模型的“软目标”（soft targets）。普通标签只会说“这是 7”。而教师模型的概率还会告诉你：它有一点像 1，完全不像 4。这些额外信号能帮助学生模型学习。

为了把这些信号显露出来，他们调高 softmax 的[温度](https://broadrouter.com/zh/glossary/temperature/)。论文指出，更高的 T “produces a softer probability distribution over classes”（译文：会在各类别上产生更平滑的概率分布）。他们在 MNIST 上的结果：

| 模型 | 测试错误数 |
| --- | --- |
| 大型教师网络 | 67 |
| 小网络，只用标签训练 | 146 |
| 同一个小网络，在 T = 20 下蒸馏 | 74 |

对于大模型，蒸馏常常使用生成的文本而不是概率。教师模型写出回答，学生模型在这些回答上[微调](https://broadrouter.com/zh/glossary/fine-tuning/)。DeepSeek-R1 论文报告，大模型的推理模式可以指导较小的模型。其模型卡列出了六个蒸馏模型，参数从 1.5B 到 70B，基于 Qwen2.5 和 Llama 基座，并在 DeepSeek-R1 生成的推理数据上微调。

## 为什么重要

-   **成本和速度。** 更小的模型需要更少的 GPU 显存，生成也更快，这会体现在每 token 价格和延迟上。
-   **能力更窄。** 学生模型在训练过的领域很强，在其他领域较弱。用你自己的任务测试它，而不是相信教师模型的基准成绩。
-   **叠加使用。** 在自托管部署中，蒸馏可以与[量化](https://broadrouter.com/zh/glossary/quantization/)和 [LoRA](https://broadrouter.com/zh/glossary/lora/) 结合。
-   **许可。** 能否用教师模型的输出做训练，由它的许可证或 API 条款决定。

## 在 BroadNet Inference 上

BroadNet 的 [API 参考](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-distillation&utm_content=body#models)没有说明其模型是否经过蒸馏，所以不要做这种假设。不过模型之间的价格差异确实说明了小模型的价值：BroadNet Gemma 4 VL 26B 的价格是每 1M 输出 token $0.22，而 GLM 5.3 是 $3.46。小模型够不够用，要靠你自己的评测来判断。[编程智能体最佳开放模型](https://broadrouter.com/zh/blog/best-open-model-for-coding-agents/)一文按任务比较了各个选项。

## 常见问题

### 蒸馏和量化有什么区别？

蒸馏是训练一个新的、更小的模型。量化保留同一个模型，只是用更低的精度存储权重。两者都能降低推理成本，也可以结合使用。

### 蒸馏模型和教师模型一样好吗？

通常不会在所有任务上都一样好，但在蒸馏所针对的任务上可以很接近。在 Hinton、Vinyals 和 Dean 的 MNIST 测试中，蒸馏后的小网络出错 74 次，教师模型出错 67 次。

### 可以蒸馏其他服务商的模型吗？

用教师模型的输出训练之前，先阅读它的许可证或 API 条款。各家在这一点上规定不同，有些会加以限制。

## 另请参阅

-   [微调（fine-tuning）](https://broadrouter.com/zh/glossary/fine-tuning/)（术语）
-   [LoRA（低秩适配）](https://broadrouter.com/zh/glossary/lora/)（术语）
-   [量化（quantization）](https://broadrouter.com/zh/glossary/quantization/)（术语）
-   [温度（temperature）](https://broadrouter.com/zh/glossary/temperature/)（术语）
-   [开放权重模型（open-weight model）](https://broadrouter.com/zh/glossary/open-weight-model/)（术语）
-   [推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)（指南）
-   [企业该选开放权重还是闭源大模型：成本、控制与风险](https://broadrouter.com/zh/blog/open-weight-vs-closed-models/)（文章）
-   [编程智能体最佳开源模型：按工具、上下文和成本来选](https://broadrouter.com/zh/blog/best-open-model-for-coding-agents/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-distillation&utm_content=page-cta) ·

**来源**

-   [Hinton、Vinyals 和 Dean（2015），Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531)
-   [DeepSeek-AI（2025），DeepSeek-R1 论文](https://arxiv.org/abs/2501.12948)
-   [Hugging Face 上的 DeepSeek-R1 模型卡（蒸馏模型）](https://huggingface.co/deepseek-ai/DeepSeek-R1)
