大きなモデルは提供にコストがかかります。蒸留は、大きなモデルが知っていることを小さなモデルに移します。
仕組み
現在の形の蒸留は、2015 年に Hinton、Vinyals、Dean が示しました。教師モデルの出力確率が、生徒モデルにとっての「ソフトターゲット」(soft targets)になります。普通のラベルは「これは 7」としか言いません。教師モデルの確率なら、少しだけ 1 に似ていて、4 にはまったく似ていないことまで伝わります。この追加の手がかりが生徒モデルの学習を助けます。
それを引き出すために、softmax の temperature を上げます。論文によれば、T を高くすると “produces a softer probability distribution over classes”(訳:クラス間でより滑らかな確率分布になる)。MNIST での結果は次のとおりです。
| モデル | テストの誤り数 |
|---|---|
| 大きな教師ネットワーク | 67 |
| 小さなネットワーク、ラベルのみで学習 | 146 |
| 同じ小さなネットワーク、T = 20 で蒸留 | 74 |
LLM の蒸留では、確率の代わりに生成テキストを使うことがよくあります。教師モデルが回答を書き、生徒モデルをその回答でファインチューニングします。DeepSeek-R1 の論文は、大きなモデルの推論パターンが小さなモデルの手本になると報告しています。そのモデルカードには、パラメーター数 1.5B から 70B までの蒸留モデルが 6 つ掲載されており、Qwen2.5 と Llama をベースに、DeepSeek-R1 が生成した推論データでファインチューニングされています。
なぜ重要か
- コストと速度。 小さなモデルは GPU メモリが少なくて済み、生成も速いため、トークン単価やレイテンシに表れます。
- 得意分野が狭い。 生徒モデルは学習した分野では強く、それ以外では弱くなります。教師モデルのベンチマークを信じるのではなく、ご自身のタスクでテストしてください。
- 組み合わせ。 セルフホスト環境では、蒸留を量子化や LoRA と組み合わせられます。
- ライセンス。 教師モデルの出力で学習してよいかどうかは、そのライセンスや API 利用規約で決まります。
BroadNet Inference では
BroadNet の API リファレンスには、どのモデルが蒸留されたものかは書かれていないので、そうだと決めつけないでください。ただ、モデル間の料金差を見ると小さなモデルの意義がわかります。BroadNet Gemma 4 VL 26B は出力 100 万トークンあたり $0.22、GLM 5.3 は $3.46 です。小さなモデルで十分かどうかは、ご自身の評価で判断してください。コーディングエージェントに最適なオープンモデルの記事では、タスク別に選択肢を比較しています。