Große Modelle sind teuer im Betrieb. Destillation überträgt, was ein großes Modell weiß, in ein kleines.
So funktioniert es
Hinton, Vinyals und Dean beschrieben die heutige Form 2015. Die Output-Wahrscheinlichkeiten des Lehrers werden zu „soft targets“ (Übersetzung: „weichen Zielen“) für den Schüler. Ein einfaches Label sagt nur „das ist eine 7“. Die Wahrscheinlichkeiten des Lehrers sagen zusätzlich, dass sie ein wenig wie eine 1 aussieht und gar nicht wie eine 4, und dieses zusätzliche Signal hilft dem Schüler beim Lernen.
Um es sichtbar zu machen, erhöhen sie die Temperatur der Softmax-Funktion. Das Paper hält fest, dass ein höheres T „produces a softer probability distribution over classes“ (Übersetzung: „eine weichere Wahrscheinlichkeitsverteilung über die Klassen erzeugt“). Ihre MNIST-Ergebnisse:
| Modell | Testfehler |
|---|---|
| Großes Lehrernetz | 67 |
| Kleines Netz, nur mit Labels trainiert | 146 |
| Dasselbe kleine Netz, destilliert bei T = 20 | 74 |
Bei LLMs nutzt Destillation oft erzeugten Text statt Wahrscheinlichkeiten. Der Lehrer schreibt Antworten, und der Schüler wird darauf feinabgestimmt. Das Paper zu DeepSeek-R1 berichtet, dass die Reasoning-Muster großer Modelle kleinere anleiten können. Die Model Card führt sechs destillierte Modelle von 1,5B bis 70B Parametern auf, gebaut auf Basismodellen von Qwen2.5 und Llama und feinabgestimmt auf von DeepSeek-R1 erzeugten Reasoning-Daten.
Warum es wichtig ist
- Kosten und Geschwindigkeit. Ein kleineres Modell braucht weniger GPU-Speicher und generiert schneller, was sich in Preisen pro Token und in der Latenz zeigt.
- Engeres Können. Ein Schüler ist stark, wo er trainiert wurde, und schwächer anderswo. Testen Sie ihn mit Ihren eigenen Aufgaben, statt dem Benchmark des Lehrers zu vertrauen.
- Kombinieren. In selbst gehosteten Setups lässt sich Destillation mit Quantisierung und LoRA kombinieren.
- Lizenz. Die Lizenz oder die API-Bedingungen des Lehrers entscheiden, ob Sie mit seinen Outputs trainieren dürfen.
Bei BroadNet Inference
Die API-Referenz von BroadNet sagt nicht, ob eines der Modelle destilliert wurde; gehen Sie also nicht davon aus. Die Preisunterschiede zwischen den Modellen zeigen aber, warum kleine Modelle zählen: BroadNet Gemma 4 VL 26B kostet $0.22 pro 1M Output-Tokens, GLM 5.3 dagegen $3.46. Ob das kleinere Modell gut genug ist, klärt Ihre eigene Evaluierung. Der Beitrag zum besten offenen Modell für Coding-Agenten vergleicht die Optionen nach Aufgabe.