BroadRouter
Loslegen

Destillation (Knowledge Distillation)

Aktualisiert

Destillation (Knowledge Distillation, Wissensdestillation) ist ein Trainingsverfahren, bei dem ein kleineres Schülermodell lernt, die Outputs eines größeren Lehrermodells nachzubilden, etwa seine Wahrscheinlichkeitsverteilungen oder erzeugten Antworten, sodass der Schüler viel von der Qualität des Lehrers behält und im Betrieb weniger kostet.

Auch genannt: Destillation, Wissensdestillation, Modelldestillation, destilliertes Modell, Lehrer-Schüler-Training, Teacher-Student-Training, distillation, knowledge distillation, model distillation, distilled model, teacher-student training

Große Modelle sind teuer im Betrieb. Destillation überträgt, was ein großes Modell weiß, in ein kleines.

So funktioniert es

Hinton, Vinyals und Dean beschrieben die heutige Form 2015. Die Output-Wahrscheinlichkeiten des Lehrers werden zu „soft targets“ (Übersetzung: „weichen Zielen“) für den Schüler. Ein einfaches Label sagt nur „das ist eine 7“. Die Wahrscheinlichkeiten des Lehrers sagen zusätzlich, dass sie ein wenig wie eine 1 aussieht und gar nicht wie eine 4, und dieses zusätzliche Signal hilft dem Schüler beim Lernen.

Um es sichtbar zu machen, erhöhen sie die Temperatur der Softmax-Funktion. Das Paper hält fest, dass ein höheres T „produces a softer probability distribution over classes“ (Übersetzung: „eine weichere Wahrscheinlichkeitsverteilung über die Klassen erzeugt“). Ihre MNIST-Ergebnisse:

Modell Testfehler
Großes Lehrernetz 67
Kleines Netz, nur mit Labels trainiert 146
Dasselbe kleine Netz, destilliert bei T = 20 74

Bei LLMs nutzt Destillation oft erzeugten Text statt Wahrscheinlichkeiten. Der Lehrer schreibt Antworten, und der Schüler wird darauf feinabgestimmt. Das Paper zu DeepSeek-R1 berichtet, dass die Reasoning-Muster großer Modelle kleinere anleiten können. Die Model Card führt sechs destillierte Modelle von 1,5B bis 70B Parametern auf, gebaut auf Basismodellen von Qwen2.5 und Llama und feinabgestimmt auf von DeepSeek-R1 erzeugten Reasoning-Daten.

Warum es wichtig ist

  • Kosten und Geschwindigkeit. Ein kleineres Modell braucht weniger GPU-Speicher und generiert schneller, was sich in Preisen pro Token und in der Latenz zeigt.
  • Engeres Können. Ein Schüler ist stark, wo er trainiert wurde, und schwächer anderswo. Testen Sie ihn mit Ihren eigenen Aufgaben, statt dem Benchmark des Lehrers zu vertrauen.
  • Kombinieren. In selbst gehosteten Setups lässt sich Destillation mit Quantisierung und LoRA kombinieren.
  • Lizenz. Die Lizenz oder die API-Bedingungen des Lehrers entscheiden, ob Sie mit seinen Outputs trainieren dürfen.

Bei BroadNet Inference

Die API-Referenz von BroadNet sagt nicht, ob eines der Modelle destilliert wurde; gehen Sie also nicht davon aus. Die Preisunterschiede zwischen den Modellen zeigen aber, warum kleine Modelle zählen: BroadNet Gemma 4 VL 26B kostet $0.22 pro 1M Output-Tokens, GLM 5.3 dagegen $3.46. Ob das kleinere Modell gut genug ist, klärt Ihre eigene Evaluierung. Der Beitrag zum besten offenen Modell für Coding-Agenten vergleicht die Optionen nach Aufgabe.

Häufige Fragen

Was ist der Unterschied zwischen Destillation und Quantisierung?

Destillation trainiert ein neues, kleineres Modell. Quantisierung behält dasselbe Modell und speichert seine Gewichte mit geringerer Präzision. Beides macht Inferenz günstiger, und beides lässt sich kombinieren.

Ist ein destilliertes Modell so gut wie der Lehrer?

Meist nicht bei jeder Aufgabe, aber bei den Aufgaben, für die es destilliert wurde, kann es nah herankommen. Im MNIST-Test von Hinton, Vinyals und Dean machte das destillierte kleine Netz 74 Fehler, der Lehrer 67.

Darf ich das Modell eines anderen Anbieters destillieren?

Lesen Sie die Lizenz oder die API-Bedingungen des Lehrermodells, bevor Sie mit seinen Outputs trainieren. Sie unterscheiden sich in diesem Punkt, und manche schränken es ein.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen