---
title: "Was ist Modelldestillation? Lehrer- und Schüler-LLMs"
description: "Destillation trainiert ein kleines Schülermodell, ein größeres Lehrermodell nachzuahmen, damit es günstiger läuft. Soft Targets und destillierte Reasoning-Modelle."
url: https://broadrouter.com/de/glossary/distillation/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/distillation/) (aktualisiert am 2026-11-16).

# Destillation (Knowledge Distillation)

Aktualisiert 2026-11-16

Destillation (Knowledge Distillation, Wissensdestillation) ist ein Trainingsverfahren, bei dem ein kleineres Schülermodell lernt, die Outputs eines größeren Lehrermodells nachzubilden, etwa seine Wahrscheinlichkeitsverteilungen oder erzeugten Antworten, sodass der Schüler viel von der Qualität des Lehrers behält und im Betrieb weniger kostet.

Auch genannt: Destillation, Wissensdestillation, Modelldestillation, destilliertes Modell, Lehrer-Schüler-Training, Teacher-Student-Training, distillation, knowledge distillation, model distillation, distilled model, teacher-student training

Große Modelle sind teuer im Betrieb. Destillation überträgt, was ein großes Modell weiß, in ein kleines.

## So funktioniert es

Hinton, Vinyals und Dean beschrieben die heutige Form 2015. Die Output-Wahrscheinlichkeiten des Lehrers werden zu „soft targets“ (Übersetzung: „weichen Zielen“) für den Schüler. Ein einfaches Label sagt nur „das ist eine 7“. Die Wahrscheinlichkeiten des Lehrers sagen zusätzlich, dass sie ein wenig wie eine 1 aussieht und gar nicht wie eine 4, und dieses zusätzliche Signal hilft dem Schüler beim Lernen.

Um es sichtbar zu machen, erhöhen sie die [Temperatur](https://broadrouter.com/de/glossary/temperature/) der Softmax-Funktion. Das Paper hält fest, dass ein höheres T „produces a softer probability distribution over classes“ (Übersetzung: „eine weichere Wahrscheinlichkeitsverteilung über die Klassen erzeugt“). Ihre MNIST-Ergebnisse:

| Modell | Testfehler |
| --- | --- |
| Großes Lehrernetz | 67 |
| Kleines Netz, nur mit Labels trainiert | 146 |
| Dasselbe kleine Netz, destilliert bei T = 20 | 74 |

Bei LLMs nutzt Destillation oft erzeugten Text statt Wahrscheinlichkeiten. Der Lehrer schreibt Antworten, und der Schüler wird darauf [feinabgestimmt](https://broadrouter.com/de/glossary/fine-tuning/). Das Paper zu DeepSeek-R1 berichtet, dass die Reasoning-Muster großer Modelle kleinere anleiten können. Die Model Card führt sechs destillierte Modelle von 1,5B bis 70B Parametern auf, gebaut auf Basismodellen von Qwen2.5 und Llama und feinabgestimmt auf von DeepSeek-R1 erzeugten Reasoning-Daten.

## Warum es wichtig ist

-   **Kosten und Geschwindigkeit.** Ein kleineres Modell braucht weniger GPU-Speicher und generiert schneller, was sich in Preisen pro Token und in der Latenz zeigt.
-   **Engeres Können.** Ein Schüler ist stark, wo er trainiert wurde, und schwächer anderswo. Testen Sie ihn mit Ihren eigenen Aufgaben, statt dem Benchmark des Lehrers zu vertrauen.
-   **Kombinieren.** In selbst gehosteten Setups lässt sich Destillation mit [Quantisierung](https://broadrouter.com/de/glossary/quantization/) und [LoRA](https://broadrouter.com/de/glossary/lora/) kombinieren.
-   **Lizenz.** Die Lizenz oder die API-Bedingungen des Lehrers entscheiden, ob Sie mit seinen Outputs trainieren dürfen.

## Bei BroadNet Inference

Die [API-Referenz](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-distillation&utm_content=body#models) von BroadNet sagt nicht, ob eines der Modelle destilliert wurde; gehen Sie also nicht davon aus. Die Preisunterschiede zwischen den Modellen zeigen aber, warum kleine Modelle zählen: BroadNet Gemma 4 VL 26B kostet $0.22 pro 1M Output-Tokens, GLM 5.3 dagegen $3.46. Ob das kleinere Modell gut genug ist, klärt Ihre eigene Evaluierung. Der Beitrag zum [besten offenen Modell für Coding-Agenten](https://broadrouter.com/de/blog/best-open-model-for-coding-agents/) vergleicht die Optionen nach Aufgabe.

## Häufige Fragen

### Was ist der Unterschied zwischen Destillation und Quantisierung?

Destillation trainiert ein neues, kleineres Modell. Quantisierung behält dasselbe Modell und speichert seine Gewichte mit geringerer Präzision. Beides macht Inferenz günstiger, und beides lässt sich kombinieren.

### Ist ein destilliertes Modell so gut wie der Lehrer?

Meist nicht bei jeder Aufgabe, aber bei den Aufgaben, für die es destilliert wurde, kann es nah herankommen. Im MNIST-Test von Hinton, Vinyals und Dean machte das destillierte kleine Netz 74 Fehler, der Lehrer 67.

### Darf ich das Modell eines anderen Anbieters destillieren?

Lesen Sie die Lizenz oder die API-Bedingungen des Lehrermodells, bevor Sie mit seinen Outputs trainieren. Sie unterscheiden sich in diesem Punkt, und manche schränken es ein.

## Siehe auch

-   [Fine-Tuning (Feinabstimmung)](https://broadrouter.com/de/glossary/fine-tuning/) (Begriff)
-   [LoRA (Low-Rank Adaptation)](https://broadrouter.com/de/glossary/lora/) (Begriff)
-   [Quantisierung (Quantization)](https://broadrouter.com/de/glossary/quantization/) (Begriff)
-   [Temperatur (Temperature)](https://broadrouter.com/de/glossary/temperature/) (Begriff)
-   [Open-Weight-Modell](https://broadrouter.com/de/glossary/open-weight-model/) (Begriff)
-   [Warum ein Reasoning-Modell eine leere Antwort liefert](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/) (Anleitung)
-   [Open-Weight- vs. geschlossene KI-Modelle: Kosten, Kontrolle, Risiko](https://broadrouter.com/de/blog/open-weight-vs-closed-models/) (Artikel)
-   [Bestes offenes Modell für Coding-Agenten: Tools, Kontext und Kosten](https://broadrouter.com/de/blog/best-open-model-for-coding-agents/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-distillation&utm_content=page-cta) ·

**Quellen**

-   [Hinton, Vinyals und Dean (2015), Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531)
-   [DeepSeek-AI (2025), Paper zu DeepSeek-R1](https://arxiv.org/abs/2501.12948)
-   [Model Card von DeepSeek-R1 auf Hugging Face (destillierte Modelle)](https://huggingface.co/deepseek-ai/DeepSeek-R1)
