BroadRouter
Commencer

Distillation (knowledge distillation)

Mis à jour

La distillation, ou distillation des connaissances, est une méthode d’entraînement dans laquelle un modèle élève plus petit apprend à reproduire les sorties d’un modèle maître plus grand, comme ses distributions de probabilités ou ses réponses générées, afin de conserver une grande partie de sa qualité pour un coût d’exécution moindre.

Aussi appelé : distillation, distillation des connaissances, distillation de modèle, modèle distillé, entraînement maître-élève, knowledge distillation, model distillation, distilled model, teacher-student training

Les grands modèles coûtent cher à servir. La distillation transfère ce que sait un grand modèle dans un petit.

Comment ça marche

Hinton, Vinyals et Dean ont décrit la forme moderne en 2015. Les probabilités de sortie du maître deviennent des « soft targets » (traduction : « cibles souples ») pour l’élève. Une étiquette simple dit seulement « c’est un 7 ». Les probabilités du maître disent en plus que ça ressemble un peu à un 1 et pas du tout à un 4, et ce signal supplémentaire aide l’élève à apprendre.

Pour le faire ressortir, ils augmentent la température du softmax. L’article note qu’un T plus élevé « produces a softer probability distribution over classes » (traduction : « produit une distribution de probabilités plus douce sur les classes »). Leurs résultats sur MNIST :

Modèle Erreurs de test
Grand réseau maître 67
Petit réseau, entraîné sur les seules étiquettes 146
Même petit réseau, distillé à T = 20 74

Avec les LLM, la distillation utilise souvent du texte généré plutôt que des probabilités. Le maître écrit des réponses, et l’élève fait l’objet d’un fine-tuning sur celles-ci. L’article sur DeepSeek-R1 rapporte que les schémas de raisonnement des grands modèles peuvent guider les plus petits. Sa fiche de modèle liste six modèles distillés de 1,5B à 70B paramètres, construits sur des bases Qwen2.5 et Llama et affinés sur des données de raisonnement générées par DeepSeek-R1.

Pourquoi c’est important

  • Coût et vitesse. Un modèle plus petit demande moins de mémoire GPU et génère plus vite, ce qui se voit dans les prix au token et la latence.
  • Compétence plus étroite. Un élève est fort là où il a été entraîné et plus faible ailleurs. Testez-le sur vos propres tâches au lieu de vous fier au benchmark du maître.
  • Combinaison. Dans les déploiements auto-hébergés, la distillation se combine avec la quantification et LoRA.
  • Licence. La licence ou les conditions d’API du maître déterminent si vous pouvez entraîner sur ses sorties.

Sur BroadNet Inference

La référence de l’API de BroadNet ne précise pas si l’un de ses modèles a été distillé : ne le supposez donc pas. Les écarts de prix entre modèles montrent en revanche pourquoi les petits modèles comptent : BroadNet Gemma 4 VL 26B est affiché à $0.22 par million de tokens de sortie, contre $3.46 pour GLM 5.3. Savoir si le plus petit modèle suffit relève de votre propre évaluation. L’article sur le meilleur modèle ouvert pour les agents de code compare les options par tâche.

Questions fréquentes

Quelle différence entre distillation et quantification ?

La distillation entraîne un nouveau modèle, plus petit. La quantification garde le même modèle et stocke ses poids avec une précision réduite. Les deux rendent l’inférence moins chère, et on peut les combiner.

Un modèle distillé est-il aussi bon que son maître ?

En général pas sur toutes les tâches, mais il peut s’en approcher sur celles pour lesquelles il a été distillé. Dans le test MNIST de Hinton, Vinyals et Dean, le petit réseau distillé faisait 74 erreurs, contre 67 pour le maître.

A-t-on le droit de distiller le modèle d’un autre fournisseur ?

Lisez la licence ou les conditions d’API du modèle maître avant d’entraîner sur ses sorties. Elles diffèrent sur ce point, et certaines le restreignent.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity