I modelli grandi costano tanto da servire. La distillazione trasferisce ciò che sa un modello grande in uno piccolo.
Come funziona
Hinton, Vinyals e Dean ne hanno descritto la forma moderna nel 2015. Le probabilità in output del teacher diventano “soft targets” (traduzione: obiettivi morbidi) per lo student. Un’etichetta semplice dice solo “questo è un 7”. Le probabilità del teacher dicono anche che somiglia un po’ a un 1 e per niente a un 4, e quel segnale in più aiuta lo student a imparare.
Per farlo emergere, alzano la temperatura della softmax. L’articolo osserva che una T più alta “produces a softer probability distribution over classes” (traduzione: produce una distribuzione di probabilità più morbida sulle classi). I loro risultati su MNIST:
| Modello | Errori nel test |
|---|---|
| Rete teacher grande | 67 |
| Rete piccola, addestrata solo sulle etichette | 146 |
| Stessa rete piccola, distillata con T = 20 | 74 |
Con gli LLM, la distillazione usa spesso testo generato invece delle probabilità. Il teacher scrive le risposte e lo student viene sottoposto a fine-tuning su di esse. L’articolo su DeepSeek-R1 riporta che gli schemi di ragionamento dei modelli grandi possono guidare quelli più piccoli. La sua model card elenca sei modelli distillati da 1,5B a 70B parametri, costruiti su basi Qwen2.5 e Llama e addestrati con fine-tuning su dati di ragionamento generati da DeepSeek-R1.
Perché è importante
- Costo e velocità. Un modello più piccolo richiede meno memoria GPU e genera più in fretta, e questo si vede nei prezzi per token e nella latenza.
- Competenze più ristrette. Uno student è forte dove è stato addestrato e più debole altrove. Testalo sui tuoi compiti invece di fidarti del benchmark del teacher.
- Combinazioni. Nelle installazioni self-hosted, la distillazione si abbina alla quantizzazione e a LoRA.
- Licenze. La licenza del teacher o i termini della sua API stabiliscono se puoi addestrare sui suoi output.
Su BroadNet Inference
Il riferimento API di BroadNet non dice se qualcuno dei suoi modelli sia stato distillato, quindi non darlo per scontato. Le differenze di prezzo tra i modelli mostrano però perché i modelli piccoli contano: BroadNet Gemma 4 VL 26B costa $0.22 per 1M di token di output, contro $3.46 per GLM 5.3. Se il modello più piccolo sia abbastanza buono è una domanda per la tua eval. L’articolo sul miglior modello open per agenti di coding confronta le opzioni per tipo di compito.