---
title: "Cos’è la distillazione dei modelli? LLM teacher e student"
description: "La distillazione addestra un piccolo modello student a imitare un teacher più grande, così costa meno da eseguire. Soft target e modelli distillati."
url: https://broadrouter.com/it/glossary/distillation/
lang: it
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/glossary/distillation/) (aggiornato il 2026-11-16).

# Distillazione (knowledge distillation)

Aggiornato 2026-11-16

La distillazione, o knowledge distillation, è un metodo di addestramento in cui un modello student più piccolo impara a riprodurre gli output di un modello teacher più grande, come le sue distribuzioni di probabilità o le risposte generate, così da conservare buona parte della qualità del teacher a un costo di esecuzione inferiore.

Detto anche: distillazione della conoscenza, distillazione dei modelli, modello distillato, addestramento teacher-student, knowledge distillation, model distillation, distilled model, teacher-student training

I modelli grandi costano tanto da servire. La distillazione trasferisce ciò che sa un modello grande in uno piccolo.

## Come funziona

Hinton, Vinyals e Dean ne hanno descritto la forma moderna nel 2015. Le probabilità in output del teacher diventano “soft targets” (traduzione: obiettivi morbidi) per lo student. Un’etichetta semplice dice solo “questo è un 7”. Le probabilità del teacher dicono anche che somiglia un po’ a un 1 e per niente a un 4, e quel segnale in più aiuta lo student a imparare.

Per farlo emergere, alzano la [temperatura](https://broadrouter.com/it/glossary/temperature/) della softmax. L’articolo osserva che una T più alta “produces a softer probability distribution over classes” (traduzione: produce una distribuzione di probabilità più morbida sulle classi). I loro risultati su MNIST:

| Modello | Errori nel test |
| --- | --- |
| Rete teacher grande | 67 |
| Rete piccola, addestrata solo sulle etichette | 146 |
| Stessa rete piccola, distillata con T = 20 | 74 |

Con gli LLM, la distillazione usa spesso testo generato invece delle probabilità. Il teacher scrive le risposte e lo student viene sottoposto a [fine-tuning](https://broadrouter.com/it/glossary/fine-tuning/) su di esse. L’articolo su DeepSeek-R1 riporta che gli schemi di ragionamento dei modelli grandi possono guidare quelli più piccoli. La sua model card elenca sei modelli distillati da 1,5B a 70B parametri, costruiti su basi Qwen2.5 e Llama e addestrati con fine-tuning su dati di ragionamento generati da DeepSeek-R1.

## Perché è importante

-   **Costo e velocità.** Un modello più piccolo richiede meno memoria GPU e genera più in fretta, e questo si vede nei prezzi per token e nella latenza.
-   **Competenze più ristrette.** Uno student è forte dove è stato addestrato e più debole altrove. Testalo sui tuoi compiti invece di fidarti del benchmark del teacher.
-   **Combinazioni.** Nelle installazioni self-hosted, la distillazione si abbina alla [quantizzazione](https://broadrouter.com/it/glossary/quantization/) e a [LoRA](https://broadrouter.com/it/glossary/lora/).
-   **Licenze.** La licenza del teacher o i termini della sua API stabiliscono se puoi addestrare sui suoi output.

## Su BroadNet Inference

Il [riferimento API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-glossary-distillation&utm_content=body#models) di BroadNet non dice se qualcuno dei suoi modelli sia stato distillato, quindi non darlo per scontato. Le differenze di prezzo tra i modelli mostrano però perché i modelli piccoli contano: BroadNet Gemma 4 VL 26B costa $0.22 per 1M di token di output, contro $3.46 per GLM 5.3. Se il modello più piccolo sia abbastanza buono è una domanda per la tua eval. L’articolo sul [miglior modello open per agenti di coding](https://broadrouter.com/it/blog/best-open-model-for-coding-agents/) confronta le opzioni per tipo di compito.

## Domande frequenti

### Che differenza c’è tra distillazione e quantizzazione?

La distillazione addestra un modello nuovo e più piccolo. La quantizzazione tiene lo stesso modello e ne salva i pesi a precisione più bassa. Entrambe rendono l’inferenza più economica, e si possono combinare.

### Un modello distillato è bravo quanto il teacher?

Di solito non su tutti i compiti, ma può avvicinarsi molto su quelli per cui è stato distillato. Nel test MNIST di Hinton, Vinyals e Dean la piccola rete distillata faceva 74 errori contro i 67 del teacher.

### È consentito distillare il modello di un altro provider?

Leggi la licenza del modello teacher o i termini della sua API prima di addestrare sui suoi output. Su questo punto variano, e alcuni lo limitano.

## Vedi anche

-   [Fine-tuning (addestramento di un LLM)](https://broadrouter.com/it/glossary/fine-tuning/) (termine)
-   [LoRA (low-rank adaptation)](https://broadrouter.com/it/glossary/lora/) (termine)
-   [Quantizzazione (quantization)](https://broadrouter.com/it/glossary/quantization/) (termine)
-   [Temperatura (temperature)](https://broadrouter.com/it/glossary/temperature/) (termine)
-   [Modello open-weight (a pesi aperti)](https://broadrouter.com/it/glossary/open-weight-model/) (termine)
-   [Perché un modello di ragionamento restituisce una risposta vuota](https://broadrouter.com/it/guides/reasoning-tokens-empty-response/) (guida)
-   [Modelli AI open-weight o chiusi in azienda: costi, controllo, rischi](https://broadrouter.com/it/blog/open-weight-vs-closed-models/) (articolo)
-   [Miglior modello aperto per agenti di coding: tool, contesto e costo](https://broadrouter.com/it/blog/best-open-model-for-coding-agents/) (articolo)

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-glossary-distillation&utm_content=page-cta) ·

**Fonti**

-   [Hinton, Vinyals e Dean (2015), Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531)
-   [DeepSeek-AI (2025), articolo su DeepSeek-R1](https://arxiv.org/abs/2501.12948)
-   [Model card di DeepSeek-R1 su Hugging Face (modelli distillati)](https://huggingface.co/deepseek-ai/DeepSeek-R1)
