Modelos grandes são caros de servir. A destilação passa o que um modelo grande sabe para um pequeno.
Como funciona
Hinton, Vinyals e Dean descreveram a forma moderna em 2015. As probabilidades de saída do professor viram “soft targets” (tradução: alvos suaves) para o aluno. Um rótulo simples diz só “isto é um 7”. As probabilidades do professor dizem também que ele parece um pouco um 1 e nada um 4, e esse sinal extra ajuda o aluno a aprender.
Para expor esse sinal, eles aumentam a temperatura da softmax. O artigo observa que um T maior “produces a softer probability distribution over classes” (tradução: produz uma distribuição de probabilidade mais suave entre as classes). Os resultados no MNIST:
| Modelo | Erros no teste |
|---|---|
| Rede professora grande | 67 |
| Rede pequena, treinada só com rótulos | 146 |
| Mesma rede pequena, destilada com T = 20 | 74 |
Com LLMs, a destilação muitas vezes usa texto gerado em vez de probabilidades. O professor escreve respostas e o aluno passa por fine-tuning com elas. O artigo do DeepSeek-R1 relata que os padrões de raciocínio de modelos grandes podem orientar modelos menores. O model card lista seis modelos destilados, de 1,5B a 70B de parâmetros, construídos sobre bases Qwen2.5 e Llama e ajustados com dados de raciocínio gerados pelo DeepSeek-R1.
Por que isso importa
- Custo e velocidade. Um modelo menor precisa de menos memória de GPU e gera mais rápido, o que aparece nos preços por token e na latência.
- Habilidade mais estreita. Um aluno é forte onde foi treinado e mais fraco no resto. Teste nas suas próprias tarefas em vez de confiar no benchmark do professor.
- Combinação. Em setups self-hosted, a destilação se combina com quantização e LoRA.
- Licenciamento. A licença do professor ou os termos da API dele decidem se você pode treinar com as saídas.
Na BroadNet Inference
A referência da API da BroadNet não diz se algum dos seus modelos foi destilado, então não presuma isso. As diferenças de preço entre modelos mostram por que modelos pequenos importam: o BroadNet Gemma 4 VL 26B custa $0.22 por 1M de tokens de saída, contra $3.46 do GLM 5.3. Se o modelo menor é bom o suficiente é uma pergunta para a sua própria eval. O post sobre o melhor modelo aberto para agentes de programação compara as opções por tarefa.