Los modelos grandes son caros de servir. La destilación traslada lo que sabe un modelo grande a uno pequeño.
Cómo funciona
Hinton, Vinyals y Dean describieron la forma moderna en 2015. Las probabilidades de salida del maestro se convierten en “soft targets” (objetivos blandos) para el alumno. Una etiqueta simple solo dice “esto es un 7”. Las probabilidades del maestro dicen además que se parece un poco a un 1 y nada a un 4, y esa señal extra ayuda al alumno a aprender.
Para hacerla visible, suben la temperatura del softmax. El artículo señala que una T más alta “produces a softer probability distribution over classes” (traducción: produce una distribución de probabilidad más suave entre las clases). Sus resultados en MNIST:
| Modelo | Errores de prueba |
|---|---|
| Red maestra grande | 67 |
| Red pequeña, entrenada solo con etiquetas | 146 |
| La misma red pequeña, destilada con T = 20 | 74 |
Con los LLM, la destilación suele usar texto generado en lugar de probabilidades. El maestro escribe respuestas y el alumno se somete a fine-tuning con ellas. El artículo de DeepSeek-R1 informa que los patrones de razonamiento de los modelos grandes pueden guiar a otros más pequeños. Su ficha de modelo enumera seis modelos destilados de 1.5B a 70B parámetros, construidos sobre bases Qwen2.5 y Llama y ajustados con datos de razonamiento generados por DeepSeek-R1.
Por qué importa
- Costo y velocidad. Un modelo más pequeño necesita menos memoria de GPU y genera más rápido, lo que se nota en los precios por token y en la latencia.
- Habilidad más acotada. Un alumno es fuerte donde se entrenó y más débil en lo demás. Pruébelo con sus propias tareas en lugar de fiarse del benchmark del maestro.
- Combinación. La destilación se combina con la cuantización y LoRA en entornos autoalojados.
- Licencias. La licencia o los términos de la API del maestro deciden si puede entrenar con sus salidas.
En BroadNet Inference
La referencia de la API de BroadNet no indica si alguno de sus modelos se destiló, así que no lo dé por hecho. Las diferencias de precio entre modelos sí muestran por qué importan los modelos pequeños: BroadNet Gemma 4 VL 26B figura a $0.22 por 1M de tokens de salida, frente a $3.46 de GLM 5.3. Si el modelo más pequeño es suficiente lo decide su propia evaluación. El artículo sobre el mejor modelo abierto para agentes de programación compara las opciones por tarea.