Обслуживать большие модели дорого. Дистилляция переносит то, что знает большая модель, в маленькую.
Как это работает
Современную форму метода описали Hinton, Vinyals и Dean в 2015 году. Выходные вероятности учителя становятся для ученика «мягкими метками» (soft targets). Обычная метка говорит только «это 7». Вероятности учителя говорят ещё и о том, что цифра немного похожа на 1 и совсем не похожа на 4, и этот дополнительный сигнал помогает ученику учиться.
Чтобы его проявить, авторы повышают температуру softmax. В статье отмечено, что более высокое T “produces a softer probability distribution over classes” (перевод: «даёт более мягкое распределение вероятностей по классам»). Их результаты на MNIST:
| Модель | Ошибок на тесте |
|---|---|
| Большая сеть-учитель | 67 |
| Маленькая сеть, обученная только на метках | 146 |
| Та же маленькая сеть, дистиллированная при T = 20 | 74 |
В случае LLM дистилляция часто использует сгенерированный текст вместо вероятностей. Учитель пишет ответы, а ученика на них дообучают. Авторы статьи о DeepSeek-R1 сообщают, что паттерны рассуждений больших моделей могут направлять меньшие. В карточке модели перечислены шесть дистиллированных моделей размером от 1.5B до 70B параметров, построенных на базе Qwen2.5 и Llama и дообученных на данных рассуждений, сгенерированных DeepSeek-R1.
Почему это важно
- Стоимость и скорость. Меньшей модели нужно меньше памяти GPU, и она генерирует быстрее, что видно по цене за токен и задержке.
- Более узкий навык. Ученик силён там, где его обучали, и слабее в остальном. Проверяйте его на своих задачах, а не доверяйте бенчмарку учителя.
- Сочетание методов. В собственных развёртываниях дистилляцию сочетают с квантизацией и LoRA.
- Лицензирование. Можно ли обучаться на выходах учителя, решают его лицензия или условия API.
В BroadNet Inference
Справочник API BroadNet не сообщает, дистиллирована ли какая-либо из её моделей, так что не стоит это предполагать. Но разница в ценах показывает, почему маленькие модели важны: у BroadNet Gemma 4 VL 26B указано $0.22 за 1 млн выходных токенов против $3.46 у GLM 5.3. Достаточно ли хороша меньшая модель, покажет только ваш собственный eval. Статья о лучшей открытой модели для агентов для программирования сравнивает варианты по задачам.