---
title: "Что такое дистилляция моделей? Учитель и ученик в LLM"
description: "Дистилляция учит маленькую модель-ученика подражать большой модели-учителю, чтобы запуск был дешевле. Мягкие метки и дистиллированные модели рассуждений."
url: https://broadrouter.com/ru/glossary/distillation/
lang: ru
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/distillation/) (обновлён 2026-11-16).

# Дистилляция знаний (knowledge distillation)

Обновлено 2026-11-16

Дистилляция, или дистилляция знаний, — это метод обучения, при котором меньшая модель-ученик учится воспроизводить выходы большей модели-учителя, например её распределения вероятностей или сгенерированные ответы. В итоге ученик сохраняет значительную часть качества учителя, а запуск обходится дешевле.

Также называют: дистилляция, дистилляция знаний, дистилляция моделей, дистиллированная модель, обучение учитель-ученик, distillation, knowledge distillation, model distillation, distilled model, teacher-student training

Обслуживать большие модели дорого. Дистилляция переносит то, что знает большая модель, в маленькую.

## Как это работает

Современную форму метода описали Hinton, Vinyals и Dean в 2015 году. Выходные вероятности учителя становятся для ученика «мягкими метками» (soft targets). Обычная метка говорит только «это 7». Вероятности учителя говорят ещё и о том, что цифра немного похожа на 1 и совсем не похожа на 4, и этот дополнительный сигнал помогает ученику учиться.

Чтобы его проявить, авторы повышают [температуру](https://broadrouter.com/ru/glossary/temperature/) softmax. В статье отмечено, что более высокое T “produces a softer probability distribution over classes” (перевод: «даёт более мягкое распределение вероятностей по классам»). Их результаты на MNIST:

| Модель | Ошибок на тесте |
| --- | --- |
| Большая сеть-учитель | 67 |
| Маленькая сеть, обученная только на метках | 146 |
| Та же маленькая сеть, дистиллированная при T = 20 | 74 |

В случае LLM дистилляция часто использует сгенерированный текст вместо вероятностей. Учитель пишет ответы, а ученика на них [дообучают](https://broadrouter.com/ru/glossary/fine-tuning/). Авторы статьи о DeepSeek-R1 сообщают, что паттерны рассуждений больших моделей могут направлять меньшие. В карточке модели перечислены шесть дистиллированных моделей размером от 1.5B до 70B параметров, построенных на базе Qwen2.5 и Llama и дообученных на данных рассуждений, сгенерированных DeepSeek-R1.

## Почему это важно

-   **Стоимость и скорость.** Меньшей модели нужно меньше памяти GPU, и она генерирует быстрее, что видно по цене за токен и задержке.
-   **Более узкий навык.** Ученик силён там, где его обучали, и слабее в остальном. Проверяйте его на своих задачах, а не доверяйте бенчмарку учителя.
-   **Сочетание методов.** В собственных развёртываниях дистилляцию сочетают с [квантизацией](https://broadrouter.com/ru/glossary/quantization/) и [LoRA](https://broadrouter.com/ru/glossary/lora/).
-   **Лицензирование.** Можно ли обучаться на выходах учителя, решают его лицензия или условия API.

## В BroadNet Inference

[Справочник API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-distillation&utm_content=body#models) BroadNet не сообщает, дистиллирована ли какая-либо из её моделей, так что не стоит это предполагать. Но разница в ценах показывает, почему маленькие модели важны: у BroadNet Gemma 4 VL 26B указано $0.22 за 1 млн выходных токенов против $3.46 у GLM 5.3. Достаточно ли хороша меньшая модель, покажет только ваш собственный eval. Статья о [лучшей открытой модели для агентов для программирования](https://broadrouter.com/ru/blog/best-open-model-for-coding-agents/) сравнивает варианты по задачам.

## Вопросы и ответы

### Чем дистилляция отличается от квантизации?

Дистилляция обучает новую, меньшую модель. Квантизация оставляет ту же модель и хранит её веса с меньшей точностью. Оба подхода удешевляют инференс, и их можно сочетать.

### Дистиллированная модель так же хороша, как учитель?

Обычно не на всех задачах, но на тех, для которых её дистиллировали, она может подойти близко. В тесте на MNIST, проведённом Хинтоном, Виньялсом и Дином, дистиллированная маленькая сеть сделала 74 ошибки против 67 у учителя.

### Можно ли дистиллировать модель другого провайдера?

Прежде чем обучаться на выходах модели-учителя, прочитайте её лицензию или условия API. В этом вопросе они различаются, и некоторые такое ограничивают.

## См. также

-   [Дообучение (fine-tuning)](https://broadrouter.com/ru/glossary/fine-tuning/) (термин)
-   [LoRA (низкоранговая адаптация)](https://broadrouter.com/ru/glossary/lora/) (термин)
-   [Квантизация (quantization)](https://broadrouter.com/ru/glossary/quantization/) (термин)
-   [Температура (temperature)](https://broadrouter.com/ru/glossary/temperature/) (термин)
-   [Модель с открытыми весами (open-weight model)](https://broadrouter.com/ru/glossary/open-weight-model/) (термин)
-   [Почему рассуждающая модель возвращает пустой ответ](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/) (руководство)
-   [Открытые или закрытые модели ИИ для бизнеса: цена, контроль, риски](https://broadrouter.com/ru/blog/open-weight-vs-closed-models/) (статья)
-   [Лучшая открытая модель для агентов программирования: как выбрать](https://broadrouter.com/ru/blog/best-open-model-for-coding-agents/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-distillation&utm_content=page-cta) ·

**Источники**

-   [Hinton, Vinyals и Dean (2015), Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531)
-   [DeepSeek-AI (2025), статья о DeepSeek-R1](https://arxiv.org/abs/2501.12948)
-   [Карточка модели DeepSeek-R1 на Hugging Face (дистиллированные модели)](https://huggingface.co/deepseek-ai/DeepSeek-R1)
