---
title: "Что такое смесь экспертов (MoE) в LLM? | BroadRouter"
description: "MoE-модель пропускает каждый токен через несколько подсетей-экспертов, и работает лишь часть модели. Общие и активные параметры на примерах Gemma 4 и DeepSeek."
url: https://broadrouter.com/ru/glossary/mixture-of-experts/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/mixture-of-experts/) (обновлён 2026-11-14).

# Смесь экспертов (mixture of experts, MoE)

Обновлено 2026-11-14

Смесь экспертов (MoE) — это архитектура нейросети, в которой слой содержит много подсетей-экспертов, а обучаемый роутер отправляет каждый токен лишь в несколько из них. У MoE-модели большое общее число параметров, но на каждый токен она задействует небольшое активное подмножество.

Также называют: MoE, смесь экспертов, MoE-модель, MoE-архитектура, разреженная смесь экспертов, активные параметры, mixture of experts, sparse MoE, mixture-of-experts model, sparse expert model, active parameters

Плотная модель задействует каждый вес для каждого токена. Модель со смесью экспертов запускает только тех немногих экспертов, которых выбрал её роутер.

## Как это работает

Shazeer и соавторы представили разреженно-управляемый MoE-слой в 2017 году: до нескольких тысяч полносвязных подсетей и “a trainable gating network” (перевод: «обучаемая управляющая сеть»), которая выбирает для каждого входа “a sparse combination of these experts” (перевод: «разреженную комбинацию этих экспертов»). В современном трансформере полносвязный блок некоторых слоёв превращается в набор экспертов. Для каждого токена роутер оценивает экспертов и отправляет токен нескольким лучшим. В некоторых архитектурах добавлен общий эксперт, через которого проходит каждый токен.

Цифры из двух карточек моделей:

| Модель | Всего параметров | Активно на токен | Эксперты |
| --- | --- | --- | --- |
| Gemma 4 26B A4B (Google) | 25,2 млрд | 3,8 млрд | 8 активных из 128 плюс 1 общий |
| DeepSeek V4.1 Flash (DeepSeek) | 552 млрд (основа) | 8 млрд при prefill, 16 млрд при decode | 6 маршрутизируемых из 384 плюс 1 общий |

Карточка Google говорит, что модель 26B A4B “runs almost as fast as a 4B-parameter model.” (перевод: «работает почти так же быстро, как модель на 4 млрд параметров».)

## Почему это важно

-   **Скорость и цена за токен** определяются активными параметрами, потому что именно столько вычислений нужно каждому токену. Так MoE-модель может быть большой и при этом дешёвой в обслуживании.
-   **Память** определяется общим числом параметров. Каждый эксперт должен находиться в памяти GPU, поэтому MoE-модели нужно столько же места под веса, сколько плотной модели того же общего размера. Распространённый способ их уместить — [квантизация](https://broadrouter.com/ru/glossary/quantization/).
-   **Качество** не следует чётко ни за одним из этих чисел. Сравнивайте модели на своей задаче, а не по числу параметров.

## В BroadNet Inference

BroadNet обслуживает BroadNet Gemma 4 VL 26B под ID модели `broadnet/gemma-4-26b-a4b` и описывает её как основанную на Gemma 4 от Google. В её каталоге моделей продакшен-сборка указана как Gemma 4 26B A4B с 4-битными весами AWQ и предсказанием нескольких токенов. Она стоит $0.10 за вход и $0.22 за выход за 1 млн токенов, и именно она работает за почасовым ключом. Смотрите [Gemma 4 VL 26B](https://broadrouter.com/ru/models/gemma-4-vl-26b/).

[DeepSeek V4.1 Flash](https://broadrouter.com/ru/models/deepseek-v4.1-flash/) — модель BroadNet с контекстом в 1 048 576 токенов и единственная модель на тарифах с фиксированной ценой. Её MoE-архитектуру описывает DeepSeek, а не BroadNet. Как открытые модели соотносятся как категория, смотрите в статьях [модели с открытыми весами](https://broadrouter.com/ru/glossary/open-weight-model/) и [модели с открытыми весами против закрытых](https://broadrouter.com/ru/blog/open-weight-vs-closed-models/).

## Вопросы и ответы

### Что означает A4B в названии Gemma 4 26B A4B?

В карточке модели Google сказано, что «A» обозначает активные параметры (active). Всего у модели 25,2 млрд параметров, но на каждый токен она активирует около 3,8 млрд.

### DeepSeek V4.1 Flash — это модель со смесью экспертов?

Да. Карточка DeepSeek называет её мультимодальной MoE-моделью с 552 млрд параметров основы, 1 общим и 384 маршрутизируемыми экспертами в каждом MoE-слое и 6 маршрутизируемыми экспертами, активными на токен.

### Нужно ли MoE-модели меньше памяти?

Нет. Загружены должны быть все эксперты, потому что любой токен может попасть в любого из них. MoE экономит вычисления на токен, а не память под веса.

## См. также

-   [Модель с открытыми весами (open-weight model)](https://broadrouter.com/ru/glossary/open-weight-model/) (термин)
-   [Квантизация (quantization)](https://broadrouter.com/ru/glossary/quantization/) (термин)
-   [Токены в секунду (tokens per second, TPS)](https://broadrouter.com/ru/glossary/tokens-per-second/) (термин)
-   [KV-кэш (KV cache)](https://broadrouter.com/ru/glossary/kv-cache/) (термин)
-   [GPU-час (GPU-hour)](https://broadrouter.com/ru/glossary/gpu-hour/) (термин)
-   [OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/) (руководство)
-   [Открытые или закрытые модели ИИ для бизнеса: цена, контроль, риски](https://broadrouter.com/ru/blog/open-weight-vs-closed-models/) (статья)
-   [Лучшая открытая модель для агентов программирования: как выбрать](https://broadrouter.com/ru/blog/best-open-model-for-coding-agents/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-mixture-of-experts&utm_content=page-cta) ·

**Источники**

-   [Shazeer и др., Outrageously Large Neural Networks, the Sparsely-Gated Mixture-of-Experts Layer, arXiv 1701.06538](https://arxiv.org/abs/1701.06538)
-   [Google, карточка модели Gemma 4 26B A4B (instruction-tuned)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [DeepSeek, карточка модели DeepSeek-V4.1-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Справочник API BroadNet Inference, ID моделей (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-mixture-of-experts&utm_content=sources)
-   [Каталог моделей BroadNet (лабораторные замеры, сентябрь 2026) (на английском)](https://www.broadnet.ai/inference/models)
