BroadRouter

Смесь экспертов (mixture of experts, MoE)

Обновлено

Смесь экспертов (MoE) — это архитектура нейросети, в которой слой содержит много подсетей-экспертов, а обучаемый роутер отправляет каждый токен лишь в несколько из них. У MoE-модели большое общее число параметров, но на каждый токен она задействует небольшое активное подмножество.

Также называют: MoE, смесь экспертов, MoE-модель, MoE-архитектура, разреженная смесь экспертов, активные параметры, mixture of experts, sparse MoE, mixture-of-experts model, sparse expert model, active parameters

Плотная модель задействует каждый вес для каждого токена. Модель со смесью экспертов запускает только тех немногих экспертов, которых выбрал её роутер.

Как это работает

Shazeer и соавторы представили разреженно-управляемый MoE-слой в 2017 году: до нескольких тысяч полносвязных подсетей и “a trainable gating network” (перевод: «обучаемая управляющая сеть»), которая выбирает для каждого входа “a sparse combination of these experts” (перевод: «разреженную комбинацию этих экспертов»). В современном трансформере полносвязный блок некоторых слоёв превращается в набор экспертов. Для каждого токена роутер оценивает экспертов и отправляет токен нескольким лучшим. В некоторых архитектурах добавлен общий эксперт, через которого проходит каждый токен.

Цифры из двух карточек моделей:

Модель Всего параметров Активно на токен Эксперты
Gemma 4 26B A4B (Google) 25,2 млрд 3,8 млрд 8 активных из 128 плюс 1 общий
DeepSeek V4.1 Flash (DeepSeek) 552 млрд (основа) 8 млрд при prefill, 16 млрд при decode 6 маршрутизируемых из 384 плюс 1 общий

Карточка Google говорит, что модель 26B A4B “runs almost as fast as a 4B-parameter model.” (перевод: «работает почти так же быстро, как модель на 4 млрд параметров».)

Почему это важно

  • Скорость и цена за токен определяются активными параметрами, потому что именно столько вычислений нужно каждому токену. Так MoE-модель может быть большой и при этом дешёвой в обслуживании.
  • Память определяется общим числом параметров. Каждый эксперт должен находиться в памяти GPU, поэтому MoE-модели нужно столько же места под веса, сколько плотной модели того же общего размера. Распространённый способ их уместить — квантизация.
  • Качество не следует чётко ни за одним из этих чисел. Сравнивайте модели на своей задаче, а не по числу параметров.

В BroadNet Inference

BroadNet обслуживает BroadNet Gemma 4 VL 26B под ID модели broadnet/gemma-4-26b-a4b и описывает её как основанную на Gemma 4 от Google. В её каталоге моделей продакшен-сборка указана как Gemma 4 26B A4B с 4-битными весами AWQ и предсказанием нескольких токенов. Она стоит $0.10 за вход и $0.22 за выход за 1 млн токенов, и именно она работает за почасовым ключом. Смотрите Gemma 4 VL 26B.

DeepSeek V4.1 Flash — модель BroadNet с контекстом в 1 048 576 токенов и единственная модель на тарифах с фиксированной ценой. Её MoE-архитектуру описывает DeepSeek, а не BroadNet. Как открытые модели соотносятся как категория, смотрите в статьях модели с открытыми весами и модели с открытыми весами против закрытых.

Вопросы и ответы

Что означает A4B в названии Gemma 4 26B A4B?

В карточке модели Google сказано, что «A» обозначает активные параметры (active). Всего у модели 25,2 млрд параметров, но на каждый токен она активирует около 3,8 млрд.

DeepSeek V4.1 Flash — это модель со смесью экспертов?

Да. Карточка DeepSeek называет её мультимодальной MoE-моделью с 552 млрд параметров основы, 1 общим и 384 маршрутизируемыми экспертами в каждом MoE-слое и 6 маршрутизируемыми экспертами, активными на токен.

Нужно ли MoE-модели меньше памяти?

Нет. Загружены должны быть все эксперты, потому что любой токен может попасть в любого из них. MoE экономит вычисления на токен, а не память под веса.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity