Плотная модель задействует каждый вес для каждого токена. Модель со смесью экспертов запускает только тех немногих экспертов, которых выбрал её роутер.
Как это работает
Shazeer и соавторы представили разреженно-управляемый MoE-слой в 2017 году: до нескольких тысяч полносвязных подсетей и “a trainable gating network” (перевод: «обучаемая управляющая сеть»), которая выбирает для каждого входа “a sparse combination of these experts” (перевод: «разреженную комбинацию этих экспертов»). В современном трансформере полносвязный блок некоторых слоёв превращается в набор экспертов. Для каждого токена роутер оценивает экспертов и отправляет токен нескольким лучшим. В некоторых архитектурах добавлен общий эксперт, через которого проходит каждый токен.
Цифры из двух карточек моделей:
| Модель | Всего параметров | Активно на токен | Эксперты |
|---|---|---|---|
| Gemma 4 26B A4B (Google) | 25,2 млрд | 3,8 млрд | 8 активных из 128 плюс 1 общий |
| DeepSeek V4.1 Flash (DeepSeek) | 552 млрд (основа) | 8 млрд при prefill, 16 млрд при decode | 6 маршрутизируемых из 384 плюс 1 общий |
Карточка Google говорит, что модель 26B A4B “runs almost as fast as a 4B-parameter model.” (перевод: «работает почти так же быстро, как модель на 4 млрд параметров».)
Почему это важно
- Скорость и цена за токен определяются активными параметрами, потому что именно столько вычислений нужно каждому токену. Так MoE-модель может быть большой и при этом дешёвой в обслуживании.
- Память определяется общим числом параметров. Каждый эксперт должен находиться в памяти GPU, поэтому MoE-модели нужно столько же места под веса, сколько плотной модели того же общего размера. Распространённый способ их уместить — квантизация.
- Качество не следует чётко ни за одним из этих чисел. Сравнивайте модели на своей задаче, а не по числу параметров.
В BroadNet Inference
BroadNet обслуживает BroadNet Gemma 4 VL 26B под ID модели broadnet/gemma-4-26b-a4b и описывает её как основанную на Gemma 4 от Google. В её каталоге моделей продакшен-сборка указана как Gemma 4 26B A4B с 4-битными весами AWQ и предсказанием нескольких токенов. Она стоит $0.10 за вход и $0.22 за выход за 1 млн токенов, и именно она работает за почасовым ключом. Смотрите Gemma 4 VL 26B.
DeepSeek V4.1 Flash — модель BroadNet с контекстом в 1 048 576 токенов и единственная модель на тарифах с фиксированной ценой. Её MoE-архитектуру описывает DeepSeek, а не BroadNet. Как открытые модели соотносятся как категория, смотрите в статьях модели с открытыми весами и модели с открытыми весами против закрытых.