密(dense)なモデルは、すべてのトークンですべての重みを動かします。混合エキスパートモデルは、ルーターが選んだ少数のエキスパートだけを動かします。
仕組み
Shazeer らは 2017 年に、スパースなゲート付き MoE 層を提案しました。最大で数千のフィードフォワード型サブネットワークを持ち、“a trainable gating network”(訳:学習可能なゲーティングネットワーク)が入力ごとに “a sparse combination of these experts”(訳:これらのエキスパートのスパースな組み合わせ)を選ぶものです。現在の Transformer では、一部の層のフィードフォワードブロックがエキスパートの集合になります。ルーターはトークンごとに各エキスパートを採点し、上位の少数にトークンを送ります。すべてのトークンが使う共有エキスパートを加える設計もあります。
2 つのモデルカードの数字を示します。
| モデル | 総パラメータ | トークンあたりのアクティブ | エキスパート |
|---|---|---|---|
| Gemma 4 26B A4B(Google) | 25.2B | 3.8B | 128 個中 8 個がアクティブ、共有 1 個 |
| DeepSeek V4.1 Flash(DeepSeek) | バックボーン 552B | プレフィルで 8B、デコードで 16B | ルーティング対象 384 個中 6 個、共有 1 個 |
Google のモデルカードによると、26B A4B モデルは “runs almost as fast as a 4B-parameter model”(訳:4B パラメータのモデルとほぼ同じ速さで動く)とされています。
なぜ重要か
- 速度とトークンあたりの料金は、アクティブパラメータに比例します。それが各トークンに必要な計算量だからです。こうして MoE モデルは、大きくても安く提供できます。
- メモリは総パラメータに比例します。すべてのエキスパートを GPU メモリに置く必要があるため、MoE モデルの重みには、総サイズが同じ密なモデルと同じだけの容量が必要です。量子化は、それを収めるための一般的な方法です。
- 品質は、どちらの数字ともきれいには対応しません。パラメータ数ではなく、自分のタスクでモデルを比較してください。
BroadNet Inference の場合
BroadNet は BroadNet Gemma 4 VL 26B をモデル ID broadnet/gemma-4-26b-a4b で提供しており、Google の Gemma 4 をベースにしていると説明しています。同社のモデルカタログでは、本番のビルドを、AWQ 4 ビットの重みとマルチトークン予測を使った Gemma 4 26B A4B としています。料金は 100 万トークンあたり入力 $0.10、出力 $0.22 で、時間制キーで使われるモデルでもあります。Gemma 4 VL 26B を参照してください。
DeepSeek V4.1 Flash は、BroadNet の 1,048,576 トークンのコンテキストを持つモデルで、定額プランで使える唯一のモデルです。その MoE の設計は、BroadNet ではなく DeepSeek が文書化しています。オープンモデルをカテゴリとして比べるには、オープンウェイトモデルとオープンウェイトとクローズドモデルの比較を参照してください。