BroadRouter

混合エキスパート(MoE)

更新日

混合エキスパート(MoE)とは、層の中に多数のエキスパート(サブネットワーク)を持ち、学習済みのルーターが各トークンを少数のエキスパートだけに送る設計です。MoE の言語モデルは総パラメータ数が大きくても、トークンごとに使うのは一部だけです。

別名: MoE、専門家混合、Mixture of Experts、スパース MoE、アクティブパラメータ、mixture of experts、sparse MoE、mixture-of-experts model、sparse expert model、active parameters

密(dense)なモデルは、すべてのトークンですべての重みを動かします。混合エキスパートモデルは、ルーターが選んだ少数のエキスパートだけを動かします。

仕組み

Shazeer らは 2017 年に、スパースなゲート付き MoE 層を提案しました。最大で数千のフィードフォワード型サブネットワークを持ち、“a trainable gating network”(訳:学習可能なゲーティングネットワーク)が入力ごとに “a sparse combination of these experts”(訳:これらのエキスパートのスパースな組み合わせ)を選ぶものです。現在の Transformer では、一部の層のフィードフォワードブロックがエキスパートの集合になります。ルーターはトークンごとに各エキスパートを採点し、上位の少数にトークンを送ります。すべてのトークンが使う共有エキスパートを加える設計もあります。

2 つのモデルカードの数字を示します。

モデル 総パラメータ トークンあたりのアクティブ エキスパート
Gemma 4 26B A4B(Google) 25.2B 3.8B 128 個中 8 個がアクティブ、共有 1 個
DeepSeek V4.1 Flash(DeepSeek) バックボーン 552B プレフィルで 8B、デコードで 16B ルーティング対象 384 個中 6 個、共有 1 個

Google のモデルカードによると、26B A4B モデルは “runs almost as fast as a 4B-parameter model”(訳:4B パラメータのモデルとほぼ同じ速さで動く)とされています。

なぜ重要か

  • 速度とトークンあたりの料金は、アクティブパラメータに比例します。それが各トークンに必要な計算量だからです。こうして MoE モデルは、大きくても安く提供できます。
  • メモリは総パラメータに比例します。すべてのエキスパートを GPU メモリに置く必要があるため、MoE モデルの重みには、総サイズが同じ密なモデルと同じだけの容量が必要です。量子化は、それを収めるための一般的な方法です。
  • 品質は、どちらの数字ともきれいには対応しません。パラメータ数ではなく、自分のタスクでモデルを比較してください。

BroadNet Inference の場合

BroadNet は BroadNet Gemma 4 VL 26B をモデル ID broadnet/gemma-4-26b-a4b で提供しており、Google の Gemma 4 をベースにしていると説明しています。同社のモデルカタログでは、本番のビルドを、AWQ 4 ビットの重みとマルチトークン予測を使った Gemma 4 26B A4B としています。料金は 100 万トークンあたり入力 $0.10、出力 $0.22 で、時間制キーで使われるモデルでもあります。Gemma 4 VL 26B を参照してください。

DeepSeek V4.1 Flash は、BroadNet の 1,048,576 トークンのコンテキストを持つモデルで、定額プランで使える唯一のモデルです。その MoE の設計は、BroadNet ではなく DeepSeek が文書化しています。オープンモデルをカテゴリとして比べるには、オープンウェイトモデルとオープンウェイトとクローズドモデルの比較を参照してください。

よくある質問

Gemma 4 26B A4B の「A4B」とはどういう意味ですか?

Google のモデルカードによると、「A」はアクティブパラメータを表します。このモデルの総パラメータ数は 25.2B ですが、トークンごとに有効になるのは約 3.8B です。

DeepSeek V4.1 Flash は混合エキスパートモデルですか?

はい。DeepSeek のモデルカードでは、マルチモーダルの MoE モデルとされています。バックボーンのパラメータは 552B で、MoE 層ごとに共有エキスパート 1 個とルーティング対象のエキスパート 384 個を持ち、トークンごとにルーティング対象のエキスパート 6 個が有効になります。

MoE モデルは必要なメモリが少ないですか?

いいえ。どのトークンがどのエキスパートに送られるかわからないため、すべてのエキスパートを読み込んでおく必要があります。MoE が節約するのはトークンあたりの計算量で、重みのためのメモリではありません。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く