BroadNet のモデルカタログには、自社ハードウェアで実行、ベンチマーク、量子化、ファインチューニングしたとするすべてのモデルが掲載されており、不採用にしたものには理由が付いています。約 30 のモデルと手法に RULED OUT(不採用)のラベルが付いています。以下の数値は 2026 年 9 月に BroadNet のラボで測定されたもので、私たちではなく BroadNet の結果です。
カタログでは 6 つのラベルを使っています。PROD(本番トラフィックを処理した)、SERVED(カタログの言葉では “ran on our fleet”(訳:自社のフリートで動かした))、BENCH(ベンチマークした)、QUANT(BroadNet が量子化した)、FT(BroadNet がファインチューニングした)、RULED OUT(不採用)です。
BroadNet はどのチャットモデルを不採用にしましたか?
| モデル | BroadNet が行ったこと | 不採用の理由 |
|---|---|---|
| Qwen3.5 35B A3B(AWQ 4-bit) | 速度重視の枠として提供、約 164 tokens/s | セキュリティ用途で BroadNet の認証情報安全性テストに不合格 |
| GLM 4.7 Flash(AWQ) | 試験的に提供 | ラベルは RULED OUT ではなく SERVED。BroadNet によれば認証情報安全性テストによりセキュリティ用途から外され、本番未満にとどめられた |
| Nemotron 3 Nano 30B A3B(NVFP4) | 独自の推論(reasoning)パーサーで提供 | ラベルは RULED OUT ではなく SERVED。BroadNet によれば認証情報安全性テストによりセキュリティ用途から外され、本番未満にとどめられた |
| Qwen3.6 35B A3B | RTX 5090 と GB10 で提供 | チャットボットの枠で Gemma 4 26B に負けた |
| Gemma 4 E4B(AWQ INT4) | GB10 で同居させて提供、約 94 tokens/s | チャットボットの枠で Gemma 4 26B に負けた |
| Gemma 4 26B A4B NVFP4(3 つの公開元) | 量子化を評価 | sm_120 と sm_121 の GPU での直接比較の結果、AWQ に切り替えて廃止 |
| EAGLE3 による投機的デコーディング | 高負荷時のサービングでテスト | 同時 32 リクエストでスループットが 69% 低下。マルチトークン予測のドラフターを継続 |
このパターンは、オープンモデルを選ぶ人にとって重要です。不採用のうち 3 件は品質ではなく安全性が理由でした。速度は十分でも、認証情報を繰り返してしまうモデルです。これは、アクティブパラメータの少ない Mixture of Experts モデルで最も多く見られた失敗パターンだと、BroadNet の Safety Map の研究が報告しています。チャットボットの枠を勝ち取った Gemma 4 26B A4B は、BroadNet が Gemma 4 VL 26B として販売しているモデルです。
どの音声モデルが不採用になりましたか?
| モデル | 不採用の理由 |
|---|---|
| Gemma 4 E2B、Gemma 4 12B(文字起こし用途) | 代わりに E4B の音声版を採用 |
| Omnilingual ASR 300M、1B、3B と CTC 版(Meta) | 7B 版がその枠を獲得 |
| Voxtral Mini 3B / 4B Realtime(Mistral) | アラビア語向けとして不採用 |
| ArTSTv3(MBZUAI 系) | アラビア語の枠で不採用。Cohere Transcribe Arabic を継続 |
| FireRedVAD、DeepFilterNet、BNR(前処理) | 直接比較の結果、Silero の音声区間検出を採用 |
BroadNet の報告では、採用したモデル Cohere Transcribe Arabic 07-2026 は、自社のテストで MASC の方言音声に対して単語誤り率 21.1 を記録しました。ElevenLabs Scribe v2 は 22.3、Whisper large-v3 は 31.5 です。BroadNet はこのモデルを BroadNet Transcribe Arabic として提供しています。カタログによれば、Whisper large-v3 はフォールバック候補としてベンチマークされました。
選ばれなかった文書・埋め込み・画像モデルは?
OCR と文書解析
- それまで使っていた API の LlamaParse は、BroadNet の OmniDocBench サブセットで 16.6 でした。BroadNet が不採用にした理由は “it loses tables, and self-hosting is 98% cheaper per 1,000 pages”(訳:表が失われ、セルフホストなら 1,000 ページあたり 98% 安い)です。
- olmOCR-2、HunyuanOCR、GOT-OCR 2.0、Nanonets OCR2 は評価の結果不採用となり、Nanonets はライセンス条件が理由でした。PaddleOCR-VL 1.6 のほうがスコアは高かった(94.74 対 86.81)ものの、文書の解析と図の説明の両方ができる dots.mocr が本番用に選ばれました。
埋め込み
- gemini-embedding-2 は gemini-embedding-001 より性能が下がった(BroadNet の検索ベンチマークで 0.767 対 0.824)ため、アラビア語向けとして不採用になりました。
- それまで使っていた nomic-embed-text v1.5 は全体で 0.468、アラビア語で 0.130 となり、廃止されました。
- Octen 8B、Harrier 0.6B、Nemotron Embed 1B は実際に提供したうえで、アラビア語の実トラフィックで不採用になりました。“where our podium held despite their public-board wins”(訳:公開ボードでは勝っていたにもかかわらず、私たちの上位陣は入れ替わらなかった)とのことです。
BroadNet はモデル選びより大きな影響があった知見も 1 つ挙げています。ワークロードに合わせたクエリ指示によって検索品質(nDCG)が 0.048 変わり、埋め込みモデルを 4B から 8B にした場合より大きな差になりました。
画像生成と安全性
- Cosmos3 Super 64B と HunyuanImage 3.0 80B は、ハードウェアとの適合とライセンス条件を理由に不採用になりました。
- openai/privacy-filter 1.5B は、BroadNet の漏えいコーパスで認証情報は 100% 検出しましたが、給与額は 0% しか検出できず、ファイアウォールとしては不採用になりました。
不採用の理由から何を学べますか?
BroadNet 自身の構成を超えて通用する教訓が 4 つあります。
- **リーダーボードではなく、自分の用途でテストする。**公開ボードで勝っていた埋め込みモデルのいくつかが、アラビア語の実トラフィックで負けました。
- **安全性は別の関門。**高速で高性能なモデルでも、認証情報のテストに落ちることがあります。モデルに秘密情報を見せる前にテストしてください。BroadNet の評価手法が出発点になります。
- **何を提供できるかはライセンスで決まる。**Voxtral 4B TTS や Higgs Audio v3 などの非商用モデルは、カタログでは品質の上限としてのみ登場します。
- **サービングの選択も測定で決める。**量子化形式やドラフト手法は、既定でではなく直接比較の数値で不採用になりました。BroadNet の GPU ハードウェアとサービングを参照してください。
ここにある数値はすべて、1 社のラボとトラフィックから得たものです。テストすべき候補リストとして使い、乗り換える前に自分のデータで評価してください。また、不採用やベンチマークのみの行は API で呼び出せるものではありません。モデルカタログの読み方で、提供中、要相談、研究用の項目の見分け方を説明しています。
