BroadRouter

Model yang dievaluasi lalu dicoret BroadNet, dan alasannya

Oleh tim BroadNet Inference · 4 menit baca · Dipublikasikan · Diperbarui

Katalog model BroadNet menandai sekitar 30 model dan metode sebagai dicoret setelah diuji di lab-nya. Alasannya sebagian besar terbagi dalam lima kelompok: kalah dari model yang lebih kuat untuk pekerjaan yang sama, gagal uji keamanan kredensial, lisensi yang melarang penyajian lewat API, format kuantisasi yang kalah dalam perbandingan langsung, dan regresi bahasa Arab. Semua hasil adalah pengukuran BroadNet sendiri pada September 2026.

Katalog model BroadNet mencantumkan setiap model yang menurut BroadNet pernah dijalankan, di-benchmark, dikuantisasi, atau di-fine-tune di hardware miliknya, dan menandai model yang ditolak beserta alasannya. Sekitar 30 model dan metode berlabel RULED OUT (dicoret). Angka-angka di bawah diukur di lab BroadNet pada September 2026; ini hasil BroadNet, bukan hasil kami.

Katalog memakai enam label: PROD (pernah melayani trafik live), SERVED (menurut katalog, “ran on our fleet” (pernah berjalan di armada kami)), BENCH (di-benchmark), QUANT (kuantisasinya dibuat BroadNet), FT (di-fine-tune BroadNet), dan RULED OUT.

Model chat mana yang dicoret BroadNet?

Model Apa yang dilakukan BroadNet Mengapa dicoret
Qwen3.5 35B A3B (AWQ 4-bit) Disajikan sebagai tier kecepatan, sekitar 164 token/detik Gagal rangkaian uji keamanan kredensial BroadNet untuk peran keamanan
GLM 4.7 Flash (AWQ) Disajikan secara eksperimental Berlabel SERVED, bukan RULED OUT: BroadNet menyebut model ini dicoret untuk peran keamanan oleh rangkaian uji keamanan kredensial dan ditahan di bawah produksi
Nemotron 3 Nano 30B A3B (NVFP4) Disajikan dengan parser penalaran khusus Berlabel SERVED, bukan RULED OUT: BroadNet menyebut model ini dicoret untuk peran keamanan oleh rangkaian uji keamanan kredensial dan ditahan di bawah produksi
Qwen3.6 35B A3B Disajikan di RTX 5090 dan GB10 Kalah dari Gemma 4 26B untuk posisi chatbot
Gemma 4 E4B (AWQ INT4) Disajikan di GB10 sebagai co-tenant, sekitar 94 token/detik Kalah dari Gemma 4 26B untuk posisi chatbot
Gemma 4 26B A4B NVFP4 (tiga penerbit) Kuantisasi dievaluasi Dipensiunkan dan diganti AWQ setelah perbandingan langsung di GPU sm_120 dan sm_121
Speculative decoding EAGLE3 Diuji untuk penyajian saat jenuh Menghabiskan 69% throughput pada 32 permintaan bersamaan; drafter multi-token-prediction tetap dipakai

Polanya penting bagi siapa pun yang memilih model terbuka. Tiga penolakan berkaitan dengan keamanan, bukan kualitas: model yang cukup cepat tetapi mengulang kredensial. Itulah mode kegagalan yang paling sering ditemukan studi Safety Map BroadNet pada model mixture-of-experts dengan parameter aktif kecil. Model yang memenangkan posisi chatbot, Gemma 4 26B A4B, adalah model yang dijual BroadNet sebagai Gemma 4 VL 26B.

Model speech mana yang dicoret?

Model Mengapa dicoret
Gemma 4 E2B, Gemma 4 12B (sebagai transkriber) Varian audio E4B yang dipertahankan
Omnilingual ASR 300M, 1B, 3B, dan varian CTC (Meta) Varian 7B yang mendapat posisinya
Voxtral Mini 3B / 4B Realtime (Mistral) Dicoret untuk bahasa Arab
ArTSTv3 (garis MBZUAI) Dicoret untuk posisi bahasa Arab; Cohere Transcribe Arabic dipertahankan
FireRedVAD, DeepFilterNet, BNR (front-end) Deteksi aktivitas suara Silero dipakai setelah perbandingan langsung

BroadNet melaporkan bahwa model yang dipertahankannya, Cohere Transcribe Arabic 07-2026, mencetak word error rate 21,1 pada ucapan dialek MASC, dibandingkan 22,3 untuk ElevenLabs Scribe v2 dan 31,5 untuk Whisper large-v3, dalam ujinya sendiri. BroadNet menyajikan model itu sebagai BroadNet Transcribe Arabic. Katalog juga menyebut Whisper large-v3 di-benchmark sebagai cadangan.

Model dokumen, embedding, dan gambar mana yang kalah?

OCR dan parsing dokumen

  • LlamaParse, API yang selama ini dipakai, mencetak 16,6 pada subset OmniDocBench milik BroadNet. BroadNet mencoretnya karena “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (Terjemahan BroadRouter: tabelnya hilang, dan self-hosting 98% lebih murah per 1.000 halaman).
  • olmOCR-2, HunyuanOCR, GOT-OCR 2.0, dan Nanonets OCR2 dievaluasi lalu dicoret; Nanonets karena syarat lisensi. dots.mocr dipertahankan sebagai pilihan produksi karena bisa mem-parsing sekaligus mendeskripsikan gambar, meskipun PaddleOCR-VL 1.6 mencetak skor lebih tinggi (94,74 berbanding 86,81).

Embedding

  • gemini-embedding-2 dicoret untuk bahasa Arab setelah mengalami regresi dibandingkan gemini-embedding-001 (0,767 berbanding 0,824 pada benchmark retrieval BroadNet).
  • nomic-embed-text v1.5, solusi sebelumnya, mencetak 0,468 secara keseluruhan dan 0,130 untuk bahasa Arab, lalu dipensiunkan.
  • Octen 8B, Harrier 0.6B, dan Nemotron Embed 1B disajikan lalu dicoret pada trafik bahasa Arab nyata, “where our podium held despite their public-board wins” (Terjemahan BroadRouter: di mana podium kami bertahan meski mereka menang di leaderboard publik).

BroadNet menambahkan satu temuan yang lebih berpengaruh daripada pilihan model: instruksi kueri yang spesifik untuk beban kerja menggeser kualitas retrieval (nDCG) sebesar 0,048, lebih besar daripada beralih dari model embedding 4B ke 8B.

Pembuatan gambar dan keamanan

  • Cosmos3 Super 64B dan HunyuanImage 3.0 80B dicoret karena kecocokan hardware dan syarat lisensi.
  • openai/privacy-filter 1.5B menangkap 100% kredensial tetapi 0% angka gaji dalam korpus kebocoran BroadNet, sehingga dicoret sebagai firewall.

Apa yang bisa dipelajari dari penolakan ini?

Empat pelajaran berlaku di luar stack BroadNet sendiri:

  1. Uji pekerjaannya, bukan leaderboard-nya. Beberapa model embedding yang menang di leaderboard publik kalah pada trafik bahasa Arab nyata.
  2. Keamanan adalah gerbang tersendiri. Model yang cepat dan mampu tetap bisa gagal dalam uji kredensial. Jalankan uji semacam itu sebelum sebuah model melihat rahasia; metode evaluasi BroadNet bisa menjadi titik awal.
  3. Lisensi menentukan apa yang bisa disajikan. Model nonkomersial seperti Voxtral 4B TTS dan Higgs Audio v3 muncul di katalog hanya sebagai batas atas kualitas.
  4. Pilihan penyajian juga diukur. Format kuantisasi dan metode drafting dicoret berdasarkan angka perbandingan langsung, bukan secara default. Lihat hardware GPU dan pendekatan penyajian BroadNet.

Setiap angka di sini berasal dari lab dan trafik satu perusahaan. Gunakan sebagai daftar pendek hal yang perlu diuji, lalu evaluasi dengan data Anda sendiri sebelum beralih. Baris yang dicoret atau hanya di-benchmark juga bukan model yang bisa Anda panggil; membaca katalog model menjelaskan cara membedakan entri live, atas permintaan, dan riset.

Pertanyaan umum

Mengapa BroadNet menerbitkan model yang ditolaknya?

Katalognya menyebut bahwa BroadNet menerbitkan "what we rule out as carefully as what we ship" (Terjemahan BroadRouter: apa yang kami coret, secermat apa yang kami rilis), agar pembeli bisa melihat alasan di balik setiap rekomendasi. Penolakan beserta alasannya adalah bukti yang bisa Anda uji pada beban kerja Anda sendiri.

Apakah "dicoret" berarti modelnya buruk?

Tidak. Sebagian besar penolakan berlaku untuk satu posisi di pipeline BroadNet sendiri, pada setup dan trafik yang dilaporkan BroadNet. Qwen3.6 35B A3B dan Gemma 4 E4B kalah dari Gemma 4 26B untuk posisi chatbot; keduanya mungkin tetap cocok untuk pekerjaan Anda.

Apa itu rangkaian uji keamanan kredensial?

Uji BroadNet untuk melihat apakah sebuah model mengulang kredensial yang dilihatnya, berdasarkan metode evaluasi data sensitif yang diterbitkannya. Model yang gagal ditahan di bawah level produksi untuk peran keamanan.

Mengapa lisensi bisa membuat model dicoret?

Beberapa model kuat, seperti Voxtral 4B TTS dan Higgs Audio v3, berlisensi nonkomersial, sehingga BroadNet hanya mem-benchmark-nya sebagai batas atas kualitas dan tidak bisa menyajikannya lewat API berbayar.

Apakah model yang dicoret tersedia di BroadNet Inference?

Tidak. API ini menjual enam model, dan tiga model lagi tersedia atas permintaan. Model yang ditandai dicoret tidak ditawarkan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity