BroadRouter

BroadNet'in test edip elediği modeller ve nedenleri

BroadNet Inference ekibi · 4 dk okuma · Yayımlandı · Güncellendi

BroadNet'in model kataloğu, laboratuvarında test edildikten sonra yaklaşık 30 model ve yöntemi elenmiş olarak işaretliyor. Gerekçeler çoğunlukla beş gruba ayrılıyor: aynı iş için daha güçlü bir modele yenilme, kimlik bilgisi güvenliği testi, API üzerinden sunmayı engelleyen lisans, karşılaştırmayı kaybeden niceleme biçimi ve Arapçada gerileme. Tüm sonuçlar BroadNet'in Eylül 2026 ölçümleri.

BroadNet’in model kataloğu, kendi donanımında çalıştırdığını, kıyasladığını, nicelediğini veya ince ayar yaptığını söylediği her modeli listeliyor ve reddettiklerini gerekçesiyle işaretliyor. Yaklaşık 30 model ve yöntem RULED OUT (elendi) etiketi taşıyor. Aşağıdaki rakamlar Eylül 2026’da BroadNet’in laboratuvarında ölçüldü; bunlar bizim değil, BroadNet’in sonuçları.

Katalog altı etiket kullanıyor: PROD (canlı trafik taşıdı), SERVED (kataloğun ifadesiyle “ran on our fleet”, yani filomuzda çalıştı), BENCH (kıyaslandı), QUANT (nicelemeyi BroadNet üretti), FT (BroadNet ince ayar yaptı) ve RULED OUT.

BroadNet hangi sohbet modellerini eledi?

Model BroadNet ne yaptı Neden elendi
Qwen3.5 35B A3B (AWQ 4-bit) Hız katmanı olarak sunuldu, yaklaşık 164 token/sn Güvenlik rolleri için BroadNet’in kimlik bilgisi güvenliği test setini geçemedi
GLM 4.7 Flash (AWQ) Deneysel olarak sunuldu RULED OUT değil SERVED etiketli: BroadNet, kimlik bilgisi güvenliği test seti nedeniyle güvenlik rolleri için elendiğini ve üretim seviyesinin altında tutulduğunu söylüyor
Nemotron 3 Nano 30B A3B (NVFP4) Özel bir akıl yürütme ayrıştırıcısıyla sunuldu RULED OUT değil SERVED etiketli: BroadNet, kimlik bilgisi güvenliği test seti nedeniyle güvenlik rolleri için elendiğini ve üretim seviyesinin altında tutulduğunu söylüyor
Qwen3.6 35B A3B RTX 5090 ve GB10 üzerinde sunuldu Sohbet botu görevini Gemma 4 26B’ye kaptırdı
Gemma 4 E4B (AWQ INT4) GB10 üzerinde ortak kiracı olarak sunuldu, yaklaşık 94 token/sn Sohbet botu görevini Gemma 4 26B’ye kaptırdı
Gemma 4 26B A4B NVFP4 (üç yayıncı) Niceleme değerlendirildi sm_120 ve sm_121 GPU’larda birebir karşılaştırmadan sonra AWQ lehine emekliye ayrıldı
EAGLE3 spekülatif kod çözme Doygun sunum için test edildi 32 eşzamanlı istekte işlem hacminin %69’una mal oldu; çoklu token tahmini (MTP) taslakçıları korundu

Bu örüntü, açık model seçen herkes için önemli. Retlerin üçü kaliteyle değil güvenlikle ilgili: yeterince hızlı olan ama kimlik bilgilerini tekrarlayan modeller. Bu, BroadNet’in Safety Map çalışmasının küçük aktif parametreli uzmanlar karışımı (MoE) modellerinde en sık bulduğu hata türü. Sohbet botu görevini kazanan Gemma 4 26B A4B ise BroadNet’in Gemma 4 VL 26B adıyla sattığı model.

Hangi konuşma modelleri elendi?

Model Neden elendi
Gemma 4 E2B, Gemma 4 12B (transkripsiyon için) Bunların yerine E4B ses varyantı tutuldu
Omnilingual ASR 300M, 1B, 3B ve CTC varyantları (Meta) Görevi 7B varyantı kazandı
Voxtral Mini 3B / 4B Realtime (Mistral) Arapça için elendi
ArTSTv3 (MBZUAI soyu) Arapça görevi için elendi; Cohere Transcribe Arabic tutuldu
FireRedVAD, DeepFilterNet, BNR (ön uçlar) Birebir karşılaştırmadan sonra Silero ses etkinliği tespiti benimsendi

BroadNet, tuttuğu model Cohere Transcribe Arabic 07-2026’nın kendi testinde MASC lehçe konuşmasında 21,1 kelime hata oranı aldığını; ElevenLabs Scribe v2’nin 22,3, Whisper large-v3’ün 31,5 aldığını bildiriyor. Bu modeli BroadNet Transcribe Arabic adıyla sunuyor. Katalog ayrıca Whisper large-v3’ün yedek olarak kıyaslandığını söylüyor.

Hangi belge, embedding ve görsel modelleri kaybetti?

OCR ve belge ayrıştırma

  • Mevcut API çözümü LlamaParse, BroadNet’in OmniDocBench alt kümesinde 16,6 puan aldı. BroadNet onu “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (BroadRouter çevirisi: tabloları kaybediyor ve kendi sunucunda barındırmak 1.000 sayfa başına %98 daha ucuz) gerekçesiyle eledi.
  • olmOCR-2, HunyuanOCR, GOT-OCR 2.0 ve Nanonets OCR2 değerlendirilip elendi; Nanonets lisans koşulları nedeniyle. PaddleOCR-VL 1.6 daha yüksek puan almasına rağmen (86,81’e karşı 94,74), hem ayrıştırdığı hem de şekilleri betimlediği için üretim tercihi olarak dots.mocr tutuldu.

Embedding’ler

  • gemini-embedding-2, gemini-embedding-001’e göre gerilediği için Arapçada elendi (BroadNet’in getirme kıyaslamasında 0,824’e karşı 0,767).
  • Eski mevcut çözüm nomic-embed-text v1.5 genelde 0,468, Arapçada 0,130 puan aldı ve emekliye ayrıldı.
  • Octen 8B, Harrier 0.6B ve Nemotron Embed 1B sunuldu ve gerçek Arapça trafikte elendi; bu trafikte “where our podium held despite their public-board wins” (BroadRouter çevirisi: herkese açık tablolardaki galibiyetlerine rağmen bizim podyumumuz yerini korudu).

BroadNet, model seçiminden daha önemli çıkan bir bulgu da ekliyor: iş yüküne özgü bir sorgu talimatı, getirme kalitesini (nDCG) 0,048 değiştirdi; bu, 4B’lik bir embedding modelinden 8B’liğe geçmekten daha büyük bir etki.

Görsel üretimi ve güvenlik

  • Cosmos3 Super 64B ve HunyuanImage 3.0 80B donanım uyumu ve lisans koşulları nedeniyle elendi.
  • openai/privacy-filter 1.5B, BroadNet’in sızıntı derleminde kimlik bilgilerinin %100’ünü ama maaş rakamlarının %0’ını yakaladı; bu yüzden güvenlik duvarı olarak elendi.

Retlerden ne öğrenebilirsiniz?

Dört ders BroadNet’in kendi yığınının ötesinde de geçerli:

  1. Sıralama tablosunu değil, işi test edin. Herkese açık tablolarda kazanan birkaç embedding modeli gerçek Arapça trafikte kaybetti.
  2. Güvenlik ayrı bir kapıdır. Hızlı ve yetenekli bir model de kimlik bilgisi testinde başarısız olabilir. Bir model sırları görmeden önce böyle bir test çalıştırın; BroadNet’in değerlendirme yöntemi iyi bir başlangıç noktası.
  3. Neyin sunulabileceğine lisanslar karar verir. Voxtral 4B TTS ve Higgs Audio v3 gibi ticari olmayan modeller katalogda yalnızca kalite tavanı olarak yer alıyor.
  4. Sunum tercihleri de ölçülür. Niceleme biçimleri ve taslak yöntemleri varsayılan olarak değil, birebir karşılaştırma rakamlarıyla elendi. Bkz. BroadNet’in GPU donanımı ve sunum yaklaşımı.

Buradaki her rakam tek bir şirketin laboratuvarından ve trafiğinden geliyor. Bunu test edilecekler için bir kısa liste olarak kullanın, ardından geçiş yapmadan önce kendi verilerinizle değerlendirin. Elenmiş veya yalnızca kıyaslanmış bir satır, çağırabileceğiniz bir model de değildir; bir model kataloğunu okuma yazısı canlı, talep üzerine ve araştırma girişlerini nasıl ayırt edeceğinizi anlatıyor.

Sık sorulan sorular

BroadNet reddettiği modelleri neden yayımlıyor?

Kataloğu, "what we rule out as carefully as what we ship" (BroadRouter çevirisi: sunduklarımız kadar özenle elediklerimizi de) yayımladığını söylüyor; böylece alıcılar her önerinin arkasındaki gerekçeyi görebiliyor. Gerekçeli bir ret, kendi iş yükünüzde test edebileceğiniz bir kanıttır.

"Elendi" modelin kötü olduğu anlamına mı gelir?

Hayır. Retlerin çoğu, BroadNet'in kendi hattındaki tek bir görev için, BroadNet'in bildirdiği kurulum ve trafik üzerinde verildi. Qwen3.6 35B A3B ve Gemma 4 E4B sohbet botu görevini Gemma 4 26B'ye kaptırdı; sizin işinize yine de uygun olabilirler.

Kimlik bilgisi güvenliği test seti nedir?

BroadNet'in, bir modelin gördüğü kimlik bilgilerini tekrarlayıp tekrarlamadığını ölçen testi; yayımladığı hassas veri değerlendirme yöntemine dayanıyor. Başarısız olan modeller güvenlik rollerinde üretim seviyesinin altında tutuluyor.

Lisanslar modelleri neden eliyor?

Voxtral 4B TTS ve Higgs Audio v3 gibi bazı güçlü modeller ticari olmayan lisanslı; bu yüzden BroadNet onları yalnızca kalite tavanı olarak kıyaslıyor ve ücretli bir API üzerinden sunamıyor.

Elenen modeller BroadNet Inference'ta kullanılabilir mi?

Hayır. API altı model satıyor, üç model daha talep üzerine sunuluyor. Elendi olarak işaretlenen modeller sunulmuyor.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor