BroadNet’in model kataloğu, kendi donanımında çalıştırdığını, kıyasladığını, nicelediğini veya ince ayar yaptığını söylediği her modeli listeliyor ve reddettiklerini gerekçesiyle işaretliyor. Yaklaşık 30 model ve yöntem RULED OUT (elendi) etiketi taşıyor. Aşağıdaki rakamlar Eylül 2026’da BroadNet’in laboratuvarında ölçüldü; bunlar bizim değil, BroadNet’in sonuçları.
Katalog altı etiket kullanıyor: PROD (canlı trafik taşıdı), SERVED (kataloğun ifadesiyle “ran on our fleet”, yani filomuzda çalıştı), BENCH (kıyaslandı), QUANT (nicelemeyi BroadNet üretti), FT (BroadNet ince ayar yaptı) ve RULED OUT.
BroadNet hangi sohbet modellerini eledi?
| Model | BroadNet ne yaptı | Neden elendi |
|---|---|---|
| Qwen3.5 35B A3B (AWQ 4-bit) | Hız katmanı olarak sunuldu, yaklaşık 164 token/sn | Güvenlik rolleri için BroadNet’in kimlik bilgisi güvenliği test setini geçemedi |
| GLM 4.7 Flash (AWQ) | Deneysel olarak sunuldu | RULED OUT değil SERVED etiketli: BroadNet, kimlik bilgisi güvenliği test seti nedeniyle güvenlik rolleri için elendiğini ve üretim seviyesinin altında tutulduğunu söylüyor |
| Nemotron 3 Nano 30B A3B (NVFP4) | Özel bir akıl yürütme ayrıştırıcısıyla sunuldu | RULED OUT değil SERVED etiketli: BroadNet, kimlik bilgisi güvenliği test seti nedeniyle güvenlik rolleri için elendiğini ve üretim seviyesinin altında tutulduğunu söylüyor |
| Qwen3.6 35B A3B | RTX 5090 ve GB10 üzerinde sunuldu | Sohbet botu görevini Gemma 4 26B’ye kaptırdı |
| Gemma 4 E4B (AWQ INT4) | GB10 üzerinde ortak kiracı olarak sunuldu, yaklaşık 94 token/sn | Sohbet botu görevini Gemma 4 26B’ye kaptırdı |
| Gemma 4 26B A4B NVFP4 (üç yayıncı) | Niceleme değerlendirildi | sm_120 ve sm_121 GPU’larda birebir karşılaştırmadan sonra AWQ lehine emekliye ayrıldı |
| EAGLE3 spekülatif kod çözme | Doygun sunum için test edildi | 32 eşzamanlı istekte işlem hacminin %69’una mal oldu; çoklu token tahmini (MTP) taslakçıları korundu |
Bu örüntü, açık model seçen herkes için önemli. Retlerin üçü kaliteyle değil güvenlikle ilgili: yeterince hızlı olan ama kimlik bilgilerini tekrarlayan modeller. Bu, BroadNet’in Safety Map çalışmasının küçük aktif parametreli uzmanlar karışımı (MoE) modellerinde en sık bulduğu hata türü. Sohbet botu görevini kazanan Gemma 4 26B A4B ise BroadNet’in Gemma 4 VL 26B adıyla sattığı model.
Hangi konuşma modelleri elendi?
| Model | Neden elendi |
|---|---|
| Gemma 4 E2B, Gemma 4 12B (transkripsiyon için) | Bunların yerine E4B ses varyantı tutuldu |
| Omnilingual ASR 300M, 1B, 3B ve CTC varyantları (Meta) | Görevi 7B varyantı kazandı |
| Voxtral Mini 3B / 4B Realtime (Mistral) | Arapça için elendi |
| ArTSTv3 (MBZUAI soyu) | Arapça görevi için elendi; Cohere Transcribe Arabic tutuldu |
| FireRedVAD, DeepFilterNet, BNR (ön uçlar) | Birebir karşılaştırmadan sonra Silero ses etkinliği tespiti benimsendi |
BroadNet, tuttuğu model Cohere Transcribe Arabic 07-2026’nın kendi testinde MASC lehçe konuşmasında 21,1 kelime hata oranı aldığını; ElevenLabs Scribe v2’nin 22,3, Whisper large-v3’ün 31,5 aldığını bildiriyor. Bu modeli BroadNet Transcribe Arabic adıyla sunuyor. Katalog ayrıca Whisper large-v3’ün yedek olarak kıyaslandığını söylüyor.
Hangi belge, embedding ve görsel modelleri kaybetti?
OCR ve belge ayrıştırma
- Mevcut API çözümü LlamaParse, BroadNet’in OmniDocBench alt kümesinde 16,6 puan aldı. BroadNet onu “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (BroadRouter çevirisi: tabloları kaybediyor ve kendi sunucunda barındırmak 1.000 sayfa başına %98 daha ucuz) gerekçesiyle eledi.
- olmOCR-2, HunyuanOCR, GOT-OCR 2.0 ve Nanonets OCR2 değerlendirilip elendi; Nanonets lisans koşulları nedeniyle. PaddleOCR-VL 1.6 daha yüksek puan almasına rağmen (86,81’e karşı 94,74), hem ayrıştırdığı hem de şekilleri betimlediği için üretim tercihi olarak dots.mocr tutuldu.
Embedding’ler
- gemini-embedding-2, gemini-embedding-001’e göre gerilediği için Arapçada elendi (BroadNet’in getirme kıyaslamasında 0,824’e karşı 0,767).
- Eski mevcut çözüm nomic-embed-text v1.5 genelde 0,468, Arapçada 0,130 puan aldı ve emekliye ayrıldı.
- Octen 8B, Harrier 0.6B ve Nemotron Embed 1B sunuldu ve gerçek Arapça trafikte elendi; bu trafikte “where our podium held despite their public-board wins” (BroadRouter çevirisi: herkese açık tablolardaki galibiyetlerine rağmen bizim podyumumuz yerini korudu).
BroadNet, model seçiminden daha önemli çıkan bir bulgu da ekliyor: iş yüküne özgü bir sorgu talimatı, getirme kalitesini (nDCG) 0,048 değiştirdi; bu, 4B’lik bir embedding modelinden 8B’liğe geçmekten daha büyük bir etki.
Görsel üretimi ve güvenlik
- Cosmos3 Super 64B ve HunyuanImage 3.0 80B donanım uyumu ve lisans koşulları nedeniyle elendi.
- openai/privacy-filter 1.5B, BroadNet’in sızıntı derleminde kimlik bilgilerinin %100’ünü ama maaş rakamlarının %0’ını yakaladı; bu yüzden güvenlik duvarı olarak elendi.
Retlerden ne öğrenebilirsiniz?
Dört ders BroadNet’in kendi yığınının ötesinde de geçerli:
- Sıralama tablosunu değil, işi test edin. Herkese açık tablolarda kazanan birkaç embedding modeli gerçek Arapça trafikte kaybetti.
- Güvenlik ayrı bir kapıdır. Hızlı ve yetenekli bir model de kimlik bilgisi testinde başarısız olabilir. Bir model sırları görmeden önce böyle bir test çalıştırın; BroadNet’in değerlendirme yöntemi iyi bir başlangıç noktası.
- Neyin sunulabileceğine lisanslar karar verir. Voxtral 4B TTS ve Higgs Audio v3 gibi ticari olmayan modeller katalogda yalnızca kalite tavanı olarak yer alıyor.
- Sunum tercihleri de ölçülür. Niceleme biçimleri ve taslak yöntemleri varsayılan olarak değil, birebir karşılaştırma rakamlarıyla elendi. Bkz. BroadNet’in GPU donanımı ve sunum yaklaşımı.
Buradaki her rakam tek bir şirketin laboratuvarından ve trafiğinden geliyor. Bunu test edilecekler için bir kısa liste olarak kullanın, ardından geçiş yapmadan önce kendi verilerinizle değerlendirin. Elenmiş veya yalnızca kıyaslanmış bir satır, çağırabileceğiniz bir model de değildir; bir model kataloğunu okuma yazısı canlı, talep üzerine ve araştırma girişlerini nasıl ayırt edeceğinizi anlatıyor.
