Inililista ng model catalogue ng BroadNet ang bawat model na sinasabi nitong napatakbo, na-benchmark, na-quantise o na-fine-tune nito sa sarili nitong hardware, at minamarkahan ang mga tinanggihan nito kasama ang dahilan. Mga 30 model at method ang may label na RULED OUT. Sinukat sa lab ng BroadNet ang mga numero sa ibaba noong Setyembre 2026; resulta ito ng BroadNet, hindi namin.
Anim na label ang ginagamit ng catalogue: PROD (nagdala ng live traffic), SERVED (sa mga salita ng catalogue, “ran on our fleet” (salin: tumakbo sa aming fleet)), BENCH (na-benchmark), QUANT (BroadNet ang gumawa ng quantisation), FT (fine-tune ng BroadNet) at RULED OUT.
Aling mga chat model ang na-rule out ng BroadNet?
| Model | Ano ang ginawa ng BroadNet | Bakit na-rule out |
|---|---|---|
| Qwen3.5 35B A3B (AWQ 4-bit) | Pinatakbo bilang speed tier, mga 164 token/s | Bumagsak sa credential-safety battery ng BroadNet para sa mga security role |
| GLM 4.7 Flash (AWQ) | Pinatakbo bilang eksperimento | Label na SERVED, hindi RULED OUT: sabi ng BroadNet, na-rule out ito para sa mga security role dahil sa credential-safety battery nito at hindi itinaas sa production |
| Nemotron 3 Nano 30B A3B (NVFP4) | Pinatakbo gamit ang custom na reasoning parser | Label na SERVED, hindi RULED OUT: sabi ng BroadNet, na-rule out ito para sa mga security role dahil sa credential-safety battery nito at hindi itinaas sa production |
| Qwen3.6 35B A3B | Pinatakbo sa RTX 5090 at GB10 | Natalo sa Gemma 4 26B para sa chatbot slot |
| Gemma 4 E4B (AWQ INT4) | Pinatakbo sa GB10 bilang co-tenant, mga 94 token/s | Natalo sa Gemma 4 26B para sa chatbot slot |
| Gemma 4 26B A4B NVFP4 (tatlong publisher) | Sinuri ang quantisation | Itinigil kapalit ng AWQ matapos ang head-to-head sa mga sm_120 at sm_121 GPU |
| EAGLE3 speculative decoding | Sinubukan para sa saturated serving | Nagpabawas ng 69% ng throughput sa 32 sabay-sabay na request; pinanatili ang mga multi-token-prediction drafter |
Mahalaga ang pattern para sa sinumang pumipili ng open model. Tatlo sa mga pagtanggi ay tungkol sa safety, hindi sa kalidad: mga model na sapat ang bilis pero inulit ang mga credential. Iyan ang failure mode na pinakamadalas nakita ng Safety Map study ng BroadNet sa mga mixture-of-experts model na maliit ang active parameter. Ang model na nanalo sa chatbot slot, ang Gemma 4 26B A4B, ang ibinebenta ng BroadNet bilang Gemma 4 VL 26B.
Aling mga speech model ang na-rule out?
| Model | Bakit na-rule out |
|---|---|
| Gemma 4 E2B, Gemma 4 12B (bilang transcriber) | Ang E4B audio variant ang pinanatili |
| Omnilingual ASR 300M, 1B, 3B at mga CTC variant (Meta) | Ang 7B variant ang nakakuha ng slot |
| Voxtral Mini 3B / 4B Realtime (Mistral) | Na-rule out para sa Arabic |
| ArTSTv3 (lahi ng MBZUAI) | Na-rule out para sa Arabic slot; pinanatili ang Cohere Transcribe Arabic |
| FireRedVAD, DeepFilterNet, BNR (mga front-end) | Ginamit ang Silero voice activity detection matapos ang head-to-head |
Iniulat ng BroadNet na ang model na pinanatili nito, ang Cohere Transcribe Arabic 07-2026, ay may 21.1 na word error rate sa MASC dialect speech, laban sa 22.3 ng ElevenLabs Scribe v2 at 31.5 ng Whisper large-v3, sa sarili nitong test. Pinapatakbo nito ang model na iyon bilang BroadNet Transcribe Arabic. Sabi rin ng catalogue, na-benchmark ang Whisper large-v3 bilang fallback.
Aling mga document, embedding at image model ang natalo?
OCR at document parsing
- LlamaParse, ang incumbent na API, ay nakakuha ng 16.6 sa OmniDocBench subset ng BroadNet. Na-rule out ito ng BroadNet dahil “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (salin: nawawala ang mga table, at 98% mas mura kada 1,000 page ang self-hosting).
- Sinuri at na-rule out ang olmOCR-2, HunyuanOCR, GOT-OCR 2.0 at Nanonets OCR2; ang Nanonets ay dahil sa lisensya. Pinanatili ang dots.mocr bilang production pick dahil kaya nitong mag-parse at maglarawan ng mga figure, kahit mas mataas ang score ng PaddleOCR-VL 1.6 (94.74 laban sa 86.81).
Embeddings
- Na-rule out ang gemini-embedding-2 para sa Arabic matapos itong humina kumpara sa gemini-embedding-001 (0.767 laban sa 0.824 sa retrieval benchmark ng BroadNet).
- Ang nomic-embed-text v1.5, ang dating incumbent, ay nakakuha ng 0.468 sa kabuuan at 0.130 sa Arabic, at itinigil na.
- Pinatakbo at na-rule out ang Octen 8B, Harrier 0.6B at Nemotron Embed 1B sa totoong Arabic na traffic, “where our podium held despite their public-board wins” (salin: kung saan nanatili ang aming podium sa kabila ng kanilang panalo sa public board).
May isang natuklasan pang idinagdag ang BroadNet na mas mabigat pa sa pagpili ng model: ang query instruction na espesipiko sa workload ay nagpagalaw sa kalidad ng retrieval (nDCG) nang 0.048, mas malaki pa kaysa sa paglipat mula 4B patungong 8B na embedding model.
Image generation at safety
- Na-rule out ang Cosmos3 Super 64B at HunyuanImage 3.0 80B dahil sa pagkakasya sa hardware at sa lisensya.
- Nahuli ng openai/privacy-filter 1.5B ang 100% ng mga credential pero 0% ng mga numero ng sahod sa leak corpus ng BroadNet, kaya na-rule out ito bilang firewall.
Ano ang matututunan mo sa mga pagtanggi?
Apat na aral ang totoo kahit lampas sa sariling stack ng BroadNet:
- I-test ang trabaho, hindi ang leaderboard. Ilang embedding model na may panalo sa public board ang natalo sa totoong Arabic na traffic.
- Hiwalay na gate ang safety. Puwede pa ring bumagsak sa credential test ang mabilis at mahusay na model. Magpatakbo ng isa bago makakita ng secret ang model; magandang simula ang paraan ng evaluation ng BroadNet.
- Lisensya ang nagpapasya kung ano ang puwedeng i-serve. Lumalabas lang sa catalogue bilang quality ceiling ang mga non-commercial na model gaya ng Voxtral 4B TTS at Higgs Audio v3.
- Sinusukat din ang mga desisyon sa serving. Na-rule out ang mga quantisation format at drafting method batay sa numero ng head-to-head, hindi bilang default. Tingnan ang GPU hardware at paraan ng serving ng BroadNet.
Galing sa lab at traffic ng iisang kompanya ang bawat numero rito. Gamitin ito bilang shortlist ng dapat i-test, saka mag-evaluate sa sarili mong data bago lumipat. Hindi rin matatawag sa API ang row na ruled out o benchmarked; ipinapaliwanag ng pagbasa ng model catalogue kung paano makikilala ang live, on-request at research na mga entry.
