BroadRouter

I modelli che BroadNet ha valutato e scartato, e perché

A cura del team di BroadNet Inference · 4 min di lettura · Pubblicato · Aggiornato

Il catalogo dei modelli di BroadNet segna circa 30 modelli e metodi come scartati dopo i test nel proprio laboratorio. I motivi rientrano per lo più in cinque gruppi: un modello più forte per lo stesso compito, un test di sicurezza sulle credenziali, una licenza che vieta di servirlo via API, un formato di quantizzazione battuto in un confronto diretto e regressioni in arabo. Tutti i risultati sono misurazioni di BroadNet di settembre 2026.

Il catalogo dei modelli di BroadNet elenca ogni modello che l’azienda dichiara di aver eseguito, misurato, quantizzato o sottoposto a fine-tune sul proprio hardware, e segna quelli scartati con il motivo. Circa 30 modelli e metodi portano l’etichetta RULED OUT. I dati qui sotto sono stati misurati nel laboratorio di BroadNet a settembre 2026: sono risultati di BroadNet, non nostri.

Il catalogo usa sei etichette: PROD (ha gestito traffico reale), SERVED (con le parole del catalogo, «ran on our fleet», traduzione: eseguito sulla nostra flotta), BENCH (misurato con benchmark), QUANT (quantizzazione prodotta da BroadNet), FT (fine-tune di BroadNet) e RULED OUT (scartato).

Quali modelli chat ha scartato BroadNet?

Modello Che cosa ha fatto BroadNet Perché è stato scartato
Qwen3.5 35B A3B (AWQ 4-bit) Servito come livello veloce, circa 164 token/s Non ha superato la batteria di BroadNet sulla sicurezza delle credenziali per i ruoli di sicurezza
GLM 4.7 Flash (AWQ) Servito in via sperimentale Etichettato SERVED, non RULED OUT: BroadNet dice che è stato escluso dai ruoli di sicurezza dalla sua batteria sulle credenziali e tenuto sotto la produzione
Nemotron 3 Nano 30B A3B (NVFP4) Servito con un parser di ragionamento personalizzato Etichettato SERVED, non RULED OUT: BroadNet dice che è stato escluso dai ruoli di sicurezza dalla sua batteria sulle credenziali e tenuto sotto la produzione
Qwen3.6 35B A3B Servito su RTX 5090 e GB10 Ha perso il posto di chatbot a favore di Gemma 4 26B
Gemma 4 E4B (AWQ INT4) Servito su GB10 in condivisione, circa 94 token/s Ha perso il posto di chatbot a favore di Gemma 4 26B
Gemma 4 26B A4B NVFP4 (tre publisher) Quantizzazione valutata Ritirato a favore di AWQ dopo un confronto diretto su GPU sm_120 e sm_121
Speculative decoding EAGLE3 Testato per il serving a saturazione Costava il 69% del throughput con 32 richieste concorrenti; mantenuti i drafter multi-token-prediction

Lo schema conta per chiunque scelga un modello aperto. Tre degli scarti riguardano la sicurezza, non la qualità: modelli abbastanza veloci che però ripetevano le credenziali. È il tipo di errore che lo studio Safety Map di BroadNet ha trovato più spesso nei modelli mixture of experts con pochi parametri attivi. Il modello che ha vinto il posto di chatbot, Gemma 4 26B A4B, è quello che BroadNet vende come Gemma 4 VL 26B.

Quali modelli vocali sono stati scartati?

Modello Perché è stato scartato
Gemma 4 E2B, Gemma 4 12B (come trascrittori) È stata tenuta la variante audio E4B
Omnilingual ASR 300M, 1B, 3B e varianti CTC (Meta) Il posto è andato alla variante 7B
Voxtral Mini 3B / 4B Realtime (Mistral) Scartato per l’arabo
ArTSTv3 (linea MBZUAI) Scartato per il ruolo arabo; tenuto Cohere Transcribe Arabic
FireRedVAD, DeepFilterNet, BNR (front-end) Adottata la voice activity detection di Silero dopo un confronto diretto

BroadNet riporta che il modello tenuto, Cohere Transcribe Arabic 07-2026, ottiene un word error rate di 21,1 sul parlato dialettale MASC, contro 22,3 di ElevenLabs Scribe v2 e 31,5 di Whisper large-v3, nel suo test. Lo serve come BroadNet Transcribe Arabic. Il catalogo indica anche che Whisper large-v3 è stato misurato come fallback.

Quali modelli per documenti, embedding e immagini hanno perso?

OCR e parsing dei documenti

  • LlamaParse, l’API in uso fino ad allora, ha ottenuto 16,6 sul sottoinsieme di OmniDocBench di BroadNet. BroadNet l’ha scartato perché «it loses tables, and self-hosting is 98% cheaper per 1,000 pages» (traduzione: perde le tabelle, e il self-hosting costa il 98% in meno ogni 1.000 pagine).
  • olmOCR-2, HunyuanOCR, GOT-OCR 2.0 e Nanonets OCR2 sono stati valutati e scartati; Nanonets per i termini di licenza. dots.mocr è stato tenuto come scelta di produzione perché sa sia analizzare i documenti sia descrivere le figure, anche se PaddleOCR-VL 1.6 aveva un punteggio più alto (94,74 contro 86,81).

Embedding

  • gemini-embedding-2 è stato scartato per l’arabo dopo una regressione rispetto a gemini-embedding-001 (0,767 contro 0,824 sul benchmark di retrieval di BroadNet).
  • nomic-embed-text v1.5, il modello in uso in precedenza, ha ottenuto 0,468 complessivo e 0,130 sull’arabo, ed è stato ritirato.
  • Octen 8B, Harrier 0.6B e Nemotron Embed 1B sono stati serviti e scartati sul traffico arabo reale, «where our podium held despite their public-board wins» (traduzione: dove il nostro podio ha tenuto nonostante le loro vittorie nelle classifiche pubbliche).

BroadNet aggiunge un risultato che ha pesato più della scelta del modello: un’istruzione di query specifica per il carico di lavoro ha spostato la qualità del retrieval (nDCG) di 0,048, più del passaggio da un modello di embedding 4B a uno 8B.

Generazione di immagini e sicurezza

  • Cosmos3 Super 64B e HunyuanImage 3.0 80B sono stati scartati per compatibilità hardware e termini di licenza.
  • openai/privacy-filter 1.5B ha intercettato il 100% delle credenziali ma lo 0% delle cifre sugli stipendi nel corpus di fughe di dati di BroadNet, quindi è stato scartato come firewall.

Che cosa insegnano gli scarti?

Quattro lezioni valgono anche fuori dallo stack di BroadNet:

  1. Testa il compito, non la classifica. Diversi modelli di embedding vincenti nelle classifiche pubbliche hanno perso sul traffico arabo reale.
  2. La sicurezza è un controllo a parte. Un modello veloce e capace può comunque fallire un test sulle credenziali. Eseguine uno prima che un modello veda dei segreti; il metodo di valutazione di BroadNet è un punto di partenza.
  3. Le licenze decidono che cosa si può servire. Modelli non commerciali come Voxtral 4B TTS e Higgs Audio v3 compaiono nel catalogo solo come tetto di qualità.
  4. Anche le scelte di serving si misurano. Formati di quantizzazione e metodi di drafting sono stati scartati sulla base di confronti diretti, non per abitudine. Vedi l’hardware GPU e l’approccio al serving di BroadNet.

Ogni numero qui viene dal laboratorio e dal traffico di una sola azienda. Usalo come una lista di cose da testare, poi valuta sui tuoi dati prima di cambiare. Una riga scartata o solo misurata non è nemmeno qualcosa che puoi chiamare via API; leggere un catalogo di modelli spiega come distinguere le voci attive, quelle su richiesta e quelle di ricerca.

Domande frequenti

Perché BroadNet pubblica i modelli che scarta?

Il suo catalogo dice di pubblicare «what we rule out as carefully as what we ship» (traduzione: ciò che scartiamo con la stessa cura di ciò che mettiamo in produzione), così chi compra vede il ragionamento dietro ogni raccomandazione. Uno scarto motivato è un dato che puoi verificare sul tuo carico di lavoro.

"Scartato" significa che il modello è scadente?

No. La maggior parte degli scarti riguarda un singolo ruolo nella pipeline di BroadNet, sulla configurazione e sul traffico dichiarati da BroadNet. Qwen3.6 35B A3B e Gemma 4 E4B hanno perso il posto di chatbot a favore di Gemma 4 26B, ma potrebbero comunque andare bene per il tuo caso.

Che cos’è la batteria di test sulla sicurezza delle credenziali?

È il test di BroadNet che verifica se un modello ripete le credenziali che vede, basato sul suo metodo pubblicato di valutazione dei dati sensibili. I modelli che non lo superano restano sotto la produzione per i ruoli di sicurezza.

Perché le licenze escludono alcuni modelli?

Alcuni modelli validi, come Voxtral 4B TTS e Higgs Audio v3, sono non commerciali, quindi BroadNet li misura solo come tetto di qualità e non può servirli tramite un’API a pagamento.

I modelli scartati sono disponibili su BroadNet Inference?

No. L’API vende sei modelli, e altri tre sono disponibili su richiesta. I modelli segnati come scartati non sono offerti.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity