BroadRouter

Les modèles que BroadNet a évalués puis écartés, et pourquoi

Par l’équipe BroadNet Inference · 4 min de lecture · Publié · Mis à jour

Le catalogue de BroadNet marque une trentaine de modèles et de méthodes comme écartés après des tests dans son laboratoire. Les raisons tiennent en cinq groupes : un modèle plus fort pour la même tâche, un test de sécurité des identifiants, une licence interdisant le service par API, un format de quantification battu en face-à-face et des régressions en arabe. Ce sont des mesures de BroadNet de septembre 2026.

Le catalogue de modèles de BroadNet liste chaque modèle que BroadNet dit avoir exécuté, évalué, quantifié ou affiné sur son propre matériel, et marque ceux qu’il a rejetés en donnant une raison. Une trentaine de modèles et de méthodes portent l’étiquette RULED OUT. Les chiffres ci-dessous ont été mesurés dans le laboratoire de BroadNet en septembre 2026 ; ce sont les résultats de BroadNet, pas les nôtres.

Le catalogue utilise six étiquettes : PROD (a traité du trafic réel), SERVED (selon les termes du catalogue, « ran on our fleet », traduction : « a tourné sur notre parc »), BENCH (évalué), QUANT (BroadNet a produit la quantification), FT (affiné par BroadNet) et RULED OUT (écarté).

Quels modèles de chat BroadNet a-t-il écartés ?

Modèle Ce que BroadNet a fait Pourquoi il a été écarté
Qwen3.5 35B A3B (AWQ 4-bit) Servi comme palier de vitesse, environ 164 tokens/s Échec à la batterie de tests de sécurité des identifiants de BroadNet pour les rôles de sécurité
GLM 4.7 Flash (AWQ) Servi à titre expérimental Étiqueté SERVED, pas RULED OUT : BroadNet indique qu’il a été écarté des rôles de sécurité par sa batterie de tests des identifiants et maintenu sous le niveau production
Nemotron 3 Nano 30B A3B (NVFP4) Servi avec un parseur de raisonnement maison Étiqueté SERVED, pas RULED OUT : BroadNet indique qu’il a été écarté des rôles de sécurité par sa batterie de tests des identifiants et maintenu sous le niveau production
Qwen3.6 35B A3B Servi sur RTX 5090 et GB10 A perdu la place de chatbot au profit de Gemma 4 26B
Gemma 4 E4B (AWQ INT4) Servi sur GB10 en colocation, environ 94 tokens/s A perdu la place de chatbot au profit de Gemma 4 26B
Gemma 4 26B A4B NVFP4 (trois éditeurs) Quantification évaluée Retiré au profit d’AWQ après un face-à-face sur GPU sm_120 et sm_121
Décodage spéculatif EAGLE3 Testé pour un service saturé A coûté 69 % du débit à 32 requêtes simultanées ; les drafters à prédiction multi-tokens ont été conservés

Ce schéma compte pour quiconque choisit un modèle ouvert. Trois des rejets portent sur la sécurité, pas sur la qualité : des modèles assez rapides, mais qui répétaient des identifiants. C’est le mode d’échec que l’étude Safety Map de BroadNet a le plus souvent observé chez les modèles mixture of experts à faible nombre de paramètres actifs. Le modèle qui a remporté la place de chatbot, Gemma 4 26B A4B, est celui que BroadNet vend sous le nom de Gemma 4 VL 26B.

Quels modèles vocaux ont été écartés ?

Modèle Pourquoi il a été écarté
Gemma 4 E2B, Gemma 4 12B (comme transcripteurs) La variante audio d’E4B a été conservée à la place
Omnilingual ASR 300M, 1B, 3B et variantes CTC (Meta) La variante 7B a obtenu la place
Voxtral Mini 3B / 4B Realtime (Mistral) Écarté pour l’arabe
ArTSTv3 (lignée MBZUAI) Écarté pour la place arabe ; Cohere Transcribe Arabic conservé
FireRedVAD, DeepFilterNet, BNR (prétraitement) Silero adopté pour la détection d’activité vocale après un face-à-face

BroadNet indique que le modèle conservé, Cohere Transcribe Arabic 07-2026, obtient un taux d’erreur sur les mots de 21,1 sur la parole dialectale MASC, contre 22,3 pour ElevenLabs Scribe v2 et 31,5 pour Whisper large-v3, dans son propre test. Il sert ce modèle sous le nom de BroadNet Transcribe Arabic. Le catalogue précise aussi que Whisper large-v3 a été évalué comme solution de repli.

Quels modèles de documents, d’embeddings et d’images ont perdu ?

OCR et analyse de documents

  • LlamaParse, l’API en place, a obtenu 16,6 sur le sous-ensemble OmniDocBench de BroadNet. BroadNet l’a écarté parce que « it loses tables, and self-hosting is 98% cheaper per 1,000 pages » (traduction : « il perd des tableaux, et l’auto-hébergement est 98 % moins cher pour 1 000 pages »).
  • olmOCR-2, HunyuanOCR, GOT-OCR 2.0 et Nanonets OCR2 ont été évalués et écartés, Nanonets pour des raisons de licence. dots.mocr a été retenu pour la production parce qu’il analyse et décrit les figures, même si PaddleOCR-VL 1.6 a obtenu un meilleur score (94,74 contre 86,81).

Embeddings

  • gemini-embedding-2 a été écarté pour l’arabe après une régression par rapport à gemini-embedding-001 (0,767 contre 0,824 sur le benchmark de recherche de BroadNet).
  • nomic-embed-text v1.5, l’ancienne solution en place, a obtenu 0,468 au global et 0,130 en arabe, et a été retiré.
  • Octen 8B, Harrier 0.6B et Nemotron Embed 1B ont été servis puis écartés sur du vrai trafic arabe, « where our podium held despite their public-board wins » (traduction : « où notre podium a tenu malgré leurs victoires dans les classements publics »).

BroadNet ajoute un résultat qui a pesé plus lourd que le choix du modèle : une instruction de requête propre à la charge de travail a amélioré la qualité de recherche (nDCG) de 0,048, davantage que le passage d’un modèle d’embeddings 4B à un 8B.

Génération d’images et sécurité

  • Cosmos3 Super 64B et HunyuanImage 3.0 80B ont été écartés pour des raisons d’adéquation au matériel et de licence.
  • openai/privacy-filter 1.5B a détecté 100 % des identifiants mais 0 % des montants de salaire dans le corpus de fuites de BroadNet ; il a donc été écarté comme pare-feu.

Que retenir de ces rejets ?

Quatre leçons valent au-delà de la pile de BroadNet :

  1. Testez la tâche, pas le classement. Plusieurs modèles d’embeddings vainqueurs des classements publics ont perdu sur du vrai trafic arabe.
  2. La sécurité est une étape à part. Un modèle rapide et compétent peut quand même échouer à un test sur les identifiants. Faites-en passer un avant qu’un modèle ne voie des secrets ; la méthode d’évaluation de BroadNet est un point de départ.
  3. Les licences décident de ce qui peut être servi. Les modèles non commerciaux comme Voxtral 4B TTS et Higgs Audio v3 n’apparaissent au catalogue que comme plafonds de qualité.
  4. Les choix de service sont mesurés eux aussi. Des formats de quantification et des méthodes de drafting ont été écartés sur des chiffres de face-à-face, pas par défaut. Voir le matériel GPU et l’approche de service de BroadNet.

Chaque chiffre ici vient du laboratoire et du trafic d’une seule entreprise. Servez-vous-en comme d’une présélection de ce qu’il faut tester, puis évaluez sur vos propres données avant de changer. Une ligne écartée ou seulement évaluée n’est pas non plus un modèle que vous pouvez appeler ; lire un catalogue de modèles explique comment distinguer les entrées en production, sur demande et de recherche.

Questions fréquentes

Pourquoi BroadNet publie-t-il les modèles qu’il rejette ?

Son catalogue dit publier « what we rule out as carefully as what we ship » (traduction : « ce que nous écartons avec autant de soin que ce que nous livrons »), pour que les acheteurs voient le raisonnement derrière chaque recommandation. Un rejet motivé est un élément que vous pouvez vérifier sur votre propre charge de travail.

« Écarté » veut-il dire que le modèle est mauvais ?

Non. La plupart des rejets concernent un rôle précis dans le pipeline de BroadNet, sur la configuration et le trafic que BroadNet indique. Qwen3.6 35B A3B et Gemma 4 E4B ont perdu la place de chatbot au profit de Gemma 4 26B ; ils peuvent quand même convenir à votre tâche.

Qu’est-ce que la batterie de tests de sécurité des identifiants ?

Le test de BroadNet qui vérifie si un modèle répète les identifiants qu’il voit, fondé sur sa méthode publiée d’évaluation des données sensibles. Les modèles qui échouent restent sous le niveau production pour les rôles de sécurité.

Pourquoi des licences écartent-elles des modèles ?

Certains modèles solides, comme Voxtral 4B TTS et Higgs Audio v3, sont sous licence non commerciale : BroadNet ne les évalue donc que comme plafond de qualité et ne peut pas les servir via une API payante.

Les modèles écartés sont-ils disponibles sur BroadNet Inference ?

Non. L’API vend six modèles, et trois autres sont disponibles sur demande. Les modèles marqués comme écartés ne sont pas proposés.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity