Der Modellkatalog von BroadNet listet jedes Modell, das BroadNet nach eigenen Angaben auf eigener Hardware betrieben, gebenchmarkt, quantisiert oder feingetunt hat, und markiert die abgelehnten mit einem Grund. Rund 30 Modelle und Methoden tragen das Label RULED OUT. Die folgenden Zahlen wurden im September 2026 im Labor von BroadNet gemessen; es sind Ergebnisse von BroadNet, nicht unsere.
Der Katalog verwendet sechs Labels: PROD (hat Live-Traffic verarbeitet), SERVED (in den Worten des Katalogs „ran on our fleet“, Übersetzung: „lief auf unserer Flotte“), BENCH (gebenchmarkt), QUANT (BroadNet hat die Quantisierung erstellt), FT (von BroadNet feingetunt) und RULED OUT (aussortiert).
Welche Chat-Modelle hat BroadNet aussortiert?
| Modell | Was BroadNet getan hat | Warum es aussortiert wurde |
|---|---|---|
| Qwen3.5 35B A3B (AWQ 4-bit) | Als Geschwindigkeitsstufe betrieben, etwa 164 Tokens/s | Credential-Safety-Testreihe von BroadNet für sicherheitsrelevante Aufgaben nicht bestanden |
| GLM 4.7 Flash (AWQ) | Experimentell betrieben | Label SERVED, nicht RULED OUT: Laut BroadNet durch die Credential-Safety-Testreihe für sicherheitsrelevante Aufgaben ausgeschlossen und unterhalb der Produktion gehalten |
| Nemotron 3 Nano 30B A3B (NVFP4) | Mit eigenem Reasoning-Parser betrieben | Label SERVED, nicht RULED OUT: Laut BroadNet durch die Credential-Safety-Testreihe für sicherheitsrelevante Aufgaben ausgeschlossen und unterhalb der Produktion gehalten |
| Qwen3.6 35B A3B | Auf RTX 5090 und GB10 betrieben | Chatbot-Platz an Gemma 4 26B verloren |
| Gemma 4 E4B (AWQ INT4) | Auf GB10 als Co-Tenant betrieben, etwa 94 Tokens/s | Chatbot-Platz an Gemma 4 26B verloren |
| Gemma 4 26B A4B NVFP4 (drei Herausgeber) | Quantisierung evaluiert | Nach direktem Vergleich auf sm_120- und sm_121-GPUs zugunsten von AWQ ausgemustert |
| EAGLE3 Speculative Decoding | Für ausgelastetes Serving getestet | Kostete bei 32 gleichzeitigen Anfragen 69 % des Durchsatzes; Drafter mit Multi-Token-Prediction beibehalten |
Das Muster ist für alle wichtig, die ein offenes Modell auswählen. Drei der Ablehnungen betreffen Sicherheit, nicht Qualität: Die Modelle waren schnell genug, wiederholten aber Zugangsdaten. Genau diesen Fehler fand die Safety-Map-Studie von BroadNet am häufigsten bei Mixture-of-Experts-Modellen mit wenigen aktiven Parametern. Das Modell, das den Chatbot-Platz gewann, Gemma 4 26B A4B, verkauft BroadNet als Gemma 4 VL 26B.
Welche Sprachmodelle wurden aussortiert?
| Modell | Warum es aussortiert wurde |
|---|---|
| Gemma 4 E2B, Gemma 4 12B (als Transkriptionsmodelle) | Stattdessen wurde die Audio-Variante von E4B behalten |
| Omnilingual ASR 300M, 1B, 3B und CTC-Varianten (Meta) | Die 7B-Variante bekam den Platz |
| Voxtral Mini 3B / 4B Realtime (Mistral) | Für Arabisch aussortiert |
| ArTSTv3 (aus der MBZUAI-Linie) | Für den arabischen Platz aussortiert; Cohere Transcribe Arabic behalten |
| FireRedVAD, DeepFilterNet, BNR (Vorverarbeitung) | Nach direktem Vergleich wurde Silero für die Sprachaktivitätserkennung übernommen |
BroadNet berichtet, dass das behaltene Modell, Cohere Transcribe Arabic 07-2026, in eigenen Tests auf MASC-Dialektsprache eine Wortfehlerrate von 21,1 erreicht, gegenüber 22,3 für ElevenLabs Scribe v2 und 31,5 für Whisper large-v3. BroadNet bietet dieses Modell als BroadNet Transcribe Arabic an. Laut Katalog wurde Whisper large-v3 außerdem als Fallback gebenchmarkt.
Welche Dokument-, Embedding- und Bildmodelle haben verloren?
OCR und Dokumenten-Parsing
- LlamaParse, die bisher genutzte API, erreichte 16,6 auf dem OmniDocBench-Ausschnitt von BroadNet. BroadNet sortierte es aus, weil „it loses tables, and self-hosting is 98% cheaper per 1,000 pages“ (Übersetzung: „es verliert Tabellen, und Self-Hosting ist pro 1.000 Seiten 98 % günstiger“).
- olmOCR-2, HunyuanOCR, GOT-OCR 2.0 und Nanonets OCR2 wurden evaluiert und aussortiert, Nanonets wegen der Lizenzbedingungen. dots.mocr blieb die Wahl für die Produktion, weil es Abbildungen sowohl parst als auch beschreibt, obwohl PaddleOCR-VL 1.6 besser abschnitt (94,74 gegenüber 86,81).
Embeddings
- gemini-embedding-2 wurde für Arabisch aussortiert, nachdem es gegenüber gemini-embedding-001 zurückfiel (0,767 gegenüber 0,824 im Retrieval-Benchmark von BroadNet).
- nomic-embed-text v1.5, die frühere Standardlösung, erreichte insgesamt 0,468 und bei Arabisch 0,130 und wurde ausgemustert.
- Octen 8B, Harrier 0.6B und Nemotron Embed 1B wurden betrieben und auf echtem arabischem Traffic aussortiert, „where our podium held despite their public-board wins“ (Übersetzung: „wo unser Podium trotz ihrer Siege auf öffentlichen Ranglisten hielt“).
BroadNet nennt einen Befund, der die Modellwahl übertraf: Eine auf den Workload zugeschnittene Query-Anweisung verbesserte die Retrieval-Qualität (nDCG) um 0,048, mehr als der Wechsel von einem 4B- zu einem 8B-Embedding-Modell.
Bildgenerierung und Sicherheit
- Cosmos3 Super 64B und HunyuanImage 3.0 80B wurden wegen Hardware-Passung und Lizenzbedingungen aussortiert.
- openai/privacy-filter 1.5B erkannte im Leak-Korpus von BroadNet 100 % der Zugangsdaten, aber 0 % der Gehaltsangaben, und wurde deshalb als Firewall aussortiert.
Was lässt sich aus den Ablehnungen lernen?
Vier Lehren gelten auch über den Stack von BroadNet hinaus:
- Testen Sie die Aufgabe, nicht das Leaderboard. Mehrere Embedding-Modelle mit Siegen auf öffentlichen Ranglisten verloren auf echtem arabischem Traffic.
- Sicherheit ist eine eigene Hürde. Ein schnelles, fähiges Modell kann trotzdem einen Test mit Zugangsdaten nicht bestehen. Führen Sie einen solchen Test durch, bevor ein Modell Secrets zu sehen bekommt; die Evaluationsmethode von BroadNet ist ein Ausgangspunkt.
- Lizenzen entscheiden, was angeboten werden kann. Nicht-kommerzielle Modelle wie Voxtral 4B TTS und Higgs Audio v3 erscheinen im Katalog nur als Qualitätsobergrenze.
- Auch Serving-Entscheidungen werden gemessen. Quantisierungsformate und Drafting-Methoden wurden anhand von Zahlen aus direkten Vergleichen aussortiert, nicht pauschal. Siehe GPU-Hardware und Serving bei BroadNet.
Jede Zahl hier stammt aus dem Labor und dem Traffic eines einzigen Unternehmens. Nutzen Sie sie als Vorauswahl dessen, was Sie testen sollten, und evaluieren Sie dann mit Ihren eigenen Daten, bevor Sie wechseln. Eine aussortierte oder nur gebenchmarkte Zeile können Sie außerdem nicht aufrufen; einen Modellkatalog lesen erklärt, wie Sie Live-, Auf-Anfrage- und Forschungseinträge unterscheiden.
