El catálogo de modelos de BroadNet enumera cada modelo que dice haber ejecutado, medido, cuantizado o ajustado en su propio hardware, y marca los que rechazó junto con el motivo. Unos 30 modelos y métodos llevan la etiqueta RULED OUT (descartado). Las cifras de abajo se midieron en el laboratorio de BroadNet en septiembre de 2026; son resultados de BroadNet, no nuestros.
El catálogo usa seis etiquetas: PROD (atendió tráfico real), SERVED (en palabras del catálogo, “ran on our fleet” (Traducción: se ejecutó en nuestra flota)), BENCH (se midió con benchmarks), QUANT (BroadNet produjo la cuantización), FT (BroadNet lo ajustó) y RULED OUT.
¿Qué modelos de chat descartó BroadNet?
| Modelo | Qué hizo BroadNet | Por qué se descartó |
|---|---|---|
| Qwen3.5 35B A3B (AWQ 4-bit) | Se sirvió como nivel de velocidad, unos 164 tokens/s | No superó la batería de seguridad de credenciales de BroadNet para roles de seguridad |
| GLM 4.7 Flash (AWQ) | Se sirvió de forma experimental | Etiquetado SERVED, no RULED OUT: BroadNet dice que su batería de seguridad de credenciales lo descartó para roles de seguridad y que quedó por debajo de producción |
| Nemotron 3 Nano 30B A3B (NVFP4) | Se sirvió con un analizador de razonamiento propio | Etiquetado SERVED, no RULED OUT: BroadNet dice que su batería de seguridad de credenciales lo descartó para roles de seguridad y que quedó por debajo de producción |
| Qwen3.6 35B A3B | Se sirvió en RTX 5090 y GB10 | Perdió el puesto de chatbot ante Gemma 4 26B |
| Gemma 4 E4B (AWQ INT4) | Se sirvió en GB10 compartiendo el equipo, unos 94 tokens/s | Perdió el puesto de chatbot ante Gemma 4 26B |
| Gemma 4 26B A4B NVFP4 (tres publicadores) | Se evaluó la cuantización | Retirado en favor de AWQ tras una comparación directa en GPU sm_120 y sm_121 |
| Decodificación especulativa EAGLE3 | Se probó para servicio saturado | Costó el 69 % del rendimiento con 32 solicitudes concurrentes; se mantuvieron los borradores de predicción de múltiples tokens |
El patrón importa para cualquiera que elija un modelo abierto. Tres de los rechazos tienen que ver con la seguridad, no con la calidad: modelos lo bastante rápidos que, sin embargo, repetían credenciales. Ese es el modo de fallo que el estudio Safety Map de BroadNet encontró con más frecuencia en los modelos de mezcla de expertos con pocos parámetros activos. El modelo que ganó el puesto de chatbot, Gemma 4 26B A4B, es el que BroadNet vende como Gemma 4 VL 26B.
¿Qué modelos de voz se descartaron?
| Modelo | Por qué se descartó |
|---|---|
| Gemma 4 E2B, Gemma 4 12B (como transcriptores) | Se mantuvo en su lugar la variante de audio E4B |
| Omnilingual ASR 300M, 1B, 3B y variantes CTC (Meta) | La variante 7B se ganó el puesto |
| Voxtral Mini 3B / 4B Realtime (Mistral) | Descartado para árabe |
| ArTSTv3 (linaje MBZUAI) | Descartado para el puesto de árabe; se mantuvo Cohere Transcribe Arabic |
| FireRedVAD, DeepFilterNet, BNR (preprocesamiento) | Se adoptó la detección de actividad de voz de Silero tras una comparación directa |
BroadNet informa que el modelo que conservó, Cohere Transcribe Arabic 07-2026, obtiene una tasa de error de palabras de 21.1 en el habla dialectal de MASC, frente a 22.3 de ElevenLabs Scribe v2 y 31.5 de Whisper large-v3, en su propia prueba. Lo sirve como BroadNet Transcribe Arabic. El catálogo también indica que Whisper large-v3 se midió como respaldo.
¿Qué modelos de documentos, embeddings e imagen perdieron?
OCR y análisis de documentos
- LlamaParse, la API vigente hasta entonces, obtuvo 16.6 en el subconjunto de OmniDocBench de BroadNet. BroadNet lo descartó porque “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (Traducción: pierde tablas, y alojarlo por cuenta propia es un 98 % más barato por cada 1,000 páginas).
- olmOCR-2, HunyuanOCR, GOT-OCR 2.0 y Nanonets OCR2 se evaluaron y descartaron; Nanonets, por las condiciones de su licencia. Se mantuvo dots.mocr como elección de producción porque analiza documentos y además describe figuras, aunque PaddleOCR-VL 1.6 obtuvo una puntuación más alta (94.74 frente a 86.81).
Embeddings
- gemini-embedding-2 se descartó para árabe tras retroceder frente a gemini-embedding-001 (0.767 frente a 0.824 en el benchmark de recuperación de BroadNet).
- nomic-embed-text v1.5, la solución vigente anterior, obtuvo 0.468 en general y 0.130 en árabe, y se retiró.
- Octen 8B, Harrier 0.6B y Nemotron Embed 1B se sirvieron y se descartaron con tráfico real en árabe, “where our podium held despite their public-board wins” (Traducción: donde nuestro podio se mantuvo pese a sus victorias en los rankings públicos).
BroadNet añade un hallazgo que pesó más que la elección del modelo: una instrucción de consulta específica para la carga de trabajo mejoró la calidad de recuperación (nDCG) en 0.048, más que pasar de un modelo de embeddings de 4B a uno de 8B.
Generación de imágenes y seguridad
- Cosmos3 Super 64B y HunyuanImage 3.0 80B se descartaron por adecuación al hardware y condiciones de licencia.
- openai/privacy-filter 1.5B detectó el 100 % de las credenciales pero el 0 % de las cifras salariales en el corpus de fugas de BroadNet, así que se descartó como cortafuegos.
¿Qué se aprende de los rechazos?
Cuatro lecciones valen más allá de la infraestructura de BroadNet:
- Pruebe la tarea, no el ranking. Varios modelos de embeddings con victorias en rankings públicos perdieron con tráfico real en árabe.
- La seguridad es un filtro aparte. Un modelo rápido y capaz puede fallar una prueba de credenciales. Ejecute una antes de que un modelo vea secretos; el método de evaluación de BroadNet es un punto de partida.
- Las licencias deciden qué se puede servir. Los modelos no comerciales como Voxtral 4B TTS e Higgs Audio v3 aparecen en el catálogo solo como techos de calidad.
- Las decisiones de servicio también se miden. Los formatos de cuantización y los métodos de borrador se descartaron según cifras de comparaciones directas, no por defecto. Vea el hardware GPU de BroadNet y su forma de servir modelos.
Cada cifra de este artículo proviene del laboratorio y del tráfico de una sola empresa. Úsela como lista corta de lo que conviene probar y luego evalúe con sus propios datos antes de cambiar. Además, una fila descartada o solo medida no es algo que usted pueda llamar; cómo leer un catálogo de modelos explica cómo distinguir las entradas disponibles, las disponibles a pedido y las de investigación.
