O catálogo de modelos da BroadNet lista todos os modelos que ela diz ter rodado, medido, quantizado ou ajustado no próprio hardware, e marca os rejeitados com o motivo. Cerca de 30 modelos e métodos têm o rótulo RULED OUT (descartado). Os números abaixo foram medidos no laboratório da BroadNet em setembro de 2026; são resultados da BroadNet, não nossos.
O catálogo usa seis rótulos: PROD (atendeu tráfego real), SERVED (nas palavras do catálogo, “ran on our fleet”, ou seja, rodou na frota da BroadNet), BENCH (passou por benchmark), QUANT (a BroadNet produziu a quantização), FT (a BroadNet fez o fine-tune) e RULED OUT.
Quais modelos de chat a BroadNet descartou?
| Modelo | O que a BroadNet fez | Por que foi descartado |
|---|---|---|
| Qwen3.5 35B A3B (AWQ 4-bit) | Servido como camada rápida, cerca de 164 tokens/s | Reprovado na bateria de segurança de credenciais da BroadNet para funções de segurança |
| GLM 4.7 Flash (AWQ) | Servido em caráter experimental | Rotulado SERVED, não RULED OUT: a BroadNet diz que foi barrado de funções de segurança pela bateria de credenciais e mantido abaixo da produção |
| Nemotron 3 Nano 30B A3B (NVFP4) | Servido com um parser de raciocínio próprio | Rotulado SERVED, não RULED OUT: a BroadNet diz que foi barrado de funções de segurança pela bateria de credenciais e mantido abaixo da produção |
| Qwen3.6 35B A3B | Servido em RTX 5090 e GB10 | Perdeu a vaga de chatbot para o Gemma 4 26B |
| Gemma 4 E4B (AWQ INT4) | Servido no GB10 dividindo a máquina, cerca de 94 tokens/s | Perdeu a vaga de chatbot para o Gemma 4 26B |
| Gemma 4 26B A4B NVFP4 (três publicadores) | Quantização avaliada | Aposentado em favor do AWQ após confronto direto em GPUs sm_120 e sm_121 |
| Speculative decoding EAGLE3 | Testado para serving saturado | Custou 69% do throughput com 32 requisições simultâneas; drafters de multi-token prediction mantidos |
O padrão importa para quem escolhe um modelo aberto. Três das rejeições são de segurança, não de qualidade: modelos rápidos o bastante, mas que repetiam credenciais. É o tipo de falha que o estudo Safety Map da BroadNet encontrou com mais frequência em modelos mixture of experts com poucos parâmetros ativos. O modelo que ganhou a vaga de chatbot, Gemma 4 26B A4B, é o que a BroadNet vende como Gemma 4 VL 26B.
Quais modelos de voz foram descartados?
| Modelo | Por que foi descartado |
|---|---|
| Gemma 4 E2B, Gemma 4 12B (como transcritores) | A variante de áudio E4B foi mantida no lugar |
| Omnilingual ASR 300M, 1B, 3B e variantes CTC (Meta) | A variante 7B ficou com a vaga |
| Voxtral Mini 3B / 4B Realtime (Mistral) | Descartado para árabe |
| ArTSTv3 (linhagem MBZUAI) | Descartado para a vaga de árabe; Cohere Transcribe Arabic mantido |
| FireRedVAD, DeepFilterNet, BNR (front-ends) | Detecção de atividade de voz do Silero adotada após confronto direto |
A BroadNet informa que o modelo mantido, Cohere Transcribe Arabic 07-2026, tem taxa de erro de palavras de 21,1 em fala dialetal do MASC, contra 22,3 do ElevenLabs Scribe v2 e 31,5 do Whisper large-v3, no teste dela. Ela serve esse modelo como BroadNet Transcribe Arabic. O catálogo também diz que o Whisper large-v3 foi medido como alternativa de reserva.
Quais modelos de documentos, embeddings e imagens perderam?
OCR e parsing de documentos
- LlamaParse, a API em uso até então, marcou 16,6 no subconjunto do OmniDocBench da BroadNet. A BroadNet o descartou porque “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (tradução: perde tabelas, e hospedar por conta própria é 98% mais barato a cada 1.000 páginas).
- olmOCR-2, HunyuanOCR, GOT-OCR 2.0 e Nanonets OCR2 foram avaliados e descartados; o Nanonets por termos de licença. O dots.mocr foi mantido como escolha de produção porque faz o parsing e também descreve figuras, embora o PaddleOCR-VL 1.6 tenha marcado mais (94,74 contra 86,81).
Embeddings
- gemini-embedding-2 foi descartado para árabe depois de regredir em relação ao gemini-embedding-001 (0,767 contra 0,824 no benchmark de recuperação da BroadNet).
- nomic-embed-text v1.5, o modelo em uso anteriormente, marcou 0,468 no geral e 0,130 em árabe, e foi aposentado.
- Octen 8B, Harrier 0.6B e Nemotron Embed 1B foram servidos e descartados no tráfego real em árabe, “where our podium held despite their public-board wins” (tradução: onde nosso pódio se manteve apesar das vitórias deles nos rankings públicos).
A BroadNet acrescenta um resultado que pesou mais que a escolha do modelo: uma instrução de consulta específica para a carga de trabalho mudou a qualidade de recuperação (nDCG) em 0,048, mais do que passar de um modelo de embedding de 4B para um de 8B.
Geração de imagens e segurança
- Cosmos3 Super 64B e HunyuanImage 3.0 80B foram descartados por compatibilidade de hardware e termos de licença.
- openai/privacy-filter 1.5B pegou 100% das credenciais, mas 0% dos valores de salário no corpus de vazamentos da BroadNet, então foi descartado como firewall.
O que dá para aprender com as rejeições?
Quatro lições valem além da stack da BroadNet:
- Teste a tarefa, não o ranking. Vários modelos de embedding vencedores em rankings públicos perderam no tráfego real em árabe.
- Segurança é uma etapa à parte. Um modelo rápido e capaz ainda pode ser reprovado num teste de credenciais. Rode um antes de um modelo ver segredos; o método de avaliação da BroadNet é um ponto de partida.
- Licenças decidem o que pode ser servido. Modelos não comerciais como Voxtral 4B TTS e Higgs Audio v3 aparecem no catálogo só como teto de qualidade.
- Escolhas de serving também são medidas. Formatos de quantização e métodos de drafting foram descartados com base em números de confronto direto, não por padrão. Veja o hardware de GPU e a abordagem de serving da BroadNet.
Todos os números aqui vêm do laboratório e do tráfego de uma única empresa. Use-os como uma lista do que testar e depois avalie com os seus dados antes de trocar. Uma linha descartada ou só medida também não é algo que você pode chamar pela API; como ler um catálogo de modelos explica como diferenciar entradas ativas, sob consulta e de pesquisa.
