Lançamentos de modelos chegam com tabelas de notas em benchmarks. Saber o que um benchmark mede, e o que ele não consegue medir, evita que você escolha um modelo pelo número errado.
Como funciona
Um benchmark fixa três coisas: as tarefas, a forma de fazer o prompt ao modelo e a regra de pontuação. Dois exemplos conhecidos:
| Benchmark | O que testa | Tamanho | Pontuação |
|---|---|---|---|
| MMLU (2020) | Conhecimento em “57 tasks including elementary mathematics, US history, computer science, law, and more” (57 tarefas, entre elas matemática elementar, história dos EUA, ciência da computação, direito e outras) | 57 matérias | Acurácia |
| SWE-bench (2023) | Corrigir issues reais do GitHub “editing the codebase to address the issue” (editando o código para resolver a issue) | 2.294 problemas de 12 repositórios Python | Parcela de issues resolvidas |
A fala tem os seus: leaderboards ordenam modelos de transcrição por word error rate, em que menor é melhor.
Benchmarks envelhecem. Quando o MMLU foi publicado, o maior modelo GPT-3 melhorava “over random chance by almost 20 percentage points on average” (tradução: em relação ao acaso, em quase 20 pontos percentuais em média). Quando o SWE-bench foi publicado, o melhor modelo, o Claude 2, resolvia 1,96% das issues. Um benchmark que antes separava bem os modelos pode deixar de fazer isso à medida que eles melhoram, então verifique quando o benchmark foi criado e quais notas são típicas hoje.
Por que importa
- Contaminação. O levantamento de Xu et al. descreve a contaminação de dados de benchmark como modelos que “inadvertently incorporate evaluation benchmark information from their training data” (tradução: incorporam sem querer informações dos benchmarks de avaliação a partir dos dados de treinamento), levando a “inaccurate or unreliable performance during the evaluation phase” (tradução: desempenho impreciso ou pouco confiável na fase de avaliação).
- Cobertura estreita. Um benchmark de programação em Python diz pouco sobre atendimento ao cliente em árabe. Escolha benchmarks que combinem com a sua tarefa (qual leaderboard mede o quê) e confirme com uma eval nos seus próprios dados.
- Configurações mudam as notas. Formato do prompt, exemplos few-shot, orçamento de raciocínio e a configuração de serving alteram os resultados. Compare notas só quando foram obtidas da mesma forma.
- Juízes trazem seus próprios vieses. Benchmarks de resposta aberta costumam usar um LLM como juiz; verifique qual juiz e qual rubrica foram usados.
O post avaliar um LLM antes de trocar mostra como montar um pequeno conjunto de testes a partir do seu próprio tráfego.
Na BroadNet Inference
A BroadNet publica alguns números de benchmark próprios; trate-os como informados pela BroadNet. Para o BroadNet Transcribe Arabic (baseado no Cohere Transcribe), a BroadNet informa word error rate de 21,1 na fala dialetal do MASC e de 3,8 no FLEURS Arabic, e uma posição #2 de 37 (dado de setembro de 2026; o ranking ao vivo o listava em #4 de 39 em 15 de novembro de 2026) no Open Universal Arabic ASR Leaderboard. Para o Gemma 4 VL 26B, a BroadNet informa uma avaliação às cegas com três juízes em 240 conversas de produção, na qual ele empatou com o Claude Sonnet em 5 das 6 etapas do pipeline de chatbot da própria BroadNet. Esse é o pipeline de uma única empresa, não um benchmark geral. Rode a sua própria eval antes de se comprometer; o crédito inicial de $5 cobre o Gemma 4 VL 26B e os dois modelos de transcrição.