Los lanzamientos de modelos llegan con tablas de puntuaciones de benchmarks. Saber qué mide un benchmark, y qué no puede medir, evita elegir un modelo por el número equivocado.
Cómo funciona
Un benchmark fija tres cosas: las tareas, la forma de hacer el prompt al modelo y la regla de puntuación. Dos ejemplos conocidos:
| Benchmark | Qué evalúa | Tamaño | Puntuación |
|---|---|---|---|
| MMLU (2020) | Conocimiento en “57 tasks including elementary mathematics, US history, computer science, law, and more” (traducción: 57 tareas, entre ellas matemáticas elementales, historia de EE. UU., informática, derecho y más) | 57 materias | Exactitud |
| SWE-bench (2023) | Resolver issues reales de GitHub “editing the codebase to address the issue” (traducción: editando el código base para resolver el issue) | 2,294 problemas de 12 repositorios de Python | Porcentaje de issues resueltos |
La voz tiene los suyos: los leaderboards clasifican los modelos de transcripción por tasa de error de palabras, donde menos es mejor.
Los benchmarks envejecen. Cuando se publicó MMLU, el mayor modelo GPT-3 mejoraba “over random chance by almost 20 percentage points on average” (traducción: sobre el azar en casi 20 puntos porcentuales de media). Cuando se publicó SWE-bench, el mejor modelo, Claude 2, resolvía el 1.96 % de los issues. Un benchmark que antes separaba bien a los modelos puede dejar de hacerlo a medida que mejoran, así que compruebe cuándo se creó y qué puntuaciones son habituales hoy.
Por qué importa
- Contaminación. La revisión de Xu et al. describe la contaminación de datos de benchmarks como modelos que “inadvertently incorporate evaluation benchmark information from their training data” (traducción: incorporan sin querer información de los benchmarks de evaluación en sus datos de entrenamiento), lo que lleva a un “inaccurate or unreliable performance during the evaluation phase” (traducción: rendimiento inexacto o poco fiable durante la fase de evaluación).
- Cobertura limitada. Un benchmark de programación en Python dice poco sobre atención al cliente en árabe. Elija benchmarks que se ajusten a su tarea (qué mide cada leaderboard) y luego confirme con una eval sobre sus propios datos.
- La configuración cambia las puntuaciones. El formato del prompt, los ejemplos few-shot, el presupuesto de razonamiento y la configuración del servidor mueven los resultados. Compare puntuaciones solo si se obtuvieron de la misma manera.
- Los jueces añaden su propio sesgo. Los benchmarks abiertos suelen usar un LLM como juez; compruebe qué juez y qué rúbrica se usaron.
El artículo evaluar un LLM antes de cambiar muestra cómo crear un pequeño conjunto de pruebas a partir de su propio tráfico.
En BroadNet Inference
BroadNet publica algunas cifras de benchmarks propias; trátelas como cifras reportadas por BroadNet. Para BroadNet Transcribe Arabic (basado en Cohere Transcribe), BroadNet reporta tasas de error de palabras de 21.1 en habla dialectal de MASC y de 3.8 en FLEURS árabe, e informa que ocupa el puesto #2 de 37 (su cifra de septiembre de 2026; el tablero en vivo lo situaba en el #4 de 39 el 15 de noviembre de 2026) en el Open Universal Arabic ASR Leaderboard. Para Gemma 4 VL 26B, BroadNet reporta una evaluación ciega con tres jueces sobre 240 conversaciones de producción, en la que igualó a Claude Sonnet en 5 de 6 pasos del pipeline de chatbot de la propia BroadNet. Es el pipeline de una sola empresa, no un benchmark general. Ejecute su propia eval antes de comprometerse; el crédito inicial de $5 cubre Gemma 4 VL 26B y los dos modelos de transcripción.