BroadRouter

Benchmark de LLM

Mis à jour

Un benchmark de LLM est un ensemble fixe de tâches, généralement public, avec une méthode de notation, qui mesure et compare des modèles de langage sur une compétence : connaissances, code ou reconnaissance vocale. Un score de benchmark indique un niveau relatif sur ce test, pas les résultats d’un modèle sur votre propre charge de travail.

Aussi appelé : benchmark de LLM, benchmark de modèle, score de benchmark, banc d’essai LLM, classement de modèles, LLM benchmark, model benchmark, benchmark score

Chaque lancement de modèle s’accompagne de tableaux de scores de benchmark. Savoir ce qu’un benchmark mesure, et ce qu’il ne peut pas mesurer, évite de choisir un modèle sur le mauvais chiffre.

Comment ça marche

Un benchmark fixe trois choses : les tâches, la façon dont le modèle est prompté et la règle de notation. Deux exemples connus :

Benchmark Ce qu’il teste Taille Notation
MMLU (2020) Connaissances sur « 57 tasks including elementary mathematics, US history, computer science, law, and more » (traduction : « 57 tâches, dont les mathématiques élémentaires, l’histoire des États-Unis, l’informatique, le droit, etc. ») 57 matières Exactitude
SWE-bench (2023) Corriger de vraies issues GitHub en « editing the codebase to address the issue » (traduction : « modifiant la base de code pour résoudre l’issue ») 2 294 problèmes issus de 12 dépôts Python Part des issues résolues

La parole a les siens : des classements ordonnent les modèles de transcription selon le taux d’erreur sur les mots, où plus bas est meilleur.

Les benchmarks vieillissent. À la publication de MMLU, le plus grand modèle GPT-3 faisait mieux « over random chance by almost 20 percentage points on average » (traduction : « que le hasard de près de 20 points de pourcentage en moyenne »). À la publication de SWE-bench, le meilleur modèle, Claude 2, résolvait 1,96 % des issues. Un benchmark qui départageait bien les modèles peut cesser de le faire à mesure qu’ils progressent : vérifiez donc quand il a été créé et quels scores sont typiques aujourd’hui.

Pourquoi c’est important

  • Contamination. La revue de Xu et al. décrit la contamination des données de benchmark comme le fait que des modèles « inadvertently incorporate evaluation benchmark information from their training data » (traduction : « intègrent par inadvertance des informations de benchmarks d’évaluation issues de leurs données d’entraînement »), ce qui conduit à des « inaccurate or unreliable performance during the evaluation phase » (traduction : « performances inexactes ou peu fiables pendant la phase d’évaluation »).
  • Couverture étroite. Un benchmark de code en Python dit peu de chose du support client en arabe. Choisissez des benchmarks adaptés à votre tâche (quel classement mesure quoi), puis confirmez par une eval sur vos propres données.
  • Les réglages changent les scores. Le format du prompt, les exemples few-shot, le budget de raisonnement et la configuration de service font bouger les résultats. Ne comparez des scores que s’ils ont été obtenus de la même façon.
  • Les juges ajoutent leurs propres biais. Les benchmarks ouverts utilisent souvent un LLM-as-a-judge ; vérifiez quel juge et quelle grille ont été employés.

L’article évaluer un LLM avant de changer montre comment construire un petit jeu de test à partir de votre propre trafic.

Sur BroadNet Inference

BroadNet publie certains chiffres de benchmark qui lui sont propres ; considérez-les comme annoncés par BroadNet. Pour BroadNet Transcribe Arabic (basé sur Cohere Transcribe), BroadNet annonce des taux d’erreur sur les mots de 21,1 sur la parole dialectale de MASC et de 3,8 sur FLEURS arabe, ainsi qu’un rang de #2 sur 37 (chiffre de septembre 2026 ; le classement en direct le plaçait #4 sur 39 le 15 novembre 2026) sur l’Open Universal Arabic ASR Leaderboard. Pour Gemma 4 VL 26B, BroadNet annonce une évaluation à l’aveugle par trois juges sur 240 conversations de production, dans laquelle le modèle a égalé Claude Sonnet sur 5 des 6 étapes du pipeline de chatbot de BroadNet. Il s’agit du pipeline d’une seule entreprise, pas d’un benchmark général. Lancez votre propre eval avant de vous engager ; le crédit de départ de $5 couvre Gemma 4 VL 26B et les deux modèles de transcription.

Questions fréquentes

Quelle différence entre un benchmark et une eval ?

Un benchmark est un test public partagé qui permet à de nombreuses équipes de comparer des modèles. Une eval est votre propre jeu de test, construit à partir de vos vrais prompts et noté selon les besoins de votre produit. Utilisez les benchmarks pour présélectionner et les evals pour décider.

Qu’est-ce que la contamination d’un benchmark ?

Elle se produit quand des questions du test, ou des copies proches, se retrouvent dans les données d’entraînement d’un modèle. Le modèle peut alors bien scorer par mémorisation plutôt que par compétence, et le score surestime ses capacités.

Les scores annoncés par les éditeurs sont-ils fiables ?

Traitez-les comme des affirmations. Vérifiez la version du benchmark, les réglages et les prompts utilisés, si quelqu’un a reproduit le résultat, et si un classement public montre la même chose.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity