BroadRouter
Commencer

Eval (évaluation de LLM)

Mis à jour

Une eval (abréviation d’évaluation) est un test reproductible d’un modèle de langage ou d’un prompt : un ensemble fixe d’entrées, une description de ce qu’est une bonne sortie et un correcteur (du code, un humain ou un autre modèle) qui note chaque sortie pour pouvoir comparer les versions.

Aussi appelé : eval, evals, évaluation de LLM, évaluation de modèle, test de LLM, jeu d’évaluation, LLM evaluation, model evaluation, LLM testing, eval set

Une eval, c’est un test unitaire pour un prompt et un modèle : les mêmes entrées à chaque fois, un seuil de réussite clair et un score comparable.

Comment ça marche

Une eval comporte trois parties :

  1. Les cas. Des entrées tirées de l’usage réel, avec des cas limites. Le guide d’Anthropic cite par exemple des entrées hors sujet, des entrées trop longues et des cas ambigus « where even humans would find it hard to reach an assessment consensus » (traduction : « où même des humains auraient du mal à s’accorder sur une évaluation »).
  2. Les critères. Ce qu’est une bonne réponse : une valeur exacte, un champ obligatoire, un ton, un fait qui doit figurer.
  3. Le correcteur. Ce qui note chaque sortie.
Correcteur Adapté à Faiblesse
Code (correspondance exacte, JSON Schema, regex) Classification, extraction, sortie structurée Ne sait pas juger un texte libre
Humain Nuances, ton, nouvelles tâches Lent et coûteux
Modèle (LLM-as-a-judge) Réponses ouvertes à grande échelle A ses propres biais

Anthropic recommande d’automatiser autant que possible et écrit « Prioritize volume over quality » (traduction : « Privilégiez le volume à la qualité ») : davantage de cas avec une notation automatique un peu plus bruitée valent mieux que quelques cas notés à la main. Il suggère aussi de noter avec un autre modèle que celui qui a produit la sortie.

Pourquoi c’est important

  • Changer de modèle ou de fournisseur. Les benchmarks publics correspondent rarement à votre tâche. Même pour les modèles d’embedding, le benchmark MTEB a constaté que « no particular text embedding method dominates across all tasks » (traduction : « aucune méthode d’embedding de texte ne domine sur toutes les tâches »). Votre propre eval est la seule comparaison fiable. Voir comment évaluer un LLM avant d’en changer.
  • Modifications de prompt. Corriger un cas en casse souvent un autre. Relancez tout le jeu à chaque modification du prompt.
  • Arbitrages de coût. Une eval montre, chiffres à l’appui plutôt qu’impressions, si un modèle moins cher suffit pour une étape donnée.
  • Sécurité. Ajoutez des cas pour les hallucinations, les refus et les tentatives d’injection, pas seulement pour les scénarios nominaux.

Sur BroadNet Inference

La documentation de BroadNet ne mentionne pas de produit d’evals. Lancez votre jeu d’évaluation depuis votre propre code contre l’endpoint compatible OpenAI, en ne changeant que l’ID du modèle pour comparer les modèles. Les modèles de raisonnement comptent le raisonnement dans max_tokens : laissez-leur de la marge, sinon un cas peut échouer avec une réponse vide plutôt qu’une réponse fausse. L’article GLM 5.3 vs DeepSeek V4.1 Flash est une comparaison détaillée.

Questions fréquentes

Quelle différence entre une eval et un benchmark ?

Un benchmark est un jeu de test public qui sert à comparer les modèles en général. Une eval est le plus souvent votre propre jeu, construit à partir de vos tâches réelles, et montre comment un modèle se comporte dans votre produit.

Combien de cas faut-il dans une eval ?

Il n’y a pas de nombre fixe. Les recommandations d’Anthropic privilégient beaucoup de cas notés automatiquement plutôt que quelques cas notés à la main ; commencez par quelques dizaines tirés du trafic réel et enrichissez le jeu à mesure que vous trouvez des échecs.

Faut-il mettre la température à 0 pour les evals ?

Utilisez les réglages que vous aurez en production. Si les sorties varient d’une exécution à l’autre, notez chaque cas plusieurs fois et comparez des moyennes plutôt que des résultats isolés.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity