---
title: "Qu’est-ce qu’une eval de LLM ? Tester les sorties du modèle"
description: "Une eval est un jeu de tests reproductible qui note les sorties d’un LLM selon vos critères. Comment la construire, la noter et la lancer avant de changer de modèle."
url: https://broadrouter.com/fr/glossary/eval/
lang: fr
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduit de l’anglais avec l’aide de l’IA. [Lire l’original en anglais](https://broadrouter.com/glossary/eval/) (mis à jour le 2026-11-16).

# Eval (évaluation de LLM)

Mis à jour 2026-11-16

Une eval (abréviation d’évaluation) est un test reproductible d’un modèle de langage ou d’un prompt : un ensemble fixe d’entrées, une description de ce qu’est une bonne sortie et un correcteur (du code, un humain ou un autre modèle) qui note chaque sortie pour pouvoir comparer les versions.

Aussi appelé : eval, evals, évaluation de LLM, évaluation de modèle, test de LLM, jeu d’évaluation, LLM evaluation, model evaluation, LLM testing, eval set

Une eval, c’est un test unitaire pour un prompt et un modèle : les mêmes entrées à chaque fois, un seuil de réussite clair et un score comparable.

## Comment ça marche

Une eval comporte trois parties :

1.  **Les cas.** Des entrées tirées de l’usage réel, avec des cas limites. Le guide d’Anthropic cite par exemple des entrées hors sujet, des entrées trop longues et des cas ambigus « where even humans would find it hard to reach an assessment consensus » (traduction : « où même des humains auraient du mal à s’accorder sur une évaluation »).
2.  **Les critères.** Ce qu’est une bonne réponse : une valeur exacte, un champ obligatoire, un ton, un fait qui doit figurer.
3.  **Le correcteur.** Ce qui note chaque sortie.

| Correcteur | Adapté à | Faiblesse |
| --- | --- | --- |
| Code (correspondance exacte, JSON Schema, regex) | Classification, extraction, [sortie structurée](https://broadrouter.com/fr/glossary/structured-output/) | Ne sait pas juger un texte libre |
| Humain | Nuances, ton, nouvelles tâches | Lent et coûteux |
| Modèle ([LLM-as-a-judge](https://broadrouter.com/fr/glossary/llm-as-judge/)) | Réponses ouvertes à grande échelle | A ses propres biais |

Anthropic recommande d’automatiser autant que possible et écrit « Prioritize volume over quality » (traduction : « Privilégiez le volume à la qualité ») : davantage de cas avec une notation automatique un peu plus bruitée valent mieux que quelques cas notés à la main. Il suggère aussi de noter avec un autre modèle que celui qui a produit la sortie.

## Pourquoi c’est important

-   **Changer de modèle ou de fournisseur.** Les benchmarks publics correspondent rarement à votre tâche. Même pour les modèles d’embedding, le benchmark MTEB a constaté que « no particular text embedding method dominates across all tasks » (traduction : « aucune méthode d’embedding de texte ne domine sur toutes les tâches »). Votre propre eval est la seule comparaison fiable. Voir [comment évaluer un LLM avant d’en changer](https://broadrouter.com/fr/blog/evaluate-llm-before-switching/).
-   **Modifications de prompt.** Corriger un cas en casse souvent un autre. Relancez tout le jeu à chaque modification du prompt.
-   **Arbitrages de coût.** Une eval montre, chiffres à l’appui plutôt qu’impressions, si un modèle moins cher suffit pour une étape donnée.
-   **Sécurité.** Ajoutez des cas pour les [hallucinations](https://broadrouter.com/fr/glossary/hallucination/), les refus et les tentatives d’injection, pas seulement pour les scénarios nominaux.

## Sur BroadNet Inference

La documentation de BroadNet ne mentionne pas de produit d’evals. Lancez votre jeu d’évaluation depuis votre propre code contre l’endpoint compatible OpenAI, en ne changeant que l’ID du modèle pour comparer les modèles. Les modèles de raisonnement comptent le raisonnement dans `max_tokens` : laissez-leur de la marge, sinon un cas peut échouer avec une réponse vide plutôt qu’une réponse fausse. L’article [GLM 5.3 vs DeepSeek V4.1 Flash](https://broadrouter.com/fr/blog/glm-5-3-vs-deepseek-v4-1-flash/) est une comparaison détaillée.

## Questions fréquentes

### Quelle différence entre une eval et un benchmark ?

Un benchmark est un jeu de test public qui sert à comparer les modèles en général. Une eval est le plus souvent votre propre jeu, construit à partir de vos tâches réelles, et montre comment un modèle se comporte dans votre produit.

### Combien de cas faut-il dans une eval ?

Il n’y a pas de nombre fixe. Les recommandations d’Anthropic privilégient beaucoup de cas notés automatiquement plutôt que quelques cas notés à la main ; commencez par quelques dizaines tirés du trafic réel et enrichissez le jeu à mesure que vous trouvez des échecs.

### Faut-il mettre la température à 0 pour les evals ?

Utilisez les réglages que vous aurez en production. Si les sorties varient d’une exécution à l’autre, notez chaque cas plusieurs fois et comparez des moyennes plutôt que des résultats isolés.

## Voir aussi

-   [LLM-as-a-judge (LLM juge)](https://broadrouter.com/fr/glossary/llm-as-judge/) (terme)
-   [Hallucination (IA)](https://broadrouter.com/fr/glossary/hallucination/) (terme)
-   [Sortie structurée (structured output)](https://broadrouter.com/fr/glossary/structured-output/) (terme)
-   [Température (temperature)](https://broadrouter.com/fr/glossary/temperature/) (terme)
-   [Guardrails (garde-fous pour LLM)](https://broadrouter.com/fr/glossary/guardrails/) (terme)
-   [Benchmark de LLM](https://broadrouter.com/fr/glossary/llm-benchmark/) (terme)
-   [Utiliser le SDK Python d’OpenAI avec BroadNet Inference](https://broadrouter.com/fr/guides/openai-python-sdk/) (guide)
-   [Comment évaluer un LLM avant de changer de fournisseur](https://broadrouter.com/fr/blog/evaluate-llm-before-switching/) (article)
-   [Passer à une API compatible OpenAI : la checklist de migration](https://broadrouter.com/fr/blog/openai-compatible-api-migration-checklist/) (article)
-   [GLM 5.3 ou DeepSeek V4.1 Flash : lequel utiliser, et quand ?](https://broadrouter.com/fr/blog/glm-5-3-vs-deepseek-v4-1-flash/) (article)

Essayez-le sur votre vraie charge de travail. Les nouveaux comptes démarrent avec USD 5 de crédit pour Gemma et transcription. DeepSeek, GLM et Qwen3.8 nécessitent une recharge.

[Commencer](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-glossary-eval&utm_content=page-cta) ·

**Sources**

-   [Anthropic, définir des critères de réussite et construire des évaluations (développer des tests) (vérifié le 2026-11-16)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv) (vérifié le 2026-11-16)](https://arxiv.org/abs/2306.05685)
-   [Muennighoff et al., MTEB: Massive Text Embedding Benchmark (arXiv) (vérifié le 2026-11-16)](https://arxiv.org/abs/2210.07316)
