---
title: "Qu’est-ce que LLM-as-a-judge ? Evals notées par un modèle"
description: "LLM-as-a-judge utilise un modèle de langage pour noter les sorties d’un autre selon une grille. Fonctionnement, biais connus et comment rendre ses scores fiables."
url: https://broadrouter.com/fr/glossary/llm-as-judge/
lang: fr
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduit de l’anglais avec l’aide de l’IA. [Lire l’original en anglais](https://broadrouter.com/glossary/llm-as-judge/) (mis à jour le 2026-11-14).

# LLM-as-a-judge (LLM juge)

Mis à jour 2026-11-14

LLM-as-a-judge est une méthode d’évaluation dans laquelle un modèle de langage note les sorties d’autres modèles, soit en évaluant une réponse unique selon une grille, soit en choisissant la meilleure de deux réponses. Elle approche le jugement humain pour un coût bien moindre, mais présente des biais connus, comme une préférence pour la première réponse ou la plus longue.

Aussi appelé : LLM-as-a-judge, LLM juge, LLM comme juge, juge IA, évaluation par un LLM, eval notée par un modèle, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge remplace un correcteur humain par un appel de modèle : donnez-lui la question, la réponse et une grille, et récupérez un score.

## Comment ça marche

La méthode a été étudiée en profondeur par Zheng et al. (2023), qui ont construit MT-Bench (questions sur plusieurs tours) et Chatbot Arena (votes participatifs en face-à-face) pour la tester. Leur principal résultat : GPT-4 en juge rejoignait les préférences des experts comme de la foule « at over 80% » (traduction : « à plus de 80 % »), le même niveau que l’accord entre humains.

Deux configurations sont courantes :

-   **Notation d’une réponse unique.** Le juge note une sortie sur une échelle, par exemple de 1 à 5, selon des critères écrits. Le guide des graders d’OpenAI appelle cela un grader `score_model`, qui renvoie « a numeric score based on the prompt within the given range » (traduction : « un score numérique fondé sur le prompt, dans la plage donnée »).
-   **Comparaison par paires.** Le juge voit deux réponses à la même question et choisit la meilleure, ou déclare une égalité.

Un prompt de juge contient en général la question d’origine, la réponse, une réponse de référence si vous en avez une, et une grille. Demandez une courte justification avant le score, et contraignez le score avec une [sortie structurée](https://broadrouter.com/fr/glossary/structured-output/) pour que votre code puisse le parser.

## Pourquoi c’est important

La notation humaine ne passe pas à l’échelle de milliers de cas d’[eval](https://broadrouter.com/fr/glossary/eval/) à chaque modification de prompt. Un juge, si, mais il apporte des biais que Zheng et al. ont mesurés :

| Biais | Ce qui se passe | Parade |
| --- | --- | --- |
| Position | Préfère la première (ou la seconde) réponse | Inverser l’ordre et exiger l’accord |
| Verbosité | Préfère les réponses longues | Grille qui récompense la concision ; plafonds de longueur |
| Auto-complaisance | Préfère le style de son propre modèle | Utiliser un autre modèle comme juge |

Les juges sont aussi faibles pour vérifier des calculs et des faits qu’ils ne peuvent pas contrôler. Dans ces cas, donnez au juge une réponse de référence ou utilisez des vérifications par code. Un juge qui laisse passer les [hallucinations](https://broadrouter.com/fr/glossary/hallucination/) donne une fausse assurance.

## Sur BroadNet Inference

BroadNet ne propose pas de service de notation hébergé : vous écrivez vous-même l’appel au juge sur l’endpoint de chat completions. Les appels au juge sont facturés comme n’importe quelle requête : un juge qui lit de longues réponses ajoute des [tokens d’entrée et de sortie](https://broadrouter.com/fr/glossary/input-and-output-tokens/) à chaque cas. Estimez un passage avec le [calculateur de coût d’API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/). Si le juge est un modèle de raisonnement, laissez de la marge dans `max_tokens`, car le raisonnement est décompté. Pour le processus complet, voir [évaluer un LLM avant de changer](https://broadrouter.com/fr/blog/evaluate-llm-before-switching/).

## Questions fréquentes

### LLM-as-a-judge est-il fiable ?

Zheng et al. ont constaté que GPT-4 utilisé comme juge était d’accord avec les préférences humaines dans plus de 80 % des cas, à peu près au même niveau que les humains entre eux. Vérifiez l’accord sur votre propre tâche avant de vous y fier.

### Le juge doit-il être le même modèle que celui qu’on teste ?

De préférence, non. Zheng et al. rapportent un biais d’auto-complaisance, et les recommandations d’Anthropic qualifient de bonne pratique l’usage d’un modèle de notation différent.

### Comment réduire le biais de position dans une comparaison par paires ?

Lancez chaque comparaison deux fois en inversant les réponses, et ne comptez une victoire que si le juge choisit la même réponse les deux fois.

## Voir aussi

-   [Eval (évaluation de LLM)](https://broadrouter.com/fr/glossary/eval/) (terme)
-   [Hallucination (IA)](https://broadrouter.com/fr/glossary/hallucination/) (terme)
-   [Sortie structurée (structured output)](https://broadrouter.com/fr/glossary/structured-output/) (terme)
-   [Température (temperature)](https://broadrouter.com/fr/glossary/temperature/) (terme)
-   [Tokens d’entrée et de sortie](https://broadrouter.com/fr/glossary/input-and-output-tokens/) (terme)
-   [Utiliser le SDK Python d’OpenAI avec BroadNet Inference](https://broadrouter.com/fr/guides/openai-python-sdk/) (guide)
-   [Comment évaluer un LLM avant de changer de fournisseur](https://broadrouter.com/fr/blog/evaluate-llm-before-switching/) (article)

Essayez-le sur votre vraie charge de travail. Les nouveaux comptes démarrent avec USD 5 de crédit pour Gemma et transcription. DeepSeek, GLM et Qwen3.8 nécessitent une recharge.

[Commencer](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-glossary-llm-as-judge&utm_content=page-cta) ·

**Sources**

-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)](https://arxiv.org/abs/2306.05685)
-   [Anthropic, créer des évaluations empiriques solides (notation par LLM)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [OpenAI, guide des graders (grader score\_model)](https://developers.openai.com/api/docs/guides/graders)
