LLM-as-a-judge remplace un correcteur humain par un appel de modèle : donnez-lui la question, la réponse et une grille, et récupérez un score.
Comment ça marche
La méthode a été étudiée en profondeur par Zheng et al. (2023), qui ont construit MT-Bench (questions sur plusieurs tours) et Chatbot Arena (votes participatifs en face-à-face) pour la tester. Leur principal résultat : GPT-4 en juge rejoignait les préférences des experts comme de la foule « at over 80% » (traduction : « à plus de 80 % »), le même niveau que l’accord entre humains.
Deux configurations sont courantes :
- Notation d’une réponse unique. Le juge note une sortie sur une échelle, par exemple de 1 à 5, selon des critères écrits. Le guide des graders d’OpenAI appelle cela un grader
score_model, qui renvoie « a numeric score based on the prompt within the given range » (traduction : « un score numérique fondé sur le prompt, dans la plage donnée »). - Comparaison par paires. Le juge voit deux réponses à la même question et choisit la meilleure, ou déclare une égalité.
Un prompt de juge contient en général la question d’origine, la réponse, une réponse de référence si vous en avez une, et une grille. Demandez une courte justification avant le score, et contraignez le score avec une sortie structurée pour que votre code puisse le parser.
Pourquoi c’est important
La notation humaine ne passe pas à l’échelle de milliers de cas d’eval à chaque modification de prompt. Un juge, si, mais il apporte des biais que Zheng et al. ont mesurés :
| Biais | Ce qui se passe | Parade |
|---|---|---|
| Position | Préfère la première (ou la seconde) réponse | Inverser l’ordre et exiger l’accord |
| Verbosité | Préfère les réponses longues | Grille qui récompense la concision ; plafonds de longueur |
| Auto-complaisance | Préfère le style de son propre modèle | Utiliser un autre modèle comme juge |
Les juges sont aussi faibles pour vérifier des calculs et des faits qu’ils ne peuvent pas contrôler. Dans ces cas, donnez au juge une réponse de référence ou utilisez des vérifications par code. Un juge qui laisse passer les hallucinations donne une fausse assurance.
Sur BroadNet Inference
BroadNet ne propose pas de service de notation hébergé : vous écrivez vous-même l’appel au juge sur l’endpoint de chat completions. Les appels au juge sont facturés comme n’importe quelle requête : un juge qui lit de longues réponses ajoute des tokens d’entrée et de sortie à chaque cas. Estimez un passage avec le calculateur de coût d’API LLM. Si le juge est un modèle de raisonnement, laissez de la marge dans max_tokens, car le raisonnement est décompté. Pour le processus complet, voir évaluer un LLM avant de changer.