Une eval, c’est un test unitaire pour un prompt et un modèle : les mêmes entrées à chaque fois, un seuil de réussite clair et un score comparable.
Comment ça marche
Une eval comporte trois parties :
- Les cas. Des entrées tirées de l’usage réel, avec des cas limites. Le guide d’Anthropic cite par exemple des entrées hors sujet, des entrées trop longues et des cas ambigus « where even humans would find it hard to reach an assessment consensus » (traduction : « où même des humains auraient du mal à s’accorder sur une évaluation »).
- Les critères. Ce qu’est une bonne réponse : une valeur exacte, un champ obligatoire, un ton, un fait qui doit figurer.
- Le correcteur. Ce qui note chaque sortie.
| Correcteur | Adapté à | Faiblesse |
|---|---|---|
| Code (correspondance exacte, JSON Schema, regex) | Classification, extraction, sortie structurée | Ne sait pas juger un texte libre |
| Humain | Nuances, ton, nouvelles tâches | Lent et coûteux |
| Modèle (LLM-as-a-judge) | Réponses ouvertes à grande échelle | A ses propres biais |
Anthropic recommande d’automatiser autant que possible et écrit « Prioritize volume over quality » (traduction : « Privilégiez le volume à la qualité ») : davantage de cas avec une notation automatique un peu plus bruitée valent mieux que quelques cas notés à la main. Il suggère aussi de noter avec un autre modèle que celui qui a produit la sortie.
Pourquoi c’est important
- Changer de modèle ou de fournisseur. Les benchmarks publics correspondent rarement à votre tâche. Même pour les modèles d’embedding, le benchmark MTEB a constaté que « no particular text embedding method dominates across all tasks » (traduction : « aucune méthode d’embedding de texte ne domine sur toutes les tâches »). Votre propre eval est la seule comparaison fiable. Voir comment évaluer un LLM avant d’en changer.
- Modifications de prompt. Corriger un cas en casse souvent un autre. Relancez tout le jeu à chaque modification du prompt.
- Arbitrages de coût. Une eval montre, chiffres à l’appui plutôt qu’impressions, si un modèle moins cher suffit pour une étape donnée.
- Sécurité. Ajoutez des cas pour les hallucinations, les refus et les tentatives d’injection, pas seulement pour les scénarios nominaux.
Sur BroadNet Inference
La documentation de BroadNet ne mentionne pas de produit d’evals. Lancez votre jeu d’évaluation depuis votre propre code contre l’endpoint compatible OpenAI, en ne changeant que l’ID du modèle pour comparer les modèles. Les modèles de raisonnement comptent le raisonnement dans max_tokens : laissez-leur de la marge, sinon un cas peut échouer avec une réponse vide plutôt qu’une réponse fausse. L’article GLM 5.3 vs DeepSeek V4.1 Flash est une comparaison détaillée.