LLM-as-a-Judge ersetzt einen menschlichen Bewerter durch einen Modellaufruf: Geben Sie ihm die Frage, die Antwort und eine Rubrik, und lesen Sie einen Score zurück.
So funktioniert es
Gründlich untersucht haben die Methode Zheng et al. (2023), die dafür MT-Bench (Fragen über mehrere Runden) und Chatbot Arena (Crowdsourcing-Abstimmungen im direkten Vergleich) aufgebaut haben. Ihr Hauptergebnis: GPT-4 als Bewerter stimmte mit den Präferenzen von Fachleuten und der Crowd „at over 80%“ (Übersetzung: „zu über 80 %“) überein, auf dem gleichen Niveau wie die Übereinstimmung zwischen Menschen.
Es gibt zwei verbreitete Aufbauten:
- Bewertung einzelner Antworten. Der Bewerter benotet eine Ausgabe auf einer Skala, etwa von 1 bis 5, anhand schriftlicher Kriterien. Der Graders-Leitfaden von OpenAI nennt das einen
score_model-Grader, der „a numeric score based on the prompt within the given range“ (Übersetzung: „einen numerischen Score auf Basis des Prompts im vorgegebenen Bereich“) liefert. - Paarweiser Vergleich. Der Bewerter sieht zwei Antworten auf dieselbe Frage und wählt die bessere oder ein Unentschieden.
Ein Bewerter-Prompt enthält meist die ursprüngliche Frage, die Antwort, eine Referenzantwort, falls vorhanden, und eine Rubrik. Lassen Sie vor dem Score eine kurze Begründung ausgeben und beschränken Sie den Score mit Structured Output, damit Ihr Code ihn parsen kann.
Warum es wichtig ist
Menschliche Bewertung skaliert nicht auf Tausende von Eval-Fällen pro Prompt-Änderung. Ein LLM-Bewerter schon, bringt aber Verzerrungen mit, die Zheng et al. gemessen haben:
| Verzerrung | Was passiert | Gegenmaßnahme |
|---|---|---|
| Position | Bevorzugt die erste (oder zweite) Antwort | Reihenfolge tauschen und Übereinstimmung verlangen |
| Ausführlichkeit | Bevorzugt längere Antworten | Rubrik, die Kürze belohnt; Längengrenzen |
| Selbstbevorzugung | Bevorzugt den Stil des eigenen Modells | Ein anderes Modell als Bewerter nutzen |
Bewerter sind außerdem schwach darin, Mathematik und Fakten zu prüfen, die sie nicht verifizieren können. Geben Sie dafür eine Referenzantwort mit oder nutzen Sie codebasierte Prüfungen. Ein Bewerter, der Halluzinationen übersieht, erzeugt falsche Sicherheit.
Bei BroadNet Inference
BroadNet bietet keinen gehosteten Bewertungsdienst an; den Bewerter-Aufruf schreiben Sie selbst gegen den Chat-Completions-Endpoint. Bewerter-Aufrufe werden wie jede Anfrage berechnet, ein Bewerter, der lange Antworten liest, verursacht also pro Fall zusätzliche Input- und Output-Tokens. Schätzen Sie einen Durchlauf mit dem Kostenrechner für LLM-APIs. Ist der Bewerter ein Reasoning-Modell, lassen Sie Spielraum in max_tokens, weil das Reasoning mitzählt. Den gesamten Ablauf beschreibt ein LLM vor dem Wechsel evaluieren.