BroadRouter

LLM-as-a-Judge (LLM als Bewerter)

Aktualisiert

LLM-as-a-Judge ist eine Evaluierungsmethode, bei der ein Sprachmodell die Ausgaben anderer Modelle bewertet: Es benotet eine einzelne Antwort anhand einer Rubrik oder wählt die bessere von zwei Antworten. Das nähert menschliches Urteil zu viel geringeren Kosten an, hat aber bekannte Verzerrungen, etwa eine Vorliebe für die erste oder längere Antwort.

Auch genannt: LLM-as-a-Judge, LLM als Richter, LLM als Bewerter, LLM-Judge, KI-Bewerter, modellbewertete Evals, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-Judge ersetzt einen menschlichen Bewerter durch einen Modellaufruf: Geben Sie ihm die Frage, die Antwort und eine Rubrik, und lesen Sie einen Score zurück.

So funktioniert es

Gründlich untersucht haben die Methode Zheng et al. (2023), die dafür MT-Bench (Fragen über mehrere Runden) und Chatbot Arena (Crowdsourcing-Abstimmungen im direkten Vergleich) aufgebaut haben. Ihr Hauptergebnis: GPT-4 als Bewerter stimmte mit den Präferenzen von Fachleuten und der Crowd „at over 80%“ (Übersetzung: „zu über 80 %“) überein, auf dem gleichen Niveau wie die Übereinstimmung zwischen Menschen.

Es gibt zwei verbreitete Aufbauten:

  • Bewertung einzelner Antworten. Der Bewerter benotet eine Ausgabe auf einer Skala, etwa von 1 bis 5, anhand schriftlicher Kriterien. Der Graders-Leitfaden von OpenAI nennt das einen score_model-Grader, der „a numeric score based on the prompt within the given range“ (Übersetzung: „einen numerischen Score auf Basis des Prompts im vorgegebenen Bereich“) liefert.
  • Paarweiser Vergleich. Der Bewerter sieht zwei Antworten auf dieselbe Frage und wählt die bessere oder ein Unentschieden.

Ein Bewerter-Prompt enthält meist die ursprüngliche Frage, die Antwort, eine Referenzantwort, falls vorhanden, und eine Rubrik. Lassen Sie vor dem Score eine kurze Begründung ausgeben und beschränken Sie den Score mit Structured Output, damit Ihr Code ihn parsen kann.

Warum es wichtig ist

Menschliche Bewertung skaliert nicht auf Tausende von Eval-Fällen pro Prompt-Änderung. Ein LLM-Bewerter schon, bringt aber Verzerrungen mit, die Zheng et al. gemessen haben:

Verzerrung Was passiert Gegenmaßnahme
Position Bevorzugt die erste (oder zweite) Antwort Reihenfolge tauschen und Übereinstimmung verlangen
Ausführlichkeit Bevorzugt längere Antworten Rubrik, die Kürze belohnt; Längengrenzen
Selbstbevorzugung Bevorzugt den Stil des eigenen Modells Ein anderes Modell als Bewerter nutzen

Bewerter sind außerdem schwach darin, Mathematik und Fakten zu prüfen, die sie nicht verifizieren können. Geben Sie dafür eine Referenzantwort mit oder nutzen Sie codebasierte Prüfungen. Ein Bewerter, der Halluzinationen übersieht, erzeugt falsche Sicherheit.

Bei BroadNet Inference

BroadNet bietet keinen gehosteten Bewertungsdienst an; den Bewerter-Aufruf schreiben Sie selbst gegen den Chat-Completions-Endpoint. Bewerter-Aufrufe werden wie jede Anfrage berechnet, ein Bewerter, der lange Antworten liest, verursacht also pro Fall zusätzliche Input- und Output-Tokens. Schätzen Sie einen Durchlauf mit dem Kostenrechner für LLM-APIs. Ist der Bewerter ein Reasoning-Modell, lassen Sie Spielraum in max_tokens, weil das Reasoning mitzählt. Den gesamten Ablauf beschreibt ein LLM vor dem Wechsel evaluieren.

Häufige Fragen

Wie genau ist LLM-as-a-Judge?

Zheng et al. stellten fest, dass GPT-4 als Bewerter in über 80 % der Fälle mit menschlichen Präferenzen übereinstimmte, etwa so oft wie Menschen untereinander. Prüfen Sie die Übereinstimmung bei Ihrer eigenen Aufgabe, bevor Sie dem Bewerter vertrauen.

Sollte der Bewerter dasselbe Modell sein wie das getestete?

Besser nicht. Zheng et al. berichten von einer Selbstbevorzugung, und der Leitfaden von Anthropic nennt ein anderes Bewertungsmodell Best Practice.

Wie verringere ich die Positionsverzerrung beim paarweisen Vergleich?

Führen Sie jeden Vergleich zweimal mit vertauschten Antworten aus und werten Sie einen Sieg nur, wenn der Bewerter beide Male dieselbe Antwort wählt.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen