BroadRouter
Loslegen

Eval (LLM-Evaluierung)

Aktualisiert

Ein Eval (kurz für Evaluation) ist ein wiederholbarer Test eines Sprachmodells oder Prompts: eine feste Menge an Inputs, eine Beschreibung, wie ein guter Output aussieht, und ein Bewerter (Code, ein Mensch oder ein anderes Modell), der jeden Output benotet, damit sich Versionen vergleichen lassen.

Auch genannt: Eval, Evals, LLM-Evaluierung, Modellevaluierung, LLM-Tests, Eval-Set, Evaluierungsset, evals, LLM evaluation, model evaluation, LLM testing, eval set

Ein Eval ist ein Unit-Test für Prompt und Modell: jedes Mal dieselben Inputs, eine klare Bestehensgrenze und ein Wert, den Sie vergleichen können.

So funktioniert es

Ein Eval hat drei Teile:

  1. Fälle. Inputs aus der echten Nutzung, samt Grenzfällen. Der Leitfaden von Anthropic nennt Beispiele wie irrelevanten Input, übermäßig langen Input und mehrdeutige Fälle, „where even humans would find it hard to reach an assessment consensus“ (Übersetzung: „bei denen selbst Menschen kaum zu einer übereinstimmenden Bewertung kämen“).
  2. Kriterien. Wie eine gute Antwort aussieht: ein exakter Wert, ein Pflichtfeld, ein Tonfall, ein Fakt, der vorkommen muss.
  3. Bewerter. Etwas, das jeden Output benotet.
Bewerter Gut für Schwäche
Code (exakter Abgleich, JSON Schema, Regex) Klassifikation, Extraktion, strukturierte Ausgabe Kann offenen Text nicht beurteilen
Mensch Nuancen, Tonfall, neue Aufgaben Langsam und teuer
Modell (LLM-as-a-Judge) Offene Antworten in großer Menge Hat eigene Verzerrungen

Anthropic empfiehlt, wo möglich zu automatisieren, und schreibt „Prioritize volume over quality“ (Übersetzung: „Menge vor Qualität“): Mehr Fälle mit etwas ungenauerer automatischer Bewertung schlagen wenige von Hand bewertete. Außerdem rät Anthropic, mit einem anderen Modell zu bewerten als dem, das den Output erzeugt hat.

Warum es wichtig ist

  • Modell- oder Anbieterwechsel. Öffentliche Benchmarks passen selten zu Ihrer Aufgabe. Selbst bei Embedding-Modellen stellte der MTEB-Benchmark fest: „no particular text embedding method dominates across all tasks“ (Übersetzung: „keine einzelne Text-Embedding-Methode dominiert über alle Aufgaben“). Ihr eigenes Eval ist der einzige verlässliche Vergleich. Siehe ein LLM vor dem Wechsel evaluieren.
  • Prompt-Änderungen. Eine Korrektur für einen Fall macht oft einen anderen kaputt. Lassen Sie bei jeder Prompt-Änderung das ganze Set erneut laufen.
  • Kostenabwägungen. Ein Eval zeigt mit Zahlen statt Eindrücken, ob ein günstigeres Modell für einen bestimmten Schritt reicht.
  • Sicherheit. Nehmen Sie Fälle für Halluzinationen, Verweigerungen und Injection-Versuche auf, nicht nur für den Normalfall.

Bei BroadNet Inference

Die Dokumentation von BroadNet nennt kein Eval-Produkt. Lassen Sie Ihr Eval-Set aus Ihrem eigenen Code gegen den OpenAI-kompatiblen Endpunkt laufen und ändern Sie zum Vergleich nur die Modell-ID. Reasoning-Modelle rechnen das Reasoning auf max_tokens an; geben Sie ihnen also Platz, sonst kann ein Fall mit einer leeren statt einer falschen Antwort scheitern. Der Beitrag GLM 5.3 vs. DeepSeek V4.1 Flash ist ein durchgearbeiteter Vergleich.

Häufige Fragen

Was ist der Unterschied zwischen einem Eval und einem Benchmark?

Ein Benchmark ist ein öffentliches Testset, mit dem Modelle allgemein verglichen werden. Ein Eval ist meist Ihr eigenes Set, gebaut aus Ihren echten Aufgaben, und zeigt, wie ein Modell in Ihrem Produkt abschneidet.

Wie viele Testfälle braucht ein Eval?

Eine feste Zahl gibt es nicht. Anthropic empfiehlt eher viele Fälle mit automatischer Bewertung als wenige von Hand bewertete; beginnen Sie mit einigen Dutzend Fällen aus echtem Traffic und erweitern Sie das Set, wenn Sie Fehler finden.

Sollte ich die Temperatur für Evals auf 0 setzen?

Nutzen Sie die Einstellungen, mit denen Sie auch in Produktion arbeiten. Schwanken die Outputs zwischen Läufen, bewerten Sie jeden Fall mehrmals und vergleichen Sie Mittelwerte statt Einzelergebnisse.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen