Ein Eval ist ein Unit-Test für Prompt und Modell: jedes Mal dieselben Inputs, eine klare Bestehensgrenze und ein Wert, den Sie vergleichen können.
So funktioniert es
Ein Eval hat drei Teile:
- Fälle. Inputs aus der echten Nutzung, samt Grenzfällen. Der Leitfaden von Anthropic nennt Beispiele wie irrelevanten Input, übermäßig langen Input und mehrdeutige Fälle, „where even humans would find it hard to reach an assessment consensus“ (Übersetzung: „bei denen selbst Menschen kaum zu einer übereinstimmenden Bewertung kämen“).
- Kriterien. Wie eine gute Antwort aussieht: ein exakter Wert, ein Pflichtfeld, ein Tonfall, ein Fakt, der vorkommen muss.
- Bewerter. Etwas, das jeden Output benotet.
| Bewerter | Gut für | Schwäche |
|---|---|---|
| Code (exakter Abgleich, JSON Schema, Regex) | Klassifikation, Extraktion, strukturierte Ausgabe | Kann offenen Text nicht beurteilen |
| Mensch | Nuancen, Tonfall, neue Aufgaben | Langsam und teuer |
| Modell (LLM-as-a-Judge) | Offene Antworten in großer Menge | Hat eigene Verzerrungen |
Anthropic empfiehlt, wo möglich zu automatisieren, und schreibt „Prioritize volume over quality“ (Übersetzung: „Menge vor Qualität“): Mehr Fälle mit etwas ungenauerer automatischer Bewertung schlagen wenige von Hand bewertete. Außerdem rät Anthropic, mit einem anderen Modell zu bewerten als dem, das den Output erzeugt hat.
Warum es wichtig ist
- Modell- oder Anbieterwechsel. Öffentliche Benchmarks passen selten zu Ihrer Aufgabe. Selbst bei Embedding-Modellen stellte der MTEB-Benchmark fest: „no particular text embedding method dominates across all tasks“ (Übersetzung: „keine einzelne Text-Embedding-Methode dominiert über alle Aufgaben“). Ihr eigenes Eval ist der einzige verlässliche Vergleich. Siehe ein LLM vor dem Wechsel evaluieren.
- Prompt-Änderungen. Eine Korrektur für einen Fall macht oft einen anderen kaputt. Lassen Sie bei jeder Prompt-Änderung das ganze Set erneut laufen.
- Kostenabwägungen. Ein Eval zeigt mit Zahlen statt Eindrücken, ob ein günstigeres Modell für einen bestimmten Schritt reicht.
- Sicherheit. Nehmen Sie Fälle für Halluzinationen, Verweigerungen und Injection-Versuche auf, nicht nur für den Normalfall.
Bei BroadNet Inference
Die Dokumentation von BroadNet nennt kein Eval-Produkt. Lassen Sie Ihr Eval-Set aus Ihrem eigenen Code gegen den OpenAI-kompatiblen Endpunkt laufen und ändern Sie zum Vergleich nur die Modell-ID. Reasoning-Modelle rechnen das Reasoning auf max_tokens an; geben Sie ihnen also Platz, sonst kann ein Fall mit einer leeren statt einer falschen Antwort scheitern. Der Beitrag GLM 5.3 vs. DeepSeek V4.1 Flash ist ein durchgearbeiteter Vergleich.