---
title: "Was ist ein LLM-Eval? Modell-Output testen erklärt | BroadRouter"
description: "Ein Eval ist ein wiederholbares Testset, das LLM-Outputs nach Ihren Kriterien bewertet. Aufbau, Bewertung und warum es vor jedem Modellwechsel laufen sollte."
url: https://broadrouter.com/de/glossary/eval/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/eval/) (aktualisiert am 2026-11-16).

# Eval (LLM-Evaluierung)

Aktualisiert 2026-11-16

Ein Eval (kurz für Evaluation) ist ein wiederholbarer Test eines Sprachmodells oder Prompts: eine feste Menge an Inputs, eine Beschreibung, wie ein guter Output aussieht, und ein Bewerter (Code, ein Mensch oder ein anderes Modell), der jeden Output benotet, damit sich Versionen vergleichen lassen.

Auch genannt: Eval, Evals, LLM-Evaluierung, Modellevaluierung, LLM-Tests, Eval-Set, Evaluierungsset, evals, LLM evaluation, model evaluation, LLM testing, eval set

Ein Eval ist ein Unit-Test für Prompt und Modell: jedes Mal dieselben Inputs, eine klare Bestehensgrenze und ein Wert, den Sie vergleichen können.

## So funktioniert es

Ein Eval hat drei Teile:

1.  **Fälle.** Inputs aus der echten Nutzung, samt Grenzfällen. Der Leitfaden von Anthropic nennt Beispiele wie irrelevanten Input, übermäßig langen Input und mehrdeutige Fälle, „where even humans would find it hard to reach an assessment consensus“ (Übersetzung: „bei denen selbst Menschen kaum zu einer übereinstimmenden Bewertung kämen“).
2.  **Kriterien.** Wie eine gute Antwort aussieht: ein exakter Wert, ein Pflichtfeld, ein Tonfall, ein Fakt, der vorkommen muss.
3.  **Bewerter.** Etwas, das jeden Output benotet.

| Bewerter | Gut für | Schwäche |
| --- | --- | --- |
| Code (exakter Abgleich, JSON Schema, Regex) | Klassifikation, Extraktion, [strukturierte Ausgabe](https://broadrouter.com/de/glossary/structured-output/) | Kann offenen Text nicht beurteilen |
| Mensch | Nuancen, Tonfall, neue Aufgaben | Langsam und teuer |
| Modell ([LLM-as-a-Judge](https://broadrouter.com/de/glossary/llm-as-judge/)) | Offene Antworten in großer Menge | Hat eigene Verzerrungen |

Anthropic empfiehlt, wo möglich zu automatisieren, und schreibt „Prioritize volume over quality“ (Übersetzung: „Menge vor Qualität“): Mehr Fälle mit etwas ungenauerer automatischer Bewertung schlagen wenige von Hand bewertete. Außerdem rät Anthropic, mit einem anderen Modell zu bewerten als dem, das den Output erzeugt hat.

## Warum es wichtig ist

-   **Modell- oder Anbieterwechsel.** Öffentliche Benchmarks passen selten zu Ihrer Aufgabe. Selbst bei Embedding-Modellen stellte der MTEB-Benchmark fest: „no particular text embedding method dominates across all tasks“ (Übersetzung: „keine einzelne Text-Embedding-Methode dominiert über alle Aufgaben“). Ihr eigenes Eval ist der einzige verlässliche Vergleich. Siehe [ein LLM vor dem Wechsel evaluieren](https://broadrouter.com/de/blog/evaluate-llm-before-switching/).
-   **Prompt-Änderungen.** Eine Korrektur für einen Fall macht oft einen anderen kaputt. Lassen Sie bei jeder Prompt-Änderung das ganze Set erneut laufen.
-   **Kostenabwägungen.** Ein Eval zeigt mit Zahlen statt Eindrücken, ob ein günstigeres Modell für einen bestimmten Schritt reicht.
-   **Sicherheit.** Nehmen Sie Fälle für [Halluzinationen](https://broadrouter.com/de/glossary/hallucination/), Verweigerungen und Injection-Versuche auf, nicht nur für den Normalfall.

## Bei BroadNet Inference

Die Dokumentation von BroadNet nennt kein Eval-Produkt. Lassen Sie Ihr Eval-Set aus Ihrem eigenen Code gegen den OpenAI-kompatiblen Endpunkt laufen und ändern Sie zum Vergleich nur die Modell-ID. Reasoning-Modelle rechnen das Reasoning auf `max_tokens` an; geben Sie ihnen also Platz, sonst kann ein Fall mit einer leeren statt einer falschen Antwort scheitern. Der Beitrag [GLM 5.3 vs. DeepSeek V4.1 Flash](https://broadrouter.com/de/blog/glm-5-3-vs-deepseek-v4-1-flash/) ist ein durchgearbeiteter Vergleich.

## Häufige Fragen

### Was ist der Unterschied zwischen einem Eval und einem Benchmark?

Ein Benchmark ist ein öffentliches Testset, mit dem Modelle allgemein verglichen werden. Ein Eval ist meist Ihr eigenes Set, gebaut aus Ihren echten Aufgaben, und zeigt, wie ein Modell in Ihrem Produkt abschneidet.

### Wie viele Testfälle braucht ein Eval?

Eine feste Zahl gibt es nicht. Anthropic empfiehlt eher viele Fälle mit automatischer Bewertung als wenige von Hand bewertete; beginnen Sie mit einigen Dutzend Fällen aus echtem Traffic und erweitern Sie das Set, wenn Sie Fehler finden.

### Sollte ich die Temperatur für Evals auf 0 setzen?

Nutzen Sie die Einstellungen, mit denen Sie auch in Produktion arbeiten. Schwanken die Outputs zwischen Läufen, bewerten Sie jeden Fall mehrmals und vergleichen Sie Mittelwerte statt Einzelergebnisse.

## Siehe auch

-   [LLM-as-a-Judge (LLM als Bewerter)](https://broadrouter.com/de/glossary/llm-as-judge/) (Begriff)
-   [Halluzination (KI)](https://broadrouter.com/de/glossary/hallucination/) (Begriff)
-   [Strukturierte Ausgabe (Structured Output)](https://broadrouter.com/de/glossary/structured-output/) (Begriff)
-   [Temperatur (Temperature)](https://broadrouter.com/de/glossary/temperature/) (Begriff)
-   [Guardrails (Leitplanken für LLMs)](https://broadrouter.com/de/glossary/guardrails/) (Begriff)
-   [LLM-Benchmark](https://broadrouter.com/de/glossary/llm-benchmark/) (Begriff)
-   [OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/) (Anleitung)
-   [Wie Sie ein LLM vor dem Anbieterwechsel evaluieren](https://broadrouter.com/de/blog/evaluate-llm-before-switching/) (Artikel)
-   [Wechsel zu einer OpenAI-kompatiblen API: die Migrations-Checkliste](https://broadrouter.com/de/blog/openai-compatible-api-migration-checklist/) (Artikel)
-   [GLM 5.3 vs. DeepSeek V4.1 Flash: welches Modell wann?](https://broadrouter.com/de/blog/glm-5-3-vs-deepseek-v4-1-flash/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-eval&utm_content=page-cta) ·

**Quellen**

-   [Anthropic, Erfolgskriterien definieren und Evaluierungen aufbauen (Tests entwickeln) (geprüft am 2026-11-16)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv) (geprüft am 2026-11-16)](https://arxiv.org/abs/2306.05685)
-   [Muennighoff et al., MTEB: Massive Text Embedding Benchmark (arXiv) (geprüft am 2026-11-16)](https://arxiv.org/abs/2210.07316)
