BroadRouter

Wie Sie ein LLM vor dem Anbieterwechsel evaluieren

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht

Sammeln Sie 50 bis 200 echte Prompts mit bekannten guten Ergebnissen. Bewerten Sie beide Modelle zuerst mit Code-Checks und nur dort mit einem LLM-Judge, wo Code nicht entscheiden kann. Tauschen Sie die Reihenfolge der Antworten gegen Positions-Bias, nutzen Sie einen Judge aus einer dritten Modellfamilie, gleichen Sie ihn mit Ihren eigenen Labels ab und legen Sie die Bestehensregel samt Kosten und Latenz vorher fest.

Um ein LLM vor einem Wechsel zu evaluieren, lassen Sie beide Modelle auf 50 bis 200 echten Prompts mit bekannten guten Ergebnissen laufen. Bewerten Sie zuerst mit Code-Checks und nur dort mit einem entzerrten LLM-Judge, wo Code nicht entscheiden kann, protokollieren Sie Kosten und Latenz und legen Sie die Bestehensregel vorher fest.

Die Codeänderung selbst ist klein: Bei einer OpenAI-kompatiblen API sind es eine Base-URL und eine Modell-ID. Die Migrations-Checkliste behandelt diesen Teil, die Checkliste zur Anbieterwahl Preise, Limits und Datenschutz. Schwierig ist, zu wissen, ob das neue Modell für Ihre Aufgaben genauso gut ist. Öffentliche Leaderboards beantworten das nicht; Artificial Analysis und seine Alternativen dienen dazu, eine Vorauswahl zu treffen. Ein kleines Eval-Set aus Ihrem eigenen Traffic beantwortet es, mit ein bis zwei Tagen Arbeit.

Wie bauen Sie ein Eval-Set aus echtem Traffic?

  1. Ziehen Sie 300 bis 1.000 aktuelle Anfragen aus Ihren Nutzungsprotokollen, nach der Schwärzung sensibler Daten.
  2. Gruppieren Sie nach Aufgabentyp: Extraktion, Klassifikation, Zusammenfassung, Chat-Antwort, Code-Änderung, Tool Call.
  3. Ziehen Sie 10 bis 40 Stichproben pro Typ, mehr bei Typen mit hohem Volumen oder hohem Risiko. Nehmen Sie lange Prompts, nicht-englische Eingaben und die Fälle auf, über die sich Nutzer beschwert haben.
  4. Schreiben Sie das erwartete Ergebnis für jeden Fall auf: einen exakten Wert, ein Schema, einen Test, der bestehen muss, oder eine kurze Bewertungsrubrik („nennt die Rückgabefrist; keine erfundenen Richtlinien“).
  5. Markieren Sie kritische Fälle. Eine falsche Rechnungssumme oder eine durchgesickerte Anweisung ist etwas anderes als ein etwas schlechterer Ton.
  6. Frieren Sie das Set ein, in der Versionsverwaltung. Fügen Sie Fälle hinzu, wenn Sie neue Fehler finden, und löschen Sie nie welche, um ein Modell besser aussehen zu lassen.

Welche Checks sollten Code sein und welche ein Judge?

Nutzen Sie für jeden Fall den günstigsten zuverlässigen Check:

Aufgabe Check Judge nötig?
JSON-Extraktion Lässt sich parsen, Schema validiert, Felder entsprechen dem Erwarteten Nein
Klassifikation Label entspricht dem Erwarteten Nein
Code-Änderung Tests bestehen Nein
Tool Call Richtige Funktion, Argumente validieren Nein
Zusammenfassung Enthält die nötigen Fakten; keine Fakten, die in der Quelle fehlen Manchmal
Chat-Antwort, Ton, Hilfsbereitschaft Rubrik Ja

Deterministische Checks kosten nichts, sind wiederholbar und lassen sich nicht schmeicheln; verlagern Sie also so viele Fälle wie möglich in Code-Checks.

Was geht bei LLM-as-a-Judge schief?

Ein LLM-as-a-Judge ist ein Modell, das die Antworten anderer Modelle anhand einer Rubrik bewertet. Die MT-Bench-Studie (Zheng et al.) ergab, dass starke Judges in mehr als 80 % der Fälle mit menschlichen Präferenzen übereinstimmten, etwa so oft wie Menschen untereinander. Dasselbe Paper benennt die Verzerrungen, die Sie beim Aufbau berücksichtigen müssen:

Bias Was passiert Gegenmaßnahme
Position Bevorzugt die zuerst (oder als zweite) gezeigte Antwort Jedes Paar zweimal bewerten, Reihenfolge vertauscht; Sieg nur zählen, wenn beide übereinstimmen
Länge Bevorzugt längere Antworten Rubrik, die Korrektheit und Kürze belohnt; Länge im Prompt begrenzen
Selbstbevorzugung Bevorzugt Antworten im eigenen Stil Judge aus einer anderen Modellfamilie als beide Kandidaten
Schwaches Schlussfolgern Übersieht Fehler in Mathematik oder Code Für diese Fälle stattdessen Code-Checks nutzen

Zwei weitere Regeln aus der Praxis. Fixieren Sie den Judge: dieselbe Modellversion, derselbe Prompt, Temperature 0, für den ganzen Vergleich. Und kalibrieren Sie ihn: Labeln Sie 30 bis 50 Paare selbst, lassen Sie den Judge darauf laufen und vertrauen Sie ihm nur, wenn er meistens mit Ihnen übereinstimmt. Der Evaluator-Leitfaden von Arize gibt denselben Rat („Collect 20–100 examples“, Übersetzung: „Sammeln Sie 20–100 Beispiele“) mit menschlichen Labels und empfiehlt kategoriale Labels wie pass/fail statt großer numerischer Skalen.

Wie führen Sie einen direkten Vergleich durch?

Lassen Sie beide Kandidaten auf jedem Fall laufen, verblinden Sie den Judge, vertauschen Sie die Reihenfolge und protokollieren Sie Kosten und Zeit:

import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}

Durch die Tauschregel gewinnt ein Modell nur, wenn der Judge es in beiden Positionen bevorzugt; jede Abweichung zählt als Unentschieden. Der Anteil der Abweichungen ist selbst aufschlussreich: Eine hohe Rate bedeutet, dass der Judge oder die Rubrik zu vage ist. Beachten Sie max_tokens=4000: Bei Reasoning-Modellen zählt das Nachdenken zum Limit, und eine niedrige Obergrenze erzeugt leere Antworten, die wie Fehlschläge aussehen. Siehe warum Reasoning-Modelle leere Antworten liefern.

Wie groß muss ein Unterschied sein, um echt zu sein?

Eval-Ergebnisse sind Stichproben. Für eine Bestehensquote p über n Fälle ist der Standardfehler √(p × (1 − p) ÷ n), und eine 95-%-Fehlerspanne beträgt etwa das Doppelte davon.

Fälle Bestehensquote 95-%-Fehlerspanne
50 80 % etwa ±11 Punkte
100 80 % etwa ±8 Punkte
200 80 % etwa ±6 Punkte
400 80 % etwa ±4 Punkte

Ein Modell mit 82 % gegenüber 79 % bei 100 Fällen ist also nicht nachweislich besser. Schauen Sie stattdessen auf Unterschiede pro Fall: Welche Fälle sind von bestanden zu nicht bestanden gekippt? Das sagt Ihnen mehr als die Summen, und bei kritischen Fällen kann ein einziger Kipper über den Wechsel entscheiden.

Wie sollte die Entscheidungsregel aussehen?

Schreiben Sie sie auf, bevor Sie die Evaluation laufen lassen, damit das Ergebnis sie nicht verbiegen kann. Eine praktische Vorlage:

  1. Keine Verschlechterung bei einem als kritisch markierten Fall.
  2. Gesamte Bestehensquote nicht um mehr als die Fehlerspanne niedriger als beim aktuellen Modell.
  3. p95-Latenz innerhalb Ihres Budgets; wie Sie sie messen, steht unter TTFT vs. Durchsatz.
  4. Kosten pro erfolgreichem Fall niedriger, oder nur um einen Betrag höher, den Sie als die Qualität wert vereinbart haben. Berechnen Sie die monatliche Differenz mit dem LLM-API-Kostenrechner.
  5. Eine Schattenphase: Senden Sie einen Teil des Live-Traffics an das neue Modell, protokollieren Sie beide und vergleichen Sie, bevor Sie umstellen.

Dasselbe Eval-Set ist der Ausgangspunkt, wenn Sie ein eigenes Modell erwägen: Vor dem Fine-Tuning behandelt, wann Prompts und Retrieval genügen.

Wo BroadNet Inference passt

BroadNet Inference bietet mehrere Modellfamilien hinter einem OpenAI-kompatiblen Endpoint an, darunter DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B; Kandidaten und ein Judge aus einer anderen Familie können also über denselben Client und Schlüssel laufen. Jede Antwort enthält den Token-Verbrauch für den Kostenvergleich, und neue Konten starten mit $5 Guthaben; ohne Aufladung deckt dieses Guthaben nur Gemma 4 VL 26B ab, planen Sie also eine kleine Aufladung ein, um die größeren Modelle zu vergleichen. Ein Evaluations-Harness oder gehostete Judge-Werkzeuge gehören nicht dazu; den Code oben führen Sie selbst aus. Für arabische Workloads listet ein LLM für Arabisch auswählen auf, was Sie testen sollten. Preise im direkten Vergleich finden Sie auf der Vergleichsseite.

Häufige Fragen

Wie viele Beispiele brauche ich in einem Eval-Set für LLMs?

Fünfzig reichen, um große Verschlechterungen zu erkennen, 200, um Unterschiede von etwa 5 bis 10 Punkten zu sehen. Abdeckung ist wichtiger als Größe; nehmen Sie also jeden Aufgabentyp und Ihre bekannten Fehlerfälle auf.

Ist LLM-as-a-Judge zuverlässig?

Teilweise. In der MT-Bench-Studie stimmten starke Judges in über 80 % der Fälle mit menschlichen Präferenzen überein, etwa so oft wie Menschen untereinander. Sie zeigten aber auch Positions-, Längen- und Selbstaufwertungs-Bias; entzerren Sie sie also und prüfen Sie Stichproben.

Sollte das Judge-Modell dasselbe sein wie das getestete Modell?

Nein. Judges bevorzugen tendenziell Antworten, die wie ihre eigenen aussehen. Nutzen Sie einen Judge aus einer anderen Modellfamilie und halten Sie ihn für den ganzen Vergleich auf einer festen Version.

Was ist Positions-Bias bei der LLM-Evaluation?

Der Judge bevorzugt die Antwort, die zuerst (oder als zweite) erscheint, unabhängig von der Qualität. Beheben Sie das, indem Sie jedes Paar zweimal mit vertauschter Reihenfolge bewerten und einen Sieg nur zählen, wenn beide Durchgänge übereinstimmen.

Sollte ich Kosten und Latenz in derselben Evaluation vergleichen?

Ja. Protokollieren Sie Tokens und Zeit für jeden Eval-Aufruf. Ein Modell, das zwei Punkte besser abschneidet, aber das Dreifache an Kosten oder Latenz hat, kann trotzdem der falsche Wechsel sein.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen