BroadRouter

Vor dem Fine-Tuning: das Problem klar benennen

Vom Team von BroadNet Inference · 7 Min. Lesezeit · Veröffentlicht · Aktualisiert

Setzen Sie Fine-Tuning erst ein, wenn eine Evaluierung einen wiederkehrenden Fehler zeigt, den bessere Prompts, Beispiele, Retrieval und Validierung nicht behoben haben. Fehlendes Wissen braucht meist Retrieval, Formatfehler brauchen strukturierte Ausgabe und Prüfungen. Bevor Sie ein eigenes Modell anfragen, sammeln Sie gelabelte Beispiele, die Sie rechtlich nutzen dürfen, halten ein Testset zurück und notieren den Wert, den es zu schlagen gilt.

Fine-Tuning ist oft die erste Lösung, zu der man greift, wenn ein Modell etwas falsch macht, und oft die falsche. Es kostet Datensammlung, Labeling, Trainingsläufe und ein Modell, das Sie danach pflegen müssen. Viele Fehler verschwinden mit einem klareren Prompt, dem Abruf des richtigen Dokuments oder einer Prüfung der Ausgabe im Code. In diesem Beitrag geht es darum, zu entscheiden, welcher Fall bei Ihnen vorliegt, und was Sie vorbereiten sollten, wenn Sie wirklich ein eigenes Modell brauchen.

Welches Problem wollen Sie lösen?

Benennen Sie den Fehler, bevor Sie die Lösung benennen. Die meisten LLM-Fehler folgen wenigen Mustern, und für jedes gibt es einen günstigeren ersten Schritt:

Symptom Zuerst versuchen Fine-Tuning hilft, wenn
Falsche oder veraltete Fakten Retrieval (RAG) über Ihre Dokumente Selten; Fakten, die sich ändern, brauchen ohnehin Retrieval
Falsches Format, kaputtes JSON Strukturierte Ausgabe, Schema-Prüfungen, ein Retry Das Format ist ungewöhnlich und Beispiele im Prompt reichen nicht
Inkonsistente Labels oder Kategorien Klare Definitionen und Few-Shot-Beispiele Die Label-Menge ist groß oder subtil und die Beispiele passen nicht in den Prompt
Falscher Ton oder Stil Ein Styleguide im System-Prompt, mit Beispielen Ein Hausstil muss über Tausende Ausgaben halten
Fachbegriffe falsch gehört oder geschrieben Eine Vokabelliste im Prompt, Nachkorrektur im Code Sprachmodelle verhören immer wieder dieselben Namen, Codes oder Zahlen
Zu langsam oder zu teuer im großen Maßstab Ein kleineres Modell, Prompt Caching, kürzere Prompts Ein kleines feingetuntes Modell kann bei einer engen Aufgabe mit einem großen mithalten
Falsche Sprache oder falscher Dialekt Anweisungen in der richtigen Sprache; siehe Prompt Engineering auf Arabisch Das Modell versteht, schreibt aber nicht im benötigten Dialekt

Der eigene Leitfaden von OpenAI beschreibt dieselbe Reihenfolge: zuerst Evals schreiben, dann Prompts iterieren und für manche Anwendungsfälle feintunen. Er sagt, der Prompt-Engineering-Prozess „may be all you need in order to get great results“ (Übersetzung: „ist vielleicht alles, was Sie für sehr gute Ergebnisse brauchen“). Er zählt auf, was Fine-Tuning gegenüber Prompting bringt: mehr Beispiele, als in einen Prompt passen, kürzere Prompts, die Tokens sparen, Training mit Daten, die Sie nicht in jeder Anfrage senden wollen, und ein kleineres Modell, das eine Aufgabe gut beherrscht.

Wie belegen Sie, dass der Fehler wiederkehrt?

Mit einem Evaluierungsset. Sammeln Sie 100 bis 200 echte Inputs mit bekannten guten Outputs, wie in ein LLM vor dem Wechsel evaluieren. Bewerten Sie Ihren aktuellen Prompt. Versehen Sie dann jeden Fehler mit einer kurzen Kategorie: wrong_label, missing_field, dialect, hallucinated_fact und so weiter.

Ein Muster ist nur dann ein Kandidat für Fine-Tuning, wenn alle drei Punkte zutreffen:

  1. Es ist häufig. Es macht einen nennenswerten Anteil der Fehler aus, nicht ein oder zwei Sonderfälle.
  2. Es übersteht die günstigen Lösungen. Sie haben klarere Anweisungen, Beispiele, Retrieval und Validierung probiert, und die Kategorie ist immer noch da.
  3. Es ist konsistent. Menschen sind sich über die richtige Antwort einig. Wenn zwei Ihrer eigenen Prüfer denselben Fall unterschiedlich labeln, lernt ein mit ihren Labels trainiertes Modell die Uneinigkeit.

Halten Sie das Ergebnis in einem kurzen Satz fest, etwa in diesem erfundenen Beispiel: „Auf unserem arabischen Support-Set mit 200 Fällen ordnet der beste Prompt 18 % der Abrechnungstickets als Lieferung ein; Few-Shot-Beispiele senken das auf 15 %.“ Dieser Satz ist das Briefing für ein Fine-Tuning und die Zahl, die es zu schlagen gilt.

Welche einfacheren Änderungen sollten Sie zuerst testen?

Gehen Sie nach Kosten vor und bewerten Sie nach jedem Schritt neu:

  1. Anweisungen. Definieren Sie jedes Label oder Feld. Sagen Sie, was bei Unsicherheit zu tun ist.
  2. Beispiele. Fügen Sie drei bis zehn echte Beispiele hinzu, auch die schwierigen Fälle.
  3. Retrieval. Brauchen Antworten Fakten, rufen Sie die relevante Passage ab. Arabische RAG-Suche und langer Kontext vs. RAG behandeln die Optionen.
  4. Vorgaben. Nutzen Sie strukturierte Ausgabe, wo das Modell sie unterstützt, und prüfen Sie die Ausgabe im Code. Fragen Sie einmal mit dem Fehler neu an.
  5. Ein anderes Modell. Ein anderes Basismodell kann bereits tun, was Sie brauchen. Dasselbe Evaluierungsset zeigt es Ihnen in einer Stunde.

Jeder Schritt kostet Stunden, nicht Wochen, und jeder hinterlässt einen besseren Ausgangswert, den ein Fine-Tuning schlagen muss, falls Sie es dann noch brauchen.

Welche Daten brauchen Sie, und dürfen Sie sie nutzen?

Prüfen Sie vor der Qualität die Rechte. Trainingsdaten stammen oft aus Kundengesprächen, Dokumenten oder Anrufaufzeichnungen. Sie brauchen eine Rechtsgrundlage und oft eine Einwilligung oder eine Vertragsklausel, die das Training abdeckt. Prüfen Sie Ihre eigene Datenschutzerklärung und Ihre Kundenverträge, und entfernen Sie personenbezogene Daten, die Sie nicht brauchen. Gehen Sie nicht davon aus, dass Ihr API-Anbieter sie für Sie sammelt: Die Datenschutzerklärung von BroadNet etwa sagt, dass es keine Inferenzinhalte speichert und Inferenzdaten nicht zum Trainieren, Fine-Tuning oder Evaluieren von Modellen nutzt.

Prüfen Sie dann die Qualität. Dieses Skript liest eine Trainings- und eine Eval-Datei im gängigen Chat-JSONL-Format (ein {"messages": [...]} pro Zeile, endend mit der Antwort des Assistenten) und meldet Probleme, die Fine-Tunes still und leise ruinieren: kaputte Zeilen, Duplikate, gleicher Input mit unterschiedlichen Antworten, Eval-Einträge, die ins Training gelangt sind, Label-Verteilung und mögliche personenbezogene Daten.

import json, re, sys
from collections import Counter

DIAC = re.compile(r"[ً-ٰٟـ]")          # tashkeel, dagger alef, tatweel
PII = {"email": re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+"),
       "phone": re.compile(r"(?:\+|00)\d[\d\s-]{7,}\d")}

def norm(s: str) -> str:
    s = DIAC.sub("", s.lower())
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي")
    return " ".join(s.split())

def load(path):
    rows, errors = [], []
    for i, line in enumerate(open(path, encoding="utf-8"), 1):
        try:
            ex = json.loads(line)
            roles = [m["role"] for m in ex["messages"]]
            if roles[-1] != "assistant" or "user" not in roles:
                raise ValueError(f"roles {roles}")
            rows.append(ex)
        except (ValueError, KeyError, IndexError, TypeError) as e:
            errors.append(f"line {i}: {e}")
    return rows, errors

def key(ex):     # the input side, normalised: what the model sees
    return norm(" ".join(m["content"] for m in ex["messages"] if m["role"] != "assistant"))

def check(train_path, eval_path):
    train, errs = load(train_path)
    evals, eval_errs = load(eval_path)
    keys = Counter(key(e) for e in train)
    labels = Counter(e["messages"][-1]["content"].strip() for e in train)
    leaked = {key(e) for e in evals} & set(keys)
    pii = Counter(k for e in train for m in e["messages"] for k, rx in PII.items() if rx.search(m["content"]))
    conflicts = Counter()
    seen = {}
    for e in train:
        k, a = key(e), e["messages"][-1]["content"].strip()
        if k in seen and seen[k] != a:
            conflicts[k] += 1
        seen.setdefault(k, a)
    return {"train_examples": len(train), "parse_errors": errs + eval_errs,
            "duplicate_inputs": sum(n - 1 for n in keys.values() if n > 1),
            "same_input_different_answer": len(conflicts),
            "eval_items_also_in_train": len(leaked),
            "answer_distribution": labels.most_common(5),
            "examples_with_possible_pii": dict(pii)}

if __name__ == "__main__":
    print(json.dumps(check(sys.argv[1], sys.argv[2]), ensure_ascii=False, indent=1))

Wir haben es auf eine Spielzeugdatei mit sieben Zeilen arabischer, englischer und spanischer Support-Tickets angewendet. Es fand eine Zeile ohne Antwort des Assistenten, zwei doppelte Inputs (einer unterschied sich nur durch ein diakritisches Zeichen, das der Normalisierer entfernt, wie in Normalisierung arabischer Texte), einen Input, der sowohl als billing als auch als other gelabelt war, einen Eval-Eintrag, der auch im Training vorkam, und eine Telefonnummer. Jeder dieser Punkte hätte das Fine-Tuning besser oder schlechter aussehen lassen, als es ist.

Für Arabisch ist die Normalisierung wichtig. Ohne sie zählen „متأخر“ und „متأخِّر“ als verschiedene Inputs, und eine Beinahe-Kopie eines Testeintrags kann ins Training rutschen.

Wie evaluieren Sie ein Fine-Tuning fair?

Nutzen Sie dasselbe zurückgehaltene Testset wie für den Ausgangswert und halten Sie es aus dem Training heraus. Vergleichen Sie dann:

  • Mit dem besten Prompt, nicht dem ersten. Ein Fine-Tuning, das einen schwachen Prompt schlägt, beweist nichts.
  • Pro Kategorie und pro Sprache. Ein Gesamtgewinn kann einen Rückgang im Arabischen verdecken, während sich das Englische verbessert. Weisen Sie beides aus.
  • Beim allgemeinen Verhalten. Ergänzen Sie 20 bis 50 gewöhnliche Anfragen, die das Modell vorher gut beantwortet hat. Enges Training kann das Verhalten außerhalb der Aufgabe verschlechtern.
  • Bei Kosten und Latenz. Ein Fine-Tuning rechtfertigt sich oft dadurch, dass ein kleineres Modell die Arbeit erledigt. Messen Sie also auch Tokens und Zeit pro Anfrage.

Legen Sie die Bestehensregel fest, bevor Sie die Zahlen sehen, wie im Eval-Beitrag: zum Beispiel „mindestens 5 Punkte besser bei Abrechnungslabels, keine Kategorie um mehr als 2 Punkte schlechter, Arabisch und Englisch bestehen beide“.

Was ändert sich, wenn Sie gehostete Modelle nicht feintunen können?

Weniger gehostete APIs bieten Self-Serve-Fine-Tuning an, als man erwarten würde. Die Deprecations-Seite von OpenAI dokumentiert eine Änderung an seiner Self-Serve-Fine-Tuning-Plattform: Ab 7. Mai 2026 können Organisationen, die noch kein Fine-Tuning ausgeführt hatten, keine Jobs mehr anlegen; ab 2. Juli 2026 auch Organisationen nicht mehr, die in den letzten 60 Tagen keine Inferenz mit einem feingetunten Modell ausgeführt hatten; und ab 6. Januar 2027 können auch aktive Bestandskunden keine neuen Fine-Tuning-Jobs mehr anlegen. Bestehende feingetunte Modelle bleiben für die Inferenz verfügbar, bis ihre Basismodelle abgekündigt werden.

Die übliche Alternative ist ein Open-Weight-Modell, trainiert mit einer parametereffizienten Methode wie LoRA. Das LoRA-Paper (Hu et al.) berichtet, dass LoRA im Vergleich zum vollständigen Fine-Tuning von GPT-3 175B mit Adam die Zahl der trainierbaren Parameter um das 10.000-Fache und den GPU-Speicherbedarf um das 3-Fache senken kann. Danach brauchen Sie einen Ort, um das Ergebnis zu betreiben: entweder eigene Hardware oder einen Anbieter, der eigene Gewichte hostet. Open-Weight- vs. geschlossene Modelle behandelt diese Abwägung.

Wo BroadNet Inference ins Bild passt

BroadRouter ist die eigene Website von BroadNet. Die Self-Serve-API von BroadNet Inference hat keinen Fine-Tuning-Endpoint: Ihre API-Referenz dokumentiert nur Chat Completions und Audiotranskription. Dieselbe Seite sagt: „private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint“ (Übersetzung: „private Endpoints, unsere arabischen Fine-Tunes und andere Modelle auf Anfrage sind über eine private ID erreichbar, die mit dem Endpoint vergeben wird“). Die Modellseiten von BroadNet führen ein Fine-Tune von Cohere Transcribe Arabic durch BroadNet für Zahlen, Daten und Namen in verrauschtem Audio als Modell auf Anfrage, mit einer privaten Modell-ID pro Kunde, und sagen, dass Gemma 4 VL 26B auf einem privaten Endpoint verfügbar ist, „including our Arabic fine-tunes“ (Übersetzung: „einschließlich unserer arabischen Fine-Tunes“). Das sind Anfragen über die Kontaktseite, nichts, was Sie selbst kaufen oder trainieren können; einen privaten Endpoint planen beschreibt, was Sie mitschicken sollten.

Für alles vor diesem Schritt reichen die öffentlichen Modelle, um Ihr Evaluierungsset und den Ausgangswert aufzubauen: Qwen3.8 27B und GLM 5.3 dokumentieren strukturierte Ausgabe, Gemma 4 VL 26B läuft mit dem Startguthaben von $5, und BroadNet Transcribe Arabic verarbeitet Sprache zu $0.0042 pro Minute. Inferenzinhalte werden nicht gespeichert; notwendige Konto-, Abrechnungs- und Sicherheitsmetadaten werden gespeichert, wie in der Datenschutzerklärung von BroadNet beschrieben.

Häufige Fragen

Sollte ich Fine-Tuning oder RAG nutzen?

Nutzen Sie Retrieval, wenn dem Modell Fakten fehlen, besonders Fakten, die sich ändern: Dokumente, Preise, Richtlinien. Erwägen Sie Fine-Tuning, wenn das Modell die Information hat, sich aber konsistent falsch verhält, etwa bei Format, Tonfall, Labels oder Fachvokabular, und Prompts mit Beispielen das nicht behoben haben.

Woran erkenne ich, ob Prompt Engineering ausreicht?

Messen Sie es. Bauen Sie ein Evaluierungsset aus echten Inputs, bewerten Sie den aktuellen Prompt und probieren Sie dann klarere Anweisungen, Few-Shot-Beispiele, strukturierte Ausgabe und Validierung. Erreicht der Wert Ihr Ziel, hören Sie auf. Bleibt ein Fehlertyp über all diese Änderungen bestehen, ist er ein Kandidat für Fine-Tuning.

Wie viele Daten brauche ich für ein Fine-Tuning?

Es gibt keine allgemeingültige Zahl. Sie hängt von Aufgabe, Basismodell und Methode ab. Sammeln Sie genug gelabelte, konsistente Beispiele, um jeden relevanten Fall abzudecken, dazu ein separates zurückgehaltenes Testset, und prüfen Sie, ob der Wert mit mehr Daten noch steigt.

Kann ich bei BroadNet Inference ein Modell feintunen?

Nicht per Self-Serve. Die API-Referenz von BroadNet dokumentiert Chat Completions und Audiotranskription, ohne Trainings-Endpoint. BroadNet führt arabische Fine-Tunes, etwa ein angepasstes Cohere Transcribe Arabic, als Modelle auf Anfrage, die auf einem privaten Endpoint mit privater Modell-ID bereitgestellt werden.

Trainiert BroadNet mit meinem API-Traffic?

Laut Datenschutzerklärung nutzt BroadNet Inferenzdaten nicht zum Trainieren, Fine-Tuning oder Evaluieren von Modellen und speichert keine Inferenzinhalte. Wenn Sie mit Ihrem eigenen Traffic feintunen wollen, müssen Sie diese Daten selbst erheben und speichern, mit dem Recht, sie zu nutzen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen