Fine-Tuning ist oft die erste Lösung, zu der man greift, wenn ein Modell etwas falsch macht, und oft die falsche. Es kostet Datensammlung, Labeling, Trainingsläufe und ein Modell, das Sie danach pflegen müssen. Viele Fehler verschwinden mit einem klareren Prompt, dem Abruf des richtigen Dokuments oder einer Prüfung der Ausgabe im Code. In diesem Beitrag geht es darum, zu entscheiden, welcher Fall bei Ihnen vorliegt, und was Sie vorbereiten sollten, wenn Sie wirklich ein eigenes Modell brauchen.
Welches Problem wollen Sie lösen?
Benennen Sie den Fehler, bevor Sie die Lösung benennen. Die meisten LLM-Fehler folgen wenigen Mustern, und für jedes gibt es einen günstigeren ersten Schritt:
| Symptom | Zuerst versuchen | Fine-Tuning hilft, wenn |
|---|---|---|
| Falsche oder veraltete Fakten | Retrieval (RAG) über Ihre Dokumente | Selten; Fakten, die sich ändern, brauchen ohnehin Retrieval |
| Falsches Format, kaputtes JSON | Strukturierte Ausgabe, Schema-Prüfungen, ein Retry | Das Format ist ungewöhnlich und Beispiele im Prompt reichen nicht |
| Inkonsistente Labels oder Kategorien | Klare Definitionen und Few-Shot-Beispiele | Die Label-Menge ist groß oder subtil und die Beispiele passen nicht in den Prompt |
| Falscher Ton oder Stil | Ein Styleguide im System-Prompt, mit Beispielen | Ein Hausstil muss über Tausende Ausgaben halten |
| Fachbegriffe falsch gehört oder geschrieben | Eine Vokabelliste im Prompt, Nachkorrektur im Code | Sprachmodelle verhören immer wieder dieselben Namen, Codes oder Zahlen |
| Zu langsam oder zu teuer im großen Maßstab | Ein kleineres Modell, Prompt Caching, kürzere Prompts | Ein kleines feingetuntes Modell kann bei einer engen Aufgabe mit einem großen mithalten |
| Falsche Sprache oder falscher Dialekt | Anweisungen in der richtigen Sprache; siehe Prompt Engineering auf Arabisch | Das Modell versteht, schreibt aber nicht im benötigten Dialekt |
Der eigene Leitfaden von OpenAI beschreibt dieselbe Reihenfolge: zuerst Evals schreiben, dann Prompts iterieren und für manche Anwendungsfälle feintunen. Er sagt, der Prompt-Engineering-Prozess „may be all you need in order to get great results“ (Übersetzung: „ist vielleicht alles, was Sie für sehr gute Ergebnisse brauchen“). Er zählt auf, was Fine-Tuning gegenüber Prompting bringt: mehr Beispiele, als in einen Prompt passen, kürzere Prompts, die Tokens sparen, Training mit Daten, die Sie nicht in jeder Anfrage senden wollen, und ein kleineres Modell, das eine Aufgabe gut beherrscht.
Wie belegen Sie, dass der Fehler wiederkehrt?
Mit einem Evaluierungsset. Sammeln Sie 100 bis 200 echte Inputs mit bekannten guten Outputs, wie in ein LLM vor dem Wechsel evaluieren. Bewerten Sie Ihren aktuellen Prompt. Versehen Sie dann jeden Fehler mit einer kurzen Kategorie: wrong_label, missing_field, dialect, hallucinated_fact und so weiter.
Ein Muster ist nur dann ein Kandidat für Fine-Tuning, wenn alle drei Punkte zutreffen:
- Es ist häufig. Es macht einen nennenswerten Anteil der Fehler aus, nicht ein oder zwei Sonderfälle.
- Es übersteht die günstigen Lösungen. Sie haben klarere Anweisungen, Beispiele, Retrieval und Validierung probiert, und die Kategorie ist immer noch da.
- Es ist konsistent. Menschen sind sich über die richtige Antwort einig. Wenn zwei Ihrer eigenen Prüfer denselben Fall unterschiedlich labeln, lernt ein mit ihren Labels trainiertes Modell die Uneinigkeit.
Halten Sie das Ergebnis in einem kurzen Satz fest, etwa in diesem erfundenen Beispiel: „Auf unserem arabischen Support-Set mit 200 Fällen ordnet der beste Prompt 18 % der Abrechnungstickets als Lieferung ein; Few-Shot-Beispiele senken das auf 15 %.“ Dieser Satz ist das Briefing für ein Fine-Tuning und die Zahl, die es zu schlagen gilt.
Welche einfacheren Änderungen sollten Sie zuerst testen?
Gehen Sie nach Kosten vor und bewerten Sie nach jedem Schritt neu:
- Anweisungen. Definieren Sie jedes Label oder Feld. Sagen Sie, was bei Unsicherheit zu tun ist.
- Beispiele. Fügen Sie drei bis zehn echte Beispiele hinzu, auch die schwierigen Fälle.
- Retrieval. Brauchen Antworten Fakten, rufen Sie die relevante Passage ab. Arabische RAG-Suche und langer Kontext vs. RAG behandeln die Optionen.
- Vorgaben. Nutzen Sie strukturierte Ausgabe, wo das Modell sie unterstützt, und prüfen Sie die Ausgabe im Code. Fragen Sie einmal mit dem Fehler neu an.
- Ein anderes Modell. Ein anderes Basismodell kann bereits tun, was Sie brauchen. Dasselbe Evaluierungsset zeigt es Ihnen in einer Stunde.
Jeder Schritt kostet Stunden, nicht Wochen, und jeder hinterlässt einen besseren Ausgangswert, den ein Fine-Tuning schlagen muss, falls Sie es dann noch brauchen.
Welche Daten brauchen Sie, und dürfen Sie sie nutzen?
Prüfen Sie vor der Qualität die Rechte. Trainingsdaten stammen oft aus Kundengesprächen, Dokumenten oder Anrufaufzeichnungen. Sie brauchen eine Rechtsgrundlage und oft eine Einwilligung oder eine Vertragsklausel, die das Training abdeckt. Prüfen Sie Ihre eigene Datenschutzerklärung und Ihre Kundenverträge, und entfernen Sie personenbezogene Daten, die Sie nicht brauchen. Gehen Sie nicht davon aus, dass Ihr API-Anbieter sie für Sie sammelt: Die Datenschutzerklärung von BroadNet etwa sagt, dass es keine Inferenzinhalte speichert und Inferenzdaten nicht zum Trainieren, Fine-Tuning oder Evaluieren von Modellen nutzt.
Prüfen Sie dann die Qualität. Dieses Skript liest eine Trainings- und eine Eval-Datei im gängigen Chat-JSONL-Format (ein {"messages": [...]} pro Zeile, endend mit der Antwort des Assistenten) und meldet Probleme, die Fine-Tunes still und leise ruinieren: kaputte Zeilen, Duplikate, gleicher Input mit unterschiedlichen Antworten, Eval-Einträge, die ins Training gelangt sind, Label-Verteilung und mögliche personenbezogene Daten.
import json, re, sys
from collections import Counter
DIAC = re.compile(r"[ً-ٰٟـ]") # tashkeel, dagger alef, tatweel
PII = {"email": re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+"),
"phone": re.compile(r"(?:\+|00)\d[\d\s-]{7,}\d")}
def norm(s: str) -> str:
s = DIAC.sub("", s.lower())
s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي")
return " ".join(s.split())
def load(path):
rows, errors = [], []
for i, line in enumerate(open(path, encoding="utf-8"), 1):
try:
ex = json.loads(line)
roles = [m["role"] for m in ex["messages"]]
if roles[-1] != "assistant" or "user" not in roles:
raise ValueError(f"roles {roles}")
rows.append(ex)
except (ValueError, KeyError, IndexError, TypeError) as e:
errors.append(f"line {i}: {e}")
return rows, errors
def key(ex): # the input side, normalised: what the model sees
return norm(" ".join(m["content"] for m in ex["messages"] if m["role"] != "assistant"))
def check(train_path, eval_path):
train, errs = load(train_path)
evals, eval_errs = load(eval_path)
keys = Counter(key(e) for e in train)
labels = Counter(e["messages"][-1]["content"].strip() for e in train)
leaked = {key(e) for e in evals} & set(keys)
pii = Counter(k for e in train for m in e["messages"] for k, rx in PII.items() if rx.search(m["content"]))
conflicts = Counter()
seen = {}
for e in train:
k, a = key(e), e["messages"][-1]["content"].strip()
if k in seen and seen[k] != a:
conflicts[k] += 1
seen.setdefault(k, a)
return {"train_examples": len(train), "parse_errors": errs + eval_errs,
"duplicate_inputs": sum(n - 1 for n in keys.values() if n > 1),
"same_input_different_answer": len(conflicts),
"eval_items_also_in_train": len(leaked),
"answer_distribution": labels.most_common(5),
"examples_with_possible_pii": dict(pii)}
if __name__ == "__main__":
print(json.dumps(check(sys.argv[1], sys.argv[2]), ensure_ascii=False, indent=1))
Wir haben es auf eine Spielzeugdatei mit sieben Zeilen arabischer, englischer und spanischer Support-Tickets angewendet. Es fand eine Zeile ohne Antwort des Assistenten, zwei doppelte Inputs (einer unterschied sich nur durch ein diakritisches Zeichen, das der Normalisierer entfernt, wie in Normalisierung arabischer Texte), einen Input, der sowohl als billing als auch als other gelabelt war, einen Eval-Eintrag, der auch im Training vorkam, und eine Telefonnummer. Jeder dieser Punkte hätte das Fine-Tuning besser oder schlechter aussehen lassen, als es ist.
Für Arabisch ist die Normalisierung wichtig. Ohne sie zählen „متأخر“ und „متأخِّر“ als verschiedene Inputs, und eine Beinahe-Kopie eines Testeintrags kann ins Training rutschen.
Wie evaluieren Sie ein Fine-Tuning fair?
Nutzen Sie dasselbe zurückgehaltene Testset wie für den Ausgangswert und halten Sie es aus dem Training heraus. Vergleichen Sie dann:
- Mit dem besten Prompt, nicht dem ersten. Ein Fine-Tuning, das einen schwachen Prompt schlägt, beweist nichts.
- Pro Kategorie und pro Sprache. Ein Gesamtgewinn kann einen Rückgang im Arabischen verdecken, während sich das Englische verbessert. Weisen Sie beides aus.
- Beim allgemeinen Verhalten. Ergänzen Sie 20 bis 50 gewöhnliche Anfragen, die das Modell vorher gut beantwortet hat. Enges Training kann das Verhalten außerhalb der Aufgabe verschlechtern.
- Bei Kosten und Latenz. Ein Fine-Tuning rechtfertigt sich oft dadurch, dass ein kleineres Modell die Arbeit erledigt. Messen Sie also auch Tokens und Zeit pro Anfrage.
Legen Sie die Bestehensregel fest, bevor Sie die Zahlen sehen, wie im Eval-Beitrag: zum Beispiel „mindestens 5 Punkte besser bei Abrechnungslabels, keine Kategorie um mehr als 2 Punkte schlechter, Arabisch und Englisch bestehen beide“.
Was ändert sich, wenn Sie gehostete Modelle nicht feintunen können?
Weniger gehostete APIs bieten Self-Serve-Fine-Tuning an, als man erwarten würde. Die Deprecations-Seite von OpenAI dokumentiert eine Änderung an seiner Self-Serve-Fine-Tuning-Plattform: Ab 7. Mai 2026 können Organisationen, die noch kein Fine-Tuning ausgeführt hatten, keine Jobs mehr anlegen; ab 2. Juli 2026 auch Organisationen nicht mehr, die in den letzten 60 Tagen keine Inferenz mit einem feingetunten Modell ausgeführt hatten; und ab 6. Januar 2027 können auch aktive Bestandskunden keine neuen Fine-Tuning-Jobs mehr anlegen. Bestehende feingetunte Modelle bleiben für die Inferenz verfügbar, bis ihre Basismodelle abgekündigt werden.
Die übliche Alternative ist ein Open-Weight-Modell, trainiert mit einer parametereffizienten Methode wie LoRA. Das LoRA-Paper (Hu et al.) berichtet, dass LoRA im Vergleich zum vollständigen Fine-Tuning von GPT-3 175B mit Adam die Zahl der trainierbaren Parameter um das 10.000-Fache und den GPU-Speicherbedarf um das 3-Fache senken kann. Danach brauchen Sie einen Ort, um das Ergebnis zu betreiben: entweder eigene Hardware oder einen Anbieter, der eigene Gewichte hostet. Open-Weight- vs. geschlossene Modelle behandelt diese Abwägung.
Wo BroadNet Inference ins Bild passt
BroadRouter ist die eigene Website von BroadNet. Die Self-Serve-API von BroadNet Inference hat keinen Fine-Tuning-Endpoint: Ihre API-Referenz dokumentiert nur Chat Completions und Audiotranskription. Dieselbe Seite sagt: „private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint“ (Übersetzung: „private Endpoints, unsere arabischen Fine-Tunes und andere Modelle auf Anfrage sind über eine private ID erreichbar, die mit dem Endpoint vergeben wird“). Die Modellseiten von BroadNet führen ein Fine-Tune von Cohere Transcribe Arabic durch BroadNet für Zahlen, Daten und Namen in verrauschtem Audio als Modell auf Anfrage, mit einer privaten Modell-ID pro Kunde, und sagen, dass Gemma 4 VL 26B auf einem privaten Endpoint verfügbar ist, „including our Arabic fine-tunes“ (Übersetzung: „einschließlich unserer arabischen Fine-Tunes“). Das sind Anfragen über die Kontaktseite, nichts, was Sie selbst kaufen oder trainieren können; einen privaten Endpoint planen beschreibt, was Sie mitschicken sollten.
Für alles vor diesem Schritt reichen die öffentlichen Modelle, um Ihr Evaluierungsset und den Ausgangswert aufzubauen: Qwen3.8 27B und GLM 5.3 dokumentieren strukturierte Ausgabe, Gemma 4 VL 26B läuft mit dem Startguthaben von $5, und BroadNet Transcribe Arabic verarbeitet Sprache zu $0.0042 pro Minute. Inferenzinhalte werden nicht gespeichert; notwendige Konto-, Abrechnungs- und Sicherheitsmetadaten werden gespeichert, wie in der Datenschutzerklärung von BroadNet beschrieben.
