Prompting sagt einem Modell jedes Mal, was es tun soll. Fine-Tuning verändert das Modell, sodass es das schon weiß.
So funktioniert es
Sie starten mit einem trainierten Modell und trainieren es mit Ihren eigenen Beispielen weiter. Beim Supervised Fine-Tuning (SFT) ist jedes Beispiel ein Gespräch mit der gewünschten Antwort. Der Leitfaden von OpenAI nutzt JSONL, „one complete JSON structure on every line“ (Übersetzung: „eine vollständige JSON-Struktur in jeder Zeile“), im Chat-Format:
{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}
Der Trainingsjob passt die Gewichte so an, dass diese Antworten wahrscheinlicher werden, und liefert eine neue Modell-ID. OpenAI setzt das Minimum bei 10 Beispielen und empfiehlt, mit 50 zu beginnen und zu evaluieren, bevor Sie weitere hinzufügen.
Volles Fine-Tuning aktualisiert jedes Gewicht, was bei großen Modellen teuer ist. Das LoRA-Paper von Hu und Kollegen nennt es unerschwinglich teuer, separate feinabgestimmte Kopien von GPT-3 bereitzustellen, „each with 175B parameters“ (Übersetzung: „jede mit 175B Parametern“). Parametereffiziente Verfahren wie LoRA trainieren stattdessen einen kleinen Zusatz. Destillation ist eine verwandte Idee: ein kleines Modell auf den Outputs eines größeren feinabstimmen.
Warum es wichtig ist
- Kürzere Prompts. Verhalten, das einen langen Few-Shot-Prompt brauchte, kann in die Gewichte wandern und senkt so die Input-Tokens pro Aufruf.
- Konsistenz. Gut geeignet sind Klassifikation, ein fester Ausgabestil, Fachübersetzung und das Beheben von Schwächen beim Befolgen von Anweisungen.
- Pflege. Ein feinabgestimmtes Modell ist an ein Basismodell gebunden. Wird die Basis eingestellt, trainieren Sie neu. Der Leitfaden von OpenAI sagt inzwischen, dass OpenAI seine Fine-Tuning-Plattform zurückfährt: Sie ist für neue Nutzer geschlossen, und feinabgestimmte Modelle werden bereitgestellt, bis ihre Basismodelle abgeschaltet werden.
- Erst messen. Bauen Sie vor dem Training ein Eval auf, sonst können Sie nicht sagen, ob das feinabgestimmte Modell besser ist.
Um sich ändernde Fakten hinzuzufügen, taugt Fine-Tuning wenig. Retrieval hält sie aktuell.
Bei BroadNet Inference
Die API-Referenz von BroadNet dokumentiert keine Fine-Tuning-API, keine Trainingsjobs und kein Hochladen eigener Gewichte. Sie sagt aber, dass „our Arabic fine-tunes and other models on request“ (Übersetzung: „unsere arabischen Fine-Tunes und andere Modelle auf Anfrage“) über eine private Modell-ID erreichbar sind, die mit dem Endpunkt vergeben wird. BroadNet führt ein solches Modell auf Anfrage: einen Fine-Tune von Cohere Transcribe Arabic für Zahlen, Daten und Namen in verrauschtem Audio. Zum öffentlichen arabischen Transkriptionsmodell siehe den Leitfaden zu arabischem Speech-to-Text. Wenn Sie selbst trainieren müssen, ist ein Open-Weight-Modell der übliche Ausgangspunkt; die Abwägungen stehen in Open-Weight- vs. geschlossene Modelle.