BroadRouter
Inizia

Fine-tuning (addestramento di un LLM)

Aggiornato

Il fine-tuning è il processo con cui si continua ad addestrare un modello linguistico già pre-addestrato su un dataset più piccolo e specifico, come conversazioni di esempio, così che i suoi pesi cambino e svolga quel compito o quello stile in modo più affidabile, senza istruzioni lunghe o esempi in ogni prompt.

Detto anche: fine tuning, addestramento fine, messa a punto del modello, fine-tuning supervisionato, finetuning, supervised fine-tuning, SFT, model fine-tuning

Con il prompt dici al modello cosa fare ogni volta. Con il fine-tuning cambi il modello, così lo sa già.

Come funziona

Parti da un modello addestrato e prosegui l’addestramento sui tuoi esempi. Nel supervised fine-tuning (SFT), ogni esempio è una conversazione con la risposta che vuoi. La guida di OpenAI usa JSONL, “one complete JSON structure on every line” (traduzione: una struttura JSON completa su ogni riga), nel formato chat:

{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}

Il job di addestramento regola i pesi perché quelle risposte diventino più probabili, e restituisce un nuovo ID di modello. OpenAI fissa il minimo a 10 esempi e consiglia di partire con 50 e valutare prima di aggiungerne altri.

Il fine-tuning completo aggiorna tutti i pesi, il che è costoso per i modelli grandi. L’articolo su LoRA di Hu e colleghi definisce proibitivo distribuire copie separate di GPT-3 dopo il fine-tuning, “each with 175B parameters” (traduzione: ciascuna con 175B parametri). I metodi a efficienza di parametri come LoRA addestrano invece un piccolo modulo aggiuntivo. La distillazione è un’idea collegata: fare fine-tuning di un modello piccolo sugli output di uno più grande.

Perché è importante

  • Prompt più corti. Un comportamento che richiedeva un lungo prompt few-shot può passare nei pesi, riducendo i token di input a ogni chiamata.
  • Coerenza. Sono buoni casi d’uso la classificazione, uno stile di output fisso, la traduzione di dominio e la correzione di errori nel seguire le istruzioni.
  • Manutenzione. Un modello addestrato è legato a un solo modello base. Quando la base viene ritirata, devi riaddestrare. La guida di OpenAI ora dice che sta chiudendo gradualmente la sua piattaforma di fine-tuning, non più aperta ai nuovi utenti, e che i modelli addestrati restano serviti finché non vengono dismessi i loro modelli base.
  • Prima misura. Costruisci una eval prima dell’addestramento, altrimenti non puoi sapere se il modello addestrato è migliore.

Il fine-tuning è un pessimo modo per aggiungere fatti che cambiano. Il recupero li mantiene aggiornati.

Su BroadNet Inference

Il riferimento API di BroadNet non documenta un’API di fine-tuning, job di addestramento o il caricamento di pesi propri. Dice però che “our Arabic fine-tunes and other models on request” (traduzione: i nostri fine-tune in arabo e altri modelli su richiesta) si raggiungono con un ID di modello privato rilasciato insieme all’endpoint. BroadNet elenca uno di questi modelli su richiesta: un fine-tune di Cohere Transcribe Arabic per numeri, date e nomi in audio rumoroso. Per il modello pubblico di trascrizione in arabo, vedi la guida allo speech-to-text in arabo. Se devi addestrarne uno tuo, il punto di partenza abituale è un modello open-weight; i compromessi sono in modelli open-weight o chiusi.

Domande frequenti

Quanti esempi servono per fare fine-tuning di un LLM?

La guida di OpenAI fissa un minimo di 10 e suggerisce di partire con 50 esempi ben fatti, poi misurare. Se 50 buoni esempi non cambiano nulla, ripensa il compito prima di aggiungerne altri.

Fine-tuning o RAG per la conoscenza aziendale?

Di solito il recupero (RAG). Il fine-tuning insegna bene comportamento e formato, ma i fatti che cambiano sono più facili da tenere aggiornati in documenti recuperati al momento della richiesta.

Posso fare fine-tuning di un modello su BroadNet Inference?

La documentazione di BroadNet non elenca un’API di fine-tuning. Cita i fine-tune in arabo di BroadNet, accessibili come endpoint privati su richiesta.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity