BroadRouter
Inizia

LoRA (low-rank adaptation)

Aggiornato

LoRA (low-rank adaptation, adattamento a basso rango) è un metodo di fine-tuning efficiente nei parametri che congela i pesi di un modello pre-addestrato e addestra una coppia di piccole matrici a basso rango per i layer scelti. L’aggiornamento appreso può essere salvato come piccolo adapter o fuso nei pesi, senza aggiungere latenza in inferenza.

Detto anche: LoRA, adattamento a basso rango, fine-tuning LoRA, adapter LoRA, addestramento LoRA, low-rank adaptation, LoRA adapter, LoRA fine-tuning

LoRA ha reso praticabile il fine-tuning di modelli grandi su hardware comune, addestrando una piccola correzione invece dell’intero modello.

Come funziona

Hu e colleghi hanno osservato che la modifica che il fine-tuning apporta a una matrice di pesi tende ad avere rango basso. LoRA quindi tiene congelata la matrice originale W₀ e apprende la modifica come prodotto di due matrici sottili:

W = W₀ + BA, dove B è d × r, A è r × k, e r è molto più piccolo di d o di k.

B parte da zero, quindi l’addestramento inizia dal modello invariato. L’articolo ha applicato LoRA soprattutto alle proiezioni query e value dell’attenzione.

Il risparmio di parametri è facile da calcolare. Per una matrice 4.096 × 4.096:

Parametri
Aggiornamento completo 4.096 × 4.096 = 16.777.216
LoRA, r = 8 8 × (4.096 + 4.096) = 65.536

È circa lo 0,4% del totale. Su GPT-3 175B l’articolo riporta 10.000 volte meno parametri addestrabili, un taglio di 3× della memoria GPU e checkpoint che scendono da circa 350 GB a circa 35 MB.

Perché è importante

  • Addestramento più economico. Meno pesi addestrabili significa meno memoria per lo stato dell’ottimizzatore. Unito alla quantizzazione del modello base congelato, permette a modelli più grandi di stare su GPU più piccole.
  • Nessuna latenza in più. La guida PEFT di Hugging Face osserva che gli adapter si possono fondere con merge_and_unload(), quindi servire il modello costa quanto il modello base.
  • Molti compiti, una sola base. Siccome la base resta congelata, puoi tenere una sola copia di un modello open-weight e cambiare piccoli adapter per cliente o per compito.
  • Limiti. LoRA cambia bene comportamento e stile. Resta comunque fine-tuning, quindi richiede buoni dati e una eval.

Su BroadNet Inference

Il riferimento API di BroadNet non documenta LoRA, il caricamento di adapter né la selezione di un adapter per richiesta. Chiami ID di modello fissi come broadnet/qwen3.8-27b. Endpoint privati e fine-tune arabi di BroadNet sono disponibili su richiesta, ma la documentazione non dice come sono stati addestrati. Se pensi di addestrare adapter da solo, confronta quella strada con i prezzi delle API con l’articolo self-hosting o API, e se usi entrambi, un router come LiteLLM può mandare il traffico all’uno o all’altro.

Domande frequenti

Cosa significa il rango r in LoRA?

È la dimensione interna delle due piccole matrici. Un rango più basso significa meno parametri addestrabili e un adapter più piccolo. L’articolo su LoRA riporta che ranghi di appena 1 o 2 funzionavano bene su GPT-3 175B.

LoRA è valido quanto il fine-tuning completo?

L’articolo su LoRA riporta una qualità "on-par or better than fine-tuning" (traduzione: pari o superiore al fine-tuning) su RoBERTa, DeBERTa, GPT-2 e GPT-3, con molti meno parametri addestrabili. Provalo sul tuo compito.

Posso caricare un adapter LoRA su BroadNet Inference?

La documentazione di BroadNet non descrive il caricamento di adapter. Endpoint privati e fine-tune realizzati da BroadNet sono disponibili su richiesta.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity