LoRA ha reso praticabile il fine-tuning di modelli grandi su hardware comune, addestrando una piccola correzione invece dell’intero modello.
Come funziona
Hu e colleghi hanno osservato che la modifica che il fine-tuning apporta a una matrice di pesi tende ad avere rango basso. LoRA quindi tiene congelata la matrice originale W₀ e apprende la modifica come prodotto di due matrici sottili:
W = W₀ + BA, dove B è d × r, A è r × k, e r è molto più piccolo di d o di k.
B parte da zero, quindi l’addestramento inizia dal modello invariato. L’articolo ha applicato LoRA soprattutto alle proiezioni query e value dell’attenzione.
Il risparmio di parametri è facile da calcolare. Per una matrice 4.096 × 4.096:
| Parametri | |
|---|---|
| Aggiornamento completo | 4.096 × 4.096 = 16.777.216 |
| LoRA, r = 8 | 8 × (4.096 + 4.096) = 65.536 |
È circa lo 0,4% del totale. Su GPT-3 175B l’articolo riporta 10.000 volte meno parametri addestrabili, un taglio di 3× della memoria GPU e checkpoint che scendono da circa 350 GB a circa 35 MB.
Perché è importante
- Addestramento più economico. Meno pesi addestrabili significa meno memoria per lo stato dell’ottimizzatore. Unito alla quantizzazione del modello base congelato, permette a modelli più grandi di stare su GPU più piccole.
- Nessuna latenza in più. La guida PEFT di Hugging Face osserva che gli adapter si possono fondere con
merge_and_unload(), quindi servire il modello costa quanto il modello base. - Molti compiti, una sola base. Siccome la base resta congelata, puoi tenere una sola copia di un modello open-weight e cambiare piccoli adapter per cliente o per compito.
- Limiti. LoRA cambia bene comportamento e stile. Resta comunque fine-tuning, quindi richiede buoni dati e una eval.
Su BroadNet Inference
Il riferimento API di BroadNet non documenta LoRA, il caricamento di adapter né la selezione di un adapter per richiesta. Chiami ID di modello fissi come broadnet/qwen3.8-27b. Endpoint privati e fine-tune arabi di BroadNet sono disponibili su richiesta, ma la documentazione non dice come sono stati addestrati. Se pensi di addestrare adapter da solo, confronta quella strada con i prezzi delle API con l’articolo self-hosting o API, e se usi entrambi, un router come LiteLLM può mandare il traffico all’uno o all’altro.