LoRA a rendu le fine-tuning de grands modèles praticable sur du matériel ordinaire, en entraînant une minuscule correction plutôt que le modèle entier.
Comment ça marche
Hu et ses collègues ont observé que la modification qu’un fine-tuning apporte à une matrice de poids tend à être de bas rang. LoRA garde donc la matrice d’origine W₀ gelée et apprend la modification comme le produit de deux matrices étroites :
W = W₀ + BA, où B est de taille d × r, A de taille r × k, et r est bien plus petit que d ou k.
B est initialisée à zéro : l’entraînement part donc du modèle inchangé. L’article appliquait surtout LoRA aux projections query et value de l’attention.
Le gain en paramètres se calcule facilement. Pour une matrice de 4 096 × 4 096 :
| Paramètres | |
|---|---|
| Mise à jour complète | 4 096 × 4 096 = 16 777 216 |
| LoRA, r = 8 | 8 × (4 096 + 4 096) = 65 536 |
Cela représente environ 0,4 % du total. Sur GPT-3 175B, l’article rapporte 10 000 fois moins de paramètres entraînables, une mémoire GPU divisée par 3 et des checkpoints qui passent d’environ 350 Go à environ 35 Mo.
Pourquoi c’est important
- Entraînement moins cher. Moins de poids entraînables signifie moins de mémoire pour l’état de l’optimiseur. Combiné à la quantification de la base gelée, cela permet de faire tenir de plus grands modèles sur de plus petits GPU.
- Pas de latence supplémentaire. Le guide PEFT de Hugging Face précise que les adaptateurs peuvent être fusionnés avec
merge_and_unload(): le service coûte alors autant que le modèle de base. - Plusieurs tâches, une seule base. Comme la base reste gelée, vous pouvez garder une seule copie d’un modèle open-weight et changer de petit adaptateur selon le client ou la tâche.
- Limites. LoRA modifie bien le comportement et le style. Cela reste du fine-tuning : il faut de bonnes données et une eval.
Sur BroadNet Inference
La référence de l’API de BroadNet ne documente ni LoRA, ni l’import d’adaptateurs, ni le choix d’un adaptateur par requête. Vous appelez des ID de modèles fixes comme broadnet/qwen3.8-27b. Les endpoints privés et les fine-tunes arabes de BroadNet sont disponibles sur demande, mais la documentation ne dit pas comment ils ont été entraînés. Si vous comptez entraîner vous-même des adaptateurs, comparez avec les prix de l’API grâce à l’article auto-hébergement ou API ; si vous utilisez les deux, un routeur comme LiteLLM peut envoyer le trafic vers l’un ou l’autre.