BroadRouter
Commencer

LoRA (low-rank adaptation)

Mis à jour

LoRA (low-rank adaptation) est une méthode de fine-tuning économe en paramètres qui gèle les poids d’un modèle pré-entraîné et entraîne une paire de petites matrices de bas rang pour certaines couches. La mise à jour apprise peut être stockée comme un petit adaptateur ou fusionnée dans les poids, sans latence d’inférence supplémentaire.

Aussi appelé : LoRA, adaptation de bas rang, adaptateur LoRA, fine-tuning LoRA, fine-tuning économe en paramètres, low-rank adaptation, LoRA adapter, LoRA fine-tuning

LoRA a rendu le fine-tuning de grands modèles praticable sur du matériel ordinaire, en entraînant une minuscule correction plutôt que le modèle entier.

Comment ça marche

Hu et ses collègues ont observé que la modification qu’un fine-tuning apporte à une matrice de poids tend à être de bas rang. LoRA garde donc la matrice d’origine W₀ gelée et apprend la modification comme le produit de deux matrices étroites :

W = W₀ + BA, où B est de taille d × r, A de taille r × k, et r est bien plus petit que d ou k.

B est initialisée à zéro : l’entraînement part donc du modèle inchangé. L’article appliquait surtout LoRA aux projections query et value de l’attention.

Le gain en paramètres se calcule facilement. Pour une matrice de 4 096 × 4 096 :

Paramètres
Mise à jour complète 4 096 × 4 096 = 16 777 216
LoRA, r = 8 8 × (4 096 + 4 096) = 65 536

Cela représente environ 0,4 % du total. Sur GPT-3 175B, l’article rapporte 10 000 fois moins de paramètres entraînables, une mémoire GPU divisée par 3 et des checkpoints qui passent d’environ 350 Go à environ 35 Mo.

Pourquoi c’est important

  • Entraînement moins cher. Moins de poids entraînables signifie moins de mémoire pour l’état de l’optimiseur. Combiné à la quantification de la base gelée, cela permet de faire tenir de plus grands modèles sur de plus petits GPU.
  • Pas de latence supplémentaire. Le guide PEFT de Hugging Face précise que les adaptateurs peuvent être fusionnés avec merge_and_unload() : le service coûte alors autant que le modèle de base.
  • Plusieurs tâches, une seule base. Comme la base reste gelée, vous pouvez garder une seule copie d’un modèle open-weight et changer de petit adaptateur selon le client ou la tâche.
  • Limites. LoRA modifie bien le comportement et le style. Cela reste du fine-tuning : il faut de bonnes données et une eval.

Sur BroadNet Inference

La référence de l’API de BroadNet ne documente ni LoRA, ni l’import d’adaptateurs, ni le choix d’un adaptateur par requête. Vous appelez des ID de modèles fixes comme broadnet/qwen3.8-27b. Les endpoints privés et les fine-tunes arabes de BroadNet sont disponibles sur demande, mais la documentation ne dit pas comment ils ont été entraînés. Si vous comptez entraîner vous-même des adaptateurs, comparez avec les prix de l’API grâce à l’article auto-hébergement ou API ; si vous utilisez les deux, un routeur comme LiteLLM peut envoyer le trafic vers l’un ou l’autre.

Questions fréquentes

Que signifie le rang r dans LoRA ?

C’est la dimension intérieure des deux petites matrices. Un rang plus faible signifie moins de paramètres entraînables et un adaptateur plus petit. L’article sur LoRA indique que des rangs aussi bas que 1 ou 2 fonctionnaient bien sur GPT-3 175B.

LoRA vaut-il un fine-tuning complet ?

L’article sur LoRA rapporte une qualité « on-par or better than fine-tuning » (traduction : « équivalente ou supérieure au fine-tuning ») sur RoBERTa, DeBERTa, GPT-2 et GPT-3, avec bien moins de paramètres entraînables. Testez-le sur votre propre tâche.

Puis-je importer un adaptateur LoRA sur BroadNet Inference ?

La documentation de BroadNet ne décrit pas d’import d’adaptateurs. Les endpoints privés et les fine-tunes propres à BroadNet sont proposés sur demande.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity