---
title: "Qu’est-ce que LoRA ? L’adaptation de bas rang pour LLM"
description: "LoRA affine un LLM en entraînant deux petites matrices de bas rang à côté de poids gelés. Fonctionnement, calcul des paramètres, et pourquoi aucune latence en plus."
url: https://broadrouter.com/fr/glossary/lora/
lang: fr
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduit de l’anglais avec l’aide de l’IA. [Lire l’original en anglais](https://broadrouter.com/glossary/lora/) (mis à jour le 2026-11-14).

# LoRA (low-rank adaptation)

Mis à jour 2026-11-14

LoRA (low-rank adaptation) est une méthode de fine-tuning économe en paramètres qui gèle les poids d’un modèle pré-entraîné et entraîne une paire de petites matrices de bas rang pour certaines couches. La mise à jour apprise peut être stockée comme un petit adaptateur ou fusionnée dans les poids, sans latence d’inférence supplémentaire.

Aussi appelé : LoRA, adaptation de bas rang, adaptateur LoRA, fine-tuning LoRA, fine-tuning économe en paramètres, low-rank adaptation, LoRA adapter, LoRA fine-tuning

LoRA a rendu le fine-tuning de grands modèles praticable sur du matériel ordinaire, en entraînant une minuscule correction plutôt que le modèle entier.

## Comment ça marche

Hu et ses collègues ont observé que la modification qu’un fine-tuning apporte à une matrice de poids tend à être de bas rang. LoRA garde donc la matrice d’origine W₀ gelée et apprend la modification comme le produit de deux matrices étroites :

W = W₀ + BA, où B est de taille d × r, A de taille r × k, et r est bien plus petit que d ou k.

B est initialisée à zéro : l’entraînement part donc du modèle inchangé. L’article appliquait surtout LoRA aux projections query et value de l’attention.

Le gain en paramètres se calcule facilement. Pour une matrice de 4 096 × 4 096 :

|  | Paramètres |
| --- | --- |
| Mise à jour complète | 4 096 × 4 096 = 16 777 216 |
| LoRA, r = 8 | 8 × (4 096 + 4 096) = 65 536 |

Cela représente environ 0,4 % du total. Sur GPT-3 175B, l’article rapporte 10 000 fois moins de paramètres entraînables, une mémoire GPU divisée par 3 et des checkpoints qui passent d’environ 350 Go à environ 35 Mo.

## Pourquoi c’est important

-   **Entraînement moins cher.** Moins de poids entraînables signifie moins de mémoire pour l’état de l’optimiseur. Combiné à la [quantification](https://broadrouter.com/fr/glossary/quantization/) de la base gelée, cela permet de faire tenir de plus grands modèles sur de plus petits GPU.
-   **Pas de latence supplémentaire.** Le guide PEFT de Hugging Face précise que les adaptateurs peuvent être fusionnés avec `merge_and_unload()` : le service coûte alors autant que le modèle de base.
-   **Plusieurs tâches, une seule base.** Comme la base reste gelée, vous pouvez garder une seule copie d’un [modèle open-weight](https://broadrouter.com/fr/glossary/open-weight-model/) et changer de petit adaptateur selon le client ou la tâche.
-   **Limites.** LoRA modifie bien le comportement et le style. Cela reste du [fine-tuning](https://broadrouter.com/fr/glossary/fine-tuning/) : il faut de bonnes données et une eval.

## Sur BroadNet Inference

La [référence de l’API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-glossary-lora&utm_content=body#models) de BroadNet ne documente ni LoRA, ni l’import d’adaptateurs, ni le choix d’un adaptateur par requête. Vous appelez des ID de modèles fixes comme `broadnet/qwen3.8-27b`. Les endpoints privés et les fine-tunes arabes de BroadNet sont disponibles sur demande, mais la documentation ne dit pas comment ils ont été entraînés. Si vous comptez entraîner vous-même des adaptateurs, comparez avec les prix de l’API grâce à l’article [auto-hébergement ou API](https://broadrouter.com/fr/blog/self-hosting-llm-vs-api-cost/) ; si vous utilisez les deux, un routeur comme [LiteLLM](https://broadrouter.com/fr/guides/litellm-proxy-custom-provider/) peut envoyer le trafic vers l’un ou l’autre.

## Questions fréquentes

### Que signifie le rang r dans LoRA ?

C’est la dimension intérieure des deux petites matrices. Un rang plus faible signifie moins de paramètres entraînables et un adaptateur plus petit. L’article sur LoRA indique que des rangs aussi bas que 1 ou 2 fonctionnaient bien sur GPT-3 175B.

### LoRA vaut-il un fine-tuning complet ?

L’article sur LoRA rapporte une qualité « on-par or better than fine-tuning » (traduction : « équivalente ou supérieure au fine-tuning ») sur RoBERTa, DeBERTa, GPT-2 et GPT-3, avec bien moins de paramètres entraînables. Testez-le sur votre propre tâche.

### Puis-je importer un adaptateur LoRA sur BroadNet Inference ?

La documentation de BroadNet ne décrit pas d’import d’adaptateurs. Les endpoints privés et les fine-tunes propres à BroadNet sont proposés sur demande.

## Voir aussi

-   [Fine-tuning (affinage d’un modèle)](https://broadrouter.com/fr/glossary/fine-tuning/) (terme)
-   [Quantification (quantization)](https://broadrouter.com/fr/glossary/quantization/) (terme)
-   [Modèle open-weight (à poids ouverts)](https://broadrouter.com/fr/glossary/open-weight-model/) (terme)
-   [Distillation (knowledge distillation)](https://broadrouter.com/fr/glossary/distillation/) (terme)
-   [Router LiteLLM vers BroadNet Inference (SDK et proxy)](https://broadrouter.com/fr/guides/litellm-proxy-custom-provider/) (guide)
-   [Auto-héberger un LLM ou passer par une API : coût réel et rentabilité](https://broadrouter.com/fr/blog/self-hosting-llm-vs-api-cost/) (article)
-   [IA open-weight ou fermée en entreprise : coût, contrôle, risque](https://broadrouter.com/fr/blog/open-weight-vs-closed-models/) (article)

Essayez-le sur votre vraie charge de travail. Les nouveaux comptes démarrent avec USD 5 de crédit pour Gemma et transcription. DeepSeek, GLM et Qwen3.8 nécessitent une recharge.

[Commencer](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-glossary-lora&utm_content=page-cta) ·

**Sources**

-   [Hu et al. (2021), LoRA - Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)
-   [Hugging Face PEFT, guide conceptuel de LoRA](https://huggingface.co/docs/peft/main/en/conceptual_guides/lora)
-   [Référence de l’API BroadNet Inference, ID de modèles (en anglais)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-glossary-lora&utm_content=sources#models)
