BroadRouter
Loslegen

LoRA (Low-Rank Adaptation)

Aktualisiert

LoRA (Low-Rank Adaptation) ist eine parametereffiziente Fine-Tuning-Methode, die die Gewichte eines vortrainierten Modells einfriert und für ausgewählte Schichten ein Paar kleiner Matrizen mit niedrigem Rang trainiert. Das gelernte Update lässt sich als kleiner Adapter speichern oder in die Gewichte einrechnen und verursacht dann keine zusätzliche Inferenzlatenz.

Auch genannt: LoRA, LoRA-Adapter, LoRA-Fine-Tuning, Low-Rank-Adaptation, parametereffizientes Fine-Tuning, low-rank adaptation, LoRA adapter, LoRA fine-tuning

LoRA hat Fine-Tuning großer Modelle auf normaler Hardware praktikabel gemacht, indem es eine winzige Korrektur statt des ganzen Modells trainiert.

So funktioniert es

Hu und Kollegen beobachteten, dass die Änderung, die Fine-Tuning an einer Gewichtsmatrix vornimmt, meist einen niedrigen Rang hat. LoRA lässt daher die ursprüngliche Matrix W₀ eingefroren und lernt die Änderung als Produkt zweier schmaler Matrizen:

W = W₀ + BA, wobei B die Größe d × r hat, A die Größe r × k, und r viel kleiner ist als d oder k.

B startet mit null, das Training beginnt also beim unveränderten Modell. Das Paper wandte LoRA vor allem auf die Query- und Value-Projektionen der Attention an.

Die Parameterersparnis lässt sich leicht ausrechnen. Für eine Matrix mit 4.096 × 4.096:

Parameter
Volles Update 4.096 × 4.096 = 16.777.216
LoRA, r = 8 8 × (4.096 + 4.096) = 65.536

Das sind etwa 0,4 % der vollen Anzahl. Bei GPT-3 175B berichtet das Paper 10.000-mal weniger trainierbare Parameter, einen um den Faktor 3 geringeren GPU-Speicherbedarf und Checkpoints, die von etwa 350 GB auf etwa 35 MB schrumpfen.

Warum es wichtig ist

  • Günstigeres Training. Weniger trainierbare Gewichte bedeuten weniger Speicher für den Optimizer-Zustand. Kombiniert mit Quantisierung der eingefrorenen Basis passen größere Modelle auf kleinere GPUs.
  • Keine zusätzliche Latenz. Der PEFT-Leitfaden von Hugging Face weist darauf hin, dass sich Adapter mit merge_and_unload() einrechnen lassen, das Serving kostet also so viel wie beim Basismodell.
  • Viele Aufgaben, eine Basis. Weil die Basis eingefroren bleibt, können Sie eine Kopie eines Open-Weight-Modells behalten und kleine Adapter pro Kunde oder Aufgabe austauschen.
  • Grenzen. LoRA verändert Verhalten und Stil gut. Es bleibt aber Fine-Tuning und braucht gute Daten und ein Eval.

Bei BroadNet Inference

Die API-Referenz von BroadNet dokumentiert weder LoRA noch Adapter-Uploads noch eine Adapterwahl pro Anfrage. Sie rufen feste Modell-IDs wie broadnet/qwen3.8-27b auf. Private Endpoints und BroadNets arabische Fine-Tunes gibt es auf Anfrage, aber die Dokumentation sagt nicht, wie sie trainiert wurden. Wenn Sie Adapter selbst trainieren wollen, vergleichen Sie das mit den API-Preisen im Beitrag Selbsthosten vs. API. Wenn Sie beides betreiben, kann ein Router wie LiteLLM Traffic an beide schicken.

Häufige Fragen

Was bedeutet der Rang r bei LoRA?

Er ist die innere Größe der beiden kleinen Matrizen. Ein niedrigerer Rang bedeutet weniger trainierbare Parameter und einen kleineren Adapter. Laut dem LoRA-Paper funktionierten bei GPT-3 175B schon Ränge von 1 oder 2 gut.

Ist LoRA so gut wie volles Fine-Tuning?

Das LoRA-Paper berichtet bei RoBERTa, DeBERTa, GPT-2 und GPT-3 eine Qualität „on-par or better than fine-tuning“ (Übersetzung: „gleichauf mit oder besser als Fine-Tuning“), mit weit weniger trainierbaren Parametern. Testen Sie es bei Ihrer eigenen Aufgabe.

Kann ich einen LoRA-Adapter bei BroadNet Inference hochladen?

Die Dokumentation von BroadNet beschreibt keine Adapter-Uploads. Private Endpoints und BroadNets eigene Fine-Tunes gibt es auf Anfrage.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen