LoRA hat Fine-Tuning großer Modelle auf normaler Hardware praktikabel gemacht, indem es eine winzige Korrektur statt des ganzen Modells trainiert.
So funktioniert es
Hu und Kollegen beobachteten, dass die Änderung, die Fine-Tuning an einer Gewichtsmatrix vornimmt, meist einen niedrigen Rang hat. LoRA lässt daher die ursprüngliche Matrix W₀ eingefroren und lernt die Änderung als Produkt zweier schmaler Matrizen:
W = W₀ + BA, wobei B die Größe d × r hat, A die Größe r × k, und r viel kleiner ist als d oder k.
B startet mit null, das Training beginnt also beim unveränderten Modell. Das Paper wandte LoRA vor allem auf die Query- und Value-Projektionen der Attention an.
Die Parameterersparnis lässt sich leicht ausrechnen. Für eine Matrix mit 4.096 × 4.096:
| Parameter | |
|---|---|
| Volles Update | 4.096 × 4.096 = 16.777.216 |
| LoRA, r = 8 | 8 × (4.096 + 4.096) = 65.536 |
Das sind etwa 0,4 % der vollen Anzahl. Bei GPT-3 175B berichtet das Paper 10.000-mal weniger trainierbare Parameter, einen um den Faktor 3 geringeren GPU-Speicherbedarf und Checkpoints, die von etwa 350 GB auf etwa 35 MB schrumpfen.
Warum es wichtig ist
- Günstigeres Training. Weniger trainierbare Gewichte bedeuten weniger Speicher für den Optimizer-Zustand. Kombiniert mit Quantisierung der eingefrorenen Basis passen größere Modelle auf kleinere GPUs.
- Keine zusätzliche Latenz. Der PEFT-Leitfaden von Hugging Face weist darauf hin, dass sich Adapter mit
merge_and_unload()einrechnen lassen, das Serving kostet also so viel wie beim Basismodell. - Viele Aufgaben, eine Basis. Weil die Basis eingefroren bleibt, können Sie eine Kopie eines Open-Weight-Modells behalten und kleine Adapter pro Kunde oder Aufgabe austauschen.
- Grenzen. LoRA verändert Verhalten und Stil gut. Es bleibt aber Fine-Tuning und braucht gute Daten und ein Eval.
Bei BroadNet Inference
Die API-Referenz von BroadNet dokumentiert weder LoRA noch Adapter-Uploads noch eine Adapterwahl pro Anfrage. Sie rufen feste Modell-IDs wie broadnet/qwen3.8-27b auf. Private Endpoints und BroadNets arabische Fine-Tunes gibt es auf Anfrage, aber die Dokumentation sagt nicht, wie sie trainiert wurden. Wenn Sie Adapter selbst trainieren wollen, vergleichen Sie das mit den API-Preisen im Beitrag Selbsthosten vs. API. Wenn Sie beides betreiben, kann ein Router wie LiteLLM Traffic an beide schicken.