---
title: "Was ist LoRA? Low-Rank Adaptation für LLM-Fine-Tuning"
description: "LoRA feinjustiert ein LLM, indem es zwei kleine Matrizen mit niedrigem Rang neben eingefrorenen Gewichten trainiert. Funktionsweise, Rechnung, keine Zusatzlatenz."
url: https://broadrouter.com/de/glossary/lora/
lang: de
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/lora/) (aktualisiert am 2026-11-14).

# LoRA (Low-Rank Adaptation)

Aktualisiert 2026-11-14

LoRA (Low-Rank Adaptation) ist eine parametereffiziente Fine-Tuning-Methode, die die Gewichte eines vortrainierten Modells einfriert und für ausgewählte Schichten ein Paar kleiner Matrizen mit niedrigem Rang trainiert. Das gelernte Update lässt sich als kleiner Adapter speichern oder in die Gewichte einrechnen und verursacht dann keine zusätzliche Inferenzlatenz.

Auch genannt: LoRA, LoRA-Adapter, LoRA-Fine-Tuning, Low-Rank-Adaptation, parametereffizientes Fine-Tuning, low-rank adaptation, LoRA adapter, LoRA fine-tuning

LoRA hat Fine-Tuning großer Modelle auf normaler Hardware praktikabel gemacht, indem es eine winzige Korrektur statt des ganzen Modells trainiert.

## So funktioniert es

Hu und Kollegen beobachteten, dass die Änderung, die Fine-Tuning an einer Gewichtsmatrix vornimmt, meist einen niedrigen Rang hat. LoRA lässt daher die ursprüngliche Matrix W₀ eingefroren und lernt die Änderung als Produkt zweier schmaler Matrizen:

W = W₀ + BA, wobei B die Größe d × r hat, A die Größe r × k, und r viel kleiner ist als d oder k.

B startet mit null, das Training beginnt also beim unveränderten Modell. Das Paper wandte LoRA vor allem auf die Query- und Value-Projektionen der Attention an.

Die Parameterersparnis lässt sich leicht ausrechnen. Für eine Matrix mit 4.096 × 4.096:

|  | Parameter |
| --- | --- |
| Volles Update | 4.096 × 4.096 = 16.777.216 |
| LoRA, r = 8 | 8 × (4.096 + 4.096) = 65.536 |

Das sind etwa 0,4 % der vollen Anzahl. Bei GPT-3 175B berichtet das Paper 10.000-mal weniger trainierbare Parameter, einen um den Faktor 3 geringeren GPU-Speicherbedarf und Checkpoints, die von etwa 350 GB auf etwa 35 MB schrumpfen.

## Warum es wichtig ist

-   **Günstigeres Training.** Weniger trainierbare Gewichte bedeuten weniger Speicher für den Optimizer-Zustand. Kombiniert mit [Quantisierung](https://broadrouter.com/de/glossary/quantization/) der eingefrorenen Basis passen größere Modelle auf kleinere GPUs.
-   **Keine zusätzliche Latenz.** Der PEFT-Leitfaden von Hugging Face weist darauf hin, dass sich Adapter mit `merge_and_unload()` einrechnen lassen, das Serving kostet also so viel wie beim Basismodell.
-   **Viele Aufgaben, eine Basis.** Weil die Basis eingefroren bleibt, können Sie eine Kopie eines [Open-Weight-Modells](https://broadrouter.com/de/glossary/open-weight-model/) behalten und kleine Adapter pro Kunde oder Aufgabe austauschen.
-   **Grenzen.** LoRA verändert Verhalten und Stil gut. Es bleibt aber [Fine-Tuning](https://broadrouter.com/de/glossary/fine-tuning/) und braucht gute Daten und ein Eval.

## Bei BroadNet Inference

Die [API-Referenz](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-lora&utm_content=body#models) von BroadNet dokumentiert weder LoRA noch Adapter-Uploads noch eine Adapterwahl pro Anfrage. Sie rufen feste Modell-IDs wie `broadnet/qwen3.8-27b` auf. Private Endpoints und BroadNets arabische Fine-Tunes gibt es auf Anfrage, aber die Dokumentation sagt nicht, wie sie trainiert wurden. Wenn Sie Adapter selbst trainieren wollen, vergleichen Sie das mit den API-Preisen im Beitrag [Selbsthosten vs. API](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/). Wenn Sie beides betreiben, kann ein Router wie [LiteLLM](https://broadrouter.com/de/guides/litellm-proxy-custom-provider/) Traffic an beide schicken.

## Häufige Fragen

### Was bedeutet der Rang r bei LoRA?

Er ist die innere Größe der beiden kleinen Matrizen. Ein niedrigerer Rang bedeutet weniger trainierbare Parameter und einen kleineren Adapter. Laut dem LoRA-Paper funktionierten bei GPT-3 175B schon Ränge von 1 oder 2 gut.

### Ist LoRA so gut wie volles Fine-Tuning?

Das LoRA-Paper berichtet bei RoBERTa, DeBERTa, GPT-2 und GPT-3 eine Qualität „on-par or better than fine-tuning“ (Übersetzung: „gleichauf mit oder besser als Fine-Tuning“), mit weit weniger trainierbaren Parametern. Testen Sie es bei Ihrer eigenen Aufgabe.

### Kann ich einen LoRA-Adapter bei BroadNet Inference hochladen?

Die Dokumentation von BroadNet beschreibt keine Adapter-Uploads. Private Endpoints und BroadNets eigene Fine-Tunes gibt es auf Anfrage.

## Siehe auch

-   [Fine-Tuning (Feinabstimmung)](https://broadrouter.com/de/glossary/fine-tuning/) (Begriff)
-   [Quantisierung (Quantization)](https://broadrouter.com/de/glossary/quantization/) (Begriff)
-   [Open-Weight-Modell](https://broadrouter.com/de/glossary/open-weight-model/) (Begriff)
-   [Destillation (Knowledge Distillation)](https://broadrouter.com/de/glossary/distillation/) (Begriff)
-   [LiteLLM an BroadNet Inference anbinden (SDK und Proxy)](https://broadrouter.com/de/guides/litellm-proxy-custom-provider/) (Anleitung)
-   [LLM selbst hosten oder API: echte Kosten und Break-even](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/) (Artikel)
-   [Open-Weight- vs. geschlossene KI-Modelle: Kosten, Kontrolle, Risiko](https://broadrouter.com/de/blog/open-weight-vs-closed-models/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-lora&utm_content=page-cta) ·

**Quellen**

-   [Hu et al. (2021), LoRA - Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)
-   [Hugging Face PEFT, konzeptioneller Leitfaden zu LoRA](https://huggingface.co/docs/peft/main/en/conceptual_guides/lora)
-   [API-Referenz von BroadNet Inference, Modell-IDs (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-lora&utm_content=sources#models)
