---
title: "Что такое LoRA? Низкоранговая адаптация для дообучения LLM"
description: "LoRA дообучает LLM, тренируя две маленькие низкоранговые матрицы рядом с замороженными весами. Как это работает, расчёт параметров и почему задержка не растёт."
url: https://broadrouter.com/ru/glossary/lora/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/lora/) (обновлён 2026-11-14).

# LoRA (низкоранговая адаптация)

Обновлено 2026-11-14

LoRA (low-rank adaptation, низкоранговая адаптация) — это метод параметро-эффективного дообучения, который замораживает веса предобученной модели и обучает пару небольших низкоранговых матриц для выбранных слоёв. Выученное изменение можно хранить как небольшой адаптер или влить в веса, не добавляя задержки при инференсе.

Также называют: LoRA, низкоранговая адаптация, LoRA-адаптер, дообучение LoRA, файнтюнинг LoRA, обучение лоры, low-rank adaptation, LoRA adapter, LoRA fine-tuning

LoRA сделала дообучение больших моделей реальным на обычном оборудовании: вместо всей модели обучается крошечная поправка.

## Как это работает

Hu и коллеги заметили, что изменение, которое дообучение вносит в матрицу весов, обычно имеет низкий ранг. Поэтому LoRA оставляет исходную матрицу W₀ замороженной и обучает изменение как произведение двух узких матриц:

W = W₀ + BA, где B имеет размер d × r, A — r × k, а r намного меньше d или k.

B инициализируется нулями, поэтому обучение начинается с неизменённой модели. В статье LoRA в основном применяли к проекциям query и value в механизме внимания.

Экономию параметров легко посчитать. Для одной матрицы 4 096 × 4 096:

|  | Параметры |
| --- | --- |
| Полное обновление | 4 096 × 4 096 = 16 777 216 |
| LoRA, r = 8 | 8 × (4 096 + 4 096) = 65 536 |

Это около 0,4% от полного числа. На GPT-3 175B статья сообщает о сокращении числа обучаемых параметров в 10 000 раз, о трёхкратном снижении потребления памяти GPU и об уменьшении чекпоинтов примерно с 350 ГБ до 35 МБ.

## Почему это важно

-   **Дешевле обучение.** Меньше обучаемых весов — меньше памяти на состояние оптимизатора. В сочетании с [квантизацией](https://broadrouter.com/ru/glossary/quantization/) замороженной базовой модели более крупные модели помещаются на меньшие GPU.
-   **Никакой дополнительной задержки.** Руководство Hugging Face PEFT отмечает, что адаптеры можно влить в модель с помощью `merge_and_unload()`, и тогда инференс стоит столько же, сколько у базовой модели.
-   **Много задач, одна база.** Поскольку база заморожена, можно держать одну копию [модели с открытыми весами](https://broadrouter.com/ru/glossary/open-weight-model/) и подключать небольшие адаптеры под каждого клиента или задачу.
-   **Ограничения.** LoRA хорошо меняет поведение и стиль. Но это всё равно [дообучение](https://broadrouter.com/ru/glossary/fine-tuning/), поэтому нужны хорошие данные и eval.

## В BroadNet Inference

[Справочник API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-lora&utm_content=body#models) BroadNet не описывает LoRA, загрузку адаптеров или выбор адаптера в запросе. Вы вызываете фиксированные ID моделей, например `broadnet/qwen3.8-27b`. Приватные эндпоинты и арабские дообученные модели BroadNet доступны по запросу, но документация не говорит, как их обучали. Если вы планируете обучать адаптеры сами, сравните это с ценами API с помощью статьи [собственный хостинг или API](https://broadrouter.com/ru/blog/self-hosting-llm-vs-api-cost/), а если используете и то и другое, роутер вроде [LiteLLM](https://broadrouter.com/ru/guides/litellm-proxy-custom-provider/) может направлять трафик в любую сторону.

## Вопросы и ответы

### Что означает ранг r в LoRA?

Это внутренний размер двух маленьких матриц. Чем ниже ранг, тем меньше обучаемых параметров и тем меньше адаптер. Статья о LoRA сообщает, что на GPT-3 175B хорошо работали ранги даже 1 или 2.

### LoRA так же хороша, как полное дообучение?

Статья о LoRA сообщает о качестве "on-par or better than fine-tuning" (перевод: «на уровне полного дообучения или лучше») на RoBERTa, DeBERTa, GPT-2 и GPT-3 при гораздо меньшем числе обучаемых параметров. Проверьте на своей задаче.

### Можно ли загрузить LoRA-адаптер в BroadNet Inference?

Документация BroadNet не описывает загрузку адаптеров. Приватные эндпоинты и собственные дообученные модели BroadNet доступны по запросу.

## См. также

-   [Дообучение (fine-tuning)](https://broadrouter.com/ru/glossary/fine-tuning/) (термин)
-   [Квантизация (quantization)](https://broadrouter.com/ru/glossary/quantization/) (термин)
-   [Модель с открытыми весами (open-weight model)](https://broadrouter.com/ru/glossary/open-weight-model/) (термин)
-   [Дистилляция знаний (knowledge distillation)](https://broadrouter.com/ru/glossary/distillation/) (термин)
-   [LiteLLM и BroadNet Inference: SDK и прокси](https://broadrouter.com/ru/guides/litellm-proxy-custom-provider/) (руководство)
-   [Своя LLM на GPU или API: реальная стоимость и точка окупаемости](https://broadrouter.com/ru/blog/self-hosting-llm-vs-api-cost/) (статья)
-   [Открытые или закрытые модели ИИ для бизнеса: цена, контроль, риски](https://broadrouter.com/ru/blog/open-weight-vs-closed-models/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-lora&utm_content=page-cta) ·

**Источники**

-   [Hu и др. (2021), LoRA - Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)
-   [Hugging Face PEFT, концептуальное руководство по LoRA](https://huggingface.co/docs/peft/main/en/conceptual_guides/lora)
-   [Справочник API BroadNet Inference, ID моделей (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-lora&utm_content=sources#models)
