BroadRouter
Начать

LoRA (низкоранговая адаптация)

Обновлено

LoRA (low-rank adaptation, низкоранговая адаптация) — это метод параметро-эффективного дообучения, который замораживает веса предобученной модели и обучает пару небольших низкоранговых матриц для выбранных слоёв. Выученное изменение можно хранить как небольшой адаптер или влить в веса, не добавляя задержки при инференсе.

Также называют: LoRA, низкоранговая адаптация, LoRA-адаптер, дообучение LoRA, файнтюнинг LoRA, обучение лоры, low-rank adaptation, LoRA adapter, LoRA fine-tuning

LoRA сделала дообучение больших моделей реальным на обычном оборудовании: вместо всей модели обучается крошечная поправка.

Как это работает

Hu и коллеги заметили, что изменение, которое дообучение вносит в матрицу весов, обычно имеет низкий ранг. Поэтому LoRA оставляет исходную матрицу W₀ замороженной и обучает изменение как произведение двух узких матриц:

W = W₀ + BA, где B имеет размер d × r, A — r × k, а r намного меньше d или k.

B инициализируется нулями, поэтому обучение начинается с неизменённой модели. В статье LoRA в основном применяли к проекциям query и value в механизме внимания.

Экономию параметров легко посчитать. Для одной матрицы 4 096 × 4 096:

Параметры
Полное обновление 4 096 × 4 096 = 16 777 216
LoRA, r = 8 8 × (4 096 + 4 096) = 65 536

Это около 0,4% от полного числа. На GPT-3 175B статья сообщает о сокращении числа обучаемых параметров в 10 000 раз, о трёхкратном снижении потребления памяти GPU и об уменьшении чекпоинтов примерно с 350 ГБ до 35 МБ.

Почему это важно

  • Дешевле обучение. Меньше обучаемых весов — меньше памяти на состояние оптимизатора. В сочетании с квантизацией замороженной базовой модели более крупные модели помещаются на меньшие GPU.
  • Никакой дополнительной задержки. Руководство Hugging Face PEFT отмечает, что адаптеры можно влить в модель с помощью merge_and_unload(), и тогда инференс стоит столько же, сколько у базовой модели.
  • Много задач, одна база. Поскольку база заморожена, можно держать одну копию модели с открытыми весами и подключать небольшие адаптеры под каждого клиента или задачу.
  • Ограничения. LoRA хорошо меняет поведение и стиль. Но это всё равно дообучение, поэтому нужны хорошие данные и eval.

В BroadNet Inference

Справочник API BroadNet не описывает LoRA, загрузку адаптеров или выбор адаптера в запросе. Вы вызываете фиксированные ID моделей, например broadnet/qwen3.8-27b. Приватные эндпоинты и арабские дообученные модели BroadNet доступны по запросу, но документация не говорит, как их обучали. Если вы планируете обучать адаптеры сами, сравните это с ценами API с помощью статьи собственный хостинг или API, а если используете и то и другое, роутер вроде LiteLLM может направлять трафик в любую сторону.

Вопросы и ответы

Что означает ранг r в LoRA?

Это внутренний размер двух маленьких матриц. Чем ниже ранг, тем меньше обучаемых параметров и тем меньше адаптер. Статья о LoRA сообщает, что на GPT-3 175B хорошо работали ранги даже 1 или 2.

LoRA так же хороша, как полное дообучение?

Статья о LoRA сообщает о качестве "on-par or better than fine-tuning" (перевод: «на уровне полного дообучения или лучше») на RoBERTa, DeBERTa, GPT-2 и GPT-3 при гораздо меньшем числе обучаемых параметров. Проверьте на своей задаче.

Можно ли загрузить LoRA-адаптер в BroadNet Inference?

Документация BroadNet не описывает загрузку адаптеров. Приватные эндпоинты и собственные дообученные модели BroadNet доступны по запросу.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity