LoRA сделала дообучение больших моделей реальным на обычном оборудовании: вместо всей модели обучается крошечная поправка.
Как это работает
Hu и коллеги заметили, что изменение, которое дообучение вносит в матрицу весов, обычно имеет низкий ранг. Поэтому LoRA оставляет исходную матрицу W₀ замороженной и обучает изменение как произведение двух узких матриц:
W = W₀ + BA, где B имеет размер d × r, A — r × k, а r намного меньше d или k.
B инициализируется нулями, поэтому обучение начинается с неизменённой модели. В статье LoRA в основном применяли к проекциям query и value в механизме внимания.
Экономию параметров легко посчитать. Для одной матрицы 4 096 × 4 096:
| Параметры | |
|---|---|
| Полное обновление | 4 096 × 4 096 = 16 777 216 |
| LoRA, r = 8 | 8 × (4 096 + 4 096) = 65 536 |
Это около 0,4% от полного числа. На GPT-3 175B статья сообщает о сокращении числа обучаемых параметров в 10 000 раз, о трёхкратном снижении потребления памяти GPU и об уменьшении чекпоинтов примерно с 350 ГБ до 35 МБ.
Почему это важно
- Дешевле обучение. Меньше обучаемых весов — меньше памяти на состояние оптимизатора. В сочетании с квантизацией замороженной базовой модели более крупные модели помещаются на меньшие GPU.
- Никакой дополнительной задержки. Руководство Hugging Face PEFT отмечает, что адаптеры можно влить в модель с помощью
merge_and_unload(), и тогда инференс стоит столько же, сколько у базовой модели. - Много задач, одна база. Поскольку база заморожена, можно держать одну копию модели с открытыми весами и подключать небольшие адаптеры под каждого клиента или задачу.
- Ограничения. LoRA хорошо меняет поведение и стиль. Но это всё равно дообучение, поэтому нужны хорошие данные и eval.
В BroadNet Inference
Справочник API BroadNet не описывает LoRA, загрузку адаптеров или выбор адаптера в запросе. Вы вызываете фиксированные ID моделей, например broadnet/qwen3.8-27b. Приватные эндпоинты и арабские дообученные модели BroadNet доступны по запросу, но документация не говорит, как их обучали. Если вы планируете обучать адаптеры сами, сравните это с ценами API с помощью статьи собственный хостинг или API, а если используете и то и другое, роутер вроде LiteLLM может направлять трафик в любую сторону.