LoRA는 모델 전체가 아니라 작은 보정값만 학습시켜, 일반 하드웨어에서도 대형 모델 파인튜닝을 현실적인 일로 만들었습니다.
작동 방식
Hu와 동료들은 파인튜닝이 가중치 행렬에 가하는 변화가 낮은 랭크를 갖는 경향이 있음을 관찰했습니다. 그래서 LoRA는 원래 행렬 W₀를 고정하고, 변화량을 얇은 행렬 두 개의 곱으로 학습합니다.
W = W₀ + BA. 여기서 B는 d × r, A는 r × k이고, r은 d나 k보다 훨씬 작습니다.
B는 0에서 시작하므로 학습은 바뀌지 않은 모델에서 출발합니다. 논문은 주로 어텐션의 쿼리 프로젝션과 값 프로젝션에 LoRA를 적용했습니다.
파라미터 절약은 쉽게 계산할 수 있습니다. 4,096 × 4,096 행렬 하나라면 다음과 같습니다.
| 파라미터 | |
|---|---|
| 전체 업데이트 | 4,096 × 4,096 = 16,777,216 |
| LoRA, r = 8 | 8 × (4,096 + 4,096) = 65,536 |
전체의 약 0.4%입니다. GPT-3 175B에서 논문은 학습 파라미터가 1만 배 적고, GPU 메모리가 3분의 1로 줄며, 체크포인트가 약 350GB에서 약 35MB로 줄었다고 보고합니다.
왜 중요한가
- 더 저렴한 학습. 학습할 가중치가 적으면 옵티마이저 상태에 드는 메모리가 줄어듭니다. 고정된 기본 모델을 양자화와 함께 쓰면 더 큰 모델도 더 작은 GPU에 올릴 수 있습니다.
- 추가 지연 시간 없음. Hugging Face의 PEFT 가이드에 따르면 어댑터는
merge_and_unload()로 병합할 수 있으므로, 서빙 비용은 기본 모델과 같습니다. - 기본 모델 하나로 여러 작업. 기본 모델이 고정되어 있으므로 오픈 웨이트 모델 사본 하나를 두고 고객이나 작업마다 작은 어댑터만 바꿔 끼울 수 있습니다.
- 한계. LoRA는 동작과 스타일을 바꾸는 데 효과적입니다. 그래도 파인튜닝이므로 좋은 데이터와 eval이 필요합니다.
BroadNet Inference에서는
BroadNet의 API 레퍼런스는 LoRA, 어댑터 업로드, 요청별 어댑터 선택을 문서화하지 않습니다. broadnet/qwen3.8-27b 같은 고정된 모델 ID를 호출합니다. 전용 엔드포인트와 BroadNet의 아랍어 파인튜닝 모델은 문의 시 제공되지만, 문서에는 어떻게 학습했는지 나와 있지 않습니다. 어댑터를 직접 학습시킬 계획이라면 셀프 호스팅과 API 비교 글로 API 가격과 비교해 보세요. 둘 다 운영한다면 LiteLLM 같은 라우터로 어느 쪽으로든 트래픽을 보낼 수 있습니다.