BroadRouter
시작하기

LoRA(저랭크 적응, low-rank adaptation)

업데이트

LoRA(low-rank adaptation, 저랭크 적응)는 사전 학습된 모델의 가중치를 고정하고, 선택한 레이어에 작은 저랭크 행렬 한 쌍만 학습시키는 파라미터 효율적 파인튜닝 방법입니다. 학습된 변화량은 작은 어댑터로 저장하거나 가중치에 병합할 수 있어 추론 지연 시간이 늘지 않습니다.

다른 이름: LoRA 파인튜닝, LoRA 어댑터, 로라, 저랭크 적응, 로우랭크 어댑테이션, LoRA, low-rank adaptation, LoRA adapter, LoRA fine-tuning

LoRA는 모델 전체가 아니라 작은 보정값만 학습시켜, 일반 하드웨어에서도 대형 모델 파인튜닝을 현실적인 일로 만들었습니다.

작동 방식

Hu와 동료들은 파인튜닝이 가중치 행렬에 가하는 변화가 낮은 랭크를 갖는 경향이 있음을 관찰했습니다. 그래서 LoRA는 원래 행렬 W₀를 고정하고, 변화량을 얇은 행렬 두 개의 곱으로 학습합니다.

W = W₀ + BA. 여기서 B는 d × r, A는 r × k이고, r은 d나 k보다 훨씬 작습니다.

B는 0에서 시작하므로 학습은 바뀌지 않은 모델에서 출발합니다. 논문은 주로 어텐션의 쿼리 프로젝션과 값 프로젝션에 LoRA를 적용했습니다.

파라미터 절약은 쉽게 계산할 수 있습니다. 4,096 × 4,096 행렬 하나라면 다음과 같습니다.

파라미터
전체 업데이트 4,096 × 4,096 = 16,777,216
LoRA, r = 8 8 × (4,096 + 4,096) = 65,536

전체의 약 0.4%입니다. GPT-3 175B에서 논문은 학습 파라미터가 1만 배 적고, GPU 메모리가 3분의 1로 줄며, 체크포인트가 약 350GB에서 약 35MB로 줄었다고 보고합니다.

왜 중요한가

  • 더 저렴한 학습. 학습할 가중치가 적으면 옵티마이저 상태에 드는 메모리가 줄어듭니다. 고정된 기본 모델을 양자화와 함께 쓰면 더 큰 모델도 더 작은 GPU에 올릴 수 있습니다.
  • 추가 지연 시간 없음. Hugging Face의 PEFT 가이드에 따르면 어댑터는 merge_and_unload()로 병합할 수 있으므로, 서빙 비용은 기본 모델과 같습니다.
  • 기본 모델 하나로 여러 작업. 기본 모델이 고정되어 있으므로 오픈 웨이트 모델 사본 하나를 두고 고객이나 작업마다 작은 어댑터만 바꿔 끼울 수 있습니다.
  • 한계. LoRA는 동작과 스타일을 바꾸는 데 효과적입니다. 그래도 파인튜닝이므로 좋은 데이터와 eval이 필요합니다.

BroadNet Inference에서는

BroadNet의 API 레퍼런스는 LoRA, 어댑터 업로드, 요청별 어댑터 선택을 문서화하지 않습니다. broadnet/qwen3.8-27b 같은 고정된 모델 ID를 호출합니다. 전용 엔드포인트와 BroadNet의 아랍어 파인튜닝 모델은 문의 시 제공되지만, 문서에는 어떻게 학습했는지 나와 있지 않습니다. 어댑터를 직접 학습시킬 계획이라면 셀프 호스팅과 API 비교 글로 API 가격과 비교해 보세요. 둘 다 운영한다면 LiteLLM 같은 라우터로 어느 쪽으로든 트래픽을 보낼 수 있습니다.

자주 묻는 질문

LoRA의 랭크 r은 무슨 뜻인가요?

두 작은 행렬의 안쪽 크기입니다. 랭크가 낮을수록 학습할 파라미터가 줄고 어댑터도 작아집니다. LoRA 논문은 GPT-3 175B에서 랭크 1이나 2처럼 낮은 값도 잘 작동했다고 보고합니다.

LoRA는 전체 파인튜닝만큼 좋은가요?

LoRA 논문은 RoBERTa, DeBERTa, GPT-2, GPT-3에서 학습 파라미터는 훨씬 적으면서 "on-par or better than fine-tuning"(번역: 파인튜닝과 대등하거나 더 나은) 품질을 보고합니다. 내 작업으로 테스트하세요.

BroadNet Inference에 LoRA 어댑터를 업로드할 수 있나요?

BroadNet 문서에는 어댑터 업로드가 나와 있지 않습니다. 전용 엔드포인트와 BroadNet 자체 파인튜닝 모델은 문의 시 제공됩니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기