---
title: "LoRA란? LLM 파인튜닝을 위한 저랭크 적응 | BroadRouter"
description: "LoRA는 고정된 가중치 옆에 작은 저랭크 행렬 두 개만 학습시켜 LLM을 파인튜닝합니다. 작동 방식, 파라미터 계산, 지연 시간이 늘지 않는 이유를 정리했습니다."
url: https://broadrouter.com/ko/glossary/lora/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/lora/) (2026-11-14 업데이트).

# LoRA(저랭크 적응, low-rank adaptation)

업데이트 2026-11-14

LoRA(low-rank adaptation, 저랭크 적응)는 사전 학습된 모델의 가중치를 고정하고, 선택한 레이어에 작은 저랭크 행렬 한 쌍만 학습시키는 파라미터 효율적 파인튜닝 방법입니다. 학습된 변화량은 작은 어댑터로 저장하거나 가중치에 병합할 수 있어 추론 지연 시간이 늘지 않습니다.

다른 이름: LoRA 파인튜닝, LoRA 어댑터, 로라, 저랭크 적응, 로우랭크 어댑테이션, LoRA, low-rank adaptation, LoRA adapter, LoRA fine-tuning

LoRA는 모델 전체가 아니라 작은 보정값만 학습시켜, 일반 하드웨어에서도 대형 모델 파인튜닝을 현실적인 일로 만들었습니다.

## 작동 방식

Hu와 동료들은 파인튜닝이 가중치 행렬에 가하는 변화가 낮은 랭크를 갖는 경향이 있음을 관찰했습니다. 그래서 LoRA는 원래 행렬 W₀를 고정하고, 변화량을 얇은 행렬 두 개의 곱으로 학습합니다.

W = W₀ + BA. 여기서 B는 d × r, A는 r × k이고, r은 d나 k보다 훨씬 작습니다.

B는 0에서 시작하므로 학습은 바뀌지 않은 모델에서 출발합니다. 논문은 주로 어텐션의 쿼리 프로젝션과 값 프로젝션에 LoRA를 적용했습니다.

파라미터 절약은 쉽게 계산할 수 있습니다. 4,096 × 4,096 행렬 하나라면 다음과 같습니다.

|  | 파라미터 |
| --- | --- |
| 전체 업데이트 | 4,096 × 4,096 = 16,777,216 |
| LoRA, r = 8 | 8 × (4,096 + 4,096) = 65,536 |

전체의 약 0.4%입니다. GPT-3 175B에서 논문은 학습 파라미터가 1만 배 적고, GPU 메모리가 3분의 1로 줄며, 체크포인트가 약 350GB에서 약 35MB로 줄었다고 보고합니다.

## 왜 중요한가

-   **더 저렴한 학습.** 학습할 가중치가 적으면 옵티마이저 상태에 드는 메모리가 줄어듭니다. 고정된 기본 모델을 [양자화](https://broadrouter.com/ko/glossary/quantization/)와 함께 쓰면 더 큰 모델도 더 작은 GPU에 올릴 수 있습니다.
-   **추가 지연 시간 없음.** Hugging Face의 PEFT 가이드에 따르면 어댑터는 `merge_and_unload()`로 병합할 수 있으므로, 서빙 비용은 기본 모델과 같습니다.
-   **기본 모델 하나로 여러 작업.** 기본 모델이 고정되어 있으므로 [오픈 웨이트 모델](https://broadrouter.com/ko/glossary/open-weight-model/) 사본 하나를 두고 고객이나 작업마다 작은 어댑터만 바꿔 끼울 수 있습니다.
-   **한계.** LoRA는 동작과 스타일을 바꾸는 데 효과적입니다. 그래도 [파인튜닝](https://broadrouter.com/ko/glossary/fine-tuning/)이므로 좋은 데이터와 eval이 필요합니다.

## BroadNet Inference에서는

BroadNet의 [API 레퍼런스](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-lora&utm_content=body#models)는 LoRA, 어댑터 업로드, 요청별 어댑터 선택을 문서화하지 않습니다. `broadnet/qwen3.8-27b` 같은 고정된 모델 ID를 호출합니다. 전용 엔드포인트와 BroadNet의 아랍어 파인튜닝 모델은 문의 시 제공되지만, 문서에는 어떻게 학습했는지 나와 있지 않습니다. 어댑터를 직접 학습시킬 계획이라면 [셀프 호스팅과 API 비교](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/) 글로 API 가격과 비교해 보세요. 둘 다 운영한다면 [LiteLLM](https://broadrouter.com/ko/guides/litellm-proxy-custom-provider/) 같은 라우터로 어느 쪽으로든 트래픽을 보낼 수 있습니다.

## 자주 묻는 질문

### LoRA의 랭크 r은 무슨 뜻인가요?

두 작은 행렬의 안쪽 크기입니다. 랭크가 낮을수록 학습할 파라미터가 줄고 어댑터도 작아집니다. LoRA 논문은 GPT-3 175B에서 랭크 1이나 2처럼 낮은 값도 잘 작동했다고 보고합니다.

### LoRA는 전체 파인튜닝만큼 좋은가요?

LoRA 논문은 RoBERTa, DeBERTa, GPT-2, GPT-3에서 학습 파라미터는 훨씬 적으면서 "on-par or better than fine-tuning"(번역: 파인튜닝과 대등하거나 더 나은) 품질을 보고합니다. 내 작업으로 테스트하세요.

### BroadNet Inference에 LoRA 어댑터를 업로드할 수 있나요?

BroadNet 문서에는 어댑터 업로드가 나와 있지 않습니다. 전용 엔드포인트와 BroadNet 자체 파인튜닝 모델은 문의 시 제공됩니다.

## 함께 보기

-   [파인튜닝(fine-tuning)](https://broadrouter.com/ko/glossary/fine-tuning/) (용어)
-   [양자화(quantization)](https://broadrouter.com/ko/glossary/quantization/) (용어)
-   [오픈 웨이트 모델(open-weight model)](https://broadrouter.com/ko/glossary/open-weight-model/) (용어)
-   [지식 증류(knowledge distillation)](https://broadrouter.com/ko/glossary/distillation/) (용어)
-   [LiteLLM을 BroadNet Inference에 연결하기(SDK와 프록시)](https://broadrouter.com/ko/guides/litellm-proxy-custom-provider/) (가이드)
-   [LLM 자체 호스팅 vs API: 실제 비용과 손익분기점](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/) (글)
-   [기업용 오픈 웨이트 vs 비공개 AI 모델: 비용, 통제, 위험](https://broadrouter.com/ko/blog/open-weight-vs-closed-models/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-lora&utm_content=page-cta) ·

**출처**

-   [Hu 외(2021), LoRA - Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)
-   [Hugging Face PEFT, LoRA 개념 가이드](https://huggingface.co/docs/peft/main/en/conceptual_guides/lora)
-   [BroadNet Inference API 레퍼런스, 모델 ID (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-lora&utm_content=sources#models)
