---
title: "모델 증류(distillation)란? 교사 모델과 학생 모델 | BroadRouter"
description: "증류는 작은 학생 모델이 큰 교사 모델을 흉내 내도록 학습시켜 실행 비용을 낮춥니다. 소프트 타깃의 원리와 증류된 추론 모델이 만들어지는 방식."
url: https://broadrouter.com/ko/glossary/distillation/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/distillation/) (2026-11-16 업데이트).

# 지식 증류(knowledge distillation)

업데이트 2026-11-16

증류(distillation), 또는 지식 증류는 더 작은 학생 모델이 더 큰 교사 모델의 출력, 예컨대 확률 분포나 생성한 답을 재현하도록 학습하는 방법입니다. 그 결과 학생 모델은 더 낮은 실행 비용으로 교사 모델의 품질을 상당 부분 유지합니다.

다른 이름: 지식 증류, 모델 증류, 증류 모델, LLM 증류, 교사-학생 학습, knowledge distillation, model distillation, distilled model, teacher-student training

큰 모델은 서빙 비용이 많이 듭니다. 증류는 큰 모델이 아는 것을 작은 모델로 옮깁니다.

## 작동 방식

Hinton, Vinyals, Dean은 2015년에 오늘날의 형태를 제시했습니다. 교사 모델의 출력 확률이 학생 모델의 “soft targets”(번역: 소프트 타깃)가 됩니다. 일반 라벨은 “이것은 7이다”라고만 말합니다. 교사 모델의 확률은 거기에 더해 1과는 조금 닮았고 4와는 전혀 닮지 않았다는 것까지 알려 주며, 이 추가 신호가 학생 모델의 학습을 돕습니다.

이 신호를 드러내기 위해 softmax [temperature](https://broadrouter.com/ko/glossary/temperature/)를 높입니다. 논문은 T를 높이면 “produces a softer probability distribution over classes”(번역: 클래스에 대한 더 부드러운 확률 분포를 만든다)라고 설명합니다. 이들의 MNIST 결과는 다음과 같습니다.

| 모델 | 테스트 오류 수 |
| --- | --- |
| 큰 교사 신경망 | 67 |
| 작은 신경망, 라벨로만 학습 | 146 |
| 같은 작은 신경망, T = 20에서 증류 | 74 |

LLM에서는 확률 대신 생성된 텍스트로 증류하는 경우가 많습니다. 교사 모델이 답을 쓰고, 학생 모델을 그 답으로 [파인튜닝](https://broadrouter.com/ko/glossary/fine-tuning/)합니다. DeepSeek-R1 논문은 큰 모델의 추론 패턴이 작은 모델을 이끌 수 있다고 보고합니다. 모델 카드에는 1.5B부터 70B 파라미터까지 증류 모델 여섯 개가 있는데, Qwen2.5와 Llama를 기반으로 DeepSeek-R1이 생성한 추론 데이터로 파인튜닝한 것입니다.

## 왜 중요한가

-   **비용과 속도.** 작은 모델은 GPU 메모리를 덜 쓰고 더 빠르게 생성하며, 이는 토큰당 가격과 지연 시간에 반영됩니다.
-   **좁은 능력.** 학생 모델은 학습한 영역에서는 강하고 그 밖에서는 약합니다. 교사 모델의 벤치마크를 믿지 말고 직접 작업으로 시험하세요.
-   **조합.** 자체 호스팅 환경에서는 증류를 [양자화](https://broadrouter.com/ko/glossary/quantization/), [LoRA](https://broadrouter.com/ko/glossary/lora/)와 함께 씁니다.
-   **라이선스.** 교사 모델의 출력으로 학습해도 되는지는 그 모델의 라이선스나 API 약관이 정합니다.

## BroadNet Inference에서는

BroadNet의 [API 레퍼런스](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-distillation&utm_content=body#models)는 모델이 증류되었는지 밝히지 않으므로, 그렇다고 가정하지 마세요. 다만 모델 간 가격 차이를 보면 작은 모델이 왜 중요한지 알 수 있습니다. BroadNet은 출력 토큰 100만 개당 가격으로 BroadNet Gemma 4 VL 26B $0.22 요금, GLM 5.3 $3.46 요금을 표시합니다. 작은 모델로 충분한지는 직접 평가(eval)로 판단할 문제입니다. [코딩 에이전트에 가장 좋은 오픈 모델](https://broadrouter.com/ko/blog/best-open-model-for-coding-agents/) 글에서 작업별로 선택지를 비교합니다.

## 자주 묻는 질문

### 증류와 양자화는 무엇이 다른가요?

증류는 더 작은 새 모델을 학습시킵니다. 양자화는 같은 모델을 유지한 채 가중치를 더 낮은 정밀도로 저장합니다. 둘 다 추론 비용을 낮추며, 함께 쓸 수도 있습니다.

### 증류된 모델은 교사 모델만큼 좋은가요?

모든 작업에서 그렇지는 않지만, 증류 대상이었던 작업에서는 근접할 수 있습니다. Hinton, Vinyals, Dean의 MNIST 실험에서 증류된 작은 신경망의 오류는 74개, 교사 모델은 67개였습니다.

### 다른 제공업체의 모델을 증류해도 되나요?

교사 모델의 출력으로 학습하기 전에 그 모델의 라이선스나 API 약관을 읽으세요. 이 부분은 약관마다 다르고, 제한하는 곳도 있습니다.

## 함께 보기

-   [파인튜닝(fine-tuning)](https://broadrouter.com/ko/glossary/fine-tuning/) (용어)
-   [LoRA(저랭크 적응, low-rank adaptation)](https://broadrouter.com/ko/glossary/lora/) (용어)
-   [양자화(quantization)](https://broadrouter.com/ko/glossary/quantization/) (용어)
-   [Temperature(온도)](https://broadrouter.com/ko/glossary/temperature/) (용어)
-   [오픈 웨이트 모델(open-weight model)](https://broadrouter.com/ko/glossary/open-weight-model/) (용어)
-   [추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/) (가이드)
-   [기업용 오픈 웨이트 vs 비공개 AI 모델: 비용, 통제, 위험](https://broadrouter.com/ko/blog/open-weight-vs-closed-models/) (글)
-   [코딩 에이전트에 가장 좋은 오픈 모델: 도구, 컨텍스트, 비용으로 고르기](https://broadrouter.com/ko/blog/best-open-model-for-coding-agents/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-distillation&utm_content=page-cta) ·

**출처**

-   [Hinton, Vinyals, Dean(2015), Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531)
-   [DeepSeek-AI(2025), DeepSeek-R1 논문](https://arxiv.org/abs/2501.12948)
-   [Hugging Face의 DeepSeek-R1 모델 카드(증류 모델)](https://huggingface.co/deepseek-ai/DeepSeek-R1)
