큰 모델은 서빙 비용이 많이 듭니다. 증류는 큰 모델이 아는 것을 작은 모델로 옮깁니다.
작동 방식
Hinton, Vinyals, Dean은 2015년에 오늘날의 형태를 제시했습니다. 교사 모델의 출력 확률이 학생 모델의 “soft targets”(번역: 소프트 타깃)가 됩니다. 일반 라벨은 “이것은 7이다”라고만 말합니다. 교사 모델의 확률은 거기에 더해 1과는 조금 닮았고 4와는 전혀 닮지 않았다는 것까지 알려 주며, 이 추가 신호가 학생 모델의 학습을 돕습니다.
이 신호를 드러내기 위해 softmax temperature를 높입니다. 논문은 T를 높이면 “produces a softer probability distribution over classes”(번역: 클래스에 대한 더 부드러운 확률 분포를 만든다)라고 설명합니다. 이들의 MNIST 결과는 다음과 같습니다.
| 모델 | 테스트 오류 수 |
|---|---|
| 큰 교사 신경망 | 67 |
| 작은 신경망, 라벨로만 학습 | 146 |
| 같은 작은 신경망, T = 20에서 증류 | 74 |
LLM에서는 확률 대신 생성된 텍스트로 증류하는 경우가 많습니다. 교사 모델이 답을 쓰고, 학생 모델을 그 답으로 파인튜닝합니다. DeepSeek-R1 논문은 큰 모델의 추론 패턴이 작은 모델을 이끌 수 있다고 보고합니다. 모델 카드에는 1.5B부터 70B 파라미터까지 증류 모델 여섯 개가 있는데, Qwen2.5와 Llama를 기반으로 DeepSeek-R1이 생성한 추론 데이터로 파인튜닝한 것입니다.
왜 중요한가
- 비용과 속도. 작은 모델은 GPU 메모리를 덜 쓰고 더 빠르게 생성하며, 이는 토큰당 가격과 지연 시간에 반영됩니다.
- 좁은 능력. 학생 모델은 학습한 영역에서는 강하고 그 밖에서는 약합니다. 교사 모델의 벤치마크를 믿지 말고 직접 작업으로 시험하세요.
- 조합. 자체 호스팅 환경에서는 증류를 양자화, LoRA와 함께 씁니다.
- 라이선스. 교사 모델의 출력으로 학습해도 되는지는 그 모델의 라이선스나 API 약관이 정합니다.
BroadNet Inference에서는
BroadNet의 API 레퍼런스는 모델이 증류되었는지 밝히지 않으므로, 그렇다고 가정하지 마세요. 다만 모델 간 가격 차이를 보면 작은 모델이 왜 중요한지 알 수 있습니다. BroadNet은 출력 토큰 100만 개당 가격으로 BroadNet Gemma 4 VL 26B $0.22 요금, GLM 5.3 $3.46 요금을 표시합니다. 작은 모델로 충분한지는 직접 평가(eval)로 판단할 문제입니다. 코딩 에이전트에 가장 좋은 오픈 모델 글에서 작업별로 선택지를 비교합니다.