BroadRouter
시작하기

양자화(quantization)

업데이트

양자화(quantization)는 신경망의 숫자, 주로 가중치를 16비트 대신 8비트나 4비트 같은 낮은 정밀도 형식으로 저장해, 모델이 메모리를 덜 쓰고 대개 더 빠르게 실행되도록 하는 과정입니다. 좋은 방법은 정확도 손실을 작게 유지합니다.

다른 이름: 모델 양자화, LLM 양자화, 양자화 모델, 가중치 양자화, 4비트 양자화, 8비트 양자화, model quantization, LLM quantization, quantized model, weight quantization

대부분의 오픈 모델은 16비트 가중치로 배포됩니다. 양자화는 그 숫자들을 줄여 모델이 더 적은 GPU에 들어가게 합니다.

작동 방식

Hugging Face는 양자화를 “representing weights and activations with lower-precision data types like 8-bit integers (int8).”(번역: 가중치와 활성값을 8비트 정수(int8) 같은 낮은 정밀도 데이터 유형으로 표현하는 것)라고 설명합니다. 가중치 블록마다 스케일 값이 하나씩 붙습니다. 가중치는 적은 수의 단계로 반올림되고, 실행할 때 다시 스케일을 곱해 복원됩니다.

가중치 메모리는 파라미터당 비트 수에 비례합니다. 파라미터가 25.2B인 Google의 Gemma 4 26B A4B를 예로 들어 보겠습니다.

정밀도 가중치당 바이트 가중치만
16비트(BF16) 2 25.2B × 2 = 50.4 GB
8비트(FP8 또는 INT8) 1 25.2 GB
4비트(INT4) 0.5 12.6 GB

KV 캐시와 활성값에는 이와 별도로 공간이 필요합니다.

방법마다 무엇을 양자화하는지, 단계를 어떻게 고르는지가 다릅니다.

  • **LLM.int8()**은 추론 메모리를 절반으로 줄이면서 소수의 이상치(outlier) 특성은 16비트로 유지합니다. 논문에 따르면 값의 99.9% 이상은 여전히 8비트 연산을 씁니다.
  • GPTQ는 원샷 가중치 양자화 방법으로, 가중치당 3비트나 4비트까지 줄이면서 “negligible accuracy degradation”(번역: 무시할 만한 정확도 저하)만 보이며, 175B 모델을 GPU 약 4시간 만에 양자화합니다.
  • 가중치만 양자화 vs 가중치와 활성값 양자화. 가중치만 양자화하는 형식은 메모리를 아낍니다. 활성값까지 양자화하면 이를 지원하는 하드웨어에서 행렬 연산도 빨라질 수 있습니다.

왜 중요한가

API를 호출하는 입장에서 양자화는 요청에 드러나지 않지만 세 군데에서 나타납니다. 가격: 모델이 작을수록 GPU가 덜 필요해 서빙 비용이 내려갑니다. 속도: 생성은 메모리 대역폭에 묶이는 경우가 많아서, 가중치당 바이트가 줄면 초당 토큰 수가 늘 수 있습니다. 품질: 비트가 줄면 반올림 오차가 커지고, 모델이 평균 점수는 유지하면서도 정작 내가 의존하는 특정 작업에서는 성능이 떨어질 수 있습니다.

“같은” 오픈 모델을 서빙하는 두 제공업체를 비교했는데 결과가 다르다면, 정밀도가 유력한 원인 중 하나입니다.

BroadNet Inference에서는

BroadNet API 레퍼런스는 서빙 정밀도를 밝히지 않습니다. 모델 카탈로그에는 BroadNet Gemma 4 VL 26B로 제공되는 프로덕션 Gemma 4 26B A4B 빌드가 AWQ 4비트 가중치와 FP8 KV 캐시로 표기되어 있습니다. 다른 모델의 API 정밀도는 밝히지 않습니다. 정밀도가 중요한 용도라면 제공업체마다 같은 평가 세트를 돌려 보세요. 방법은 모델을 바꾸기 전에 평가하는 체크리스트에 있습니다.

자주 묻는 질문

양자화하면 모델 성능이 나빠지나요?

약간 나빠질 때가 있습니다. LLM.int8()은 1,750억(175B) 파라미터까지 8비트 추론에서 성능 저하가 없다고 보고하고, GPTQ는 가중치당 3비트나 4비트에서 손실이 무시할 만한 수준이라고 보고합니다. 비트가 낮을수록, 작업이 어려울수록 위험이 커지므로 실제 프롬프트로 테스트하세요.

API가 양자화된 모델을 제공하는지 알 수 있나요?

보통은 제공업체가 밝힐 때만 알 수 있습니다. API 응답 형식은 어느 쪽이든 같으므로, 직접 만든 테스트로 출력을 비교하고 제공업체에 어떤 정밀도를 쓰는지 물어보세요.

양자화로 메모리를 얼마나 아낄 수 있나요?

가중치 메모리는 가중치당 비트 수에 비례합니다. 파라미터가 25.2B인 모델은 KV 캐시와 활성값을 빼고도 16비트에서 약 50.4GB, 8비트에서 25.2GB, 4비트에서 12.6GB가 필요합니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기