대부분의 오픈 모델은 16비트 가중치로 배포됩니다. 양자화는 그 숫자들을 줄여 모델이 더 적은 GPU에 들어가게 합니다.
작동 방식
Hugging Face는 양자화를 “representing weights and activations with lower-precision data types like 8-bit integers (int8).”(번역: 가중치와 활성값을 8비트 정수(int8) 같은 낮은 정밀도 데이터 유형으로 표현하는 것)라고 설명합니다. 가중치 블록마다 스케일 값이 하나씩 붙습니다. 가중치는 적은 수의 단계로 반올림되고, 실행할 때 다시 스케일을 곱해 복원됩니다.
가중치 메모리는 파라미터당 비트 수에 비례합니다. 파라미터가 25.2B인 Google의 Gemma 4 26B A4B를 예로 들어 보겠습니다.
| 정밀도 | 가중치당 바이트 | 가중치만 |
|---|---|---|
| 16비트(BF16) | 2 | 25.2B × 2 = 50.4 GB |
| 8비트(FP8 또는 INT8) | 1 | 25.2 GB |
| 4비트(INT4) | 0.5 | 12.6 GB |
KV 캐시와 활성값에는 이와 별도로 공간이 필요합니다.
방법마다 무엇을 양자화하는지, 단계를 어떻게 고르는지가 다릅니다.
- **LLM.int8()**은 추론 메모리를 절반으로 줄이면서 소수의 이상치(outlier) 특성은 16비트로 유지합니다. 논문에 따르면 값의 99.9% 이상은 여전히 8비트 연산을 씁니다.
- GPTQ는 원샷 가중치 양자화 방법으로, 가중치당 3비트나 4비트까지 줄이면서 “negligible accuracy degradation”(번역: 무시할 만한 정확도 저하)만 보이며, 175B 모델을 GPU 약 4시간 만에 양자화합니다.
- 가중치만 양자화 vs 가중치와 활성값 양자화. 가중치만 양자화하는 형식은 메모리를 아낍니다. 활성값까지 양자화하면 이를 지원하는 하드웨어에서 행렬 연산도 빨라질 수 있습니다.
왜 중요한가
API를 호출하는 입장에서 양자화는 요청에 드러나지 않지만 세 군데에서 나타납니다. 가격: 모델이 작을수록 GPU가 덜 필요해 서빙 비용이 내려갑니다. 속도: 생성은 메모리 대역폭에 묶이는 경우가 많아서, 가중치당 바이트가 줄면 초당 토큰 수가 늘 수 있습니다. 품질: 비트가 줄면 반올림 오차가 커지고, 모델이 평균 점수는 유지하면서도 정작 내가 의존하는 특정 작업에서는 성능이 떨어질 수 있습니다.
“같은” 오픈 모델을 서빙하는 두 제공업체를 비교했는데 결과가 다르다면, 정밀도가 유력한 원인 중 하나입니다.
BroadNet Inference에서는
BroadNet API 레퍼런스는 서빙 정밀도를 밝히지 않습니다. 모델 카탈로그에는 BroadNet Gemma 4 VL 26B로 제공되는 프로덕션 Gemma 4 26B A4B 빌드가 AWQ 4비트 가중치와 FP8 KV 캐시로 표기되어 있습니다. 다른 모델의 API 정밀도는 밝히지 않습니다. 정밀도가 중요한 용도라면 제공업체마다 같은 평가 세트를 돌려 보세요. 방법은 모델을 바꾸기 전에 평가하는 체크리스트에 있습니다.