INT4는 양자화가 공격적으로 바뀌는 지점입니다. 가중치마다 가능한 값이 16개뿐입니다.
작동 방식
TensorRT-LLM의 정밀도 가이드는 흔한 형태인 W4A16을 설명합니다. 가중치는 4비트로 양자화되었다가 행렬 곱 안에서 “on-the-fly”(즉석에서) 역양자화되고, 활성값은 FP16이나 BF16으로 유지됩니다. TensorRT-LLM은 그룹별 스케일 계수를 지원합니다. 작은 가중치 그룹마다 자체 스케일을 두어 16단계가 알맞은 범위를 덮게 하는 방식입니다. vLLM의 INT4 예시는 가중치 128개마다 그룹 하나를 두는 W4A16-G128 체크포인트를 저장합니다.
단순히 16단계로 반올림하면 손실이 너무 크기 때문에, 널리 쓰이는 방법들은 더 영리하게 처리합니다.
- GPTQ는 근사적인 2차 정보를 써서 출력 오차를 제한하는 반올림을 고릅니다. 논문은 가중치당 3비트나 4비트에서 손실이 무시할 만한 수준이며, 1,750억(175B) 파라미터 모델을 GPU 한 장에서 돌릴 수 있다고 보고합니다.
- AWQ는 “not all weights in an LLM are equally important.”(번역: LLM의 모든 가중치가 똑같이 중요하지는 않습니다)라는 관찰에서 출발합니다. 활성값 통계로 찾은 중요한 채널 약 1%를 보호하면 오차가 크게 줄어듭니다. AWQ의 TinyChat 런타임은 기기에서 4비트 모델이 3배 넘게 빨라졌다고 보고합니다.
왜 중요한가
메모리 절약 효과가 큽니다. 가중치당 0.5바이트이므로 모델 가중치는 16비트 크기의 4분의 1이 됩니다. 252억(25.2B) 파라미터 모델이라면 BF16에서는 25.2B × 2바이트 = 50.4GB, INT4에서는 25.2B × 0.5바이트 = 12.6GB이며, 여기에 스케일 계수 몫이 조금 더해집니다. 생성 속도는 메모리에서 가중치가 흘러나오는 속도에 묶이는 경우가 많으므로, 4비트 가중치는 지연 시간도 줄일 수 있습니다. vLLM 문서는 INT4 W4A16이 “in workloads with low queries per second”(번역: 초당 쿼리 수가 낮은 워크로드에서) 지연 시간을 낮게 유지하는 데 가장 유용하다고 말합니다. 부하가 높으면 가중치를 역양자화하는 비용이 더 커져서 이득이 줄어듭니다.
단계가 16개뿐이라 반올림 오차가 FP8보다 큽니다. GPTQ와 AWQ가 존재하는 이유가 바로 이것입니다. 평균 벤치마크 점수는 긴 추론, 정확한 산술, 코드, 덜 흔한 언어처럼 정작 중요한 작업에서의 손실을 가릴 수 있습니다. INT4 빌드가 내 테스트 세트에서 16비트 버전보다 못하다면 내 테스트를 믿으세요.
전문가 혼합(MoE) 모델은 INT4의 단골 후보입니다. 토큰마다 실행되는 전문가는 몇 개뿐이어도 모든 전문가가 메모리에 올라가야 하기 때문입니다.
BroadNet Inference에서는
BroadNet의 모델 카탈로그에 따르면 프로덕션 Gemma 4 26B A4B 빌드(API ID broadnet/gemma-4-26b-a4b)는 AWQ 4비트 가중치를 쓰며, 멀티 토큰 예측과 FP8 KV 캐시를 함께 씁니다. 이는 BroadNet 자체의 설명이며, API 문서는 다른 모델의 정밀도를 밝히지 않습니다. 4비트 모델을 직접 호스팅할지 API를 호출할지 고민 중이라면 셀프 호스팅 비용 비교와 LLM API 비용 계산기로 총비용을 비교해 보세요.