4비트 모델은 16비트 원본의 약 4분의 1 크기입니다. AWQ는 품질을 크게 잃지 않고 그 크기로 줄이는 가장 많이 쓰이는 방법 중 하나입니다.
작동 방식
일반적인 양자화는 모든 가중치를 적은 수의 값으로 반올림합니다. 그런데 가중치마다 중요도가 달라서, 중요한 가중치를 반올림할 때 손해가 가장 큽니다. AWQ 논문의 핵심 발견은 “Protecting only 1% salient weights can greatly reduce quantization error”(번역: 중요한 가중치 1%만 보호해도 양자화 오차를 크게 줄일 수 있다)이며, 그런 가중치를 찾으려면 “we should refer to the activation distribution, not weights.”(번역: 가중치가 아니라 활성값 분포를 봐야 한다)라는 것입니다.
단계를 요약하면 다음과 같습니다.
- 작은 보정 세트를 원래 정밀도의 모델에 통과시키고 채널별 활성값 크기를 기록합니다.
- 논문이 “an equivalent transformation”(번역: 등가 변환)이라 부르는 방식으로 중요한 가중치 채널의 스케일을 키웁니다. 층의 출력은 그대로 두면서 반올림 손해를 줄이는 것입니다. 이렇게 하면 “hardware-inefficient mix-precision quantization”(번역: 하드웨어 효율이 낮은 혼합 정밀도 양자화)을 피할 수 있습니다.
- 모든 가중치를 낮은 정밀도로 반올림합니다. 보통 가중치 그룹마다 스케일을 하나씩 둔 4비트 정수입니다.
논문은 “AWQ does not rely on any backpropagation or reconstruction”(번역: AWQ는 역전파나 재구성에 의존하지 않는다)이라고 강조하며, 그래서 보정 세트에 과적합하지 않고 “generalizes to different domains and modalities”(번역: 여러 도메인과 모달리티에 일반화된다)라고 설명합니다. 이 논문은 MLSys 2024 최우수 논문상을 받았습니다.
vLLM에서는 미리 양자화된 AWQ 체크포인트를 인자 하나로 불러옵니다.
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
vLLM 문서는 이 형식이 가중치를 “from BF16/FP16 to INT4”(번역: BF16/FP16에서 INT4로) 줄인다고 설명하고, “The AutoAWQ library is deprecated”(번역: AutoAWQ 라이브러리는 deprecated되었다)라고 경고합니다. 새 AWQ 모델은 vLLM의 llm-compressor로 만듭니다.
왜 중요한가
- 메모리와 비용. 가중치가 작으면 더 적거나 더 저렴한 GPU에 들어가고, KV 캐시에 쓸 메모리가 늘어 동시에 더 많은 요청을 처리할 수 있습니다.
- 속도. 디코딩은 토큰마다 모든 가중치를 읽으므로, 가중치가 작으면 출력이 빨라질 수 있습니다. 논문은 자체 TinyChat 런타임이 “more than 3x speedup over the Huggingface FP16 implementation”(번역: Huggingface FP16 구현 대비 3배 이상의 속도 향상)을 보인다고 보고합니다.
- 같은 가중치, 다른 결과. “같은 모델”을 서빙하는 두 호스트가 서로 다른 양자화를 쓸 수 있습니다. 품질을 비교할 때는 제공업체가 어떤 형식으로 서빙하는지 물어보세요.
AWQ는 가중치만 양자화합니다. 활성값까지 양자화할 수 있는 FP8과 다르고, llama.cpp용 자체 양자화 타입을 가진 파일 형식인 GGUF와도 다릅니다.
BroadNet Inference에서는
BroadNet은 Gemma 4 VL 26B를 직접 양자화한 4비트 AWQ 가중치로 서빙하며, 다중 토큰 예측 추측 디코딩(k=2)과 fp8 KV 캐시를 함께 쓴다고 보고합니다. 모델 페이지에 따르면 NVFP4도 테스트했지만 직접 비교 후 사용을 중단했습니다. BroadNet은 또 같은 Gemma 4 가중치를 다른 호스팅 제공업체가 서빙했을 때 자사 서빙보다 평균 0.13 낮았다고 보고합니다(어떤 지표와 척도 기준인지는 밝히지 않습니다). 자세한 내용은 GPU 플릿과 서빙 글에 있습니다. BroadNet은 다른 API 모델의 양자화 형식은 공개하지 않습니다. AWQ 가중치를 직접 운영할 계획이라면 셀프 호스팅과 API 비용 비교 가이드에서 계산 방법을 확인하세요.