BroadRouter
시작하기

AWQ(활성화 인식 가중치 양자화)

업데이트

AWQ(activation-aware weight quantization, 활성화 인식 가중치 양자화)는 LLM의 가중치를 주로 4비트 정수 같은 낮은 정밀도로 압축하는 학습 후 양자화 방법입니다. 작은 보정(calibration) 세트의 활성값 통계로 가장 중요한 가중치 채널을 찾아 스케일을 조정해 정확도 손실을 줄이며, 역전파가 필요 없습니다.

다른 이름: AWQ 양자화, 활성화 인식 가중치 양자화, AWQ 모델, AWQ, activation-aware weight quantization, AWQ quantization

4비트 모델은 16비트 원본의 약 4분의 1 크기입니다. AWQ는 품질을 크게 잃지 않고 그 크기로 줄이는 가장 많이 쓰이는 방법 중 하나입니다.

작동 방식

일반적인 양자화는 모든 가중치를 적은 수의 값으로 반올림합니다. 그런데 가중치마다 중요도가 달라서, 중요한 가중치를 반올림할 때 손해가 가장 큽니다. AWQ 논문의 핵심 발견은 “Protecting only 1% salient weights can greatly reduce quantization error”(번역: 중요한 가중치 1%만 보호해도 양자화 오차를 크게 줄일 수 있다)이며, 그런 가중치를 찾으려면 “we should refer to the activation distribution, not weights.”(번역: 가중치가 아니라 활성값 분포를 봐야 한다)라는 것입니다.

단계를 요약하면 다음과 같습니다.

  1. 작은 보정 세트를 원래 정밀도의 모델에 통과시키고 채널별 활성값 크기를 기록합니다.
  2. 논문이 “an equivalent transformation”(번역: 등가 변환)이라 부르는 방식으로 중요한 가중치 채널의 스케일을 키웁니다. 층의 출력은 그대로 두면서 반올림 손해를 줄이는 것입니다. 이렇게 하면 “hardware-inefficient mix-precision quantization”(번역: 하드웨어 효율이 낮은 혼합 정밀도 양자화)을 피할 수 있습니다.
  3. 모든 가중치를 낮은 정밀도로 반올림합니다. 보통 가중치 그룹마다 스케일을 하나씩 둔 4비트 정수입니다.

논문은 “AWQ does not rely on any backpropagation or reconstruction”(번역: AWQ는 역전파나 재구성에 의존하지 않는다)이라고 강조하며, 그래서 보정 세트에 과적합하지 않고 “generalizes to different domains and modalities”(번역: 여러 도메인과 모달리티에 일반화된다)라고 설명합니다. 이 논문은 MLSys 2024 최우수 논문상을 받았습니다.

vLLM에서는 미리 양자화된 AWQ 체크포인트를 인자 하나로 불러옵니다.

from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")

vLLM 문서는 이 형식이 가중치를 “from BF16/FP16 to INT4”(번역: BF16/FP16에서 INT4로) 줄인다고 설명하고, “The AutoAWQ library is deprecated”(번역: AutoAWQ 라이브러리는 deprecated되었다)라고 경고합니다. 새 AWQ 모델은 vLLM의 llm-compressor로 만듭니다.

왜 중요한가

  • 메모리와 비용. 가중치가 작으면 더 적거나 더 저렴한 GPU에 들어가고, KV 캐시에 쓸 메모리가 늘어 동시에 더 많은 요청을 처리할 수 있습니다.
  • 속도. 디코딩은 토큰마다 모든 가중치를 읽으므로, 가중치가 작으면 출력이 빨라질 수 있습니다. 논문은 자체 TinyChat 런타임이 “more than 3x speedup over the Huggingface FP16 implementation”(번역: Huggingface FP16 구현 대비 3배 이상의 속도 향상)을 보인다고 보고합니다.
  • 같은 가중치, 다른 결과. “같은 모델”을 서빙하는 두 호스트가 서로 다른 양자화를 쓸 수 있습니다. 품질을 비교할 때는 제공업체가 어떤 형식으로 서빙하는지 물어보세요.

AWQ는 가중치만 양자화합니다. 활성값까지 양자화할 수 있는 FP8과 다르고, llama.cpp용 자체 양자화 타입을 가진 파일 형식인 GGUF와도 다릅니다.

BroadNet Inference에서는

BroadNet은 Gemma 4 VL 26B를 직접 양자화한 4비트 AWQ 가중치로 서빙하며, 다중 토큰 예측 추측 디코딩(k=2)과 fp8 KV 캐시를 함께 쓴다고 보고합니다. 모델 페이지에 따르면 NVFP4도 테스트했지만 직접 비교 후 사용을 중단했습니다. BroadNet은 또 같은 Gemma 4 가중치를 다른 호스팅 제공업체가 서빙했을 때 자사 서빙보다 평균 0.13 낮았다고 보고합니다(어떤 지표와 척도 기준인지는 밝히지 않습니다). 자세한 내용은 GPU 플릿과 서빙 글에 있습니다. BroadNet은 다른 API 모델의 양자화 형식은 공개하지 않습니다. AWQ 가중치를 직접 운영할 계획이라면 셀프 호스팅과 API 비용 비교 가이드에서 계산 방법을 확인하세요.

자주 묻는 질문

AWQ와 INT4는 같은 건가요?

AWQ는 방법이고 INT4는 숫자 형식입니다. AWQ는 보통 4비트 정수 가중치를 만들기 때문에, AWQ 모델은 INT4 모델의 한 종류입니다. GPTQ나 GGUF 양자화 타입 같은 다른 방법으로도 4비트 가중치를 만들 수 있습니다.

AWQ를 쓰면 품질이 떨어지나요?

낮은 비트 양자화는 모두 그럴 수 있습니다. AWQ 논문은 중요한 가중치 약 1%를 보호하면 양자화 오차가 크게 줄어든다고 보고하지만, 양자화된 모델은 직접 쓰는 프롬프트로 테스트해야 합니다.

vLLM에서 AWQ 모델을 실행할 수 있나요?

네. vLLM 문서에 미리 양자화된 AWQ 체크포인트를 불러오는 방법이 나와 있습니다. 문서는 AutoAWQ 라이브러리가 deprecated되었다고 밝히고, 새 AWQ 모델을 만들 때는 vLLM의 llm-compressor 프로젝트를 쓰라고 안내합니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기