---
title: "INT4 양자화란? LLM 4비트 가중치 정리 | BroadRouter"
description: "INT4는 LLM 가중치를 4비트 정수로 저장해 16비트 대비 크기를 4분의 1로 줄입니다. 4비트 가중치 전용 양자화, GPTQ와 AWQ의 원리, 품질 위험을 정리했습니다."
url: https://broadrouter.com/ko/glossary/int4/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/int4/) (2026-11-16 업데이트).

# INT4(4비트 정수 양자화)

업데이트 2026-11-16

INT4는 16단계를 표현할 수 있는 4비트 정수 형식입니다. LLM 추론에서는 보통 4비트 가중치 전용 양자화(W4A16)를 뜻합니다. 가중치를 스케일 계수와 함께 INT4로 저장했다가 계산할 때 16비트로 풀어 쓰며, 16비트 가중치의 약 4분의 1 메모리만 씁니다.

다른 이름: 4비트 양자화, INT4 양자화, 4비트 정수, 4비트 LLM, 4bit 양자화, INT4, 4-bit quantization, W4A16, 4-bit integer, INT4 weight-only, 4-bit LLM

INT4는 양자화가 공격적으로 바뀌는 지점입니다. 가중치마다 가능한 값이 16개뿐입니다.

## 작동 방식

TensorRT-LLM의 정밀도 가이드는 흔한 형태인 **W4A16**을 설명합니다. 가중치는 4비트로 양자화되었다가 행렬 곱 안에서 “on-the-fly”(즉석에서) 역양자화되고, 활성값은 FP16이나 BF16으로 유지됩니다. TensorRT-LLM은 그룹별 스케일 계수를 지원합니다. 작은 가중치 그룹마다 자체 스케일을 두어 16단계가 알맞은 범위를 덮게 하는 방식입니다. vLLM의 INT4 예시는 가중치 128개마다 그룹 하나를 두는 `W4A16-G128` 체크포인트를 저장합니다.

단순히 16단계로 반올림하면 손실이 너무 크기 때문에, 널리 쓰이는 방법들은 더 영리하게 처리합니다.

-   **GPTQ**는 근사적인 2차 정보를 써서 출력 오차를 제한하는 반올림을 고릅니다. 논문은 가중치당 3비트나 4비트에서 손실이 무시할 만한 수준이며, 1,750억(175B) 파라미터 모델을 GPU 한 장에서 돌릴 수 있다고 보고합니다.
-   **AWQ**는 “not all weights in an LLM are equally important.”(번역: LLM의 모든 가중치가 똑같이 중요하지는 않습니다)라는 관찰에서 출발합니다. 활성값 통계로 찾은 중요한 채널 약 1%를 보호하면 오차가 크게 줄어듭니다. AWQ의 TinyChat 런타임은 기기에서 4비트 모델이 3배 넘게 빨라졌다고 보고합니다.

## 왜 중요한가

메모리 절약 효과가 큽니다. 가중치당 0.5바이트이므로 모델 가중치는 16비트 크기의 4분의 1이 됩니다. 252억(25.2B) 파라미터 모델이라면 BF16에서는 25.2B × 2바이트 = 50.4GB, INT4에서는 25.2B × 0.5바이트 = 12.6GB이며, 여기에 스케일 계수 몫이 조금 더해집니다. 생성 속도는 메모리에서 가중치가 흘러나오는 속도에 묶이는 경우가 많으므로, 4비트 가중치는 [지연 시간](https://broadrouter.com/ko/glossary/latency/)도 줄일 수 있습니다. vLLM 문서는 INT4 W4A16이 “in workloads with low queries per second”(번역: 초당 쿼리 수가 낮은 워크로드에서) 지연 시간을 낮게 유지하는 데 가장 유용하다고 말합니다. 부하가 높으면 가중치를 역양자화하는 비용이 더 커져서 이득이 줄어듭니다.

단계가 16개뿐이라 반올림 오차가 [FP8](https://broadrouter.com/ko/glossary/fp8/)보다 큽니다. GPTQ와 AWQ가 존재하는 이유가 바로 이것입니다. 평균 벤치마크 점수는 긴 추론, 정확한 산술, 코드, 덜 흔한 언어처럼 정작 중요한 작업에서의 손실을 가릴 수 있습니다. INT4 빌드가 내 테스트 세트에서 16비트 버전보다 못하다면 내 테스트를 믿으세요.

[전문가 혼합(MoE)](https://broadrouter.com/ko/glossary/mixture-of-experts/) 모델은 INT4의 단골 후보입니다. 토큰마다 실행되는 전문가는 몇 개뿐이어도 모든 전문가가 메모리에 올라가야 하기 때문입니다.

## BroadNet Inference에서는

BroadNet의 [모델 카탈로그](https://www.broadnet.ai/inference/models)에 따르면 프로덕션 Gemma 4 26B A4B 빌드(API ID `broadnet/gemma-4-26b-a4b`)는 AWQ 4비트 가중치를 쓰며, 멀티 토큰 예측과 FP8 KV 캐시를 함께 씁니다. 이는 BroadNet 자체의 설명이며, API 문서는 다른 모델의 정밀도를 밝히지 않습니다. 4비트 모델을 직접 호스팅할지 API를 호출할지 고민 중이라면 [셀프 호스팅 비용 비교](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/)와 [LLM API 비용 계산기](https://broadrouter.com/tools/llm-api-cost-calculator/)로 총비용을 비교해 보세요.

## 자주 묻는 질문

### INT4로 메모리를 얼마나 아낄 수 있나요?

가중치 하나가 2바이트 대신 0.5바이트를 차지하므로 16비트 크기의 약 4분의 1이 되고, 스케일 계수 때문에 약간의 오버헤드가 붙습니다. 252억(25.2B) 파라미터 모델이라면 가중치가 약 50.4GB에서 약 12.6GB로 줄어듭니다.

### INT4는 NF4나 FP4와 같은 건가요?

아닙니다. 셋 다 4비트를 쓰지만 NF4와 FP4는 16단계를 고르지 않게 배치하고, INT4는 같은 간격으로 배치합니다. Hugging Face의 bitsandbytes 통합은 FP4와 NF4를 제공하며, GPTQ와 AWQ 체크포인트는 보통 INT4를 씁니다.

### INT4를 쓰면 모델이 빨라지나요?

부하가 낮을 때는 대개 그렇습니다. 생성 속도는 메모리에서 가중치를 읽는 속도에 묶이는데, 4비트 가중치는 더 작기 때문입니다. vLLM 문서에 따르면 INT4 W4A16은 초당 쿼리 수가 낮은 워크로드에서 가장 효과가 크고, 부하가 높아지면 이득이 줄어듭니다.

## 함께 보기

-   [양자화(quantization)](https://broadrouter.com/ko/glossary/quantization/) (용어)
-   [FP8(8비트 부동소수점)](https://broadrouter.com/ko/glossary/fp8/) (용어)
-   [전문가 혼합(MoE, mixture of experts)](https://broadrouter.com/ko/glossary/mixture-of-experts/) (용어)
-   [지연 시간(latency)](https://broadrouter.com/ko/glossary/latency/) (용어)
-   [AWQ(활성화 인식 가중치 양자화)](https://broadrouter.com/ko/glossary/awq/) (용어)
-   [BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/) (가이드)
-   [LLM 자체 호스팅 vs API: 실제 비용과 손익분기점](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/) (글)
-   [기업용 오픈 웨이트 vs 비공개 AI 모델: 비용, 통제, 위험](https://broadrouter.com/ko/blog/open-weight-vs-closed-models/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-int4&utm_content=page-cta) ·

**출처**

-   [BroadNet 모델 카탈로그(Gemma 4 26B A4B, AWQ 4비트) (영어)](https://www.broadnet.ai/inference/models)
-   [NVIDIA TensorRT-LLM, 수치 정밀도(INT4와 INT8 가중치 전용)](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [Lin 외, AWQ, Activation-aware Weight Quantization, arXiv 2306.00978](https://arxiv.org/abs/2306.00978)
-   [Frantar 외, GPTQ, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [vLLM 문서, INT4 W4A16 양자화](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/int4/)
-   [Hugging Face Transformers 문서, bitsandbytes(NF4와 FP4 4비트 타입) (2026-11-16 확인)](https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes)
