---
title: "Lượng tử hóa INT4 là gì? Trọng số LLM 4-bit | BroadRouter"
description: "INT4 lưu mỗi trọng số LLM dưới dạng số nguyên 4-bit, bằng một phần tư kích thước 16-bit. Cách lượng tử hóa 4-bit, GPTQ và AWQ hoạt động, và rủi ro chất lượng."
url: https://broadrouter.com/vi/glossary/int4/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/int4/) (cập nhật ngày 2026-11-16).

# INT4 (lượng tử hóa 4-bit)

Cập nhật 2026-11-16

INT4 là định dạng số nguyên 4-bit biểu diễn được 16 mức. Trong inference LLM, nó thường chỉ lượng tử hóa 4-bit chỉ áp dụng cho trọng số (W4A16): trọng số được lưu ở INT4 kèm hệ số scale và giải nén về 16-bit khi tính toán, tốn khoảng một phần tư bộ nhớ so với trọng số 16-bit.

Còn gọi là: INT4 là gì, lượng tử hóa 4-bit, lượng tử hóa INT4, số nguyên 4-bit, LLM 4-bit, INT4, 4-bit quantization, W4A16, 4-bit integer, INT4 weight-only, 4-bit LLM

INT4 là lúc lượng tử hóa trở nên mạnh tay: mỗi trọng số chỉ còn 16 giá trị có thể có.

## Cách hoạt động

Hướng dẫn về độ chính xác của TensorRT-LLM mô tả dạng phổ biến, **W4A16**: trọng số được lượng tử hóa xuống 4 bit và giải lượng tử “on-the-fly” (ngay khi chạy) bên trong phép nhân ma trận, còn activation giữ ở FP16 hoặc BF16. TensorRT-LLM hỗ trợ hệ số scale theo nhóm: mỗi nhóm nhỏ trọng số có scale riêng để 16 mức phủ đúng khoảng giá trị. Ví dụ INT4 của vLLM lưu một checkpoint `W4A16-G128`, mỗi nhóm 128 trọng số.

Làm tròn đơn thuần về 16 mức mất quá nhiều thông tin, nên các phương pháp phổ biến làm việc này thông minh hơn:

-   **GPTQ** dùng thông tin bậc hai xấp xỉ để chọn cách làm tròn hạn chế sai số đầu ra. Bài báo báo cáo 3 hoặc 4 bit mỗi trọng số với mức suy giảm không đáng kể, đủ để chạy model 175B trên một GPU.
-   **AWQ** nhận thấy rằng “not all weights in an LLM are equally important.” (Bản dịch: không phải mọi trọng số trong LLM đều quan trọng như nhau.) Bảo vệ khoảng 1% kênh quan trọng, tìm ra từ thống kê activation, giúp giảm sai số đáng kể. Runtime TinyChat của AWQ báo cáo tốc độ tăng hơn 3 lần cho model 4-bit trên thiết bị.

## Vì sao quan trọng

Mức tiết kiệm bộ nhớ rất lớn. Với 0.5 byte mỗi trọng số, trọng số của model chỉ còn một phần tư kích thước 16-bit. Với model 25.2B tham số: 25.2B × 2 byte = 50.4 GB ở BF16, so với 25.2B × 0.5 byte = 12.6 GB ở INT4, cộng thêm một chút cho hệ số scale. Tốc độ sinh thường bị giới hạn bởi tốc độ trọng số được đọc từ bộ nhớ, nên trọng số 4-bit cũng có thể giảm [độ trễ](https://broadrouter.com/vi/glossary/latency/). Tài liệu vLLM nói INT4 W4A16 hữu ích nhất để giữ độ trễ thấp “in workloads with low queries per second” (Bản dịch: trong các workload có ít truy vấn mỗi giây). Khi tải cao, chi phí giải lượng tử trọng số đáng kể hơn và lợi ích giảm đi.

Chỉ với 16 mức, sai số làm tròn lớn hơn so với [FP8](https://broadrouter.com/vi/glossary/fp8/), và đó chính là lý do GPTQ và AWQ ra đời. Điểm benchmark trung bình có thể che giấu suy giảm ở những tác vụ bạn quan tâm, như suy luận dài, tính toán chính xác, code hoặc một ngôn ngữ ít phổ biến. Nếu bản INT4 kém hơn bản 16-bit trên bộ kiểm thử của chính bạn, hãy tin vào bài kiểm thử của bạn.

Các model [mixture-of-experts](https://broadrouter.com/vi/glossary/mixture-of-experts/) thường là ứng viên cho INT4, vì mọi expert đều phải nằm trong bộ nhớ dù mỗi token chỉ chạy vài expert.

## Trên BroadNet Inference

[Danh mục model](https://www.broadnet.ai/inference/models) của BroadNet cho biết bản Gemma 4 26B A4B đang chạy production (API ID `broadnet/gemma-4-26b-a4b`) dùng trọng số AWQ 4-bit, cùng multi-token prediction và KV cache FP8. Đó là mô tả của chính BroadNet; tài liệu API không nêu độ chính xác của các model khác. Nếu bạn đang cân nhắc giữa tự host một model 4-bit và gọi API, bài [so sánh chi phí tự host](https://broadrouter.com/vi/blog/self-hosting-llm-vs-api-cost/) và [công cụ tính chi phí API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/) giúp bạn so sánh tổng chi phí.

## Câu hỏi thường gặp

### INT4 tiết kiệm được bao nhiêu bộ nhớ?

Mỗi trọng số chiếm nửa byte thay vì hai byte, tức khoảng một phần tư kích thước 16-bit, cộng một chút cho hệ số scale. Một model 25.2B tham số giảm từ khoảng 50.4 GB xuống khoảng 12.6 GB trọng số.

### INT4 có giống NF4 hay FP4 không?

Không. Cả ba đều dùng 4 bit, nhưng NF4 và FP4 đặt 16 mức không đều nhau, còn INT4 đặt các mức cách đều. Tích hợp bitsandbytes của Hugging Face cung cấp FP4 và NF4; checkpoint GPTQ và AWQ thường dùng INT4.

### INT4 có làm model chạy nhanh hơn không?

Thường là có khi tải thấp, vì tốc độ sinh bị giới hạn bởi việc đọc trọng số từ bộ nhớ và trọng số 4-bit nhỏ hơn. Tài liệu vLLM nói INT4 W4A16 hữu ích nhất với workload có ít truy vấn mỗi giây; khi tải nặng, lợi ích giảm đi.

## Xem thêm

-   [Lượng tử hóa (quantization)](https://broadrouter.com/vi/glossary/quantization/) (thuật ngữ)
-   [FP8 (số thực dấu phẩy động 8-bit)](https://broadrouter.com/vi/glossary/fp8/) (thuật ngữ)
-   [Mixture of experts (MoE)](https://broadrouter.com/vi/glossary/mixture-of-experts/) (thuật ngữ)
-   [Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/) (thuật ngữ)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/vi/glossary/awq/) (thuật ngữ)
-   [Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/) (hướng dẫn)
-   [Tự host LLM hay dùng API: chi phí thực và điểm hòa vốn](https://broadrouter.com/vi/blog/self-hosting-llm-vs-api-cost/) (bài viết)
-   [LLM open-weight hay đóng cho doanh nghiệp: chi phí, kiểm soát, rủi ro](https://broadrouter.com/vi/blog/open-weight-vs-closed-models/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-int4&utm_content=page-cta) ·

**Nguồn**

-   [Danh mục model của BroadNet (Gemma 4 26B A4B, AWQ 4-bit) (tiếng Anh)](https://www.broadnet.ai/inference/models)
-   [NVIDIA TensorRT-LLM, độ chính xác số (INT4 và INT8 chỉ trọng số)](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [Lin và cộng sự, AWQ, Activation-aware Weight Quantization, arXiv 2306.00978](https://arxiv.org/abs/2306.00978)
-   [Frantar và cộng sự, GPTQ, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Tài liệu vLLM, lượng tử hóa INT4 W4A16](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/int4/)
-   [Tài liệu Hugging Face Transformers, bitsandbytes (kiểu 4-bit NF4 và FP4) (kiểm tra ngày 2026-11-16)](https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes)
