---
title: "Apakah itu kuantisasi INT4? Pemberat LLM 4-bit dijelaskan"
description: "INT4 menyimpan setiap pemberat LLM sebagai integer 4-bit, suku daripada saiz 16-bit. Cara kuantisasi 4-bit, GPTQ dan AWQ berfungsi, serta risiko kualitinya."
url: https://broadrouter.com/ms/glossary/int4/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/int4/) (dikemas kini 2026-11-16).

# INT4

Dikemas kini 2026-11-16

INT4 ialah format nombor integer 4-bit yang boleh mewakili 16 tahap. Dalam inferens LLM, ia biasanya bermaksud kuantisasi pemberat sahaja 4-bit (W4A16): pemberat disimpan sebagai INT4 bersama faktor skala dan dikembangkan kepada 16-bit semasa pengiraan, menggunakan kira-kira suku daripada memori pemberat 16-bit.

Juga dikenali sebagai: kuantisasi 4-bit, 4-bit quantization, W4A16, 4-bit integer, INT4 weight-only, 4-bit LLM, model 4-bit

INT4 ialah tahap di mana kuantisasi menjadi agresif: setiap pemberat hanya mendapat 16 nilai yang mungkin.

## Cara ia berfungsi

Panduan ketepatan TensorRT-LLM menerangkan bentuk yang lazim, **W4A16**: pemberat dikuantisasi kepada 4 bit dan dinyahkuantisasi “on-the-fly” (Terjemahan BroadRouter: “secara langsung semasa berjalan”) di dalam pendaraban matriks, manakala activation kekal dalam FP16 atau BF16. TensorRT-LLM menyokong faktor skala bagi setiap kumpulan: setiap kumpulan kecil pemberat mendapat skalanya sendiri supaya 16 tahap itu meliputi julat yang betul. Contoh INT4 vLLM menyimpan checkpoint `W4A16-G128`, satu kumpulan bagi setiap 128 pemberat.

Pembundaran biasa kepada 16 tahap kehilangan terlalu banyak, jadi kaedah popular lebih bijak:

-   **GPTQ** menggunakan maklumat tertib kedua anggaran untuk memilih pembundaran yang mengehadkan ralat output. Kertas kajiannya melaporkan 3 atau 4 bit bagi setiap pemberat dengan kehilangan yang boleh diabaikan, cukup untuk menjalankan model 175B pada satu GPU.
-   **AWQ** memerhatikan bahawa “not all weights in an LLM are equally important.” (Terjemahan BroadRouter: “tidak semua pemberat dalam LLM sama penting.”) Melindungi kira-kira 1% saluran penting, yang dikenal pasti daripada statistik activation, banyak mengurangkan ralat. Runtime TinyChat miliknya melaporkan kelajuan lebih 3 kali ganda untuk model 4-bit pada peranti.

## Mengapa ia penting

Penjimatan memori adalah besar. Pada 0.5 bait bagi setiap pemberat, pemberat model mengambil suku daripada saiz 16-bitnya. Untuk model 25.2B parameter: 25.2B × 2 bait = 50.4 GB dalam BF16, berbanding 25.2B × 0.5 bait = 12.6 GB dalam INT4, ditambah sedikit untuk faktor skala. Kelajuan penjanaan selalunya dihadkan oleh seberapa pantas pemberat mengalir dari memori, jadi pemberat 4-bit juga boleh mengurangkan [kependaman](https://broadrouter.com/ms/glossary/latency/). Dokumentasi vLLM menyatakan INT4 W4A16 paling berguna untuk mengekalkan kependaman rendah “in workloads with low queries per second” (Terjemahan BroadRouter: “dalam beban kerja dengan bilangan pertanyaan sesaat yang rendah”). Pada beban tinggi, kos menyahkuantisasi pemberat menjadi lebih ketara dan manfaatnya mengecil.

Dengan hanya 16 tahap, ralat pembundaran lebih besar berbanding [FP8](https://broadrouter.com/ms/glossary/fp8/), dan itulah sebabnya GPTQ dan AWQ wujud. Skor penanda aras purata boleh menyembunyikan kemerosotan pada tugas yang anda pentingkan, seperti penaakulan panjang, aritmetik tepat, kod atau bahasa yang kurang lazim. Jika binaan INT4 berprestasi lebih teruk daripada versi 16-bit pada set ujian anda sendiri, percayalah ujian anda.

Model [mixture-of-experts](https://broadrouter.com/ms/glossary/mixture-of-experts/) sering menjadi calon INT4, kerana semua pakar mesti muat dalam memori walaupun hanya sedikit yang berjalan bagi setiap token.

## Di BroadNet Inference

[Katalog model](https://www.broadnet.ai/inference/models) BroadNet menyatakan binaan produksi Gemma 4 26B A4B miliknya (ID API `broadnet/gemma-4-26b-a4b`) menggunakan pemberat AWQ 4-bit, dengan ramalan berbilang token dan KV cache FP8. Itu ialah penerangan BroadNet sendiri; dokumentasi API tidak menyatakan ketepatan model lain. Jika anda memilih antara menghoskan sendiri model 4-bit dan memanggil API, [perbandingan kos hos sendiri](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/) dan [kalkulator kos API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/) membantu anda membandingkan jumlahnya.

## Soalan lazim

### Berapa banyak memori yang dijimatkan oleh INT4?

Setiap pemberat mengambil setengah bait dan bukan dua, jadi kira-kira suku daripada saiz 16-bit, ditambah sedikit overhead untuk faktor skala. Model 25.2B parameter turun daripada kira-kira 50.4 GB kepada kira-kira 12.6 GB pemberat.

### Adakah INT4 sama dengan NF4 atau FP4?

Tidak. Ketiga-tiganya menggunakan 4 bit, tetapi NF4 dan FP4 meletakkan 16 tahapnya secara tidak sekata, manakala INT4 menjarakkannya secara sekata. Integrasi bitsandbytes Hugging Face menawarkan FP4 dan NF4; checkpoint GPTQ dan AWQ biasanya menggunakan INT4.

### Adakah INT4 menjadikan model lebih pantas?

Selalunya pada beban rendah, kerana penjanaan dihadkan oleh pembacaan pemberat daripada memori dan pemberat 4-bit lebih kecil. Dokumentasi vLLM menyatakan INT4 W4A16 paling membantu dalam beban kerja dengan bilangan pertanyaan sesaat yang rendah; di bawah beban berat, manfaatnya mengecil.

## Lihat juga

-   [Kuantisasi (quantization)](https://broadrouter.com/ms/glossary/quantization/) (istilah)
-   [FP8](https://broadrouter.com/ms/glossary/fp8/) (istilah)
-   [Mixture of experts (MoE, campuran pakar)](https://broadrouter.com/ms/glossary/mixture-of-experts/) (istilah)
-   [Kependaman (latency)](https://broadrouter.com/ms/glossary/latency/) (istilah)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/ms/glossary/awq/) (istilah)
-   [Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/) (panduan)
-   [Hos LLM sendiri vs API: kos sebenar dan titik pulang modal](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/) (artikel)
-   [Model AI open-weight vs tertutup bagi perniagaan: kos, kawalan, risiko](https://broadrouter.com/ms/blog/open-weight-vs-closed-models/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-int4&utm_content=page-cta) ·

**Sumber**

-   [Katalog model BroadNet (Gemma 4 26B A4B, AWQ 4-bit) (Bahasa Inggeris)](https://www.broadnet.ai/inference/models)
-   [NVIDIA TensorRT-LLM, ketepatan numerik (INT4 dan INT8 pemberat sahaja)](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [Lin et al., AWQ, Activation-aware Weight Quantization, arXiv 2306.00978](https://arxiv.org/abs/2306.00978)
-   [Frantar et al., GPTQ, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Dokumentasi vLLM, kuantisasi INT4 W4A16](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/int4/)
-   [Dokumentasi Hugging Face Transformers, bitsandbytes (jenis 4-bit NF4 dan FP4) (disemak 2026-11-16)](https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes)
