---
title: "Apakah itu kuantisasi LLM? Kurang bit setiap pemberat"
description: "Kuantisasi menyimpan pemberat LLM (kadangkala activation juga) dalam bit lebih sedikit untuk jimat memori GPU dan laju inferens. Format, kiraan memori dan kualiti."
url: https://broadrouter.com/ms/glossary/quantization/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/quantization/) (dikemas kini 2026-11-14).

# Kuantisasi (quantization)

Dikemas kini 2026-11-14

Kuantisasi ialah proses menyimpan nombor rangkaian neural, terutamanya pemberatnya, dalam format berketepatan lebih rendah seperti 8-bit atau 4-bit dan bukan 16-bit, supaya model menggunakan kurang memori dan selalunya berjalan lebih pantas. Kaedah yang baik memastikan kehilangan ketepatan kekal kecil.

Juga dikenali sebagai: quantization, model kuantisasi, kuantisasi LLM, kuantisasi pemberat, model 4-bit, quantized model, model quantization, LLM quantization, weight quantization

Kebanyakan model terbuka disertakan dengan pemberat 16-bit. Kuantisasi mengecilkan nombor tersebut supaya model muat pada lebih sedikit GPU.

## Cara ia berfungsi

Hugging Face menerangkan kuantisasi sebagai “representing weights and activations with lower-precision data types like 8-bit integers (int8).” (Terjemahan BroadRouter: “mewakili pemberat dan activation dengan jenis data berketepatan lebih rendah seperti integer 8-bit (int8).”) Setiap blok pemberat mendapat faktor skala. Pemberat dibundarkan kepada set tahap yang kecil dan didarab semula dengan skala semasa model dijalankan.

Memori untuk pemberat berskala dengan bit bagi setiap parameter. Ambil contoh Gemma 4 26B A4B daripada Google, yang mempunyai 25.2B parameter:

| Ketepatan | Bait bagi setiap pemberat | Pemberat sahaja |
| --- | --- | --- |
| 16-bit (BF16) | 2 | 25.2B × 2 = 50.4 GB |
| 8-bit ([FP8](https://broadrouter.com/ms/glossary/fp8/) atau INT8) | 1 | 25.2 GB |
| 4-bit ([INT4](https://broadrouter.com/ms/glossary/int4/)) | 0.5 | 12.6 GB |

[KV cache](https://broadrouter.com/ms/glossary/kv-cache/) dan activation memerlukan ruang tambahan di atas itu.

Kaedah berbeza dari segi apa yang dikuantisasi dan cara tahap dipilih:

-   **LLM.int8()** memotong memori inferens separuh dan mengekalkan beberapa ciri outlier dalam 16-bit; kertas kajiannya menyatakan lebih 99.9% nilai masih menggunakan pengiraan 8-bit.
-   **GPTQ** ialah kaedah pemberat sekali jalan (one-shot) yang mencapai 3 atau 4 bit bagi setiap pemberat dengan “negligible accuracy degradation” (kemerosotan ketepatan yang boleh diabaikan), dan mengkuantisasi model 175B dalam kira-kira empat jam GPU.
-   **Pemberat sahaja vs pemberat dan activation.** Format pemberat sahaja menjimatkan memori. Mengkuantisasi activation juga boleh mempercepat pengiraan matriks pada perkakasan yang menyokongnya.

## Mengapa ia penting

Bagi pemanggil API, kuantisasi tidak kelihatan dalam permintaan tetapi muncul di tiga tempat. Harga: model yang lebih kecil memerlukan lebih sedikit GPU, yang menurunkan kos penyediaan. Kelajuan: penjanaan selalunya dihadkan oleh lebar jalur memori, jadi lebih sedikit bait bagi setiap pemberat boleh bermakna lebih banyak [token sesaat](https://broadrouter.com/ms/glossary/tokens-per-second/). Kualiti: lebih sedikit bit bermakna lebih banyak ralat pembundaran, dan model boleh mengekalkan skor puratanya sambil merosot pada tugas khusus yang anda harapkan.

Jika anda membandingkan dua penyedia yang menyediakan model terbuka yang “sama” dan mendapat hasil berbeza, ketepatan ialah salah satu punca yang mungkin.

## Di BroadNet Inference

Rujukan API BroadNet tidak menyatakan ketepatan penyediaan. Katalog modelnya menyenaraikan binaan produksi Gemma 4 26B A4B, yang ditawarkan sebagai [BroadNet Gemma 4 VL 26B](https://broadrouter.com/ms/models/gemma-4-vl-26b/), sebagai pemberat AWQ 4-bit dengan KV cache FP8. Ia tidak menyatakan ketepatan API bagi model lain. Jika ketepatan penting untuk kegunaan anda, jalankan set penilaian yang sama terhadap setiap penyedia; [senarai semak menilai model sebelum bertukar](https://broadrouter.com/ms/blog/evaluate-llm-before-switching/) menerangkan caranya.

## Soalan lazim

### Adakah kuantisasi menjadikan model lebih teruk?

Kadangkala sedikit. LLM.int8() melaporkan tiada kemerosotan untuk inferens 8-bit sehingga 175B parameter, dan GPTQ melaporkan kehilangan yang boleh diabaikan pada 3 atau 4 bit bagi setiap pemberat. Bit yang lebih rendah dan tugas yang lebih sukar meningkatkan risiko, jadi uji dengan prompt anda sendiri.

### Bolehkah saya tahu jika sesuatu API menyediakan model yang dikuantisasi?

Biasanya hanya jika penyedia menyatakannya. API memulangkan bentuk respons yang sama dalam kedua-dua keadaan, jadi bandingkan output dengan ujian anda sendiri dan tanya penyedia ketepatan yang digunakannya.

### Berapa banyak memori yang dijimatkan oleh kuantisasi?

Memori pemberat berskala dengan bit bagi setiap pemberat. Model 25.2B parameter memerlukan kira-kira 50.4 GB pada 16-bit, 25.2 GB pada 8-bit dan 12.6 GB pada 4-bit, sebelum KV cache dan activation.

## Lihat juga

-   [FP8](https://broadrouter.com/ms/glossary/fp8/) (istilah)
-   [INT4](https://broadrouter.com/ms/glossary/int4/) (istilah)
-   [KV cache](https://broadrouter.com/ms/glossary/kv-cache/) (istilah)
-   [Mixture of experts (MoE, campuran pakar)](https://broadrouter.com/ms/glossary/mixture-of-experts/) (istilah)
-   [Model open-weight (model pemberat terbuka)](https://broadrouter.com/ms/glossary/open-weight-model/) (istilah)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/ms/glossary/awq/) (istilah)
-   [GGUF](https://broadrouter.com/ms/glossary/gguf/) (istilah)
-   [Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/) (panduan)
-   [Model AI open-weight vs tertutup bagi perniagaan: kos, kawalan, risiko](https://broadrouter.com/ms/blog/open-weight-vs-closed-models/) (artikel)
-   [Hos LLM sendiri vs API: kos sebenar dan titik pulang modal](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-quantization&utm_content=page-cta) ·

**Sumber**

-   [Hugging Face Transformers, rujukan kuantisasi](https://huggingface.co/docs/transformers/en/main_classes/quantization)
-   [Dettmers et al., LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale, arXiv 2208.07339](https://arxiv.org/abs/2208.07339)
-   [Frantar et al., GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Google, kad model Gemma 4 26B A4B (bilangan parameter)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Katalog model BroadNet (ukuran makmal, September 2026) (Bahasa Inggeris)](https://www.broadnet.ai/inference/models)
