---
title: "Apa itu kuantisasi pada LLM? Lebih sedikit bit per bobot"
description: "Kuantisasi menyimpan bobot LLM (kadang juga aktivasi) dalam bit lebih sedikit agar hemat memori GPU dan inferensi lebih cepat. Format, hitungan memori, dan kualitas."
url: https://broadrouter.com/id/glossary/quantization/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/quantization/) (diperbarui 2026-11-14).

# Kuantisasi (quantization)

Diperbarui 2026-11-14

Kuantisasi adalah proses menyimpan angka-angka jaringan saraf, terutama bobotnya, dalam format berpresisi lebih rendah seperti 8-bit atau 4-bit alih-alih 16-bit, sehingga model memakai lebih sedikit memori dan sering berjalan lebih cepat. Metode yang baik menjaga penurunan akurasi tetap kecil.

Disebut juga: kuantisasi, kuantisasi model, kuantisasi LLM, model terkuantisasi, kuantisasi bobot, quantization, model quantization, LLM quantization, quantized model, weight quantization

Sebagian besar model terbuka dirilis dengan bobot 16-bit. Kuantisasi memperkecil angka-angka itu agar model muat di lebih sedikit GPU.

## Cara kerjanya

Hugging Face menggambarkan kuantisasi sebagai “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (terjemahan: merepresentasikan bobot dan aktivasi dengan tipe data berpresisi lebih rendah seperti integer 8-bit (int8)). Setiap blok bobot mendapat faktor skala. Bobot dibulatkan ke sekumpulan kecil level dan dikalikan kembali dengan skala saat dijalankan.

Memori untuk bobot sebanding dengan jumlah bit per parameter. Ambil contoh Gemma 4 26B A4B dari Google, yang memiliki 25,2B parameter:

| Presisi | Byte per bobot | Bobot saja |
| --- | --- | --- |
| 16-bit (BF16) | 2 | 25,2B × 2 = 50,4 GB |
| 8-bit ([FP8](https://broadrouter.com/id/glossary/fp8/) atau INT8) | 1 | 25,2 GB |
| 4-bit ([INT4](https://broadrouter.com/id/glossary/int4/)) | 0,5 | 12,6 GB |

[KV cache](https://broadrouter.com/id/glossary/kv-cache/) dan aktivasi butuh ruang tambahan di atas itu.

Metode-metode berbeda dalam apa yang dikuantisasi dan cara memilih levelnya:

-   **LLM.int8()** memangkas memori inferensi menjadi setengah dan mempertahankan beberapa fitur outlier di 16-bit; makalahnya menyebut lebih dari 99,9% nilai tetap memakai perhitungan 8-bit.
-   **GPTQ** adalah metode bobot sekali jalan yang mencapai 3 atau 4 bit per bobot dengan “negligible accuracy degradation” (terjemahan: penurunan akurasi yang dapat diabaikan), dan mengkuantisasi model 175B dalam sekitar empat jam GPU.
-   **Bobot saja vs bobot dan aktivasi.** Format bobot saja menghemat memori. Mengkuantisasi aktivasi juga dapat mempercepat perhitungan matriks pada hardware yang mendukungnya.

## Kenapa ini penting

Bagi yang memanggil API, kuantisasi tidak terlihat di permintaan, tetapi muncul di tiga tempat. Harga: model yang lebih kecil butuh lebih sedikit GPU, sehingga biaya serving turun. Kecepatan: generasi sering dibatasi bandwidth memori, jadi lebih sedikit byte per bobot bisa berarti lebih banyak [token per detik](https://broadrouter.com/id/glossary/tokens-per-second/). Kualitas: lebih sedikit bit berarti lebih banyak error pembulatan, dan model bisa mempertahankan skor rata-ratanya sambil menurun di tugas spesifik yang Anda andalkan.

Jika Anda membandingkan dua penyedia yang menyajikan model terbuka yang “sama” dan mendapat hasil berbeda, presisi adalah salah satu penyebab yang mungkin.

## Di BroadNet Inference

Referensi API BroadNet tidak menyebutkan presisi serving. Katalog modelnya mencantumkan build produksi Gemma 4 26B A4B, yang ditawarkan sebagai [BroadNet Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/), sebagai bobot AWQ 4-bit dengan KV cache FP8. Katalog itu tidak menyebutkan presisi API untuk model lainnya. Jika presisi penting untuk kebutuhan Anda, jalankan set evaluasi yang sama di setiap penyedia; [checklist evaluasi model sebelum berganti](https://broadrouter.com/id/blog/evaluate-llm-before-switching/) membahas caranya.

## Pertanyaan umum

### Apakah kuantisasi membuat model lebih buruk?

Kadang sedikit. LLM.int8() melaporkan tidak ada penurunan untuk inferensi 8-bit hingga 175B parameter, dan GPTQ melaporkan penurunan yang dapat diabaikan pada 3 atau 4 bit per bobot. Bit yang lebih sedikit dan tugas yang lebih sulit menaikkan risikonya, jadi uji dengan prompt Anda sendiri.

### Bisakah saya tahu apakah sebuah API menyajikan model terkuantisasi?

Biasanya hanya jika penyedianya menyebutkannya. API mengembalikan format respons yang sama dalam kedua kasus, jadi bandingkan output dengan pengujian Anda sendiri dan tanyakan presisi yang dipakai penyedia.

### Berapa banyak memori yang dihemat kuantisasi?

Memori bobot sebanding dengan jumlah bit per bobot. Model dengan 25,2B parameter butuh sekitar 50,4 GB pada 16-bit, 25,2 GB pada 8-bit, dan 12,6 GB pada 4-bit, belum termasuk KV cache dan aktivasi.

## Lihat juga

-   [FP8](https://broadrouter.com/id/glossary/fp8/) (istilah)
-   [INT4](https://broadrouter.com/id/glossary/int4/) (istilah)
-   [KV cache](https://broadrouter.com/id/glossary/kv-cache/) (istilah)
-   [Mixture of experts (MoE)](https://broadrouter.com/id/glossary/mixture-of-experts/) (istilah)
-   [Model open-weight (bobot terbuka)](https://broadrouter.com/id/glossary/open-weight-model/) (istilah)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/id/glossary/awq/) (istilah)
-   [GGUF](https://broadrouter.com/id/glossary/gguf/) (istilah)
-   [Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/) (panduan)
-   [Model AI open-weight vs tertutup untuk bisnis: biaya, kontrol, risiko](https://broadrouter.com/id/blog/open-weight-vs-closed-models/) (artikel)
-   [Self-hosting LLM vs API: biaya sebenarnya dan titik impasnya](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-quantization&utm_content=page-cta) ·

**Sumber**

-   [Hugging Face Transformers, referensi kuantisasi](https://huggingface.co/docs/transformers/en/main_classes/quantization)
-   [Dettmers dkk., LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale, arXiv 2208.07339](https://arxiv.org/abs/2208.07339)
-   [Frantar dkk., GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Google, model card Gemma 4 26B A4B (jumlah parameter)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Katalog model BroadNet (pengukuran lab, September 2026) (bahasa Inggris)](https://www.broadnet.ai/inference/models)
