---
title: "Apa itu AWQ? Penjelasan activation-aware weight quantization"
description: "AWQ adalah metode kuantisasi bobot 4-bit yang memakai statistik aktivasi untuk melindungi bobot yang paling penting. Cara kerjanya dan di mana metode ini dipakai."
url: https://broadrouter.com/id/glossary/awq/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/awq/) (diperbarui 2026-11-16).

# AWQ (activation-aware weight quantization)

Diperbarui 2026-11-16

AWQ (activation-aware weight quantization) adalah metode pasca-pelatihan yang mengompresi bobot LLM ke presisi rendah, biasanya integer 4-bit. AWQ memakai statistik aktivasi dari set kalibrasi kecil untuk menemukan kanal bobot yang paling penting dan menskalakannya agar akurasinya tidak banyak hilang. Metode ini tidak membutuhkan backpropagation.

Disebut juga: AWQ, kuantisasi AWQ, model AWQ, kuantisasi bobot sadar aktivasi, activation-aware weight quantization, AWQ quantization

Model 4-bit kira-kira seperempat ukuran versi 16-bit aslinya. AWQ adalah salah satu cara paling banyak dipakai untuk sampai ke sana tanpa kehilangan banyak kualitas.

## Cara kerjanya

[Kuantisasi](https://broadrouter.com/id/glossary/quantization/) biasa membulatkan setiap bobot ke sekumpulan kecil nilai. Sebagian bobot lebih penting daripada yang lain, dan membulatkannya paling merugikan. Temuan kunci paper AWQ adalah bahwa “Protecting only 1% salient weights can greatly reduce quantization error” (terjemahan: melindungi hanya 1% bobot yang menonjol dapat sangat mengurangi error kuantisasi), dan untuk menemukan bobot itu “we should refer to the activation distribution, not weights.” (terjemahan: kita harus melihat distribusi aktivasi, bukan bobot.)

Garis besar langkahnya:

1.  Jalankan set kalibrasi kecil melalui model presisi penuh dan catat ukuran aktivasi per kanal.
2.  Perbesar kanal bobot yang menonjol dengan apa yang disebut paper itu “an equivalent transformation” (terjemahan: transformasi ekuivalen), sehingga pembulatan tidak banyak merugikannya sementara output layer tetap sama. Cara ini menghindari “hardware-inefficient mix-precision quantization” (terjemahan: kuantisasi presisi campuran yang tidak efisien bagi hardware).
3.  Bulatkan semua bobot ke presisi rendah, biasanya integer 4-bit dengan satu skala per kelompok bobot.

Paper itu menekankan bahwa “AWQ does not rely on any backpropagation or reconstruction” (terjemahan: AWQ tidak bergantung pada backpropagation atau rekonstruksi apa pun), sehingga ia “generalizes to different domains and modalities” (terjemahan: dapat digeneralisasi ke berbagai domain dan modalitas) tanpa overfitting pada set kalibrasi. Paper ini memenangkan MLSys 2024 Best Paper Award.

Di vLLM, checkpoint AWQ yang sudah dikuantisasi dimuat dengan satu argumen:

```python
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
```

Halaman vLLM menggambarkan format ini sebagai pengurang bobot “from BF16/FP16 to INT4” (terjemahan: dari BF16/FP16 ke INT4) dan memperingatkan bahwa “The AutoAWQ library is deprecated” (terjemahan: pustaka AutoAWQ sudah deprecated); model AWQ baru dibuat dengan llm-compressor milik vLLM.

## Kenapa ini penting

-   **Memori dan biaya.** Bobot yang lebih kecil muat di GPU yang lebih sedikit atau lebih murah dan menyisakan lebih banyak memori untuk [KV cache](https://broadrouter.com/id/glossary/kv-cache/), artinya lebih banyak request sekaligus.
-   **Kecepatan.** Tahap decode membaca setiap bobot untuk setiap token, jadi bobot yang lebih kecil bisa berarti output lebih cepat. Paper itu melaporkan runtime TinyChat mereka memberi “more than 3x speedup over the Huggingface FP16 implementation” (terjemahan: percepatan lebih dari 3x dibanding implementasi FP16 Huggingface).
-   **Bobot sama, hasil berbeda.** Dua penyedia yang menyajikan “model yang sama” mungkin memakai kuantisasi berbeda. Tanyakan format yang disajikan penyedia saat Anda membandingkan kualitas.

AWQ hanya mengkuantisasi bobot. Ini berbeda dari [FP8](https://broadrouter.com/id/glossary/fp8/), yang juga bisa mengkuantisasi aktivasi, dan dari [GGUF](https://broadrouter.com/id/glossary/gguf/), format file dengan tipe kuantisasinya sendiri untuk llama.cpp.

## Di BroadNet Inference

BroadNet melaporkan bahwa ia menyajikan [Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/) dengan bobot AWQ 4-bit yang dikuantisasi sendiri, bersama speculative decoding multi-token-prediction (k=2) dan KV cache fp8. Menurut halaman modelnya, BroadNet menguji NVFP4 dan menghentikannya setelah perbandingan langsung. BroadNet juga melaporkan bahwa bobot Gemma 4 yang sama yang disajikan oleh penyedia hosted mendapat skor rata-rata 0.13 lebih rendah dibanding serving miliknya sendiri (BroadNet tidak menyebutkan pada metrik atau skala apa); detailnya ada di [artikel armada GPU dan serving](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/). BroadNet tidak memublikasikan format kuantisasi model API lainnya. Jika Anda berencana menjalankan bobot AWQ sendiri, [panduan biaya self-hosting vs API](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/) membahas hitungannya.

## Pertanyaan umum

### Apakah AWQ sama dengan INT4?

AWQ adalah metode; INT4 adalah format angka. AWQ biasanya menghasilkan bobot integer 4-bit, jadi model AWQ adalah salah satu jenis model INT4. Metode lain, seperti GPTQ atau tipe kuantisasi GGUF, juga bisa menghasilkan bobot 4-bit.

### Apakah AWQ menurunkan kualitas?

Setiap kuantisasi bit rendah bisa menurunkannya. Paper AWQ melaporkan bahwa melindungi sekitar 1% bobot yang menonjol sangat mengurangi error kuantisasi, tetapi Anda tetap perlu menguji model terkuantisasi dengan prompt Anda sendiri.

### Bisakah saya menjalankan model AWQ di vLLM?

Bisa. Dokumentasi vLLM menunjukkan cara memuat checkpoint AWQ yang sudah dikuantisasi. Dokumentasi itu juga mencatat bahwa pustaka AutoAWQ sudah deprecated dan mengarahkan ke proyek llm-compressor milik vLLM untuk membuat model AWQ baru.

## Lihat juga

-   [Kuantisasi (quantization)](https://broadrouter.com/id/glossary/quantization/) (istilah)
-   [INT4](https://broadrouter.com/id/glossary/int4/) (istilah)
-   [FP8](https://broadrouter.com/id/glossary/fp8/) (istilah)
-   [GGUF](https://broadrouter.com/id/glossary/gguf/) (istilah)
-   [vLLM](https://broadrouter.com/id/glossary/vllm/) (istilah)
-   [Model open-weight (bobot terbuka)](https://broadrouter.com/id/glossary/open-weight-model/) (istilah)
-   [Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/) (artikel)
-   [Self-hosting LLM vs API: biaya sebenarnya dan titik impasnya](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-awq&utm_content=page-cta) ·

**Sumber**

-   [Lin dkk., AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration, arXiv 2306.00978 (diperiksa 2026-11-15)](https://arxiv.org/abs/2306.00978)
-   [Dokumentasi vLLM, kuantisasi AutoAWQ (diperiksa 2026-11-15)](https://docs.vllm.ai/en/latest/features/quantization/auto_awq.html)
-   [BroadNet, halaman model Gemma 4 VL 26B: konfigurasi serving (diperiksa 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
