BroadRouter
Mulai

Kuantisasi (quantization)

Diperbarui

Kuantisasi adalah proses menyimpan angka-angka jaringan saraf, terutama bobotnya, dalam format berpresisi lebih rendah seperti 8-bit atau 4-bit alih-alih 16-bit, sehingga model memakai lebih sedikit memori dan sering berjalan lebih cepat. Metode yang baik menjaga penurunan akurasi tetap kecil.

Disebut juga: kuantisasi, kuantisasi model, kuantisasi LLM, model terkuantisasi, kuantisasi bobot, quantization, model quantization, LLM quantization, quantized model, weight quantization

Sebagian besar model terbuka dirilis dengan bobot 16-bit. Kuantisasi memperkecil angka-angka itu agar model muat di lebih sedikit GPU.

Cara kerjanya

Hugging Face menggambarkan kuantisasi sebagai “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (terjemahan: merepresentasikan bobot dan aktivasi dengan tipe data berpresisi lebih rendah seperti integer 8-bit (int8)). Setiap blok bobot mendapat faktor skala. Bobot dibulatkan ke sekumpulan kecil level dan dikalikan kembali dengan skala saat dijalankan.

Memori untuk bobot sebanding dengan jumlah bit per parameter. Ambil contoh Gemma 4 26B A4B dari Google, yang memiliki 25,2B parameter:

Presisi Byte per bobot Bobot saja
16-bit (BF16) 2 25,2B × 2 = 50,4 GB
8-bit (FP8 atau INT8) 1 25,2 GB
4-bit (INT4) 0,5 12,6 GB

KV cache dan aktivasi butuh ruang tambahan di atas itu.

Metode-metode berbeda dalam apa yang dikuantisasi dan cara memilih levelnya:

  • LLM.int8() memangkas memori inferensi menjadi setengah dan mempertahankan beberapa fitur outlier di 16-bit; makalahnya menyebut lebih dari 99,9% nilai tetap memakai perhitungan 8-bit.
  • GPTQ adalah metode bobot sekali jalan yang mencapai 3 atau 4 bit per bobot dengan “negligible accuracy degradation” (terjemahan: penurunan akurasi yang dapat diabaikan), dan mengkuantisasi model 175B dalam sekitar empat jam GPU.
  • Bobot saja vs bobot dan aktivasi. Format bobot saja menghemat memori. Mengkuantisasi aktivasi juga dapat mempercepat perhitungan matriks pada hardware yang mendukungnya.

Kenapa ini penting

Bagi yang memanggil API, kuantisasi tidak terlihat di permintaan, tetapi muncul di tiga tempat. Harga: model yang lebih kecil butuh lebih sedikit GPU, sehingga biaya serving turun. Kecepatan: generasi sering dibatasi bandwidth memori, jadi lebih sedikit byte per bobot bisa berarti lebih banyak token per detik. Kualitas: lebih sedikit bit berarti lebih banyak error pembulatan, dan model bisa mempertahankan skor rata-ratanya sambil menurun di tugas spesifik yang Anda andalkan.

Jika Anda membandingkan dua penyedia yang menyajikan model terbuka yang “sama” dan mendapat hasil berbeda, presisi adalah salah satu penyebab yang mungkin.

Di BroadNet Inference

Referensi API BroadNet tidak menyebutkan presisi serving. Katalog modelnya mencantumkan build produksi Gemma 4 26B A4B, yang ditawarkan sebagai BroadNet Gemma 4 VL 26B, sebagai bobot AWQ 4-bit dengan KV cache FP8. Katalog itu tidak menyebutkan presisi API untuk model lainnya. Jika presisi penting untuk kebutuhan Anda, jalankan set evaluasi yang sama di setiap penyedia; checklist evaluasi model sebelum berganti membahas caranya.

Pertanyaan umum

Apakah kuantisasi membuat model lebih buruk?

Kadang sedikit. LLM.int8() melaporkan tidak ada penurunan untuk inferensi 8-bit hingga 175B parameter, dan GPTQ melaporkan penurunan yang dapat diabaikan pada 3 atau 4 bit per bobot. Bit yang lebih sedikit dan tugas yang lebih sulit menaikkan risikonya, jadi uji dengan prompt Anda sendiri.

Bisakah saya tahu apakah sebuah API menyajikan model terkuantisasi?

Biasanya hanya jika penyedianya menyebutkannya. API mengembalikan format respons yang sama dalam kedua kasus, jadi bandingkan output dengan pengujian Anda sendiri dan tanyakan presisi yang dipakai penyedia.

Berapa banyak memori yang dihemat kuantisasi?

Memori bobot sebanding dengan jumlah bit per bobot. Model dengan 25,2B parameter butuh sekitar 50,4 GB pada 16-bit, 25,2 GB pada 8-bit, dan 12,6 GB pada 4-bit, belum termasuk KV cache dan aktivasi.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity