Sebagian besar model terbuka dirilis dengan bobot 16-bit. Kuantisasi memperkecil angka-angka itu agar model muat di lebih sedikit GPU.
Cara kerjanya
Hugging Face menggambarkan kuantisasi sebagai “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (terjemahan: merepresentasikan bobot dan aktivasi dengan tipe data berpresisi lebih rendah seperti integer 8-bit (int8)). Setiap blok bobot mendapat faktor skala. Bobot dibulatkan ke sekumpulan kecil level dan dikalikan kembali dengan skala saat dijalankan.
Memori untuk bobot sebanding dengan jumlah bit per parameter. Ambil contoh Gemma 4 26B A4B dari Google, yang memiliki 25,2B parameter:
| Presisi | Byte per bobot | Bobot saja |
|---|---|---|
| 16-bit (BF16) | 2 | 25,2B × 2 = 50,4 GB |
| 8-bit (FP8 atau INT8) | 1 | 25,2 GB |
| 4-bit (INT4) | 0,5 | 12,6 GB |
KV cache dan aktivasi butuh ruang tambahan di atas itu.
Metode-metode berbeda dalam apa yang dikuantisasi dan cara memilih levelnya:
- LLM.int8() memangkas memori inferensi menjadi setengah dan mempertahankan beberapa fitur outlier di 16-bit; makalahnya menyebut lebih dari 99,9% nilai tetap memakai perhitungan 8-bit.
- GPTQ adalah metode bobot sekali jalan yang mencapai 3 atau 4 bit per bobot dengan “negligible accuracy degradation” (terjemahan: penurunan akurasi yang dapat diabaikan), dan mengkuantisasi model 175B dalam sekitar empat jam GPU.
- Bobot saja vs bobot dan aktivasi. Format bobot saja menghemat memori. Mengkuantisasi aktivasi juga dapat mempercepat perhitungan matriks pada hardware yang mendukungnya.
Kenapa ini penting
Bagi yang memanggil API, kuantisasi tidak terlihat di permintaan, tetapi muncul di tiga tempat. Harga: model yang lebih kecil butuh lebih sedikit GPU, sehingga biaya serving turun. Kecepatan: generasi sering dibatasi bandwidth memori, jadi lebih sedikit byte per bobot bisa berarti lebih banyak token per detik. Kualitas: lebih sedikit bit berarti lebih banyak error pembulatan, dan model bisa mempertahankan skor rata-ratanya sambil menurun di tugas spesifik yang Anda andalkan.
Jika Anda membandingkan dua penyedia yang menyajikan model terbuka yang “sama” dan mendapat hasil berbeda, presisi adalah salah satu penyebab yang mungkin.
Di BroadNet Inference
Referensi API BroadNet tidak menyebutkan presisi serving. Katalog modelnya mencantumkan build produksi Gemma 4 26B A4B, yang ditawarkan sebagai BroadNet Gemma 4 VL 26B, sebagai bobot AWQ 4-bit dengan KV cache FP8. Katalog itu tidak menyebutkan presisi API untuk model lainnya. Jika presisi penting untuk kebutuhan Anda, jalankan set evaluasi yang sama di setiap penyedia; checklist evaluasi model sebelum berganti membahas caranya.