Kebanyakan model terbuka disertakan dengan pemberat 16-bit. Kuantisasi mengecilkan nombor tersebut supaya model muat pada lebih sedikit GPU.
Cara ia berfungsi
Hugging Face menerangkan kuantisasi sebagai “representing weights and activations with lower-precision data types like 8-bit integers (int8).” (Terjemahan BroadRouter: “mewakili pemberat dan activation dengan jenis data berketepatan lebih rendah seperti integer 8-bit (int8).”) Setiap blok pemberat mendapat faktor skala. Pemberat dibundarkan kepada set tahap yang kecil dan didarab semula dengan skala semasa model dijalankan.
Memori untuk pemberat berskala dengan bit bagi setiap parameter. Ambil contoh Gemma 4 26B A4B daripada Google, yang mempunyai 25.2B parameter:
| Ketepatan | Bait bagi setiap pemberat | Pemberat sahaja |
|---|---|---|
| 16-bit (BF16) | 2 | 25.2B × 2 = 50.4 GB |
| 8-bit (FP8 atau INT8) | 1 | 25.2 GB |
| 4-bit (INT4) | 0.5 | 12.6 GB |
KV cache dan activation memerlukan ruang tambahan di atas itu.
Kaedah berbeza dari segi apa yang dikuantisasi dan cara tahap dipilih:
- LLM.int8() memotong memori inferens separuh dan mengekalkan beberapa ciri outlier dalam 16-bit; kertas kajiannya menyatakan lebih 99.9% nilai masih menggunakan pengiraan 8-bit.
- GPTQ ialah kaedah pemberat sekali jalan (one-shot) yang mencapai 3 atau 4 bit bagi setiap pemberat dengan “negligible accuracy degradation” (kemerosotan ketepatan yang boleh diabaikan), dan mengkuantisasi model 175B dalam kira-kira empat jam GPU.
- Pemberat sahaja vs pemberat dan activation. Format pemberat sahaja menjimatkan memori. Mengkuantisasi activation juga boleh mempercepat pengiraan matriks pada perkakasan yang menyokongnya.
Mengapa ia penting
Bagi pemanggil API, kuantisasi tidak kelihatan dalam permintaan tetapi muncul di tiga tempat. Harga: model yang lebih kecil memerlukan lebih sedikit GPU, yang menurunkan kos penyediaan. Kelajuan: penjanaan selalunya dihadkan oleh lebar jalur memori, jadi lebih sedikit bait bagi setiap pemberat boleh bermakna lebih banyak token sesaat. Kualiti: lebih sedikit bit bermakna lebih banyak ralat pembundaran, dan model boleh mengekalkan skor puratanya sambil merosot pada tugas khusus yang anda harapkan.
Jika anda membandingkan dua penyedia yang menyediakan model terbuka yang “sama” dan mendapat hasil berbeza, ketepatan ialah salah satu punca yang mungkin.
Di BroadNet Inference
Rujukan API BroadNet tidak menyatakan ketepatan penyediaan. Katalog modelnya menyenaraikan binaan produksi Gemma 4 26B A4B, yang ditawarkan sebagai BroadNet Gemma 4 VL 26B, sebagai pemberat AWQ 4-bit dengan KV cache FP8. Ia tidak menyatakan ketepatan API bagi model lain. Jika ketepatan penting untuk kegunaan anda, jalankan set penilaian yang sama terhadap setiap penyedia; senarai semak menilai model sebelum bertukar menerangkan caranya.