BroadRouter
Mulakan

Kuantisasi (quantization)

Dikemas kini

Kuantisasi ialah proses menyimpan nombor rangkaian neural, terutamanya pemberatnya, dalam format berketepatan lebih rendah seperti 8-bit atau 4-bit dan bukan 16-bit, supaya model menggunakan kurang memori dan selalunya berjalan lebih pantas. Kaedah yang baik memastikan kehilangan ketepatan kekal kecil.

Juga dikenali sebagai: quantization, model kuantisasi, kuantisasi LLM, kuantisasi pemberat, model 4-bit, quantized model, model quantization, LLM quantization, weight quantization

Kebanyakan model terbuka disertakan dengan pemberat 16-bit. Kuantisasi mengecilkan nombor tersebut supaya model muat pada lebih sedikit GPU.

Cara ia berfungsi

Hugging Face menerangkan kuantisasi sebagai “representing weights and activations with lower-precision data types like 8-bit integers (int8).” (Terjemahan BroadRouter: “mewakili pemberat dan activation dengan jenis data berketepatan lebih rendah seperti integer 8-bit (int8).”) Setiap blok pemberat mendapat faktor skala. Pemberat dibundarkan kepada set tahap yang kecil dan didarab semula dengan skala semasa model dijalankan.

Memori untuk pemberat berskala dengan bit bagi setiap parameter. Ambil contoh Gemma 4 26B A4B daripada Google, yang mempunyai 25.2B parameter:

Ketepatan Bait bagi setiap pemberat Pemberat sahaja
16-bit (BF16) 2 25.2B × 2 = 50.4 GB
8-bit (FP8 atau INT8) 1 25.2 GB
4-bit (INT4) 0.5 12.6 GB

KV cache dan activation memerlukan ruang tambahan di atas itu.

Kaedah berbeza dari segi apa yang dikuantisasi dan cara tahap dipilih:

  • LLM.int8() memotong memori inferens separuh dan mengekalkan beberapa ciri outlier dalam 16-bit; kertas kajiannya menyatakan lebih 99.9% nilai masih menggunakan pengiraan 8-bit.
  • GPTQ ialah kaedah pemberat sekali jalan (one-shot) yang mencapai 3 atau 4 bit bagi setiap pemberat dengan “negligible accuracy degradation” (kemerosotan ketepatan yang boleh diabaikan), dan mengkuantisasi model 175B dalam kira-kira empat jam GPU.
  • Pemberat sahaja vs pemberat dan activation. Format pemberat sahaja menjimatkan memori. Mengkuantisasi activation juga boleh mempercepat pengiraan matriks pada perkakasan yang menyokongnya.

Mengapa ia penting

Bagi pemanggil API, kuantisasi tidak kelihatan dalam permintaan tetapi muncul di tiga tempat. Harga: model yang lebih kecil memerlukan lebih sedikit GPU, yang menurunkan kos penyediaan. Kelajuan: penjanaan selalunya dihadkan oleh lebar jalur memori, jadi lebih sedikit bait bagi setiap pemberat boleh bermakna lebih banyak token sesaat. Kualiti: lebih sedikit bit bermakna lebih banyak ralat pembundaran, dan model boleh mengekalkan skor puratanya sambil merosot pada tugas khusus yang anda harapkan.

Jika anda membandingkan dua penyedia yang menyediakan model terbuka yang “sama” dan mendapat hasil berbeza, ketepatan ialah salah satu punca yang mungkin.

Di BroadNet Inference

Rujukan API BroadNet tidak menyatakan ketepatan penyediaan. Katalog modelnya menyenaraikan binaan produksi Gemma 4 26B A4B, yang ditawarkan sebagai BroadNet Gemma 4 VL 26B, sebagai pemberat AWQ 4-bit dengan KV cache FP8. Ia tidak menyatakan ketepatan API bagi model lain. Jika ketepatan penting untuk kegunaan anda, jalankan set penilaian yang sama terhadap setiap penyedia; senarai semak menilai model sebelum bertukar menerangkan caranya.

Soalan lazim

Adakah kuantisasi menjadikan model lebih teruk?

Kadangkala sedikit. LLM.int8() melaporkan tiada kemerosotan untuk inferens 8-bit sehingga 175B parameter, dan GPTQ melaporkan kehilangan yang boleh diabaikan pada 3 atau 4 bit bagi setiap pemberat. Bit yang lebih rendah dan tugas yang lebih sukar meningkatkan risiko, jadi uji dengan prompt anda sendiri.

Bolehkah saya tahu jika sesuatu API menyediakan model yang dikuantisasi?

Biasanya hanya jika penyedia menyatakannya. API memulangkan bentuk respons yang sama dalam kedua-dua keadaan, jadi bandingkan output dengan ujian anda sendiri dan tanya penyedia ketepatan yang digunakannya.

Berapa banyak memori yang dijimatkan oleh kuantisasi?

Memori pemberat berskala dengan bit bagi setiap pemberat. Model 25.2B parameter memerlukan kira-kira 50.4 GB pada 16-bit, 25.2 GB pada 8-bit dan 12.6 GB pada 4-bit, sebelum KV cache dan activation.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity