INT4 ialah tahap di mana kuantisasi menjadi agresif: setiap pemberat hanya mendapat 16 nilai yang mungkin.
Cara ia berfungsi
Panduan ketepatan TensorRT-LLM menerangkan bentuk yang lazim, W4A16: pemberat dikuantisasi kepada 4 bit dan dinyahkuantisasi “on-the-fly” (Terjemahan BroadRouter: “secara langsung semasa berjalan”) di dalam pendaraban matriks, manakala activation kekal dalam FP16 atau BF16. TensorRT-LLM menyokong faktor skala bagi setiap kumpulan: setiap kumpulan kecil pemberat mendapat skalanya sendiri supaya 16 tahap itu meliputi julat yang betul. Contoh INT4 vLLM menyimpan checkpoint W4A16-G128, satu kumpulan bagi setiap 128 pemberat.
Pembundaran biasa kepada 16 tahap kehilangan terlalu banyak, jadi kaedah popular lebih bijak:
- GPTQ menggunakan maklumat tertib kedua anggaran untuk memilih pembundaran yang mengehadkan ralat output. Kertas kajiannya melaporkan 3 atau 4 bit bagi setiap pemberat dengan kehilangan yang boleh diabaikan, cukup untuk menjalankan model 175B pada satu GPU.
- AWQ memerhatikan bahawa “not all weights in an LLM are equally important.” (Terjemahan BroadRouter: “tidak semua pemberat dalam LLM sama penting.”) Melindungi kira-kira 1% saluran penting, yang dikenal pasti daripada statistik activation, banyak mengurangkan ralat. Runtime TinyChat miliknya melaporkan kelajuan lebih 3 kali ganda untuk model 4-bit pada peranti.
Mengapa ia penting
Penjimatan memori adalah besar. Pada 0.5 bait bagi setiap pemberat, pemberat model mengambil suku daripada saiz 16-bitnya. Untuk model 25.2B parameter: 25.2B × 2 bait = 50.4 GB dalam BF16, berbanding 25.2B × 0.5 bait = 12.6 GB dalam INT4, ditambah sedikit untuk faktor skala. Kelajuan penjanaan selalunya dihadkan oleh seberapa pantas pemberat mengalir dari memori, jadi pemberat 4-bit juga boleh mengurangkan kependaman. Dokumentasi vLLM menyatakan INT4 W4A16 paling berguna untuk mengekalkan kependaman rendah “in workloads with low queries per second” (Terjemahan BroadRouter: “dalam beban kerja dengan bilangan pertanyaan sesaat yang rendah”). Pada beban tinggi, kos menyahkuantisasi pemberat menjadi lebih ketara dan manfaatnya mengecil.
Dengan hanya 16 tahap, ralat pembundaran lebih besar berbanding FP8, dan itulah sebabnya GPTQ dan AWQ wujud. Skor penanda aras purata boleh menyembunyikan kemerosotan pada tugas yang anda pentingkan, seperti penaakulan panjang, aritmetik tepat, kod atau bahasa yang kurang lazim. Jika binaan INT4 berprestasi lebih teruk daripada versi 16-bit pada set ujian anda sendiri, percayalah ujian anda.
Model mixture-of-experts sering menjadi calon INT4, kerana semua pakar mesti muat dalam memori walaupun hanya sedikit yang berjalan bagi setiap token.
Di BroadNet Inference
Katalog model BroadNet menyatakan binaan produksi Gemma 4 26B A4B miliknya (ID API broadnet/gemma-4-26b-a4b) menggunakan pemberat AWQ 4-bit, dengan ramalan berbilang token dan KV cache FP8. Itu ialah penerangan BroadNet sendiri; dokumentasi API tidak menyatakan ketepatan model lain. Jika anda memilih antara menghoskan sendiri model 4-bit dan memanggil API, perbandingan kos hos sendiri dan kalkulator kos API LLM membantu anda membandingkan jumlahnya.