BroadRouter
Mulakan

INT4

Dikemas kini

INT4 ialah format nombor integer 4-bit yang boleh mewakili 16 tahap. Dalam inferens LLM, ia biasanya bermaksud kuantisasi pemberat sahaja 4-bit (W4A16): pemberat disimpan sebagai INT4 bersama faktor skala dan dikembangkan kepada 16-bit semasa pengiraan, menggunakan kira-kira suku daripada memori pemberat 16-bit.

Juga dikenali sebagai: kuantisasi 4-bit, 4-bit quantization, W4A16, 4-bit integer, INT4 weight-only, 4-bit LLM, model 4-bit

INT4 ialah tahap di mana kuantisasi menjadi agresif: setiap pemberat hanya mendapat 16 nilai yang mungkin.

Cara ia berfungsi

Panduan ketepatan TensorRT-LLM menerangkan bentuk yang lazim, W4A16: pemberat dikuantisasi kepada 4 bit dan dinyahkuantisasi “on-the-fly” (Terjemahan BroadRouter: “secara langsung semasa berjalan”) di dalam pendaraban matriks, manakala activation kekal dalam FP16 atau BF16. TensorRT-LLM menyokong faktor skala bagi setiap kumpulan: setiap kumpulan kecil pemberat mendapat skalanya sendiri supaya 16 tahap itu meliputi julat yang betul. Contoh INT4 vLLM menyimpan checkpoint W4A16-G128, satu kumpulan bagi setiap 128 pemberat.

Pembundaran biasa kepada 16 tahap kehilangan terlalu banyak, jadi kaedah popular lebih bijak:

  • GPTQ menggunakan maklumat tertib kedua anggaran untuk memilih pembundaran yang mengehadkan ralat output. Kertas kajiannya melaporkan 3 atau 4 bit bagi setiap pemberat dengan kehilangan yang boleh diabaikan, cukup untuk menjalankan model 175B pada satu GPU.
  • AWQ memerhatikan bahawa “not all weights in an LLM are equally important.” (Terjemahan BroadRouter: “tidak semua pemberat dalam LLM sama penting.”) Melindungi kira-kira 1% saluran penting, yang dikenal pasti daripada statistik activation, banyak mengurangkan ralat. Runtime TinyChat miliknya melaporkan kelajuan lebih 3 kali ganda untuk model 4-bit pada peranti.

Mengapa ia penting

Penjimatan memori adalah besar. Pada 0.5 bait bagi setiap pemberat, pemberat model mengambil suku daripada saiz 16-bitnya. Untuk model 25.2B parameter: 25.2B × 2 bait = 50.4 GB dalam BF16, berbanding 25.2B × 0.5 bait = 12.6 GB dalam INT4, ditambah sedikit untuk faktor skala. Kelajuan penjanaan selalunya dihadkan oleh seberapa pantas pemberat mengalir dari memori, jadi pemberat 4-bit juga boleh mengurangkan kependaman. Dokumentasi vLLM menyatakan INT4 W4A16 paling berguna untuk mengekalkan kependaman rendah “in workloads with low queries per second” (Terjemahan BroadRouter: “dalam beban kerja dengan bilangan pertanyaan sesaat yang rendah”). Pada beban tinggi, kos menyahkuantisasi pemberat menjadi lebih ketara dan manfaatnya mengecil.

Dengan hanya 16 tahap, ralat pembundaran lebih besar berbanding FP8, dan itulah sebabnya GPTQ dan AWQ wujud. Skor penanda aras purata boleh menyembunyikan kemerosotan pada tugas yang anda pentingkan, seperti penaakulan panjang, aritmetik tepat, kod atau bahasa yang kurang lazim. Jika binaan INT4 berprestasi lebih teruk daripada versi 16-bit pada set ujian anda sendiri, percayalah ujian anda.

Model mixture-of-experts sering menjadi calon INT4, kerana semua pakar mesti muat dalam memori walaupun hanya sedikit yang berjalan bagi setiap token.

Di BroadNet Inference

Katalog model BroadNet menyatakan binaan produksi Gemma 4 26B A4B miliknya (ID API broadnet/gemma-4-26b-a4b) menggunakan pemberat AWQ 4-bit, dengan ramalan berbilang token dan KV cache FP8. Itu ialah penerangan BroadNet sendiri; dokumentasi API tidak menyatakan ketepatan model lain. Jika anda memilih antara menghoskan sendiri model 4-bit dan memanggil API, perbandingan kos hos sendiri dan kalkulator kos API LLM membantu anda membandingkan jumlahnya.

Soalan lazim

Berapa banyak memori yang dijimatkan oleh INT4?

Setiap pemberat mengambil setengah bait dan bukan dua, jadi kira-kira suku daripada saiz 16-bit, ditambah sedikit overhead untuk faktor skala. Model 25.2B parameter turun daripada kira-kira 50.4 GB kepada kira-kira 12.6 GB pemberat.

Adakah INT4 sama dengan NF4 atau FP4?

Tidak. Ketiga-tiganya menggunakan 4 bit, tetapi NF4 dan FP4 meletakkan 16 tahapnya secara tidak sekata, manakala INT4 menjarakkannya secara sekata. Integrasi bitsandbytes Hugging Face menawarkan FP4 dan NF4; checkpoint GPTQ dan AWQ biasanya menggunakan INT4.

Adakah INT4 menjadikan model lebih pantas?

Selalunya pada beban rendah, kerana penjanaan dihadkan oleh pembacaan pemberat daripada memori dan pemberat 4-bit lebih kecil. Dokumentasi vLLM menyatakan INT4 W4A16 paling membantu dalam beban kerja dengan bilangan pertanyaan sesaat yang rendah; di bawah beban berat, manfaatnya mengecil.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity