BroadRouter
Comenzar

INT4

Actualizado

INT4 es un formato de enteros de 4 bits que puede representar 16 niveles. En la inferencia de LLM suele referirse a la cuantización solo de pesos en 4 bits (W4A16): los pesos se guardan como INT4 con factores de escala y se expanden a 16 bits al calcular, con cerca de un cuarto de la memoria de 16 bits.

También llamado: INT4, cuantización de 4 bits, cuantización INT4, entero de 4 bits, LLM de 4 bits, 4-bit quantization, W4A16, 4-bit integer, INT4 weight-only, 4-bit LLM

INT4 es donde la cuantización se vuelve agresiva: cada peso solo tiene 16 valores posibles.

Cómo funciona

La guía de precisión de TensorRT-LLM describe la forma habitual, W4A16: los pesos se cuantizan a 4 bits y se descuantizan “on-the-fly” (sobre la marcha) dentro de la multiplicación de matrices, mientras que las activaciones se quedan en FP16 o BF16. TensorRT-LLM admite factores de escala por grupo: cada pequeño grupo de pesos tiene su propia escala para que los 16 niveles cubran el rango correcto. El ejemplo INT4 de vLLM guarda un checkpoint W4A16-G128, un grupo por cada 128 pesos.

Redondear sin más a 16 niveles pierde demasiado, así que los métodos populares lo hacen de forma más inteligente:

  • GPTQ usa información aproximada de segundo orden para elegir redondeos que limiten el error de salida. El artículo reporta 3 o 4 bits por peso con una pérdida insignificante, suficiente para ejecutar un modelo de 175B en una sola GPU.
  • AWQ observa que “not all weights in an LLM are equally important” (traducción: no todos los pesos de un LLM son igual de importantes). Proteger cerca del 1 % de los canales más relevantes, identificados a partir de estadísticas de activación, reduce mucho el error. Su runtime TinyChat reporta una aceleración de más de 3 veces para modelos de 4 bits en dispositivos.

Por qué importa

El ahorro de memoria es grande. Con 0.5 bytes por peso, los pesos de un modelo ocupan un cuarto de su tamaño en 16 bits. Para un modelo de 25.2B parámetros: 25.2B × 2 bytes = 50.4 GB en BF16, frente a 25.2B × 0.5 bytes = 12.6 GB en INT4, más un poco para los factores de escala. La velocidad de generación suele estar limitada por lo rápido que llegan los pesos desde la memoria, así que los pesos de 4 bits también pueden reducir la latencia. La documentación de vLLM dice que INT4 W4A16 es más útil para mantener baja la latencia “in workloads with low queries per second” (traducción: en cargas con pocas consultas por segundo). Con carga alta, el costo de descuantizar los pesos pesa más y la ganancia se reduce.

Con solo 16 niveles, el error de redondeo es mayor que con FP8, y por eso existen GPTQ y AWQ. Una puntuación media en un benchmark puede ocultar pérdidas en las tareas que le importan, como el razonamiento largo, la aritmética exacta, el código o un idioma menos común. Si una versión INT4 rinde peor que la de 16 bits en su propio conjunto de pruebas, crea en su prueba.

Los modelos mixture of experts son candidatos frecuentes a INT4, porque todos los expertos deben caber en memoria aunque pocos se ejecuten por token.

En BroadNet Inference

El catálogo de modelos de BroadNet indica que su versión de producción de Gemma 4 26B A4B (ID de API broadnet/gemma-4-26b-a4b) usa pesos AWQ de 4 bits, con predicción multitoken y caché KV en FP8. Esa es la descripción de la propia BroadNet; la documentación de la API no indica la precisión de los demás modelos. Si está decidiendo entre alojar usted mismo un modelo de 4 bits o llamar a una API, la comparación de costos de autoalojamiento y la calculadora de costos de APIs de LLM le ayudan a comparar los totales.

Preguntas frecuentes

¿Cuánta memoria ahorra INT4?

Cada peso ocupa medio byte en lugar de dos, es decir, cerca de un cuarto del tamaño en 16 bits, más una pequeña sobrecarga por los factores de escala. Un modelo de 25.2B parámetros baja de unos 50.4 GB a unos 12.6 GB de pesos.

¿INT4 es lo mismo que NF4 o FP4?

No. Los tres usan 4 bits, pero NF4 y FP4 reparten sus 16 niveles de forma desigual, mientras que INT4 los espacia uniformemente. La integración bitsandbytes de Hugging Face ofrece FP4 y NF4; los checkpoints de GPTQ y AWQ suelen usar INT4.

¿INT4 hace que un modelo sea más rápido?

A menudo, con poca carga, porque la generación está limitada por la lectura de pesos desde memoria y los pesos de 4 bits son más pequeños. La documentación de vLLM dice que INT4 W4A16 ayuda sobre todo en cargas con pocas consultas por segundo; con carga alta, la ganancia se reduce.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity