INT4 es donde la cuantización se vuelve agresiva: cada peso solo tiene 16 valores posibles.
Cómo funciona
La guía de precisión de TensorRT-LLM describe la forma habitual, W4A16: los pesos se cuantizan a 4 bits y se descuantizan “on-the-fly” (sobre la marcha) dentro de la multiplicación de matrices, mientras que las activaciones se quedan en FP16 o BF16. TensorRT-LLM admite factores de escala por grupo: cada pequeño grupo de pesos tiene su propia escala para que los 16 niveles cubran el rango correcto. El ejemplo INT4 de vLLM guarda un checkpoint W4A16-G128, un grupo por cada 128 pesos.
Redondear sin más a 16 niveles pierde demasiado, así que los métodos populares lo hacen de forma más inteligente:
- GPTQ usa información aproximada de segundo orden para elegir redondeos que limiten el error de salida. El artículo reporta 3 o 4 bits por peso con una pérdida insignificante, suficiente para ejecutar un modelo de 175B en una sola GPU.
- AWQ observa que “not all weights in an LLM are equally important” (traducción: no todos los pesos de un LLM son igual de importantes). Proteger cerca del 1 % de los canales más relevantes, identificados a partir de estadísticas de activación, reduce mucho el error. Su runtime TinyChat reporta una aceleración de más de 3 veces para modelos de 4 bits en dispositivos.
Por qué importa
El ahorro de memoria es grande. Con 0.5 bytes por peso, los pesos de un modelo ocupan un cuarto de su tamaño en 16 bits. Para un modelo de 25.2B parámetros: 25.2B × 2 bytes = 50.4 GB en BF16, frente a 25.2B × 0.5 bytes = 12.6 GB en INT4, más un poco para los factores de escala. La velocidad de generación suele estar limitada por lo rápido que llegan los pesos desde la memoria, así que los pesos de 4 bits también pueden reducir la latencia. La documentación de vLLM dice que INT4 W4A16 es más útil para mantener baja la latencia “in workloads with low queries per second” (traducción: en cargas con pocas consultas por segundo). Con carga alta, el costo de descuantizar los pesos pesa más y la ganancia se reduce.
Con solo 16 niveles, el error de redondeo es mayor que con FP8, y por eso existen GPTQ y AWQ. Una puntuación media en un benchmark puede ocultar pérdidas en las tareas que le importan, como el razonamiento largo, la aritmética exacta, el código o un idioma menos común. Si una versión INT4 rinde peor que la de 16 bits en su propio conjunto de pruebas, crea en su prueba.
Los modelos mixture of experts son candidatos frecuentes a INT4, porque todos los expertos deben caber en memoria aunque pocos se ejecuten por token.
En BroadNet Inference
El catálogo de modelos de BroadNet indica que su versión de producción de Gemma 4 26B A4B (ID de API broadnet/gemma-4-26b-a4b) usa pesos AWQ de 4 bits, con predicción multitoken y caché KV en FP8. Esa es la descripción de la propia BroadNet; la documentación de la API no indica la precisión de los demás modelos. Si está decidiendo entre alojar usted mismo un modelo de 4 bits o llamar a una API, la comparación de costos de autoalojamiento y la calculadora de costos de APIs de LLM le ayudan a comparar los totales.