---
title: "¿Qué es la cuantización INT4? Pesos de LLM en 4 bits"
description: "INT4 guarda cada peso de un LLM como un entero de 4 bits, un cuarto de su tamaño en 16 bits. Cómo funcionan W4A16, GPTQ y AWQ, y sus riesgos."
url: https://broadrouter.com/es/glossary/int4/
lang: es
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traducido del inglés con ayuda de IA. [Lea el original en inglés](https://broadrouter.com/glossary/int4/) (actualizado el 2026-11-16).

# INT4

Actualizado 2026-11-16

INT4 es un formato de enteros de 4 bits que puede representar 16 niveles. En la inferencia de LLM suele referirse a la cuantización solo de pesos en 4 bits (W4A16): los pesos se guardan como INT4 con factores de escala y se expanden a 16 bits al calcular, con cerca de un cuarto de la memoria de 16 bits.

También llamado: INT4, cuantización de 4 bits, cuantización INT4, entero de 4 bits, LLM de 4 bits, 4-bit quantization, W4A16, 4-bit integer, INT4 weight-only, 4-bit LLM

INT4 es donde la cuantización se vuelve agresiva: cada peso solo tiene 16 valores posibles.

## Cómo funciona

La guía de precisión de TensorRT-LLM describe la forma habitual, **W4A16**: los pesos se cuantizan a 4 bits y se descuantizan “on-the-fly” (sobre la marcha) dentro de la multiplicación de matrices, mientras que las activaciones se quedan en FP16 o BF16. TensorRT-LLM admite factores de escala por grupo: cada pequeño grupo de pesos tiene su propia escala para que los 16 niveles cubran el rango correcto. El ejemplo INT4 de vLLM guarda un checkpoint `W4A16-G128`, un grupo por cada 128 pesos.

Redondear sin más a 16 niveles pierde demasiado, así que los métodos populares lo hacen de forma más inteligente:

-   **GPTQ** usa información aproximada de segundo orden para elegir redondeos que limiten el error de salida. El artículo reporta 3 o 4 bits por peso con una pérdida insignificante, suficiente para ejecutar un modelo de 175B en una sola GPU.
-   **AWQ** observa que “not all weights in an LLM are equally important” (traducción: no todos los pesos de un LLM son igual de importantes). Proteger cerca del 1 % de los canales más relevantes, identificados a partir de estadísticas de activación, reduce mucho el error. Su runtime TinyChat reporta una aceleración de más de 3 veces para modelos de 4 bits en dispositivos.

## Por qué importa

El ahorro de memoria es grande. Con 0.5 bytes por peso, los pesos de un modelo ocupan un cuarto de su tamaño en 16 bits. Para un modelo de 25.2B parámetros: 25.2B × 2 bytes = 50.4 GB en BF16, frente a 25.2B × 0.5 bytes = 12.6 GB en INT4, más un poco para los factores de escala. La velocidad de generación suele estar limitada por lo rápido que llegan los pesos desde la memoria, así que los pesos de 4 bits también pueden reducir la [latencia](https://broadrouter.com/es/glossary/latency/). La documentación de vLLM dice que INT4 W4A16 es más útil para mantener baja la latencia “in workloads with low queries per second” (traducción: en cargas con pocas consultas por segundo). Con carga alta, el costo de descuantizar los pesos pesa más y la ganancia se reduce.

Con solo 16 niveles, el error de redondeo es mayor que con [FP8](https://broadrouter.com/es/glossary/fp8/), y por eso existen GPTQ y AWQ. Una puntuación media en un benchmark puede ocultar pérdidas en las tareas que le importan, como el razonamiento largo, la aritmética exacta, el código o un idioma menos común. Si una versión INT4 rinde peor que la de 16 bits en su propio conjunto de pruebas, crea en su prueba.

Los modelos [mixture of experts](https://broadrouter.com/es/glossary/mixture-of-experts/) son candidatos frecuentes a INT4, porque todos los expertos deben caber en memoria aunque pocos se ejecuten por token.

## En BroadNet Inference

El [catálogo de modelos](https://www.broadnet.ai/inference/models) de BroadNet indica que su versión de producción de Gemma 4 26B A4B (ID de API `broadnet/gemma-4-26b-a4b`) usa pesos AWQ de 4 bits, con predicción multitoken y caché KV en FP8. Esa es la descripción de la propia BroadNet; la documentación de la API no indica la precisión de los demás modelos. Si está decidiendo entre alojar usted mismo un modelo de 4 bits o llamar a una API, la [comparación de costos de autoalojamiento](https://broadrouter.com/es/blog/self-hosting-llm-vs-api-cost/) y la [calculadora de costos de APIs de LLM](https://broadrouter.com/tools/llm-api-cost-calculator/) le ayudan a comparar los totales.

## Preguntas frecuentes

### ¿Cuánta memoria ahorra INT4?

Cada peso ocupa medio byte en lugar de dos, es decir, cerca de un cuarto del tamaño en 16 bits, más una pequeña sobrecarga por los factores de escala. Un modelo de 25.2B parámetros baja de unos 50.4 GB a unos 12.6 GB de pesos.

### ¿INT4 es lo mismo que NF4 o FP4?

No. Los tres usan 4 bits, pero NF4 y FP4 reparten sus 16 niveles de forma desigual, mientras que INT4 los espacia uniformemente. La integración bitsandbytes de Hugging Face ofrece FP4 y NF4; los checkpoints de GPTQ y AWQ suelen usar INT4.

### ¿INT4 hace que un modelo sea más rápido?

A menudo, con poca carga, porque la generación está limitada por la lectura de pesos desde memoria y los pesos de 4 bits son más pequeños. La documentación de vLLM dice que INT4 W4A16 ayuda sobre todo en cargas con pocas consultas por segundo; con carga alta, la ganancia se reduce.

## Vea también

-   [Cuantización (quantization)](https://broadrouter.com/es/glossary/quantization/) (término)
-   [FP8](https://broadrouter.com/es/glossary/fp8/) (término)
-   [Mixture of experts (MoE, mezcla de expertos)](https://broadrouter.com/es/glossary/mixture-of-experts/) (término)
-   [Latencia (latency)](https://broadrouter.com/es/glossary/latency/) (término)
-   [AWQ (cuantización de pesos consciente de activaciones)](https://broadrouter.com/es/glossary/awq/) (término)
-   [Usar el SDK de OpenAI para Python con BroadNet Inference](https://broadrouter.com/es/guides/openai-python-sdk/) (guía)
-   [Alojar un LLM propio o usar una API: costo real y punto de equilibrio](https://broadrouter.com/es/blog/self-hosting-llm-vs-api-cost/) (artículo)
-   [Modelos abiertos vs. cerrados para empresas: costo, control y riesgo](https://broadrouter.com/es/blog/open-weight-vs-closed-models/) (artículo)

Pruébelo con su carga de trabajo real. Las cuentas nuevas empiezan con USD 5 de crédito para Gemma y transcripción. DeepSeek, GLM y Qwen3.8 requieren una recarga.

[Comenzar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-glossary-int4&utm_content=page-cta) ·

**Fuentes**

-   [Catálogo de modelos de BroadNet (Gemma 4 26B A4B, AWQ de 4 bits)](https://www.broadnet.ai/es/inference/models)
-   [NVIDIA TensorRT-LLM, precisión numérica (INT4 e INT8 solo de pesos)](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [Lin et al., AWQ, Activation-aware Weight Quantization, arXiv 2306.00978](https://arxiv.org/abs/2306.00978)
-   [Frantar et al., GPTQ, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Documentación de vLLM, cuantización INT4 W4A16](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/int4/)
-   [Documentación de Hugging Face Transformers, bitsandbytes (tipos de 4 bits NF4 y FP4) (consultado el 2026-11-16)](https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes)
