La mayoría de los modelos abiertos se publican con pesos de 16 bits. La cuantización reduce esos números para que un modelo quepa en menos GPUs.
Cómo funciona
Hugging Face describe la cuantización como “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (traducción: representar pesos y activaciones con tipos de datos de menor precisión, como enteros de 8 bits). Cada bloque de pesos recibe un factor de escala. Los pesos se redondean a un pequeño conjunto de niveles y, en tiempo de ejecución, se vuelven a multiplicar por la escala.
La memoria de los pesos es proporcional a los bits por parámetro. Tome el Gemma 4 26B A4B de Google, que tiene 25.2B parámetros:
| Precisión | Bytes por peso | Solo pesos |
|---|---|---|
| 16 bits (BF16) | 2 | 25.2B × 2 = 50.4 GB |
| 8 bits (FP8 o INT8) | 1 | 25.2 GB |
| 4 bits (INT4) | 0.5 | 12.6 GB |
La caché KV y las activaciones necesitan espacio adicional.
Los métodos difieren en qué cuantizan y en cómo eligen los niveles:
- LLM.int8() reduce a la mitad la memoria de inferencia y mantiene en 16 bits unas pocas características atípicas (outliers); el artículo dice que más del 99.9 % de los valores sigue usando cálculos de 8 bits.
- GPTQ es un método de pesos de una sola pasada que llega a 3 o 4 bits por peso con “negligible accuracy degradation” (traducción: una degradación de precisión insignificante), y cuantiza un modelo de 175B en unas cuatro horas de GPU.
- Solo pesos frente a pesos y activaciones. Los formatos de solo pesos ahorran memoria. Cuantizar también las activaciones puede acelerar además los cálculos de matrices en hardware que lo admita.
Por qué importa
Para quien llama a una API, la cuantización no se ve en la solicitud, pero aparece en tres lugares. Precio: los modelos más pequeños necesitan menos GPUs, lo que baja el costo de servirlos. Velocidad: la generación suele estar limitada por el ancho de banda de memoria, así que menos bytes por peso pueden significar más tokens por segundo. Calidad: menos bits implican más error de redondeo, y un modelo puede mantener su puntuación media mientras falla en las tareas concretas de las que usted depende.
Si compara dos proveedores que sirven el “mismo” modelo abierto y obtiene resultados distintos, la precisión es una causa probable.
En BroadNet Inference
La referencia de la API de BroadNet no indica la precisión con que sirve los modelos. Su catálogo de modelos muestra la versión de producción de Gemma 4 26B A4B, ofrecida como BroadNet Gemma 4 VL 26B, con pesos AWQ de 4 bits y caché KV en FP8. No indica la precisión en la API de los demás modelos. Si la precisión importa para su caso, ejecute el mismo conjunto de evaluación contra cada proveedor; la lista de verificación para evaluar un modelo antes de cambiar explica cómo.