---
title: "¿Qué es la cuantización en LLMs? Menos bits por peso"
description: "La cuantización guarda los pesos de un LLM (y a veces las activaciones) en menos bits para ahorrar memoria de GPU e inferir más rápido. Formatos, memoria y calidad."
url: https://broadrouter.com/es/glossary/quantization/
lang: es
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traducido del inglés con ayuda de IA. [Lea el original en inglés](https://broadrouter.com/glossary/quantization/) (actualizado el 2026-11-14).

# Cuantización (quantization)

Actualizado 2026-11-14

La cuantización es el proceso de almacenar los números de una red neuronal, sobre todo sus pesos, en un formato de menor precisión, como 8 o 4 bits en lugar de 16, para que el modelo use menos memoria y a menudo funcione más rápido. Los buenos métodos mantienen pequeña la pérdida de precisión.

También llamado: cuantización, cuantización de modelos, cuantización de LLM, modelo cuantizado, cuantización de pesos, quantization, model quantization, LLM quantization, quantized model, weight quantization

La mayoría de los modelos abiertos se publican con pesos de 16 bits. La cuantización reduce esos números para que un modelo quepa en menos GPUs.

## Cómo funciona

Hugging Face describe la cuantización como “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (traducción: representar pesos y activaciones con tipos de datos de menor precisión, como enteros de 8 bits). Cada bloque de pesos recibe un factor de escala. Los pesos se redondean a un pequeño conjunto de niveles y, en tiempo de ejecución, se vuelven a multiplicar por la escala.

La memoria de los pesos es proporcional a los bits por parámetro. Tome el Gemma 4 26B A4B de Google, que tiene 25.2B parámetros:

| Precisión | Bytes por peso | Solo pesos |
| --- | --- | --- |
| 16 bits (BF16) | 2 | 25.2B × 2 = 50.4 GB |
| 8 bits ([FP8](https://broadrouter.com/es/glossary/fp8/) o INT8) | 1 | 25.2 GB |
| 4 bits ([INT4](https://broadrouter.com/es/glossary/int4/)) | 0.5 | 12.6 GB |

La [caché KV](https://broadrouter.com/es/glossary/kv-cache/) y las activaciones necesitan espacio adicional.

Los métodos difieren en qué cuantizan y en cómo eligen los niveles:

-   **LLM.int8()** reduce a la mitad la memoria de inferencia y mantiene en 16 bits unas pocas características atípicas (outliers); el artículo dice que más del 99.9 % de los valores sigue usando cálculos de 8 bits.
-   **GPTQ** es un método de pesos de una sola pasada que llega a 3 o 4 bits por peso con “negligible accuracy degradation” (traducción: una degradación de precisión insignificante), y cuantiza un modelo de 175B en unas cuatro horas de GPU.
-   **Solo pesos frente a pesos y activaciones.** Los formatos de solo pesos ahorran memoria. Cuantizar también las activaciones puede acelerar además los cálculos de matrices en hardware que lo admita.

## Por qué importa

Para quien llama a una API, la cuantización no se ve en la solicitud, pero aparece en tres lugares. Precio: los modelos más pequeños necesitan menos GPUs, lo que baja el costo de servirlos. Velocidad: la generación suele estar limitada por el ancho de banda de memoria, así que menos bytes por peso pueden significar más [tokens por segundo](https://broadrouter.com/es/glossary/tokens-per-second/). Calidad: menos bits implican más error de redondeo, y un modelo puede mantener su puntuación media mientras falla en las tareas concretas de las que usted depende.

Si compara dos proveedores que sirven el “mismo” modelo abierto y obtiene resultados distintos, la precisión es una causa probable.

## En BroadNet Inference

La referencia de la API de BroadNet no indica la precisión con que sirve los modelos. Su catálogo de modelos muestra la versión de producción de Gemma 4 26B A4B, ofrecida como [BroadNet Gemma 4 VL 26B](https://broadrouter.com/es/models/gemma-4-vl-26b/), con pesos AWQ de 4 bits y caché KV en FP8. No indica la precisión en la API de los demás modelos. Si la precisión importa para su caso, ejecute el mismo conjunto de evaluación contra cada proveedor; la [lista de verificación para evaluar un modelo antes de cambiar](https://broadrouter.com/es/blog/evaluate-llm-before-switching/) explica cómo.

## Preguntas frecuentes

### ¿La cuantización empeora el modelo?

A veces, un poco. LLM.int8() no reporta degradación en la inferencia de 8 bits hasta 175B parámetros, y GPTQ reporta una pérdida insignificante con 3 o 4 bits por peso. Menos bits y tareas más difíciles aumentan el riesgo, así que pruebe con sus propios prompts.

### ¿Puedo saber si una API sirve un modelo cuantizado?

Por lo general, solo si el proveedor lo dice. La API devuelve la misma estructura de respuesta en ambos casos, así que compare las salidas en sus propias pruebas y pregunte al proveedor qué precisión usa.

### ¿Cuánta memoria ahorra la cuantización?

La memoria de los pesos es proporcional a los bits por peso. Un modelo de 25.2B parámetros necesita unos 50.4 GB en 16 bits, 25.2 GB en 8 bits y 12.6 GB en 4 bits, antes de la caché KV y las activaciones.

## Vea también

-   [FP8](https://broadrouter.com/es/glossary/fp8/) (término)
-   [INT4](https://broadrouter.com/es/glossary/int4/) (término)
-   [Caché KV (KV cache)](https://broadrouter.com/es/glossary/kv-cache/) (término)
-   [Mixture of experts (MoE, mezcla de expertos)](https://broadrouter.com/es/glossary/mixture-of-experts/) (término)
-   [Modelo de pesos abiertos (open-weight model)](https://broadrouter.com/es/glossary/open-weight-model/) (término)
-   [AWQ (cuantización de pesos consciente de activaciones)](https://broadrouter.com/es/glossary/awq/) (término)
-   [GGUF](https://broadrouter.com/es/glossary/gguf/) (término)
-   [Usar el SDK de OpenAI para Python con BroadNet Inference](https://broadrouter.com/es/guides/openai-python-sdk/) (guía)
-   [Modelos abiertos vs. cerrados para empresas: costo, control y riesgo](https://broadrouter.com/es/blog/open-weight-vs-closed-models/) (artículo)
-   [Alojar un LLM propio o usar una API: costo real y punto de equilibrio](https://broadrouter.com/es/blog/self-hosting-llm-vs-api-cost/) (artículo)

Pruébelo con su carga de trabajo real. Las cuentas nuevas empiezan con USD 5 de crédito para Gemma y transcripción. DeepSeek, GLM y Qwen3.8 requieren una recarga.

[Comenzar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-glossary-quantization&utm_content=page-cta) ·

**Fuentes**

-   [Hugging Face Transformers, referencia de cuantización](https://huggingface.co/docs/transformers/en/main_classes/quantization)
-   [Dettmers et al., LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale, arXiv 2208.07339](https://arxiv.org/abs/2208.07339)
-   [Frantar et al., GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Google, ficha del modelo Gemma 4 26B A4B (cantidad de parámetros)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Catálogo de modelos de BroadNet (mediciones de laboratorio, septiembre de 2026)](https://www.broadnet.ai/es/inference/models)
