No INT4 a quantização fica agressiva: cada peso tem só 16 valores possíveis.
Como funciona
O guia de precisão do TensorRT-LLM descreve a forma mais comum, W4A16: os pesos são quantizados para 4 bits e desquantizados “on-the-fly” (em tempo real) dentro da multiplicação de matrizes, enquanto as ativações ficam em FP16 ou BF16. O TensorRT-LLM suporta fatores de escala por grupo: cada pequeno grupo de pesos recebe a própria escala, para que os 16 níveis cubram a faixa certa. O exemplo de INT4 do vLLM salva um checkpoint W4A16-G128, um grupo a cada 128 pesos.
Arredondar simplesmente para 16 níveis perde demais, então os métodos populares são mais espertos:
- GPTQ usa informação aproximada de segunda ordem para escolher arredondamentos que limitam o erro na saída. O artigo relata 3 ou 4 bits por peso com perda desprezível, o suficiente para rodar um modelo de 175B em uma única GPU.
- AWQ parte da observação de que “not all weights in an LLM are equally important” (tradução: nem todos os pesos de um LLM são igualmente importantes). Proteger cerca de 1% dos canais salientes, identificados pelas estatísticas de ativação, reduz muito o erro. O runtime TinyChat dele relata aceleração de mais de 3 vezes para modelos de 4 bits em dispositivos.
Por que importa
A economia de memória é grande. A 0,5 byte por peso, os pesos de um modelo ocupam um quarto do tamanho em 16 bits. Para um modelo de 25,2B parâmetros: 25,2B × 2 bytes = 50,4 GB em BF16, contra 25,2B × 0,5 byte = 12,6 GB em INT4, mais um pouco para os fatores de escala. A velocidade de geração muitas vezes é limitada pela rapidez com que os pesos saem da memória, então pesos de 4 bits também podem reduzir a latência. A documentação do vLLM diz que o INT4 W4A16 é mais útil para manter a latência baixa “in workloads with low queries per second” (tradução: em cargas com poucas consultas por segundo). Com carga alta, o custo de desquantizar os pesos pesa mais e o ganho diminui.
Com só 16 níveis, o erro de arredondamento é maior do que com FP8, e é exatamente por isso que existem o GPTQ e o AWQ. Uma pontuação média em benchmark pode esconder perdas nas tarefas que importam para você, como raciocínio longo, aritmética exata, código ou um idioma menos comum. Se uma build INT4 vai pior do que a versão de 16 bits no seu próprio conjunto de testes, acredite no seu teste.
Modelos mixture of experts são candidatos frequentes ao INT4, porque todos os especialistas precisam caber na memória, mesmo que poucos rodem por token.
Na BroadNet Inference
O catálogo de modelos da BroadNet diz que a build de produção do Gemma 4 26B A4B (ID na API broadnet/gemma-4-26b-a4b) usa pesos AWQ de 4 bits, com multi-token prediction e KV cache em FP8. Essa é a descrição da própria BroadNet; a documentação da API não informa a precisão dos outros modelos. Se você está escolhendo entre hospedar por conta própria um modelo de 4 bits e chamar uma API, a comparação de custos de self-hosting e a calculadora de custo de API de LLM ajudam a comparar os totais.