BroadRouter
Começar

INT4 (quantização de 4 bits)

Atualizado em

INT4 é um formato numérico inteiro de 4 bits que representa 16 níveis. Na inferência de LLMs, costuma significar quantização de 4 bits só dos pesos (W4A16): os pesos são guardados em INT4 com fatores de escala e expandidos para 16 bits durante o cálculo, usando cerca de um quarto da memória de pesos em 16 bits.

Também chamado de: quantização de 4 bits, quantização INT4, inteiro de 4 bits, LLM de 4 bits, modelo de 4 bits, INT4, 4-bit quantization, W4A16, 4-bit integer, INT4 weight-only, 4-bit LLM

No INT4 a quantização fica agressiva: cada peso tem só 16 valores possíveis.

Como funciona

O guia de precisão do TensorRT-LLM descreve a forma mais comum, W4A16: os pesos são quantizados para 4 bits e desquantizados “on-the-fly” (em tempo real) dentro da multiplicação de matrizes, enquanto as ativações ficam em FP16 ou BF16. O TensorRT-LLM suporta fatores de escala por grupo: cada pequeno grupo de pesos recebe a própria escala, para que os 16 níveis cubram a faixa certa. O exemplo de INT4 do vLLM salva um checkpoint W4A16-G128, um grupo a cada 128 pesos.

Arredondar simplesmente para 16 níveis perde demais, então os métodos populares são mais espertos:

  • GPTQ usa informação aproximada de segunda ordem para escolher arredondamentos que limitam o erro na saída. O artigo relata 3 ou 4 bits por peso com perda desprezível, o suficiente para rodar um modelo de 175B em uma única GPU.
  • AWQ parte da observação de que “not all weights in an LLM are equally important” (tradução: nem todos os pesos de um LLM são igualmente importantes). Proteger cerca de 1% dos canais salientes, identificados pelas estatísticas de ativação, reduz muito o erro. O runtime TinyChat dele relata aceleração de mais de 3 vezes para modelos de 4 bits em dispositivos.

Por que importa

A economia de memória é grande. A 0,5 byte por peso, os pesos de um modelo ocupam um quarto do tamanho em 16 bits. Para um modelo de 25,2B parâmetros: 25,2B × 2 bytes = 50,4 GB em BF16, contra 25,2B × 0,5 byte = 12,6 GB em INT4, mais um pouco para os fatores de escala. A velocidade de geração muitas vezes é limitada pela rapidez com que os pesos saem da memória, então pesos de 4 bits também podem reduzir a latência. A documentação do vLLM diz que o INT4 W4A16 é mais útil para manter a latência baixa “in workloads with low queries per second” (tradução: em cargas com poucas consultas por segundo). Com carga alta, o custo de desquantizar os pesos pesa mais e o ganho diminui.

Com só 16 níveis, o erro de arredondamento é maior do que com FP8, e é exatamente por isso que existem o GPTQ e o AWQ. Uma pontuação média em benchmark pode esconder perdas nas tarefas que importam para você, como raciocínio longo, aritmética exata, código ou um idioma menos comum. Se uma build INT4 vai pior do que a versão de 16 bits no seu próprio conjunto de testes, acredite no seu teste.

Modelos mixture of experts são candidatos frequentes ao INT4, porque todos os especialistas precisam caber na memória, mesmo que poucos rodem por token.

Na BroadNet Inference

O catálogo de modelos da BroadNet diz que a build de produção do Gemma 4 26B A4B (ID na API broadnet/gemma-4-26b-a4b) usa pesos AWQ de 4 bits, com multi-token prediction e KV cache em FP8. Essa é a descrição da própria BroadNet; a documentação da API não informa a precisão dos outros modelos. Se você está escolhendo entre hospedar por conta própria um modelo de 4 bits e chamar uma API, a comparação de custos de self-hosting e a calculadora de custo de API de LLM ajudam a comparar os totais.

Perguntas frequentes

Quanta memória o INT4 economiza?

Cada peso ocupa meio byte em vez de dois, ou seja, cerca de um quarto do tamanho em 16 bits, mais um pequeno overhead para os fatores de escala. Um modelo de 25,2B parâmetros cai de cerca de 50,4 GB para cerca de 12,6 GB de pesos.

INT4 é o mesmo que NF4 ou FP4?

Não. Os três usam 4 bits, mas NF4 e FP4 distribuem seus 16 níveis de forma desigual, enquanto o INT4 os espaça de forma uniforme. A integração bitsandbytes da Hugging Face oferece FP4 e NF4; checkpoints GPTQ e AWQ costumam usar INT4.

O INT4 deixa um modelo mais rápido?

Muitas vezes, com carga baixa, porque a geração é limitada pela leitura dos pesos da memória e pesos de 4 bits são menores. A documentação do vLLM diz que o INT4 W4A16 ajuda mais em cargas com poucas consultas por segundo; com carga pesada, o ganho diminui.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity