BroadRouter

AWQ (activation-aware weight quantization)

Atualizado em

AWQ (activation-aware weight quantization) é um método pós-treinamento que comprime os pesos de um LLM para baixa precisão, geralmente inteiros de 4 bits. Ele usa estatísticas de ativação de um pequeno conjunto de calibração para achar os canais de pesos mais importantes e os escala para que percam menos precisão. Não precisa de backpropagation.

Também chamado de: quantização AWQ, modelo AWQ, AWQ 4 bits, AWQ, activation-aware weight quantization, AWQ quantization

Um modelo de 4 bits tem cerca de um quarto do tamanho do original de 16 bits. O AWQ é um dos jeitos mais usados de chegar lá sem perder muita qualidade.

Como funciona

A quantização simples arredonda cada peso para um pequeno conjunto de valores. Alguns pesos importam mais que outros, e arredondá-los é o que mais prejudica. A principal descoberta do artigo do AWQ é que “Protecting only 1% salient weights can greatly reduce quantization error” (tradução: proteger só 1% dos pesos salientes pode reduzir muito o erro de quantização), e que, para achar esses pesos, “we should refer to the activation distribution, not weights.” (tradução: devemos olhar a distribuição das ativações, não os pesos.)

As etapas, em resumo:

  1. Passe um pequeno conjunto de calibração pelo modelo em precisão total e registre o tamanho das ativações por canal.
  2. Aumente a escala dos canais de pesos salientes com o que o artigo chama de “an equivalent transformation” (tradução: uma transformação equivalente), para que o arredondamento os prejudique menos enquanto a saída da camada continua a mesma. Isso evita a “hardware-inefficient mix-precision quantization” (tradução: quantização de precisão mista, ineficiente para o hardware).
  3. Arredonde todos os pesos para baixa precisão, normalmente inteiros de 4 bits com uma escala por grupo de pesos.

O artigo destaca que “AWQ does not rely on any backpropagation or reconstruction” (tradução: o AWQ não depende de backpropagation nem de reconstrução), então “generalizes to different domains and modalities” (tradução: generaliza para domínios e modalidades diferentes) sem overfitting no conjunto de calibração. Ele ganhou o Best Paper Award do MLSys 2024.

No vLLM, um checkpoint AWQ já quantizado carrega com um único argumento:

from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")

A página do vLLM descreve o formato como uma redução dos pesos “from BF16/FP16 to INT4” (tradução: de BF16/FP16 para INT4) e avisa que “The AutoAWQ library is deprecated” (tradução: a biblioteca AutoAWQ está obsoleta); novos modelos AWQ são feitos com o llm-compressor do vLLM.

Por que isso importa

  • Memória e custo. Pesos menores cabem em menos GPUs, ou em GPUs mais baratas, e deixam mais memória para o KV cache, o que significa mais requisições ao mesmo tempo.
  • Velocidade. O decode lê todos os pesos a cada token, então pesos menores podem significar saída mais rápida. O artigo relata que o runtime TinyChat oferece “more than 3x speedup over the Huggingface FP16 implementation” (tradução: aceleração de mais de 3 vezes sobre a implementação FP16 do Hugging Face).
  • Mesmos pesos, resultados diferentes. Dois hosts que servem “o mesmo modelo” podem usar quantizações diferentes. Pergunte qual formato o provedor serve quando for comparar qualidade.

O AWQ quantiza só os pesos. Ele é diferente do FP8, que pode quantizar também as ativações, e do GGUF, um formato de arquivo com tipos de quantização próprios para o llama.cpp.

Na BroadNet Inference

A BroadNet relata que serve o Gemma 4 VL 26B com pesos AWQ de 4 bits que ela mesma quantizou, junto com speculative decoding por multi-token prediction (k=2) e KV cache em fp8. Segundo a página do modelo, ela testou o NVFP4 e o abandonou depois de uma comparação direta. A BroadNet também relata que os mesmos pesos do Gemma 4 servidos por um provedor hospedado marcaram, em média, 0,13 a menos que o serving dela (a BroadNet não diz em qual métrica ou escala); o post sobre a frota de GPUs e o serving tem os detalhes. A BroadNet não publica o formato de quantização dos outros modelos da API. Se você pretende rodar pesos AWQ por conta própria, o guia de custo de self-hosting vs. API faz as contas.

Perguntas frequentes

AWQ é a mesma coisa que INT4?

AWQ é um método; INT4 é um formato numérico. O AWQ normalmente gera pesos inteiros de 4 bits, então um modelo AWQ é um tipo de modelo INT4. Outros métodos, como GPTQ ou os tipos de quantização GGUF, também podem gerar pesos de 4 bits.

O AWQ reduz a qualidade?

Qualquer quantização com poucos bits pode reduzir. O artigo do AWQ relata que proteger cerca de 1% dos pesos salientes reduz muito o erro de quantização, mas você deve testar o modelo quantizado com os seus próprios prompts.

Dá para rodar modelos AWQ no vLLM?

Sim. A documentação do vLLM mostra como carregar um checkpoint AWQ já quantizado. Ela também avisa que a biblioteca AutoAWQ está obsoleta e indica o projeto llm-compressor do vLLM para criar novos modelos AWQ.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity