BroadRouter
Começar

LoRA (low-rank adaptation)

Atualizado em

LoRA (low-rank adaptation, adaptação de baixo posto) é um método de fine-tuning eficiente em parâmetros que congela os pesos de um modelo pré-treinado e treina um par de pequenas matrizes de baixo posto para camadas escolhidas. A atualização aprendida pode ser guardada como um pequeno adapter ou mesclada aos pesos, sem adicionar latência na inferência.

Também chamado de: LoRA, adaptação de baixo posto, fine-tuning com LoRA, adapter LoRA, treinamento LoRA, low-rank adaptation, LoRA adapter, LoRA fine-tuning

O LoRA tornou viável o fine-tuning de modelos grandes em hardware comum, treinando uma pequena correção em vez do modelo inteiro.

Como funciona

Hu e colegas observaram que a mudança que o fine-tuning faz em uma matriz de pesos tende a ter posto baixo. Então o LoRA mantém congelada a matriz original W₀ e aprende a mudança como o produto de duas matrizes finas:

W = W₀ + BA, em que B é d × r, A é r × k, e r é muito menor que d ou k.

B começa em zero, então o treinamento parte do modelo inalterado. O artigo aplicou o LoRA principalmente às projeções de query e value da atenção.

A economia de parâmetros é fácil de calcular. Para uma matriz de 4.096 × 4.096:

Parâmetros
Atualização completa 4.096 × 4.096 = 16.777.216
LoRA, r = 8 8 × (4.096 + 4.096) = 65.536

Isso é cerca de 0,4% do total. No GPT-3 175B, o artigo relata 10.000 vezes menos parâmetros treináveis, um corte de 3× na memória de GPU e checkpoints que caem de cerca de 350 GB para cerca de 35 MB.

Por que importa

  • Treinamento mais barato. Menos pesos treináveis significa menos memória para o estado do otimizador. Combinado com a quantização da base congelada, permite que modelos maiores caibam em GPUs menores.
  • Sem latência extra. O guia PEFT da Hugging Face observa que os adapters podem ser mesclados com merge_and_unload(), então servir o modelo custa o mesmo que o modelo base.
  • Muitas tarefas, uma base. Como a base fica congelada, você pode manter uma única cópia de um modelo open-weight e trocar pequenos adapters por cliente ou por tarefa.
  • Limites. O LoRA muda bem o comportamento e o estilo. Mas continua sendo fine-tuning, então precisa de bons dados e de uma eval.

Na BroadNet Inference

A referência da API da BroadNet não documenta LoRA, envio de adapters nem seleção de adapter por requisição. Você chama IDs de modelo fixos, como broadnet/qwen3.8-27b. Endpoints privados e os fine-tunes em árabe da BroadNet estão disponíveis sob consulta, mas a documentação não diz como foram treinados. Se você pretende treinar adapters por conta própria, compare isso com os preços de API usando o post sobre self-hosting vs. API, e se usar os dois, um router como o LiteLLM pode mandar o tráfego para qualquer um deles.

Perguntas frequentes

O que significa o posto r no LoRA?

É a dimensão interna das duas pequenas matrizes. Um posto menor significa menos parâmetros treináveis e um adapter menor. O artigo do LoRA relata que postos de apenas 1 ou 2 funcionaram bem no GPT-3 175B.

O LoRA é tão bom quanto o fine-tuning completo?

O artigo do LoRA relata qualidade "on-par or better than fine-tuning" (tradução: igual ou melhor que o fine-tuning) em RoBERTa, DeBERTa, GPT-2 e GPT-3, com muito menos parâmetros treináveis. Teste na sua própria tarefa.

Posso enviar um adapter LoRA para a BroadNet Inference?

A documentação da BroadNet não descreve envio de adapters. Endpoints privados e fine-tunes feitos pela própria BroadNet são oferecidos sob consulta.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity