O LoRA tornou viável o fine-tuning de modelos grandes em hardware comum, treinando uma pequena correção em vez do modelo inteiro.
Como funciona
Hu e colegas observaram que a mudança que o fine-tuning faz em uma matriz de pesos tende a ter posto baixo. Então o LoRA mantém congelada a matriz original W₀ e aprende a mudança como o produto de duas matrizes finas:
W = W₀ + BA, em que B é d × r, A é r × k, e r é muito menor que d ou k.
B começa em zero, então o treinamento parte do modelo inalterado. O artigo aplicou o LoRA principalmente às projeções de query e value da atenção.
A economia de parâmetros é fácil de calcular. Para uma matriz de 4.096 × 4.096:
| Parâmetros | |
|---|---|
| Atualização completa | 4.096 × 4.096 = 16.777.216 |
| LoRA, r = 8 | 8 × (4.096 + 4.096) = 65.536 |
Isso é cerca de 0,4% do total. No GPT-3 175B, o artigo relata 10.000 vezes menos parâmetros treináveis, um corte de 3× na memória de GPU e checkpoints que caem de cerca de 350 GB para cerca de 35 MB.
Por que importa
- Treinamento mais barato. Menos pesos treináveis significa menos memória para o estado do otimizador. Combinado com a quantização da base congelada, permite que modelos maiores caibam em GPUs menores.
- Sem latência extra. O guia PEFT da Hugging Face observa que os adapters podem ser mesclados com
merge_and_unload(), então servir o modelo custa o mesmo que o modelo base. - Muitas tarefas, uma base. Como a base fica congelada, você pode manter uma única cópia de um modelo open-weight e trocar pequenos adapters por cliente ou por tarefa.
- Limites. O LoRA muda bem o comportamento e o estilo. Mas continua sendo fine-tuning, então precisa de bons dados e de uma eval.
Na BroadNet Inference
A referência da API da BroadNet não documenta LoRA, envio de adapters nem seleção de adapter por requisição. Você chama IDs de modelo fixos, como broadnet/qwen3.8-27b. Endpoints privados e os fine-tunes em árabe da BroadNet estão disponíveis sob consulta, mas a documentação não diz como foram treinados. Se você pretende treinar adapters por conta própria, compare isso com os preços de API usando o post sobre self-hosting vs. API, e se usar os dois, um router como o LiteLLM pode mandar o tráfego para qualquer um deles.