LoRA hizo práctico el fine-tuning de modelos grandes en hardware corriente, entrenando una pequeña corrección en lugar del modelo entero.
Cómo funciona
Hu y sus colegas observaron que el cambio que el fine-tuning produce en una matriz de pesos tiende a tener un rango bajo. Por eso LoRA mantiene congelada la matriz original W₀ y aprende el cambio como el producto de dos matrices estrechas:
W = W₀ + BA, donde B es d × r, A es r × k, y r es mucho menor que d o k.
B empieza en cero, así que el entrenamiento parte del modelo sin cambios. El artículo aplicó LoRA sobre todo a las proyecciones query y value de la atención.
El ahorro de parámetros es fácil de calcular. Para una matriz de 4,096 × 4,096:
| Parámetros | |
|---|---|
| Actualización completa | 4,096 × 4,096 = 16,777,216 |
| LoRA, r = 8 | 8 × (4,096 + 4,096) = 65,536 |
Eso es cerca del 0.4 % del total. En GPT-3 175B, el artículo reporta 10,000 veces menos parámetros entrenables, una reducción de 3× en la memoria de GPU y checkpoints que pasan de unos 350 GB a unos 35 MB.
Por qué importa
- Entrenamiento más barato. Menos pesos entrenables implica menos memoria para el estado del optimizador. Si además se aplica cuantización a la base congelada, modelos más grandes caben en GPUs más pequeñas.
- Sin latencia extra. La guía de PEFT de Hugging Face señala que los adaptadores pueden fusionarse con
merge_and_unload(), de modo que servir el modelo cuesta lo mismo que el modelo base. - Muchas tareas, una sola base. Como la base sigue congelada, puede mantener una copia de un modelo de pesos abiertos y cambiar pequeños adaptadores por cliente o por tarea.
- Límites. LoRA cambia bien el comportamiento y el estilo. Sigue siendo fine-tuning, así que necesita buenos datos y una evaluación.
En BroadNet Inference
La referencia de la API de BroadNet no documenta LoRA, la subida de adaptadores ni la selección de adaptador por solicitud. Usted llama a IDs de modelo fijos como broadnet/qwen3.8-27b. Los endpoints privados y los fine-tunes en árabe de BroadNet están disponibles bajo solicitud, pero la documentación no dice cómo se entrenaron. Si piensa entrenar adaptadores usted mismo, compárelo con los precios de la API en el artículo sobre autoalojamiento frente a una API, y si usa ambas opciones, un router como LiteLLM puede enviar el tráfico a cualquiera de las dos.