BroadRouter
Comenzar

LoRA (adaptación de bajo rango)

Actualizado

LoRA (low-rank adaptation, adaptación de bajo rango) es un método de fine-tuning eficiente en parámetros que congela los pesos de un modelo preentrenado y entrena un par de pequeñas matrices de bajo rango para ciertas capas. La actualización aprendida puede guardarse como un pequeño adaptador o fusionarse con los pesos, sin añadir latencia de inferencia.

También llamado: LoRA, adaptación de bajo rango, adaptador LoRA, fine-tuning con LoRA, ajuste fino con LoRA, low-rank adaptation, LoRA adapter, LoRA fine-tuning

LoRA hizo práctico el fine-tuning de modelos grandes en hardware corriente, entrenando una pequeña corrección en lugar del modelo entero.

Cómo funciona

Hu y sus colegas observaron que el cambio que el fine-tuning produce en una matriz de pesos tiende a tener un rango bajo. Por eso LoRA mantiene congelada la matriz original W₀ y aprende el cambio como el producto de dos matrices estrechas:

W = W₀ + BA, donde B es d × r, A es r × k, y r es mucho menor que d o k.

B empieza en cero, así que el entrenamiento parte del modelo sin cambios. El artículo aplicó LoRA sobre todo a las proyecciones query y value de la atención.

El ahorro de parámetros es fácil de calcular. Para una matriz de 4,096 × 4,096:

Parámetros
Actualización completa 4,096 × 4,096 = 16,777,216
LoRA, r = 8 8 × (4,096 + 4,096) = 65,536

Eso es cerca del 0.4 % del total. En GPT-3 175B, el artículo reporta 10,000 veces menos parámetros entrenables, una reducción de 3× en la memoria de GPU y checkpoints que pasan de unos 350 GB a unos 35 MB.

Por qué importa

  • Entrenamiento más barato. Menos pesos entrenables implica menos memoria para el estado del optimizador. Si además se aplica cuantización a la base congelada, modelos más grandes caben en GPUs más pequeñas.
  • Sin latencia extra. La guía de PEFT de Hugging Face señala que los adaptadores pueden fusionarse con merge_and_unload(), de modo que servir el modelo cuesta lo mismo que el modelo base.
  • Muchas tareas, una sola base. Como la base sigue congelada, puede mantener una copia de un modelo de pesos abiertos y cambiar pequeños adaptadores por cliente o por tarea.
  • Límites. LoRA cambia bien el comportamiento y el estilo. Sigue siendo fine-tuning, así que necesita buenos datos y una evaluación.

En BroadNet Inference

La referencia de la API de BroadNet no documenta LoRA, la subida de adaptadores ni la selección de adaptador por solicitud. Usted llama a IDs de modelo fijos como broadnet/qwen3.8-27b. Los endpoints privados y los fine-tunes en árabe de BroadNet están disponibles bajo solicitud, pero la documentación no dice cómo se entrenaron. Si piensa entrenar adaptadores usted mismo, compárelo con los precios de la API en el artículo sobre autoalojamiento frente a una API, y si usa ambas opciones, un router como LiteLLM puede enviar el tráfico a cualquiera de las dos.

Preguntas frecuentes

¿Qué significa el rango r en LoRA?

Es el tamaño interno de las dos matrices pequeñas. Un rango menor significa menos parámetros entrenables y un adaptador más pequeño. El artículo de LoRA reporta que rangos tan bajos como 1 o 2 funcionaron bien en GPT-3 175B.

¿LoRA es tan bueno como el fine-tuning completo?

El artículo de LoRA reporta una calidad "on-par or better than fine-tuning" (traducción: igual o mejor que el fine-tuning) en RoBERTa, DeBERTa, GPT-2 y GPT-3, con muchos menos parámetros entrenables. Pruébelo en su propia tarea.

¿Puedo subir un adaptador LoRA a BroadNet Inference?

La documentación de BroadNet no describe la subida de adaptadores. Los endpoints privados y los fine-tunes propios de BroadNet se ofrecen bajo solicitud.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity