LoRA, modelin tamamı yerine küçük bir düzeltme eğiterek büyük modellere sıradan donanımda ince ayar yapmayı pratik hale getirdi.
Nasıl çalışır
Hu ve meslektaşları, ince ayarın bir ağırlık matrisinde yaptığı değişikliğin düşük ranklı olma eğiliminde olduğunu gözlemledi. Bu yüzden LoRA orijinal W₀ matrisini dondurur ve değişikliği iki ince matrisin çarpımı olarak öğrenir:
W = W₀ + BA; burada B, d × r; A, r × k boyutundadır ve r, d veya k’den çok daha küçüktür.
B sıfırdan başlar, yani eğitim değişmemiş modelden başlar. Makale LoRA’yı çoğunlukla dikkat mekanizmasının query ve value projeksiyonlarına uyguladı.
Parametre tasarrufunu hesaplamak kolaydır. 4.096 × 4.096 boyutlu tek bir matris için:
| Parametre | |
|---|---|
| Tam güncelleme | 4.096 × 4.096 = 16.777.216 |
| LoRA, r = 8 | 8 × (4.096 + 4.096) = 65.536 |
Bu, tam sayının yaklaşık %0,4’üdür. GPT-3 175B’de makale 10.000 kat daha az eğitilebilir parametre, GPU belleğinde 3 kat azalma ve checkpoint’lerin yaklaşık 350 GB’tan yaklaşık 35 MB’a küçüldüğünü bildirir.
Neden önemli
- Daha ucuz eğitim. Daha az eğitilebilir ağırlık, optimizer durumu için daha az bellek demektir. Dondurulmuş tabanın kuantizasyonuyla birleştirildiğinde daha büyük modeller daha küçük GPU’lara sığar.
- Ek gecikme yok. Hugging Face’in PEFT rehberi, adaptörlerin
merge_and_unload()ile birleştirilebileceğini belirtir; böylece sunum maliyeti taban modelle aynı olur. - Tek taban, birçok görev. Taban dondurulmuş kaldığı için bir açık ağırlıklı modelin tek kopyasını tutup müşteri veya görev başına küçük adaptörler takıp çıkarabilirsiniz.
- Sınırlar. LoRA davranışı ve üslubu iyi değiştirir. Yine de bir ince ayardır; iyi veri ve bir eval gerektirir.
BroadNet Inference’ta
BroadNet’in API referansı LoRA’yı, adaptör yüklemeyi veya istek başına adaptör seçimini belgelemez. broadnet/qwen3.8-27b gibi sabit model kimliklerini çağırırsınız. Özel uç noktalar ve BroadNet’in Arapça ince ayarlı modelleri talep üzerine sunulur, ancak belgeler bunların nasıl eğitildiğini söylemez. Adaptörleri kendiniz eğitmeyi planlıyorsanız bunu kendi barındırma mı API mi yazısıyla API fiyatlarına karşı kıyaslayın; ikisini birden çalıştırıyorsanız LiteLLM gibi bir router trafiği ikisinden birine gönderebilir.