BroadRouter
Başlayın

LoRA (düşük ranklı uyarlama)

Güncellendi

LoRA (low-rank adaptation, düşük ranklı uyarlama), önceden eğitilmiş bir modelin ağırlıklarını dondurup seçilen katmanlar için bir çift küçük düşük ranklı matris eğiten, parametre açısından verimli bir ince ayar yöntemidir. Öğrenilen güncelleme küçük bir adaptör olarak saklanabilir veya ağırlıklarla birleştirilebilir; çıkarıma gecikme eklemez.

Diğer adları: LoRA, düşük ranklı uyarlama, LoRA adaptörü, LoRA ince ayarı, LoRA fine-tuning, low-rank adaptation, LoRA adapter

LoRA, modelin tamamı yerine küçük bir düzeltme eğiterek büyük modellere sıradan donanımda ince ayar yapmayı pratik hale getirdi.

Nasıl çalışır

Hu ve meslektaşları, ince ayarın bir ağırlık matrisinde yaptığı değişikliğin düşük ranklı olma eğiliminde olduğunu gözlemledi. Bu yüzden LoRA orijinal W₀ matrisini dondurur ve değişikliği iki ince matrisin çarpımı olarak öğrenir:

W = W₀ + BA; burada B, d × r; A, r × k boyutundadır ve r, d veya k’den çok daha küçüktür.

B sıfırdan başlar, yani eğitim değişmemiş modelden başlar. Makale LoRA’yı çoğunlukla dikkat mekanizmasının query ve value projeksiyonlarına uyguladı.

Parametre tasarrufunu hesaplamak kolaydır. 4.096 × 4.096 boyutlu tek bir matris için:

Parametre
Tam güncelleme 4.096 × 4.096 = 16.777.216
LoRA, r = 8 8 × (4.096 + 4.096) = 65.536

Bu, tam sayının yaklaşık %0,4’üdür. GPT-3 175B’de makale 10.000 kat daha az eğitilebilir parametre, GPU belleğinde 3 kat azalma ve checkpoint’lerin yaklaşık 350 GB’tan yaklaşık 35 MB’a küçüldüğünü bildirir.

Neden önemli

  • Daha ucuz eğitim. Daha az eğitilebilir ağırlık, optimizer durumu için daha az bellek demektir. Dondurulmuş tabanın kuantizasyonuyla birleştirildiğinde daha büyük modeller daha küçük GPU’lara sığar.
  • Ek gecikme yok. Hugging Face’in PEFT rehberi, adaptörlerin merge_and_unload() ile birleştirilebileceğini belirtir; böylece sunum maliyeti taban modelle aynı olur.
  • Tek taban, birçok görev. Taban dondurulmuş kaldığı için bir açık ağırlıklı modelin tek kopyasını tutup müşteri veya görev başına küçük adaptörler takıp çıkarabilirsiniz.
  • Sınırlar. LoRA davranışı ve üslubu iyi değiştirir. Yine de bir ince ayardır; iyi veri ve bir eval gerektirir.

BroadNet Inference’ta

BroadNet’in API referansı LoRA’yı, adaptör yüklemeyi veya istek başına adaptör seçimini belgelemez. broadnet/qwen3.8-27b gibi sabit model kimliklerini çağırırsınız. Özel uç noktalar ve BroadNet’in Arapça ince ayarlı modelleri talep üzerine sunulur, ancak belgeler bunların nasıl eğitildiğini söylemez. Adaptörleri kendiniz eğitmeyi planlıyorsanız bunu kendi barındırma mı API mi yazısıyla API fiyatlarına karşı kıyaslayın; ikisini birden çalıştırıyorsanız LiteLLM gibi bir router trafiği ikisinden birine gönderebilir.

Sık sorulan sorular

LoRA'daki r rankı ne anlama gelir?

İki küçük matrisin iç boyutudur. Daha düşük rank, daha az eğitilebilir parametre ve daha küçük bir adaptör demektir. LoRA makalesi, GPT-3 175B'de 1 veya 2 kadar düşük rankların iyi çalıştığını bildirir.

LoRA tam ince ayar kadar iyi mi?

LoRA makalesi RoBERTa, DeBERTa, GPT-2 ve GPT-3'te çok daha az eğitilebilir parametreyle "on-par or better than fine-tuning" (çeviri: ince ayarla eşit veya daha iyi) kalite bildirir. Kendi görevinizde test edin.

BroadNet Inference'a bir LoRA adaptörü yükleyebilir miyim?

BroadNet'in belgeleri adaptör yüklemeyi anlatmaz. Özel uç noktalar ve BroadNet'in kendi ince ayarlı modelleri talep üzerine sunulur.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor