BroadRouter
Mulakan

LoRA (low-rank adaptation)

Dikemas kini

LoRA (low-rank adaptation) ialah kaedah fine-tuning cekap parameter yang membekukan pemberat model pra-latih dan melatih sepasang matriks kecil berpangkat rendah untuk lapisan terpilih. Kemas kini yang dipelajari boleh disimpan sebagai adapter kecil atau digabungkan ke dalam pemberat, tanpa menambah kependaman inferens.

Juga dikenali sebagai: low-rank adaptation, adaptasi pangkat rendah, LoRA adapter, LoRA fine-tuning

LoRA menjadikan fine-tuning model besar praktikal pada perkakasan biasa dengan melatih pembetulan kecil dan bukan keseluruhan model.

Cara ia berfungsi

Hu dan rakan-rakan memerhatikan bahawa perubahan yang dibuat oleh fine-tuning pada matriks pemberat cenderung berpangkat rendah. Jadi LoRA mengekalkan matriks asal W₀ dalam keadaan beku dan mempelajari perubahan itu sebagai hasil darab dua matriks nipis:

W = W₀ + BA, di mana B ialah d × r, A ialah r × k, dan r jauh lebih kecil daripada d atau k.

B bermula pada sifar, jadi latihan bermula daripada model yang tidak berubah. Kertas itu kebanyakannya menggunakan LoRA pada unjuran query dan value attention.

Penjimatan parameter mudah dikira. Untuk satu matriks 4,096 × 4,096:

Parameter
Kemas kini penuh 4,096 × 4,096 = 16,777,216
LoRA, r = 8 8 × (4,096 + 4,096) = 65,536

Itu kira-kira 0.4% daripada jumlah penuh. Pada GPT-3 175B, kertas itu melaporkan 10,000 kali lebih sedikit parameter boleh latih, pengurangan 3× memori GPU, dan checkpoint mengecil daripada kira-kira 350 GB kepada kira-kira 35 MB.

Mengapa ia penting

  • Latihan lebih murah. Lebih sedikit pemberat boleh latih bermakna kurang memori untuk keadaan pengoptimum. Digabungkan dengan kuantisasi asas yang dibekukan, model lebih besar muat pada GPU lebih kecil.
  • Tiada kependaman tambahan. Panduan PEFT Hugging Face menyatakan adapter boleh digabungkan dengan merge_and_unload(), jadi kos penyajian sama seperti model asas.
  • Banyak tugas, satu asas. Oleh sebab asasnya kekal beku, anda boleh menyimpan satu salinan model open-weight dan menukar adapter kecil mengikut pelanggan atau tugas.
  • Had. LoRA mengubah tingkah laku dan gaya dengan baik. Ia tetap fine-tuning, jadi ia memerlukan data yang baik dan eval.

Di BroadNet Inference

Rujukan API BroadNet tidak mendokumenkan LoRA, muat naik adapter atau pemilihan adapter bagi setiap permintaan. Anda memanggil ID model tetap seperti broadnet/qwen3.8-27b. Endpoint peribadi dan fine-tune Arab BroadNet tersedia atas permintaan, tetapi dokumentasinya tidak menyatakan cara ia dilatih. Jika anda bercadang melatih adapter sendiri, bandingkan dengan harga API menggunakan artikel tentang hos sendiri vs API, dan jika anda menjalankan kedua-duanya, penghala seperti LiteLLM boleh menghantar trafik ke mana-mana satu.

Soalan lazim

Apakah maksud pangkat r dalam LoRA?

Ia ialah saiz dalaman dua matriks kecil itu. Pangkat yang lebih rendah bermakna lebih sedikit parameter boleh latih dan adapter yang lebih kecil. Kertas LoRA melaporkan pangkat serendah 1 atau 2 berfungsi dengan baik pada GPT-3 175B.

Adakah LoRA sebaik fine-tuning penuh?

Kertas LoRA melaporkan kualiti "on-par or better than fine-tuning" (Terjemahan BroadRouter: "setanding atau lebih baik daripada fine-tuning") pada RoBERTa, DeBERTa, GPT-2 dan GPT-3, dengan parameter boleh latih yang jauh lebih sedikit. Uji pada tugas anda sendiri.

Bolehkah saya memuat naik adapter LoRA ke BroadNet Inference?

Dokumentasi BroadNet tidak menerangkan muat naik adapter. Endpoint peribadi dan fine-tune BroadNet sendiri ditawarkan atas permintaan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity