LoRA menjadikan fine-tuning model besar praktikal pada perkakasan biasa dengan melatih pembetulan kecil dan bukan keseluruhan model.
Cara ia berfungsi
Hu dan rakan-rakan memerhatikan bahawa perubahan yang dibuat oleh fine-tuning pada matriks pemberat cenderung berpangkat rendah. Jadi LoRA mengekalkan matriks asal W₀ dalam keadaan beku dan mempelajari perubahan itu sebagai hasil darab dua matriks nipis:
W = W₀ + BA, di mana B ialah d × r, A ialah r × k, dan r jauh lebih kecil daripada d atau k.
B bermula pada sifar, jadi latihan bermula daripada model yang tidak berubah. Kertas itu kebanyakannya menggunakan LoRA pada unjuran query dan value attention.
Penjimatan parameter mudah dikira. Untuk satu matriks 4,096 × 4,096:
| Parameter | |
|---|---|
| Kemas kini penuh | 4,096 × 4,096 = 16,777,216 |
| LoRA, r = 8 | 8 × (4,096 + 4,096) = 65,536 |
Itu kira-kira 0.4% daripada jumlah penuh. Pada GPT-3 175B, kertas itu melaporkan 10,000 kali lebih sedikit parameter boleh latih, pengurangan 3× memori GPU, dan checkpoint mengecil daripada kira-kira 350 GB kepada kira-kira 35 MB.
Mengapa ia penting
- Latihan lebih murah. Lebih sedikit pemberat boleh latih bermakna kurang memori untuk keadaan pengoptimum. Digabungkan dengan kuantisasi asas yang dibekukan, model lebih besar muat pada GPU lebih kecil.
- Tiada kependaman tambahan. Panduan PEFT Hugging Face menyatakan adapter boleh digabungkan dengan
merge_and_unload(), jadi kos penyajian sama seperti model asas. - Banyak tugas, satu asas. Oleh sebab asasnya kekal beku, anda boleh menyimpan satu salinan model open-weight dan menukar adapter kecil mengikut pelanggan atau tugas.
- Had. LoRA mengubah tingkah laku dan gaya dengan baik. Ia tetap fine-tuning, jadi ia memerlukan data yang baik dan eval.
Di BroadNet Inference
Rujukan API BroadNet tidak mendokumenkan LoRA, muat naik adapter atau pemilihan adapter bagi setiap permintaan. Anda memanggil ID model tetap seperti broadnet/qwen3.8-27b. Endpoint peribadi dan fine-tune Arab BroadNet tersedia atas permintaan, tetapi dokumentasinya tidak menyatakan cara ia dilatih. Jika anda bercadang melatih adapter sendiri, bandingkan dengan harga API menggunakan artikel tentang hos sendiri vs API, dan jika anda menjalankan kedua-duanya, penghala seperti LiteLLM boleh menghantar trafik ke mana-mana satu.