LoRA membuat fine-tuning model besar menjadi praktis di hardware biasa dengan melatih koreksi kecil, bukan seluruh model.
Cara kerjanya
Hu dan rekan-rekannya mengamati bahwa perubahan yang dibuat fine-tuning pada matriks bobot cenderung memiliki rank rendah. Jadi LoRA membekukan matriks asli W₀ dan mempelajari perubahannya sebagai hasil kali dua matriks tipis:
W = W₀ + BA, dengan B berukuran d × r, A berukuran r × k, dan r jauh lebih kecil daripada d atau k.
B dimulai dari nol, sehingga pelatihan berawal dari model yang belum berubah. Makalah itu kebanyakan menerapkan LoRA pada proyeksi query dan value di attention.
Penghematan parameternya mudah dihitung. Untuk satu matriks 4.096 × 4.096:
| Parameter | |
|---|---|
| Pembaruan penuh | 4.096 × 4.096 = 16.777.216 |
| LoRA, r = 8 | 8 × (4.096 + 4.096) = 65.536 |
Itu sekitar 0,4% dari jumlah penuhnya. Pada GPT-3 175B, makalah melaporkan parameter terlatih 10.000 kali lebih sedikit, pemakaian memori GPU berkurang 3×, dan checkpoint menyusut dari sekitar 350 GB menjadi sekitar 35 MB.
Kenapa ini penting
- Pelatihan lebih murah. Lebih sedikit bobot yang dilatih berarti lebih sedikit memori untuk state optimizer. Dikombinasikan dengan kuantisasi pada base yang dibekukan, model yang lebih besar muat di GPU yang lebih kecil.
- Tanpa latensi tambahan. Panduan PEFT Hugging Face mencatat bahwa adapter bisa digabungkan dengan
merge_and_unload(), sehingga biaya serving sama dengan model dasarnya. - Banyak tugas, satu base. Karena base tetap dibekukan, Anda bisa menyimpan satu salinan model open-weight dan menukar adapter kecil per pelanggan atau per tugas.
- Batasan. LoRA mengubah perilaku dan gaya dengan baik. Ini tetap fine-tuning, jadi butuh data yang baik dan eval.
Di BroadNet Inference
Referensi API BroadNet tidak mendokumentasikan LoRA, unggahan adapter, atau pemilihan adapter per request. Anda memanggil ID model tetap seperti broadnet/qwen3.8-27b. Endpoint privat dan fine-tune bahasa Arab buatan BroadNet tersedia atas permintaan, tetapi dokumentasinya tidak menyebutkan cara melatihnya. Jika Anda berencana melatih adapter sendiri, bandingkan dengan harga API lewat artikel self-hosting vs API, dan jika Anda menjalankan keduanya, router seperti LiteLLM bisa mengirim traffic ke salah satunya.