BroadRouter
Mulai

LoRA (low-rank adaptation)

Diperbarui

LoRA (low-rank adaptation) adalah metode fine-tuning yang hemat parameter: bobot model pra-latih dibekukan, lalu sepasang matriks low-rank kecil dilatih untuk layer tertentu. Pembaruan yang dipelajari bisa disimpan sebagai adapter kecil atau digabungkan ke bobot, tanpa menambah latensi inferensi.

Disebut juga: LoRA, adapter LoRA, fine-tuning LoRA, adaptasi low-rank, low-rank adaptation, LoRA adapter, LoRA fine-tuning

LoRA membuat fine-tuning model besar menjadi praktis di hardware biasa dengan melatih koreksi kecil, bukan seluruh model.

Cara kerjanya

Hu dan rekan-rekannya mengamati bahwa perubahan yang dibuat fine-tuning pada matriks bobot cenderung memiliki rank rendah. Jadi LoRA membekukan matriks asli W₀ dan mempelajari perubahannya sebagai hasil kali dua matriks tipis:

W = W₀ + BA, dengan B berukuran d × r, A berukuran r × k, dan r jauh lebih kecil daripada d atau k.

B dimulai dari nol, sehingga pelatihan berawal dari model yang belum berubah. Makalah itu kebanyakan menerapkan LoRA pada proyeksi query dan value di attention.

Penghematan parameternya mudah dihitung. Untuk satu matriks 4.096 × 4.096:

Parameter
Pembaruan penuh 4.096 × 4.096 = 16.777.216
LoRA, r = 8 8 × (4.096 + 4.096) = 65.536

Itu sekitar 0,4% dari jumlah penuhnya. Pada GPT-3 175B, makalah melaporkan parameter terlatih 10.000 kali lebih sedikit, pemakaian memori GPU berkurang 3×, dan checkpoint menyusut dari sekitar 350 GB menjadi sekitar 35 MB.

Kenapa ini penting

  • Pelatihan lebih murah. Lebih sedikit bobot yang dilatih berarti lebih sedikit memori untuk state optimizer. Dikombinasikan dengan kuantisasi pada base yang dibekukan, model yang lebih besar muat di GPU yang lebih kecil.
  • Tanpa latensi tambahan. Panduan PEFT Hugging Face mencatat bahwa adapter bisa digabungkan dengan merge_and_unload(), sehingga biaya serving sama dengan model dasarnya.
  • Banyak tugas, satu base. Karena base tetap dibekukan, Anda bisa menyimpan satu salinan model open-weight dan menukar adapter kecil per pelanggan atau per tugas.
  • Batasan. LoRA mengubah perilaku dan gaya dengan baik. Ini tetap fine-tuning, jadi butuh data yang baik dan eval.

Di BroadNet Inference

Referensi API BroadNet tidak mendokumentasikan LoRA, unggahan adapter, atau pemilihan adapter per request. Anda memanggil ID model tetap seperti broadnet/qwen3.8-27b. Endpoint privat dan fine-tune bahasa Arab buatan BroadNet tersedia atas permintaan, tetapi dokumentasinya tidak menyebutkan cara melatihnya. Jika Anda berencana melatih adapter sendiri, bandingkan dengan harga API lewat artikel self-hosting vs API, dan jika Anda menjalankan keduanya, router seperti LiteLLM bisa mengirim traffic ke salah satunya.

Pertanyaan umum

Apa arti rank r di LoRA?

Rank adalah ukuran dalam dari dua matriks kecil itu. Rank yang lebih rendah berarti lebih sedikit parameter yang dilatih dan adapter yang lebih kecil. Makalah LoRA melaporkan rank serendah 1 atau 2 bekerja dengan baik pada GPT-3 175B.

Apakah LoRA sebagus fine-tuning penuh?

Makalah LoRA melaporkan kualitas "on-par or better than fine-tuning" (terjemahan: setara atau lebih baik daripada fine-tuning) pada RoBERTa, DeBERTa, GPT-2, dan GPT-3, dengan parameter terlatih yang jauh lebih sedikit. Uji pada tugas Anda sendiri.

Bisakah saya mengunggah adapter LoRA ke BroadNet Inference?

Dokumentasi BroadNet tidak menjelaskan unggahan adapter. Endpoint privat dan fine-tune buatan BroadNet sendiri tersedia atas permintaan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity