---
title: "Apakah itu LoRA? Adaptasi pangkat rendah untuk fine-tuning"
description: "LoRA melakukan fine-tuning LLM dengan melatih dua matriks kecil berpangkat rendah di sisi pemberat beku. Cara ia berfungsi dan sebab tiada kependaman tambahan."
url: https://broadrouter.com/ms/glossary/lora/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/lora/) (dikemas kini 2026-11-14).

# LoRA (low-rank adaptation)

Dikemas kini 2026-11-14

LoRA (low-rank adaptation) ialah kaedah fine-tuning cekap parameter yang membekukan pemberat model pra-latih dan melatih sepasang matriks kecil berpangkat rendah untuk lapisan terpilih. Kemas kini yang dipelajari boleh disimpan sebagai adapter kecil atau digabungkan ke dalam pemberat, tanpa menambah kependaman inferens.

Juga dikenali sebagai: low-rank adaptation, adaptasi pangkat rendah, LoRA adapter, LoRA fine-tuning

LoRA menjadikan fine-tuning model besar praktikal pada perkakasan biasa dengan melatih pembetulan kecil dan bukan keseluruhan model.

## Cara ia berfungsi

Hu dan rakan-rakan memerhatikan bahawa perubahan yang dibuat oleh fine-tuning pada matriks pemberat cenderung berpangkat rendah. Jadi LoRA mengekalkan matriks asal W₀ dalam keadaan beku dan mempelajari perubahan itu sebagai hasil darab dua matriks nipis:

W = W₀ + BA, di mana B ialah d × r, A ialah r × k, dan r jauh lebih kecil daripada d atau k.

B bermula pada sifar, jadi latihan bermula daripada model yang tidak berubah. Kertas itu kebanyakannya menggunakan LoRA pada unjuran query dan value attention.

Penjimatan parameter mudah dikira. Untuk satu matriks 4,096 × 4,096:

|  | Parameter |
| --- | --- |
| Kemas kini penuh | 4,096 × 4,096 = 16,777,216 |
| LoRA, r = 8 | 8 × (4,096 + 4,096) = 65,536 |

Itu kira-kira 0.4% daripada jumlah penuh. Pada GPT-3 175B, kertas itu melaporkan 10,000 kali lebih sedikit parameter boleh latih, pengurangan 3× memori GPU, dan checkpoint mengecil daripada kira-kira 350 GB kepada kira-kira 35 MB.

## Mengapa ia penting

-   **Latihan lebih murah.** Lebih sedikit pemberat boleh latih bermakna kurang memori untuk keadaan pengoptimum. Digabungkan dengan [kuantisasi](https://broadrouter.com/ms/glossary/quantization/) asas yang dibekukan, model lebih besar muat pada GPU lebih kecil.
-   **Tiada kependaman tambahan.** Panduan PEFT Hugging Face menyatakan adapter boleh digabungkan dengan `merge_and_unload()`, jadi kos penyajian sama seperti model asas.
-   **Banyak tugas, satu asas.** Oleh sebab asasnya kekal beku, anda boleh menyimpan satu salinan [model open-weight](https://broadrouter.com/ms/glossary/open-weight-model/) dan menukar adapter kecil mengikut pelanggan atau tugas.
-   **Had.** LoRA mengubah tingkah laku dan gaya dengan baik. Ia tetap [fine-tuning](https://broadrouter.com/ms/glossary/fine-tuning/), jadi ia memerlukan data yang baik dan eval.

## Di BroadNet Inference

[Rujukan API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-lora&utm_content=body#models) BroadNet tidak mendokumenkan LoRA, muat naik adapter atau pemilihan adapter bagi setiap permintaan. Anda memanggil ID model tetap seperti `broadnet/qwen3.8-27b`. Endpoint peribadi dan fine-tune Arab BroadNet tersedia atas permintaan, tetapi dokumentasinya tidak menyatakan cara ia dilatih. Jika anda bercadang melatih adapter sendiri, bandingkan dengan harga API menggunakan artikel tentang [hos sendiri vs API](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/), dan jika anda menjalankan kedua-duanya, penghala seperti [LiteLLM](https://broadrouter.com/ms/guides/litellm-proxy-custom-provider/) boleh menghantar trafik ke mana-mana satu.

## Soalan lazim

### Apakah maksud pangkat r dalam LoRA?

Ia ialah saiz dalaman dua matriks kecil itu. Pangkat yang lebih rendah bermakna lebih sedikit parameter boleh latih dan adapter yang lebih kecil. Kertas LoRA melaporkan pangkat serendah 1 atau 2 berfungsi dengan baik pada GPT-3 175B.

### Adakah LoRA sebaik fine-tuning penuh?

Kertas LoRA melaporkan kualiti "on-par or better than fine-tuning" (Terjemahan BroadRouter: "setanding atau lebih baik daripada fine-tuning") pada RoBERTa, DeBERTa, GPT-2 dan GPT-3, dengan parameter boleh latih yang jauh lebih sedikit. Uji pada tugas anda sendiri.

### Bolehkah saya memuat naik adapter LoRA ke BroadNet Inference?

Dokumentasi BroadNet tidak menerangkan muat naik adapter. Endpoint peribadi dan fine-tune BroadNet sendiri ditawarkan atas permintaan.

## Lihat juga

-   [Fine-tuning (penalaan halus)](https://broadrouter.com/ms/glossary/fine-tuning/) (istilah)
-   [Kuantisasi (quantization)](https://broadrouter.com/ms/glossary/quantization/) (istilah)
-   [Model open-weight (model pemberat terbuka)](https://broadrouter.com/ms/glossary/open-weight-model/) (istilah)
-   [Penyulingan model (knowledge distillation)](https://broadrouter.com/ms/glossary/distillation/) (istilah)
-   [Halakan LiteLLM ke BroadNet Inference (SDK dan proksi)](https://broadrouter.com/ms/guides/litellm-proxy-custom-provider/) (panduan)
-   [Hos LLM sendiri vs API: kos sebenar dan titik pulang modal](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/) (artikel)
-   [Model AI open-weight vs tertutup bagi perniagaan: kos, kawalan, risiko](https://broadrouter.com/ms/blog/open-weight-vs-closed-models/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-lora&utm_content=page-cta) ·

**Sumber**

-   [Hu et al. (2021), LoRA - Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)
-   [Hugging Face PEFT, panduan konsep LoRA](https://huggingface.co/docs/peft/main/en/conceptual_guides/lora)
-   [Rujukan API BroadNet Inference, ID model (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-lora&utm_content=sources#models)
