---
title: "Apa itu LoRA? Low-rank adaptation untuk fine-tuning LLM"
description: "LoRA melakukan fine-tuning LLM dengan melatih dua matriks low-rank kecil di samping bobot beku. Cara kerja, hitungan parameter, dan kenapa tak menambah latensi."
url: https://broadrouter.com/id/glossary/lora/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/lora/) (diperbarui 2026-11-14).

# LoRA (low-rank adaptation)

Diperbarui 2026-11-14

LoRA (low-rank adaptation) adalah metode fine-tuning yang hemat parameter: bobot model pra-latih dibekukan, lalu sepasang matriks low-rank kecil dilatih untuk layer tertentu. Pembaruan yang dipelajari bisa disimpan sebagai adapter kecil atau digabungkan ke bobot, tanpa menambah latensi inferensi.

Disebut juga: LoRA, adapter LoRA, fine-tuning LoRA, adaptasi low-rank, low-rank adaptation, LoRA adapter, LoRA fine-tuning

LoRA membuat fine-tuning model besar menjadi praktis di hardware biasa dengan melatih koreksi kecil, bukan seluruh model.

## Cara kerjanya

Hu dan rekan-rekannya mengamati bahwa perubahan yang dibuat fine-tuning pada matriks bobot cenderung memiliki rank rendah. Jadi LoRA membekukan matriks asli W₀ dan mempelajari perubahannya sebagai hasil kali dua matriks tipis:

W = W₀ + BA, dengan B berukuran d × r, A berukuran r × k, dan r jauh lebih kecil daripada d atau k.

B dimulai dari nol, sehingga pelatihan berawal dari model yang belum berubah. Makalah itu kebanyakan menerapkan LoRA pada proyeksi query dan value di attention.

Penghematan parameternya mudah dihitung. Untuk satu matriks 4.096 × 4.096:

|  | Parameter |
| --- | --- |
| Pembaruan penuh | 4.096 × 4.096 = 16.777.216 |
| LoRA, r = 8 | 8 × (4.096 + 4.096) = 65.536 |

Itu sekitar 0,4% dari jumlah penuhnya. Pada GPT-3 175B, makalah melaporkan parameter terlatih 10.000 kali lebih sedikit, pemakaian memori GPU berkurang 3×, dan checkpoint menyusut dari sekitar 350 GB menjadi sekitar 35 MB.

## Kenapa ini penting

-   **Pelatihan lebih murah.** Lebih sedikit bobot yang dilatih berarti lebih sedikit memori untuk state optimizer. Dikombinasikan dengan [kuantisasi](https://broadrouter.com/id/glossary/quantization/) pada base yang dibekukan, model yang lebih besar muat di GPU yang lebih kecil.
-   **Tanpa latensi tambahan.** Panduan PEFT Hugging Face mencatat bahwa adapter bisa digabungkan dengan `merge_and_unload()`, sehingga biaya serving sama dengan model dasarnya.
-   **Banyak tugas, satu base.** Karena base tetap dibekukan, Anda bisa menyimpan satu salinan [model open-weight](https://broadrouter.com/id/glossary/open-weight-model/) dan menukar adapter kecil per pelanggan atau per tugas.
-   **Batasan.** LoRA mengubah perilaku dan gaya dengan baik. Ini tetap [fine-tuning](https://broadrouter.com/id/glossary/fine-tuning/), jadi butuh data yang baik dan eval.

## Di BroadNet Inference

[Referensi API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-lora&utm_content=body#models) BroadNet tidak mendokumentasikan LoRA, unggahan adapter, atau pemilihan adapter per request. Anda memanggil ID model tetap seperti `broadnet/qwen3.8-27b`. Endpoint privat dan fine-tune bahasa Arab buatan BroadNet tersedia atas permintaan, tetapi dokumentasinya tidak menyebutkan cara melatihnya. Jika Anda berencana melatih adapter sendiri, bandingkan dengan harga API lewat artikel [self-hosting vs API](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/), dan jika Anda menjalankan keduanya, router seperti [LiteLLM](https://broadrouter.com/id/guides/litellm-proxy-custom-provider/) bisa mengirim traffic ke salah satunya.

## Pertanyaan umum

### Apa arti rank r di LoRA?

Rank adalah ukuran dalam dari dua matriks kecil itu. Rank yang lebih rendah berarti lebih sedikit parameter yang dilatih dan adapter yang lebih kecil. Makalah LoRA melaporkan rank serendah 1 atau 2 bekerja dengan baik pada GPT-3 175B.

### Apakah LoRA sebagus fine-tuning penuh?

Makalah LoRA melaporkan kualitas "on-par or better than fine-tuning" (terjemahan: setara atau lebih baik daripada fine-tuning) pada RoBERTa, DeBERTa, GPT-2, dan GPT-3, dengan parameter terlatih yang jauh lebih sedikit. Uji pada tugas Anda sendiri.

### Bisakah saya mengunggah adapter LoRA ke BroadNet Inference?

Dokumentasi BroadNet tidak menjelaskan unggahan adapter. Endpoint privat dan fine-tune buatan BroadNet sendiri tersedia atas permintaan.

## Lihat juga

-   [Fine-tuning](https://broadrouter.com/id/glossary/fine-tuning/) (istilah)
-   [Kuantisasi (quantization)](https://broadrouter.com/id/glossary/quantization/) (istilah)
-   [Model open-weight (bobot terbuka)](https://broadrouter.com/id/glossary/open-weight-model/) (istilah)
-   [Distilasi (knowledge distillation)](https://broadrouter.com/id/glossary/distillation/) (istilah)
-   [Mengarahkan LiteLLM ke BroadNet Inference (SDK dan proxy)](https://broadrouter.com/id/guides/litellm-proxy-custom-provider/) (panduan)
-   [Self-hosting LLM vs API: biaya sebenarnya dan titik impasnya](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/) (artikel)
-   [Model AI open-weight vs tertutup untuk bisnis: biaya, kontrol, risiko](https://broadrouter.com/id/blog/open-weight-vs-closed-models/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-lora&utm_content=page-cta) ·

**Sumber**

-   [Hu dkk. (2021), LoRA - Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)
-   [Hugging Face PEFT, panduan konseptual LoRA](https://huggingface.co/docs/peft/main/en/conceptual_guides/lora)
-   [Referensi API BroadNet Inference, ID model (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-lora&utm_content=sources#models)
