---
title: "Ano ang LoRA? Low-rank adaptation sa fine-tuning ng LLM"
description: "Pina-fine-tune ng LoRA ang LLM gamit ang dalawang maliit na low-rank matrix sa tabi ng frozen na weights. Paano ito gumagana at bakit walang dagdag na latency."
url: https://broadrouter.com/fil/glossary/lora/
lang: fil
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/lora/) (na-update noong 2026-11-14).

# LoRA (low-rank adaptation)

Na-update 2026-11-14

Ang LoRA (low-rank adaptation) ay parameter-efficient na paraan ng fine-tuning na nagfi-freeze sa weights ng isang pre-trained na model at nagte-train ng isang pares ng maliliit na low-rank matrix para sa mga piling layer. Puwedeng i-store ang natutunang update bilang maliit na adapter o i-merge sa weights, nang walang dagdag na inference latency.

Tinatawag ding: low-rank adaptation, LoRA adapter, LoRA fine-tuning, LoRA training

Ginawang praktikal ng LoRA ang fine-tuning ng malalaking model sa ordinaryong hardware sa pamamagitan ng pag-train ng maliit na pagwawasto sa halip na ng buong model.

## Paano ito gumagana

Napansin nina Hu at mga kasama na ang pagbabagong ginagawa ng fine-tuning sa isang weight matrix ay kadalasang may mababang rank. Kaya pinananatiling frozen ng LoRA ang orihinal na matrix na W₀ at natututunan ang pagbabago bilang product ng dalawang manipis na matrix:

W = W₀ + BA, kung saan d × r ang B, r × k ang A, at mas maliit nang husto ang r kaysa sa d o k.

Nagsisimula sa zero ang B, kaya nagsisimula ang training mula sa hindi binagong model. Kadalasang in-apply ng paper ang LoRA sa attention query at value projection.

Madaling kuwentahin ang natitipid na parameter. Para sa isang 4,096 × 4,096 na matrix:

|  | Parameter |
| --- | --- |
| Full update | 4,096 × 4,096 = 16,777,216 |
| LoRA, r = 8 | 8 × (4,096 + 4,096) = 65,536 |

Mga 0.4% iyon ng buong bilang. Sa GPT-3 175B, iniuulat ng paper ang 10,000 beses na mas kaunting trainable parameter, 3× na bawas sa GPU memory, at pagliit ng checkpoint mula mga 350 GB hanggang mga 35 MB.

## Bakit ito mahalaga

-   **Mas murang training.** Mas kaunting trainable weight, mas kaunting memory para sa optimiser state. Kapag isinabay sa [quantization](https://broadrouter.com/fil/glossary/quantization/) ng frozen na base, nagkakasya ang mas malalaking model sa mas maliliit na GPU.
-   **Walang dagdag na latency.** Binabanggit ng PEFT guide ng Hugging Face na puwedeng i-merge ang mga adapter gamit ang `merge_and_unload()`, kaya kapareho ng base model ang gastos sa pag-serve.
-   **Maraming task, iisang base.** Dahil nananatiling frozen ang base, puwede kang mag-ingat ng iisang kopya ng isang [open-weight model](https://broadrouter.com/fil/glossary/open-weight-model/) at magpalit ng maliliit na adapter kada customer o task.
-   **Mga limitasyon.** Mahusay ang LoRA sa pagbabago ng kilos at istilo. [Fine-tuning](https://broadrouter.com/fil/glossary/fine-tuning/) pa rin ito, kaya kailangan nito ng magandang data at isang eval.

## Sa BroadNet Inference

Hindi idinodokumento ng [API reference](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-lora&utm_content=body#models) ng BroadNet ang LoRA, pag-upload ng adapter o pagpili ng adapter kada request. Tumatawag ka sa mga fixed na model ID gaya ng `broadnet/qwen3.8-27b`. Available kapag hiniling ang mga private endpoint at ang mga Arabic fine-tune ng BroadNet, pero hindi sinasabi ng docs kung paano tine-train ang mga ito. Kung balak mong mag-train ng sariling adapter, ikumpara iyon sa presyo ng API gamit ang post tungkol sa [self-hosting vs API](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/), at kung pareho mong pinapatakbo, kayang magpadala ng traffic sa alinman ang isang router gaya ng [LiteLLM](https://broadrouter.com/fil/guides/litellm-proxy-custom-provider/).

## Mga tanong

### Ano ang ibig sabihin ng rank r sa LoRA?

Ito ang inner size ng dalawang maliit na matrix. Kapag mas mababa ang rank, mas kaunti ang trainable parameter at mas maliit ang adapter. Iniuulat ng LoRA paper na gumana nang maayos ang rank na kasingbaba ng 1 o 2 sa GPT-3 175B.

### Kasinghusay ba ng full fine-tuning ang LoRA?

Iniuulat ng LoRA paper ang kalidad na "on-par or better than fine-tuning" (Salin ng BroadRouter: "kapantay o mas mahusay pa kaysa sa fine-tuning") sa RoBERTa, DeBERTa, GPT-2 at GPT-3, na mas kakaunti ang trainable parameter. I-test ito sa sarili mong task.

### Puwede ba akong mag-upload ng LoRA adapter sa BroadNet Inference?

Hindi inilalarawan ng docs ng BroadNet ang pag-upload ng adapter. Inaalok kapag hiniling ang mga private endpoint at ang sariling mga fine-tune ng BroadNet.

## Tingnan din

-   [Fine-tuning](https://broadrouter.com/fil/glossary/fine-tuning/) (termino)
-   [Quantization](https://broadrouter.com/fil/glossary/quantization/) (termino)
-   [Open-weight model](https://broadrouter.com/fil/glossary/open-weight-model/) (termino)
-   [Distillation (knowledge distillation)](https://broadrouter.com/fil/glossary/distillation/) (termino)
-   [Paano i-route ang LiteLLM sa BroadNet Inference (SDK at proxy)](https://broadrouter.com/fil/guides/litellm-proxy-custom-provider/) (gabay)
-   [Self-hosting ng LLM vs API: ang tunay na gastos at break-even](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/) (artikulo)
-   [Open-weight vs closed na AI model sa negosyo: gastos, kontrol, risk](https://broadrouter.com/fil/blog/open-weight-vs-closed-models/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-lora&utm_content=page-cta) ·

**Mga source**

-   [Hu et al. (2021), LoRA - Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)
-   [Hugging Face PEFT, conceptual guide sa LoRA](https://huggingface.co/docs/peft/main/en/conceptual_guides/lora)
-   [API reference ng BroadNet Inference, mga model ID (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-lora&utm_content=sources#models)
