---
title: "LoRA là gì? Low-rank adaptation để fine-tune LLM | BroadRouter"
description: "LoRA fine-tune LLM bằng cách huấn luyện hai ma trận low-rank nhỏ bên cạnh trọng số được đóng băng. Cách hoạt động, phép tính tham số và vì sao nó không thêm độ trễ."
url: https://broadrouter.com/vi/glossary/lora/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/lora/) (cập nhật ngày 2026-11-14).

# LoRA (low-rank adaptation)

Cập nhật 2026-11-14

LoRA (low-rank adaptation) là phương pháp fine-tune tiết kiệm tham số: đóng băng trọng số của model đã huấn luyện sẵn và chỉ huấn luyện một cặp ma trận low-rank nhỏ cho các layer được chọn. Phần cập nhật có thể lưu thành adapter nhỏ hoặc gộp vào trọng số, không thêm độ trễ inference.

Còn gọi là: LoRA là gì, fine-tune LoRA, LoRA adapter, thích ứng hạng thấp, huấn luyện LoRA, low-rank adaptation, LoRA fine-tuning

LoRA giúp việc fine-tune model lớn trở nên khả thi trên phần cứng thông thường, bằng cách huấn luyện một phần hiệu chỉnh rất nhỏ thay vì cả model.

## Cách hoạt động

Hu và các cộng sự nhận thấy rằng thay đổi mà fine-tune tạo ra trên một ma trận trọng số thường có rank thấp. Vì vậy LoRA giữ nguyên ma trận gốc W₀ ở trạng thái đóng băng và học phần thay đổi dưới dạng tích của hai ma trận mỏng:

W = W₀ + BA, trong đó B có kích thước d × r, A có kích thước r × k, và r nhỏ hơn nhiều so với d hay k.

B bắt đầu bằng 0, nên quá trình huấn luyện xuất phát từ model chưa thay đổi. Bài báo chủ yếu áp dụng LoRA cho các phép chiếu query và value của attention.

Mức tiết kiệm tham số rất dễ tính. Với một ma trận 4,096 × 4,096:

|  | Tham số |
| --- | --- |
| Cập nhật toàn bộ | 4,096 × 4,096 = 16,777,216 |
| LoRA, r = 8 | 8 × (4,096 + 4,096) = 65,536 |

Tức khoảng 0.4% so với toàn bộ. Trên GPT-3 175B, bài báo báo cáo số tham số huấn luyện ít hơn 10,000 lần, bộ nhớ GPU giảm 3 lần, và checkpoint thu nhỏ từ khoảng 350 GB xuống khoảng 35 MB.

## Vì sao quan trọng

-   **Huấn luyện rẻ hơn.** Ít trọng số cần huấn luyện nghĩa là ít bộ nhớ cho trạng thái optimizer. Kết hợp với [lượng tử hóa](https://broadrouter.com/vi/glossary/quantization/) model gốc đã đóng băng, model lớn hơn có thể chạy trên GPU nhỏ hơn.
-   **Không thêm độ trễ.** Hướng dẫn PEFT của Hugging Face lưu ý adapter có thể được gộp bằng `merge_and_unload()`, nên chi phí phục vụ bằng model gốc.
-   **Nhiều tác vụ, một model gốc.** Vì model gốc được đóng băng, bạn có thể giữ một bản [model open-weight](https://broadrouter.com/vi/glossary/open-weight-model/) và thay các adapter nhỏ cho từng khách hàng hoặc tác vụ.
-   **Giới hạn.** LoRA thay đổi hành vi và văn phong tốt. Nó vẫn là [fine-tune](https://broadrouter.com/vi/glossary/fine-tuning/), nên cần dữ liệu tốt và một bộ eval.

## Trên BroadNet Inference

[Tài liệu tham chiếu API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-lora&utm_content=body#models) của BroadNet không đề cập LoRA, việc tải adapter lên hay chọn adapter theo từng request. Bạn gọi các ID model cố định như `broadnet/qwen3.8-27b`. Endpoint riêng và các bản fine-tune tiếng Ả Rập của BroadNet có theo yêu cầu, nhưng tài liệu không nói chúng được huấn luyện thế nào. Nếu bạn định tự huấn luyện adapter, hãy so sánh với giá API qua bài [tự host hay dùng API](https://broadrouter.com/vi/blog/self-hosting-llm-vs-api-cost/), và nếu bạn chạy cả hai, một router như [LiteLLM](https://broadrouter.com/vi/guides/litellm-proxy-custom-provider/) có thể gửi traffic tới bên nào cũng được.

## Câu hỏi thường gặp

### Rank r trong LoRA nghĩa là gì?

Đó là kích thước bên trong của hai ma trận nhỏ. Rank càng thấp thì càng ít tham số cần huấn luyện và adapter càng nhỏ. Bài báo LoRA báo cáo rằng rank thấp tới 1 hoặc 2 vẫn hoạt động tốt trên GPT-3 175B.

### LoRA có tốt bằng fine-tune toàn bộ không?

Bài báo LoRA báo cáo chất lượng “on-par or better than fine-tuning” (Bản dịch: ngang bằng hoặc tốt hơn fine-tune) trên RoBERTa, DeBERTa, GPT-2 và GPT-3, với ít tham số huấn luyện hơn rất nhiều. Hãy kiểm thử trên tác vụ của bạn.

### Tôi có thể tải LoRA adapter lên BroadNet Inference không?

Tài liệu của BroadNet không mô tả việc tải adapter lên. Endpoint riêng và các bản fine-tune của chính BroadNet được cung cấp theo yêu cầu.

## Xem thêm

-   [Fine-tuning (tinh chỉnh model)](https://broadrouter.com/vi/glossary/fine-tuning/) (thuật ngữ)
-   [Lượng tử hóa (quantization)](https://broadrouter.com/vi/glossary/quantization/) (thuật ngữ)
-   [Model trọng số mở (open-weight model)](https://broadrouter.com/vi/glossary/open-weight-model/) (thuật ngữ)
-   [Chưng cất tri thức (knowledge distillation)](https://broadrouter.com/vi/glossary/distillation/) (thuật ngữ)
-   [Kết nối LiteLLM tới BroadNet Inference (SDK và proxy)](https://broadrouter.com/vi/guides/litellm-proxy-custom-provider/) (hướng dẫn)
-   [Tự host LLM hay dùng API: chi phí thực và điểm hòa vốn](https://broadrouter.com/vi/blog/self-hosting-llm-vs-api-cost/) (bài viết)
-   [LLM open-weight hay đóng cho doanh nghiệp: chi phí, kiểm soát, rủi ro](https://broadrouter.com/vi/blog/open-weight-vs-closed-models/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-lora&utm_content=page-cta) ·

**Nguồn**

-   [Hu và cộng sự (2021), LoRA - Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)
-   [Hugging Face PEFT, hướng dẫn khái niệm LoRA](https://huggingface.co/docs/peft/main/en/conceptual_guides/lora)
-   [Tài liệu tham chiếu API BroadNet Inference, ID model (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-lora&utm_content=sources#models)
