LoRA giúp việc fine-tune model lớn trở nên khả thi trên phần cứng thông thường, bằng cách huấn luyện một phần hiệu chỉnh rất nhỏ thay vì cả model.
Cách hoạt động
Hu và các cộng sự nhận thấy rằng thay đổi mà fine-tune tạo ra trên một ma trận trọng số thường có rank thấp. Vì vậy LoRA giữ nguyên ma trận gốc W₀ ở trạng thái đóng băng và học phần thay đổi dưới dạng tích của hai ma trận mỏng:
W = W₀ + BA, trong đó B có kích thước d × r, A có kích thước r × k, và r nhỏ hơn nhiều so với d hay k.
B bắt đầu bằng 0, nên quá trình huấn luyện xuất phát từ model chưa thay đổi. Bài báo chủ yếu áp dụng LoRA cho các phép chiếu query và value của attention.
Mức tiết kiệm tham số rất dễ tính. Với một ma trận 4,096 × 4,096:
| Tham số | |
|---|---|
| Cập nhật toàn bộ | 4,096 × 4,096 = 16,777,216 |
| LoRA, r = 8 | 8 × (4,096 + 4,096) = 65,536 |
Tức khoảng 0.4% so với toàn bộ. Trên GPT-3 175B, bài báo báo cáo số tham số huấn luyện ít hơn 10,000 lần, bộ nhớ GPU giảm 3 lần, và checkpoint thu nhỏ từ khoảng 350 GB xuống khoảng 35 MB.
Vì sao quan trọng
- Huấn luyện rẻ hơn. Ít trọng số cần huấn luyện nghĩa là ít bộ nhớ cho trạng thái optimizer. Kết hợp với lượng tử hóa model gốc đã đóng băng, model lớn hơn có thể chạy trên GPU nhỏ hơn.
- Không thêm độ trễ. Hướng dẫn PEFT của Hugging Face lưu ý adapter có thể được gộp bằng
merge_and_unload(), nên chi phí phục vụ bằng model gốc. - Nhiều tác vụ, một model gốc. Vì model gốc được đóng băng, bạn có thể giữ một bản model open-weight và thay các adapter nhỏ cho từng khách hàng hoặc tác vụ.
- Giới hạn. LoRA thay đổi hành vi và văn phong tốt. Nó vẫn là fine-tune, nên cần dữ liệu tốt và một bộ eval.
Trên BroadNet Inference
Tài liệu tham chiếu API của BroadNet không đề cập LoRA, việc tải adapter lên hay chọn adapter theo từng request. Bạn gọi các ID model cố định như broadnet/qwen3.8-27b. Endpoint riêng và các bản fine-tune tiếng Ả Rập của BroadNet có theo yêu cầu, nhưng tài liệu không nói chúng được huấn luyện thế nào. Nếu bạn định tự huấn luyện adapter, hãy so sánh với giá API qua bài tự host hay dùng API, và nếu bạn chạy cả hai, một router như LiteLLM có thể gửi traffic tới bên nào cũng được.