BroadRouter
Bắt đầu

LoRA (low-rank adaptation)

Cập nhật

LoRA (low-rank adaptation) là phương pháp fine-tune tiết kiệm tham số: đóng băng trọng số của model đã huấn luyện sẵn và chỉ huấn luyện một cặp ma trận low-rank nhỏ cho các layer được chọn. Phần cập nhật có thể lưu thành adapter nhỏ hoặc gộp vào trọng số, không thêm độ trễ inference.

Còn gọi là: LoRA là gì, fine-tune LoRA, LoRA adapter, thích ứng hạng thấp, huấn luyện LoRA, low-rank adaptation, LoRA fine-tuning

LoRA giúp việc fine-tune model lớn trở nên khả thi trên phần cứng thông thường, bằng cách huấn luyện một phần hiệu chỉnh rất nhỏ thay vì cả model.

Cách hoạt động

Hu và các cộng sự nhận thấy rằng thay đổi mà fine-tune tạo ra trên một ma trận trọng số thường có rank thấp. Vì vậy LoRA giữ nguyên ma trận gốc W₀ ở trạng thái đóng băng và học phần thay đổi dưới dạng tích của hai ma trận mỏng:

W = W₀ + BA, trong đó B có kích thước d × r, A có kích thước r × k, và r nhỏ hơn nhiều so với d hay k.

B bắt đầu bằng 0, nên quá trình huấn luyện xuất phát từ model chưa thay đổi. Bài báo chủ yếu áp dụng LoRA cho các phép chiếu query và value của attention.

Mức tiết kiệm tham số rất dễ tính. Với một ma trận 4,096 × 4,096:

Tham số
Cập nhật toàn bộ 4,096 × 4,096 = 16,777,216
LoRA, r = 8 8 × (4,096 + 4,096) = 65,536

Tức khoảng 0.4% so với toàn bộ. Trên GPT-3 175B, bài báo báo cáo số tham số huấn luyện ít hơn 10,000 lần, bộ nhớ GPU giảm 3 lần, và checkpoint thu nhỏ từ khoảng 350 GB xuống khoảng 35 MB.

Vì sao quan trọng

  • Huấn luyện rẻ hơn. Ít trọng số cần huấn luyện nghĩa là ít bộ nhớ cho trạng thái optimizer. Kết hợp với lượng tử hóa model gốc đã đóng băng, model lớn hơn có thể chạy trên GPU nhỏ hơn.
  • Không thêm độ trễ. Hướng dẫn PEFT của Hugging Face lưu ý adapter có thể được gộp bằng merge_and_unload(), nên chi phí phục vụ bằng model gốc.
  • Nhiều tác vụ, một model gốc. Vì model gốc được đóng băng, bạn có thể giữ một bản model open-weight và thay các adapter nhỏ cho từng khách hàng hoặc tác vụ.
  • Giới hạn. LoRA thay đổi hành vi và văn phong tốt. Nó vẫn là fine-tune, nên cần dữ liệu tốt và một bộ eval.

Trên BroadNet Inference

Tài liệu tham chiếu API của BroadNet không đề cập LoRA, việc tải adapter lên hay chọn adapter theo từng request. Bạn gọi các ID model cố định như broadnet/qwen3.8-27b. Endpoint riêng và các bản fine-tune tiếng Ả Rập của BroadNet có theo yêu cầu, nhưng tài liệu không nói chúng được huấn luyện thế nào. Nếu bạn định tự huấn luyện adapter, hãy so sánh với giá API qua bài tự host hay dùng API, và nếu bạn chạy cả hai, một router như LiteLLM có thể gửi traffic tới bên nào cũng được.

Câu hỏi thường gặp

Rank r trong LoRA nghĩa là gì?

Đó là kích thước bên trong của hai ma trận nhỏ. Rank càng thấp thì càng ít tham số cần huấn luyện và adapter càng nhỏ. Bài báo LoRA báo cáo rằng rank thấp tới 1 hoặc 2 vẫn hoạt động tốt trên GPT-3 175B.

LoRA có tốt bằng fine-tune toàn bộ không?

Bài báo LoRA báo cáo chất lượng “on-par or better than fine-tuning” (Bản dịch: ngang bằng hoặc tốt hơn fine-tune) trên RoBERTa, DeBERTa, GPT-2 và GPT-3, với ít tham số huấn luyện hơn rất nhiều. Hãy kiểm thử trên tác vụ của bạn.

Tôi có thể tải LoRA adapter lên BroadNet Inference không?

Tài liệu của BroadNet không mô tả việc tải adapter lên. Endpoint riêng và các bản fine-tune của chính BroadNet được cung cấp theo yêu cầu.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity