BroadRouter
始める

LoRA(Low-Rank Adaptation)

更新日

LoRA(低ランク適応)とは、事前学習済みモデルの重みを凍結し、選んだ層の小さな低ランク行列のペアだけを学習する、効率的なファインチューニング手法です。更新は小さなアダプターで保存でき、重みにマージすれば推論レイテンシも増えません。

別名: LoRA、LoRA ファインチューニング、低ランク適応、LoRA アダプター、PEFT、low-rank adaptation、LoRA adapter、LoRA fine-tuning

LoRA は、モデル全体ではなく小さな補正だけを学習することで、大きなモデルのファインチューニングを普通のハードウェアで現実的なものにしました。

仕組み

Hu らは、ファインチューニングが重み行列にもたらす変化は低ランクになりやすいことに気づきました。そこで LoRA は元の行列 W₀ を凍結したまま、変化を 2 つの細い行列の積として学習します。

W = W₀ + BA。ここで B は d × r、A は r × k で、r は d や k よりずっと小さい値です。

B はゼロから始まるため、学習は変更前のモデルから始まります。論文では主に、attention のクエリと値の射影に LoRA を適用しました。

パラメータの削減量は簡単に計算できます。4,096 × 4,096 の行列 1 つの場合です。

パラメータ数
全体を更新 4,096 × 4,096 = 16,777,216
LoRA、r = 8 8 × (4,096 + 4,096) = 65,536

全体の約 0.4% です。GPT-3 175B では、論文は学習パラメータが 1 万分の 1、GPU メモリが 3 分の 1 になり、チェックポイントが約 350 GB から約 35 MB に縮んだと報告しています。

なぜ重要か

  • 学習が安い。 学習する重みが少ないほど、オプティマイザーの状態に必要なメモリも減ります。凍結したベースモデルの量子化と組み合わせれば、より大きなモデルを小さな GPU に収められます。
  • レイテンシが増えない。 Hugging Face の PEFT ガイドによると、アダプターは merge_and_unload() でマージできるため、提供コストはベースモデルと同じです。
  • 1 つのベースで多くのタスク。 ベースは凍結したままなので、オープンウェイトモデルを 1 つだけ持ち、顧客やタスクごとに小さなアダプターを切り替えられます。
  • 限界。 LoRA は振る舞いやスタイルの変更が得意です。それでもファインチューニングであることに変わりはなく、良いデータと評価が必要です。

BroadNet Inference の場合

BroadNet の API リファレンスには、LoRA、アダプターのアップロード、リクエストごとのアダプター選択についての記載はありません。呼び出すのは broadnet/qwen3.8-27b のような固定のモデル ID です。専用エンドポイントと BroadNet のアラビア語向けファインチューニング済みモデルは要相談で提供されていますが、どう学習したかはドキュメントに書かれていません。自分でアダプターを学習するつもりなら、セルフホストと API の比較の記事で API 料金と比べてください。両方を使うなら、LiteLLM のようなルーターでどちらにもトラフィックを送れます。

よくある質問

LoRA のランク r とは何ですか?

2 つの小さな行列の内側の次元です。ランクが低いほど学習するパラメータが減り、アダプターも小さくなります。LoRA の論文は、GPT-3 175B で 1 や 2 という低いランクでもうまく機能したと報告しています。

LoRA はフルファインチューニングと同じくらい良いですか?

LoRA の論文は、RoBERTa、DeBERTa、GPT-2、GPT-3 で "on-par or better than fine-tuning"(訳:ファインチューニングと同等以上)の品質を、はるかに少ない学習パラメータで達成したと報告しています。自分のタスクでテストしてください。

BroadNet Inference に LoRA アダプターをアップロードできますか?

BroadNet のドキュメントにはアダプターのアップロードについての記載がありません。専用エンドポイントと BroadNet 独自のファインチューニング済みモデルは要相談で提供されています。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く