LoRA は、モデル全体ではなく小さな補正だけを学習することで、大きなモデルのファインチューニングを普通のハードウェアで現実的なものにしました。
仕組み
Hu らは、ファインチューニングが重み行列にもたらす変化は低ランクになりやすいことに気づきました。そこで LoRA は元の行列 W₀ を凍結したまま、変化を 2 つの細い行列の積として学習します。
W = W₀ + BA。ここで B は d × r、A は r × k で、r は d や k よりずっと小さい値です。
B はゼロから始まるため、学習は変更前のモデルから始まります。論文では主に、attention のクエリと値の射影に LoRA を適用しました。
パラメータの削減量は簡単に計算できます。4,096 × 4,096 の行列 1 つの場合です。
| パラメータ数 | |
|---|---|
| 全体を更新 | 4,096 × 4,096 = 16,777,216 |
| LoRA、r = 8 | 8 × (4,096 + 4,096) = 65,536 |
全体の約 0.4% です。GPT-3 175B では、論文は学習パラメータが 1 万分の 1、GPU メモリが 3 分の 1 になり、チェックポイントが約 350 GB から約 35 MB に縮んだと報告しています。
なぜ重要か
- 学習が安い。 学習する重みが少ないほど、オプティマイザーの状態に必要なメモリも減ります。凍結したベースモデルの量子化と組み合わせれば、より大きなモデルを小さな GPU に収められます。
- レイテンシが増えない。 Hugging Face の PEFT ガイドによると、アダプターは
merge_and_unload()でマージできるため、提供コストはベースモデルと同じです。 - 1 つのベースで多くのタスク。 ベースは凍結したままなので、オープンウェイトモデルを 1 つだけ持ち、顧客やタスクごとに小さなアダプターを切り替えられます。
- 限界。 LoRA は振る舞いやスタイルの変更が得意です。それでもファインチューニングであることに変わりはなく、良いデータと評価が必要です。
BroadNet Inference の場合
BroadNet の API リファレンスには、LoRA、アダプターのアップロード、リクエストごとのアダプター選択についての記載はありません。呼び出すのは broadnet/qwen3.8-27b のような固定のモデル ID です。専用エンドポイントと BroadNet のアラビア語向けファインチューニング済みモデルは要相談で提供されていますが、どう学習したかはドキュメントに書かれていません。自分でアダプターを学習するつもりなら、セルフホストと API の比較の記事で API 料金と比べてください。両方を使うなら、LiteLLM のようなルーターでどちらにもトラフィックを送れます。