ベクトルデータベースは、ひとつの問いにとても速く答えます。保存されているもののうち、このクエリと意味が近いのはどれか?
仕組み
各レコードは、固定長の数値の列であるエンベディングと、元テキスト、ドキュメント ID、日付などのメタデータからなります。検索時には、同じモデルで質問をエンベディングし、最も近い上位 k 件のベクトルを求めます。
「近い」には距離の尺度が必要です。Postgres の拡張機能 pgvector には 3 つの演算子があります。<-> はユークリッド(L2)距離、<#> は負の内積、<=> はコサイン距離です。使っているエンベディングモデルが学習時に前提とした尺度を選んでください。OpenAI は自社のベクトルにコサイン類似度を推奨しています。
クエリを保存済みのすべてのベクトルと比べる方法は厳密ですが、規模が大きくなると遅くなります。近似最近傍(ANN)インデックスはこれを回避します。
| インデックス | 仕組み | トレードオフ(pgvector のドキュメントによる) |
|---|---|---|
| HNSW | 階層化された近傍グラフ | 速度と再現率のバランスが良い、構築が遅い、メモリを多く使う |
| IVFFlat | ベクトルを複数のリストにグループ化 | 構築が速い、メモリが少ない、同じ再現率ではクエリが遅い |
Malkov と Yashunin の HNSW 論文は、疎な上位層から探索を始めるグラフの積み重ねを説明しており、これが “allows a logarithmic complexity scaling.”(訳:計算量を対数オーダーでスケールさせる)としています。pgvector の README はこの取引を、近似インデックスは “trades some recall for speed.”(訳:再現率の一部を速度と引き換えにする)とまとめています。
なぜ重要か
- ほとんどの RAG システムで検索器の役割を担います。 ストアが正しいチャンクを取りこぼせば、LLM はそれを目にしません。
- 再現率は前提ではなく設定です。 ANN のパラメータによって返る結果が変わります。実際のクエリで再現率を測ってください。
- 絞り込み。 実際のクエリには、言語、顧客、日付などの条件が付きます。絞り込みがランキングの前に適用されるか確認してください。上位 k 件で切った後に適用されると、本来ヒットすべき結果が落ちます。
BroadNet Inference では
BroadNet はベクトルストレージをホストしておらず、ドキュメントにもエンベディングのエンドポイントは記載されていません。典型的な構成は、自前のベクトルストア、別の提供元のエンベディングモデル、そして取得したチャンクから回答を書く BroadNet のチャットモデルです。コーパスが小さければ、大きなコンテキストウィンドウでストアを置き換えられます。ロングコンテキストと RAG の比較を参照してください。アラビア語のテキストについては、アラビア語の RAG 検索で、ベクトルインデックスの隣にキーワードインデックスを置くと役立つ理由を説明しています。
よくある間違い
- インデックス作成時とは別のエンベディングモデルでクエリを投げる。
- 本当の問題は検索の再現率が低いことなのに、LLM のプロンプトを調整してしまう。