BroadRouter
始める

ベクトルデータベース(vector database)

更新日

ベクトルデータベースとは、エンベディングのベクトルを多くの場合元のテキストやメタデータとともに保存し、最近傍検索に答えるデータストアです。クエリベクトルに最も似た保存済みベクトルを、主にコサイン距離、ユークリッド距離、内積で返します。

別名: ベクトル DB、ベクトルストア、ベクトル検索、ベクトル検索エンジン、類似検索、近傍探索、vector database、vector store、vector DB、vector index、vector search engine、similarity search database

ベクトルデータベースは、ひとつの問いにとても速く答えます。保存されているもののうち、このクエリと意味が近いのはどれか?

仕組み

各レコードは、固定長の数値の列であるエンベディングと、元テキスト、ドキュメント ID、日付などのメタデータからなります。検索時には、同じモデルで質問をエンベディングし、最も近い上位 k 件のベクトルを求めます。

「近い」には距離の尺度が必要です。Postgres の拡張機能 pgvector には 3 つの演算子があります。<-> はユークリッド(L2)距離、<#> は負の内積、<=> はコサイン距離です。使っているエンベディングモデルが学習時に前提とした尺度を選んでください。OpenAI は自社のベクトルにコサイン類似度を推奨しています。

クエリを保存済みのすべてのベクトルと比べる方法は厳密ですが、規模が大きくなると遅くなります。近似最近傍(ANN)インデックスはこれを回避します。

インデックス 仕組み トレードオフ(pgvector のドキュメントによる)
HNSW 階層化された近傍グラフ 速度と再現率のバランスが良い、構築が遅い、メモリを多く使う
IVFFlat ベクトルを複数のリストにグループ化 構築が速い、メモリが少ない、同じ再現率ではクエリが遅い

Malkov と Yashunin の HNSW 論文は、疎な上位層から探索を始めるグラフの積み重ねを説明しており、これが “allows a logarithmic complexity scaling.”(訳:計算量を対数オーダーでスケールさせる)としています。pgvector の README はこの取引を、近似インデックスは “trades some recall for speed.”(訳:再現率の一部を速度と引き換えにする)とまとめています。

なぜ重要か

  • ほとんどの RAG システムで検索器の役割を担います。 ストアが正しいチャンクを取りこぼせば、LLM はそれを目にしません。
  • 再現率は前提ではなく設定です。 ANN のパラメータによって返る結果が変わります。実際のクエリで再現率を測ってください。
  • 絞り込み。 実際のクエリには、言語、顧客、日付などの条件が付きます。絞り込みがランキングの前に適用されるか確認してください。上位 k 件で切った後に適用されると、本来ヒットすべき結果が落ちます。

BroadNet Inference では

BroadNet はベクトルストレージをホストしておらず、ドキュメントにもエンベディングのエンドポイントは記載されていません。典型的な構成は、自前のベクトルストア、別の提供元のエンベディングモデル、そして取得したチャンクから回答を書く BroadNet のチャットモデルです。コーパスが小さければ、大きなコンテキストウィンドウでストアを置き換えられます。ロングコンテキストと RAG の比較を参照してください。アラビア語のテキストについては、アラビア語の RAG 検索で、ベクトルインデックスの隣にキーワードインデックスを置くと役立つ理由を説明しています。

よくある間違い

  • インデックス作成時とは別のエンベディングモデルでクエリを投げる。
  • 本当の問題は検索の再現率が低いことなのに、LLM のプロンプトを調整してしまう。

よくある質問

専用のベクトルデータベースは必要ですか?

必ずしも必要ではありません。pgvector のような拡張機能は Postgres にベクトル列と類似検索を追加するので、ベクトルをほかのデータと同じ場所に置けます。専用ストアが役立つのは、非常に大規模な場合や絞り込みの要件が重い場合です。

ベクトル検索は厳密ですか?

厳密にもできます。pgvector はデフォルトで厳密な最近傍検索を行い、再現率は完全です。HNSW や IVFFlat のインデックスを追加すると、近似検索になり高速になります。

ベクトルデータベースにはテキストも保存されますか?

通常は各ベクトルの横に元のチャンクかドキュメント ID を保存します。プロンプトにはテキストが必要で、ベクトルからテキストを確実に取り戻す方法はないからです。それでも Morris ら(2023)は、32 トークンのテスト入力の 92% をエンベディングから完全に復元したので、ベクトルもテキストと同じように保護してください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く