エンベディングは、コンピューターが「意味」を測る方法です。似たことを言っている 2 つのテキストは、似た方向を向いた 2 つのベクトルになります。
しくみ
テキストを埋め込みモデルに送ると、固定長のベクトルが 1 つ返ってきます。OpenAI のガイドは端的に「An embedding is a vector (list) of floating point numbers.」(訳:エンベディングとは、浮動小数点数のベクトル(リスト)である)と説明しています。長さはモデルごとに決まっています。OpenAI の text-embedding-3-small はデフォルトで 1,536 個、text-embedding-3-large は 3,072 個の数値を返します。
2 つのテキストを比べるには、そのベクトルを比べます。OpenAI はコサイン類似度を勧めています。同社のベクトルは長さ 1 に正規化されているので、単純な内積でも同じ順位になります。クエリのベクトルを何百万もの保存済みベクトルと比べるのが、セマンティック検索の中核です。それを大規模に高速で行うのがベクトルデータベースの役割です。
埋め込みモデルはチャットモデルとは別の種類のモデルです。入力全体を読んで数値を返し、テキストは生成しません。課金は入力トークン単位で、支払うべき出力テキストはありません。
なぜ重要か
- 検索。 エンベディングは検索拡張生成の最初のステップとして一般的です。ドキュメントを一度埋め込み、質問のたびにそれを埋め込み、最も近いチャンクを取り出してチャットモデルに渡します。
- モデルの選択で結果が変わります。 MTEB ベンチマークは 8 種類のタスク、58 のデータセット、112 の言語で 33 のモデルをテストし、「no particular text embedding method dominates across all tasks.」(訳:すべてのタスクで優位に立つテキスト埋め込みの手法はない)という結果でした。特にアラビア語や多言語が混ざるテキストでは、ご自身のクエリでテストしてください。
- ロックイン。 あるモデルのベクトルは、別のモデルのベクトルと比較できません。埋め込みモデルを替えるには、コーパス全体を埋め込み直す必要があります。
BroadNet Inference の場合
BroadNet のドキュメントに記載されているのは /v1/chat/completions、/v1/audio/transcriptions、GET /v1/models(モデル一覧)で、エンベディングのエンドポイントはありません。検索や RAG のシステムでは、別の埋め込みモデル(ホスト型の API か、自分で動かすオープンモデル)と、回答を担当する BroadNet のチャットモデルを組み合わせてください。アラビア語の RAG ガイドでは、多言語の埋め込みモデルを使ってこの分担を示しています。
ドキュメントが収まるなら、長いコンテキストウィンドウで検索そのものを省けることもあります。トレードオフは長いコンテキストと RAG の比較にあります。
よくある間違い
- 2 つの埋め込みモデルのベクトルを 1 つのインデックスに混在させること。
- チャンクではなくドキュメント全体を埋め込むこと。50 ページを 1 つのベクトルにすると、含まれるすべてのトピックがぼやけます。
- ドキュメントだけ正規化してクエリはしない、またはその逆。両方に同じテキストのクリーニングを適用してください。