BroadRouter

アラビア語 RAG:うまくいく正規化、チャンク分割、検索

BroadNet Inference チーム · 約 6 分で読めます · 公開日

アラビア語 RAG を機能させるには、インデックス前にテキストを正規化し(alef の字形、ya と alef maqsura、ta marbuta を統一し、ダイアクリティカルマークと tatweel を除去)、段落単位でチャンク分割し、多言語埋め込みモデルとキーワード検索を組み合わせ、長コンテキスト LLM に検索結果から出典付きで答えさせます。クエリも同じく正規化します。

A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."

アラビア語で検索拡張生成(RAG)を機能させるには、文書とクエリを同じ綴りの規則で正規化し、段落単位でチャンク分割し、アラビア語のキーワードアナライザーと多言語埋め込みモデルの両方で検索し、LLM には検索で得た文章だけをもとに出典付きで回答させます。

RAG の元論文が示すパターンは、検索してから生成する、というものです。アラビア語の RAG の失敗はほとんどが前半で起きます。ユーザーは “الفاتوره” と入力し、インデックスには “الفاتورة” が入っている。規定には “إلغاء” とあり、ユーザーは “الغاء” と書く。埋め込みモデルは主に英語で学習されている。検索を直せば、LLM の部分はたいてい自然にうまくいきます。

アラビア語の RAG パイプラインはどのような構成ですか?

  1. 抽出:PDF、ウェブページ、ヘルプセンターの記事からテキストを取り出します。スキャンされたアラビア語の PDF についてはアラビア語 OCR とビジョン LLM の比較をご覧ください。
  2. 正規化:インデックス用にテキストのコピーを正規化します。
  3. チャンク分割:見出しと段落という構造に沿って分割します。
  4. インデックス作成:キーワードインデックスとベクトルインデックスの 2 つを作ります。
  5. 検索:正規化したクエリで両方を検索し、結果を統合して再ランキングします。
  6. 生成:上位の文章から回答を作り、出典として引用します。

検索のためにアラビア語テキストをどう正規化すべきですか?

アラビア語では同じ単語に複数の綴りがあり、ユーザーがダイアクリティカルマークや hamza を一貫して入力することはまずありません。インデックス用のコピーとすべてのクエリを、同じ関数で正規化してください。

規則 文字 理由
alef を統一 أ إ آ ٱ → ا 入力時に hamza が省略されることが多い
alef maqsura ى → ي エジプトでの入力や緩い綴りでよく見られる
ta marbuta ة → ه ユーザーは語末に ه と入力する
ダイアクリティカルマークを除去 U+064B〜U+0652、U+0670 ほとんどのテキストとクエリは母音記号なし
tatweel を除去 ـ (U+0640) 装飾的な引き伸ばし
数字 ٠–٩ → 0–9 どちらの書き方の数字にもマッチさせる

アラビア語テキスト正規化ツールで、自社のテキストに各オプションを試せます。対応する Python 関数も出力されます。

import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))

コードポイントは Unicode のアラビア文字コード表に載っています。注意点が 2 つあります。

  • **正規化したテキストは絶対に表示しないでください。**元のテキストを隣に保存し、表示、引用、LLM への送信には元のテキストを使います。正規化したアラビア語は、読み手には誤字だらけに見えます。
  • **統合によって意味が失われる場合があります。**ة → ه ではいくつかの単語の組が統合され、ى → ي では “على”(〜の上に)と “علي”(アリー)が統合されます。検索の再現率のためなら通常は割に合うトレードオフですが、自社のクエリでテストしてください。

同じ規則はアラビア語音声認識の精度測定でも中心的な役割を果たすので、スタック全体で 1 つの関数を使い回せます。

アラビア語の文書はどうチャンク分割すべきですか?

  • **構造で分割する。**見出し、契約書の番号付き条項(المادة ١، المادة ٢)、段落の区切りは自然な境界です。
  • **1 チャンクあたり数百語、**1〜2 文のオーバーラップを付けます。アラビア語の単語は英単語より多くの形態素を含むので、1 チャンクがカバーする意味は、語数から想像するより多くなります。
  • 文の境界:. ؟ ! やアラビア語の読点 ، での分割は最後の手段にしてください。多くのアラビア語の文章は و でつながった長い文を使うため、段落単位の分割のほうが安全です。
  • **文脈を持たせる。**各チャンクの先頭にアラビア語で文書タイトルとセクション見出しを付けます。そうすれば “تُطبَّق هذه الرسوم”(これらの料金が適用されます)と書かれたチャンクでも、どの料金のことかがわかります。

RAG チャンク計算ツールは、チャンクサイズ、オーバーラップ、top-k から、チャンク数、クエリあたりのトークン数、月額コストを算出します。

なぜキーワード検索と埋め込みを組み合わせるのですか?

キーワード検索

アラビア語の形態論は、単純なキーワードマッチングを無力にします。كتاب、الكتاب、بالكتاب、وكتابه、كتب はどれも「本」に関係します。アラビア語を扱えるアナライザーを使ってください。Elasticsearch には Arabic 言語アナライザーが付属しており、アラビア語のストップワード、数字の正規化、アラビア語の正規化、アラビア語のステマーを順につなげています。そのため الكتاب や وكتاب のような接頭辞付きの形がマッチしやすくなります。頼る前に、自社の語彙で何が統合されるかを確認してください。

埋め込み

埋め込みモデルはテキストをベクトルに変換し、共通の単語がなくても意味の近い文章同士が近くに配置されるようにします。アラビア語では多言語モデルを選び、テストしてください。

  • **多くの言語で学習したモデルを優先する。**たとえば BGE M3 は、作者によれば 100 以上の言語に対応しています。英語専用のモデルでは、アラビア語のベクトルの質が低くなります。
  • **言語をまたぐ検索をテストする。**ユーザーがアラビア語の文書について英語で質問する場合や、その逆の場合です。
  • **元のテキストと正規化したテキストのどちらを埋め込んでもかまいませんが、文書とクエリで一貫させてください。**両方をテストしてください。結果はモデルによって異なります。

BroadNet Inference は埋め込みエンドポイントを提供していません。ドキュメントに記載されたエンドポイントはチャット補完と音声の文字起こしです。信頼できる埋め込みプロバイダーを使うか、オープンな多言語埋め込みモデルをベクトルデータベースとともに自分でホストし、生成に BroadNet を使ってください。埋め込みコスト計算ツールで、インデックス作成とクエリのコストをプロバイダー間で比較できます。

統合と再ランキング

両方の検索を実行し、reciprocal rank fusion(各文書のスコアを、各リストでの 1 / (k + 順位) の合計とする方法)で結果を統合し、上位 10〜30 件の文章を残します。リランカーや LLM による簡単な関連性チェックでさらに絞り込めますが、長コンテキストのモデルなら省略できることも多いです。

出典付きの回答はどう生成するのですか?

ID 付きの文章をモデルに渡し、それだけをもとに回答するよう指示します。

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content

このアラビア語のシステムプロンプトの意味は「添付された文章だけをもとに、平易な現代標準アラビア語でユーザーの質問に答えてください。各情報の後に文章番号を角かっこで示してください。文章の中に答えが見つからない場合は、はっきりそう述べてください」です。英語の指示でも同じように機能します。大切なのは、文章だけをもとに答え、出典を示すという規則です。

文章は質問の前に置きます。同じ文書が多くのリクエストに登場する場合は、プロンプトの先頭に同じ順序で置くと、キャッシュ入力の料金が適用されます。キャッシュ入力トークンをご覧ください。

どのモデルを使うべきですか?

モデル コンテキスト 理由
DeepSeek V4.1 Flash 1,048,576 BroadNet 上のこの 3 モデルの中でキャッシュ入力の料金が最も安い(100 万トークンあたり $0.0055)。多くの文章を入れられ、定額プランもある
GLM 5.3 1,048,576 エージェント型の検索に使えるツール呼び出しと構造化出力
Qwen3.8 27B 262,144 BroadNet がアラビア語でテスト済み。流暢な文章を書き、湾岸方言とエジプト方言を理解

100 万トークンのコンテキストがあれば、検索件数を多めに、たとえば 5 件ではなく 50 件取り、モデルに選ばせることができます。そうすれば、検索が正しい文章を 12 位にしてしまった場合の被害を減らせます。文書の数が少なければ、検索自体が不要なこともあります。長コンテキストと RAG の比較を読み、コンテキストウィンドウ計算ツールでコーパスが収まるかを確認してください。全モデルの料金は料金ページにあります。

アラビア語の RAG はどう評価するのですか?

  1. ユーザーが実際に入力する MSA、方言、英語の割合で、実際の質問を 50〜100 件書きます。
  2. それぞれの質問に答える文章に印を付けます。
  3. まず検索を測定します。正しい文章が上位 10 件に入っているか。キーワードのみ、埋め込みのみ、ハイブリッドを、正規化あり・なしで比較します。
  4. 次に回答を測定します。正しいか、出典が示されているか、答えがないときに「見つからない」と答えているか。
  5. 誤字のあるクエリや方言のクエリを意図的に含めてください。ユーザーは “أين الفاتورة” ではなく “وين الفاتوره”(湾岸・レバント方言で「請求書はどこ」)と書きます。

生成モデルを替える前に、検索を直してください。正しい文章がプロンプトに届かなければ、どのモデルも引用できません。

よくある質問

BroadNet Inference は埋め込みを提供していますか?

いいえ。ドキュメントに記載されたエンドポイントはチャット補完と音声の文字起こしです。埋め込みは別のプロバイダーのモデルを使うか、オープンな多言語埋め込みモデルを自分で動かし、生成のステップに BroadNet を使ってください。

ta marbuta は ha に正規化すべきですか?

検索では、通常はそうすべきです。ユーザーはどちらも入力するからです。いくつかの別の単語が統合されてしまいますが、ほとんどのコーパスでは再現率の向上のほうが上回ります。表示と引用には元のテキストを使ってください。

アラビア語のチャンクはどのくらいの大きさにすべきですか?

1〜3 段落、数百語から始め、少しオーバーラップを持たせます。文の途中ではなく見出しや段落の区切りで分割し、各チャンクに文書のタイトルを付けてください。

アラビア語に使える埋め込みモデルはどれですか?

多言語モデルを使い、自社のアラビア語クエリでテストしてください。たとえば BGE M3 は、作者によれば 100 以上の言語での検索に対応しています。英語専用の埋め込みモデルでは、アラビア語のベクトルの質が低くなります。

英語で検索してアラビア語の文書を見つけられますか?

はい。両言語を 1 つの空間にマッピングする多言語埋め込みモデルを使うか、キーワード検索の前に LLM でクエリを翻訳します。言語をまたぐクエリは明示的にテストしてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く