---
title: "アラビア語 RAG：テキスト正規化、チャンク分割、埋め込み | BroadRouter"
description: "アラビア語文書での検索拡張生成（RAG）。alef、ya、ta marbuta の正規化、適切なチャンク分割、多言語埋め込みモデルの選び方、キーワード検索の併用を解説します。"
url: https://broadrouter.com/ja/blog/arabic-rag-search/
lang: ja
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/blog/arabic-rag-search/)（2026-11-14 更新）。

# アラビア語 RAG：うまくいく正規化、チャンク分割、検索

BroadNet Inference チーム · 約 6 分で読めます · 公開日 2026-11-14

アラビア語 RAG を機能させるには、インデックス前にテキストを正規化し（alef の字形、ya と alef maqsura、ta marbuta を統一し、ダイアクリティカルマークと tatweel を除去）、段落単位でチャンク分割し、多言語埋め込みモデルとキーワード検索を組み合わせ、長コンテキスト LLM に検索結果から出典付きで答えさせます。クエリも同じく正規化します。

## 要点

-   文書とクエリは同じ方法で正規化します。أ/إ/آ は ا に、ى は ي に、ة は ه に。ダイアクリティカルマークと tatweel は除去します。
-   表示用には元のテキストを残し、正規化したコピーでインデックスを作ります。
-   アラビア語アナライザー付きのキーワード検索と多言語埋め込みを組み合わせ、自社のクエリでハイブリッド検索とそれぞれ単独の場合を比較テストしてください。
-   アラビア語のクエリでテスト済みの多言語埋め込みモデルを選んでください。BroadNet Inference は埋め込みエンドポイントを提供していません。
-   長コンテキストのモデルなら検索件数を多めに取れます。DeepSeek V4.1 Flash と GLM 5.3 は 1,048,576 トークンを受け付けます。

**このページの内容**

1.  アラビア語の RAG パイプラインはどのような構成ですか？
2.  検索のためにアラビア語テキストをどう正規化すべきですか？
3.  アラビア語の文書はどうチャンク分割すべきですか？
4.  なぜキーワード検索と埋め込みを組み合わせるのですか？
5.  出典付きの回答はどう生成するのですか？
6.  アラビア語の RAG はどう評価するのですか？

_[image: A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."]_

アラビア語で[検索拡張生成](https://broadrouter.com/ja/glossary/rag/)（RAG）を機能させるには、文書とクエリを同じ綴りの規則で正規化し、段落単位でチャンク分割し、アラビア語のキーワードアナライザーと多言語埋め込みモデルの両方で検索し、LLM には検索で得た文章だけをもとに出典付きで回答させます。

[RAG の元論文](https://arxiv.org/abs/2005.11401)が示すパターンは、検索してから生成する、というものです。アラビア語の RAG の失敗はほとんどが前半で起きます。ユーザーは “الفاتوره” と入力し、インデックスには “الفاتورة” が入っている。規定には “إلغاء” とあり、ユーザーは “الغاء” と書く。埋め込みモデルは主に英語で学習されている。検索を直せば、LLM の部分はたいてい自然にうまくいきます。

## アラビア語の RAG パイプラインはどのような構成ですか？

1.  **抽出**：PDF、ウェブページ、ヘルプセンターの記事からテキストを取り出します。スキャンされたアラビア語の PDF については[アラビア語 OCR とビジョン LLM の比較](https://broadrouter.com/ja/blog/arabic-ocr-vision-llm/)をご覧ください。
2.  **正規化**：インデックス用にテキストのコピーを正規化します。
3.  **チャンク分割**：見出しと段落という構造に沿って分割します。
4.  **インデックス作成**：キーワードインデックスとベクトルインデックスの 2 つを作ります。
5.  **検索**：正規化したクエリで両方を検索し、結果を統合して再ランキングします。
6.  **生成**：上位の文章から回答を作り、出典として引用します。

## 検索のためにアラビア語テキストをどう正規化すべきですか？

アラビア語では同じ単語に複数の綴りがあり、ユーザーがダイアクリティカルマークや hamza を一貫して入力することはまずありません。インデックス用のコピーとすべてのクエリを、同じ関数で正規化してください。

| 規則 | 文字 | 理由 |
| --- | --- | --- |
| alef を統一 | أ إ آ ٱ → ا | 入力時に hamza が省略されることが多い |
| alef maqsura | ى → ي | エジプトでの入力や緩い綴りでよく見られる |
| ta marbuta | ة → ه | ユーザーは語末に ه と入力する |
| ダイアクリティカルマークを除去 | U+064B〜U+0652、U+0670 | ほとんどのテキストとクエリは母音記号なし |
| tatweel を除去 | ـ (U+0640) | 装飾的な引き伸ばし |
| 数字 | ٠–٩ → 0–9 | どちらの書き方の数字にもマッチさせる |

[アラビア語テキスト正規化ツール](https://broadrouter.com/tools/arabic-text-normalizer/)で、自社のテキストに各オプションを試せます。対応する Python 関数も出力されます。

```python
import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
```

コードポイントは [Unicode のアラビア文字コード表](https://www.unicode.org/charts/PDF/U0600.pdf)に載っています。注意点が 2 つあります。

-   \*\*正規化したテキストは絶対に表示しないでください。\*\*元のテキストを隣に保存し、表示、引用、LLM への送信には元のテキストを使います。正規化したアラビア語は、読み手には誤字だらけに見えます。
-   \*\*統合によって意味が失われる場合があります。\*\*ة → ه ではいくつかの単語の組が統合され、ى → ي では “على”（〜の上に）と “علي”（アリー）が統合されます。検索の再現率のためなら通常は割に合うトレードオフですが、自社のクエリでテストしてください。

同じ規則は[アラビア語音声認識の精度測定](https://broadrouter.com/ja/blog/arabic-asr-wer-explained/)でも中心的な役割を果たすので、スタック全体で 1 つの関数を使い回せます。

## アラビア語の文書はどうチャンク分割すべきですか？

-   \*\*構造で分割する。\*\*見出し、契約書の番号付き条項（المادة ١، المادة ٢）、段落の区切りは自然な境界です。
-   \*\*1 チャンクあたり数百語、\*\*1〜2 文のオーバーラップを付けます。アラビア語の単語は英単語より多くの形態素を含むので、1 チャンクがカバーする意味は、語数から想像するより多くなります。
-   **文の境界：**. ؟ ! やアラビア語の読点 ، での分割は最後の手段にしてください。多くのアラビア語の文章は و でつながった長い文を使うため、段落単位の分割のほうが安全です。
-   \*\*文脈を持たせる。\*\*各チャンクの先頭にアラビア語で文書タイトルとセクション見出しを付けます。そうすれば “تُطبَّق هذه الرسوم”（これらの料金が適用されます）と書かれたチャンクでも、どの料金のことかがわかります。

[RAG チャンク計算ツール](https://broadrouter.com/tools/rag-chunking-calculator/)は、チャンクサイズ、オーバーラップ、top-k から、チャンク数、クエリあたりのトークン数、月額コストを算出します。

## なぜキーワード検索と埋め込みを組み合わせるのですか？

### キーワード検索

アラビア語の形態論は、単純なキーワードマッチングを無力にします。كتاب、الكتاب、بالكتاب、وكتابه、كتب はどれも「本」に関係します。アラビア語を扱えるアナライザーを使ってください。Elasticsearch には [Arabic 言語アナライザー](https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html)が付属しており、アラビア語のストップワード、数字の正規化、アラビア語の正規化、アラビア語のステマーを順につなげています。そのため الكتاب や وكتاب のような接頭辞付きの形がマッチしやすくなります。頼る前に、自社の語彙で何が統合されるかを確認してください。

### 埋め込み

[埋め込みモデル](https://broadrouter.com/ja/glossary/embeddings/)はテキストをベクトルに変換し、共通の単語がなくても意味の近い文章同士が近くに配置されるようにします。アラビア語では多言語モデルを選び、テストしてください。

-   \*\*多くの言語で学習したモデルを優先する。\*\*たとえば [BGE M3](https://arxiv.org/abs/2402.03216) は、作者によれば 100 以上の言語に対応しています。英語専用のモデルでは、アラビア語のベクトルの質が低くなります。
-   \*\*言語をまたぐ検索をテストする。\*\*ユーザーがアラビア語の文書について英語で質問する場合や、その逆の場合です。
-   \*\*元のテキストと正規化したテキストのどちらを埋め込んでもかまいませんが、文書とクエリで一貫させてください。\*\*両方をテストしてください。結果はモデルによって異なります。

BroadNet Inference は埋め込みエンドポイントを提供していません。ドキュメントに記載されたエンドポイントはチャット補完と音声の文字起こしです。信頼できる埋め込みプロバイダーを使うか、オープンな多言語埋め込みモデルを[ベクトルデータベース](https://broadrouter.com/ja/glossary/vector-database/)とともに自分でホストし、生成に BroadNet を使ってください。[埋め込みコスト計算ツール](https://broadrouter.com/tools/embedding-cost-calculator/)で、インデックス作成とクエリのコストをプロバイダー間で比較できます。

### 統合と再ランキング

両方の検索を実行し、reciprocal rank fusion（各文書のスコアを、各リストでの 1 / (k + 順位) の合計とする方法）で結果を統合し、上位 10〜30 件の文章を残します。リランカーや LLM による簡単な関連性チェックでさらに絞り込めますが、長コンテキストのモデルなら省略できることも多いです。

## 出典付きの回答はどう生成するのですか？

ID 付きの文章をモデルに渡し、それだけをもとに回答するよう指示します。

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content
```

このアラビア語のシステムプロンプトの意味は「添付された文章だけをもとに、平易な現代標準アラビア語でユーザーの質問に答えてください。各情報の後に文章番号を角かっこで示してください。文章の中に答えが見つからない場合は、はっきりそう述べてください」です。英語の指示でも同じように機能します。大切なのは、文章だけをもとに答え、出典を示すという規則です。

文章は質問の前に置きます。同じ文書が多くのリクエストに登場する場合は、プロンプトの先頭に同じ順序で置くと、キャッシュ入力の料金が適用されます。[キャッシュ入力トークン](https://broadrouter.com/ja/blog/cached-input-tokens-explained/)をご覧ください。

### どのモデルを使うべきですか？

| モデル | コンテキスト | 理由 |
| --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/ja/models/deepseek-v4.1-flash/) | 1,048,576 | BroadNet 上のこの 3 モデルの中でキャッシュ入力の料金が最も安い（100 万トークンあたり $0.0055）。多くの文章を入れられ、定額プランもある |
| [GLM 5.3](https://broadrouter.com/ja/models/glm-5.3/) | 1,048,576 | エージェント型の検索に使えるツール呼び出しと構造化出力 |
| [Qwen3.8 27B](https://broadrouter.com/ja/models/qwen3.8-27b/) | 262,144 | BroadNet がアラビア語でテスト済み。流暢な文章を書き、湾岸方言とエジプト方言を理解 |

100 万トークンのコンテキストがあれば、検索件数を多めに、たとえば 5 件ではなく 50 件取り、モデルに選ばせることができます。そうすれば、検索が正しい文章を 12 位にしてしまった場合の被害を減らせます。文書の数が少なければ、検索自体が不要なこともあります。[長コンテキストと RAG の比較](https://broadrouter.com/ja/blog/long-context-vs-rag/)を読み、[コンテキストウィンドウ計算ツール](https://broadrouter.com/tools/context-window-calculator/)でコーパスが収まるかを確認してください。全モデルの料金は[料金ページ](https://broadrouter.com/ja/pricing/)にあります。

## アラビア語の RAG はどう評価するのですか？

1.  ユーザーが実際に入力する MSA、方言、英語の割合で、実際の質問を 50〜100 件書きます。
2.  それぞれの質問に答える文章に印を付けます。
3.  まず検索を測定します。正しい文章が上位 10 件に入っているか。キーワードのみ、埋め込みのみ、ハイブリッドを、正規化あり・なしで比較します。
4.  次に回答を測定します。正しいか、出典が示されているか、答えがないときに「見つからない」と答えているか。
5.  誤字のあるクエリや方言のクエリを意図的に含めてください。ユーザーは “أين الفاتورة” ではなく “وين الفاتوره”（湾岸・レバント方言で「請求書はどこ」）と書きます。

生成モデルを替える前に、検索を直してください。正しい文章がプロンプトに届かなければ、どのモデルも引用できません。

関連する無料ツール（英語）

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[無料ツール（英語）](https://broadrouter.com/tools/)

## この記事の用語

[エンベディング（埋め込み、embeddings）](https://broadrouter.com/ja/glossary/embeddings/)

エンベディング（埋め込み）とは、テキストや画像などの入力を表すためにモデルが出力する浮動小数点数のリスト（ベクトル）です。意味の近い入力ほどベクトルも近いので、その距離で検索結果の順位付け、文書の分類、関連項目の発見ができます。

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[チャンク分割（chunking）](https://broadrouter.com/ja/glossary/chunking/)

チャンク分割とは、検索パイプラインで埋め込みとインデックス化の前に文書をチャンクと呼ぶ小さな断片に分ける処理です。チャンクサイズは各断片の量を決め、オーバーラップは隣接チャンク間でテキストを重複させて境界で切れた内容の欠落を防ぎます。

[ツール呼び出し（Function Calling、tool calling）](https://broadrouter.com/ja/glossary/tool-calling/)

ツール呼び出し（Function Calling とも呼ばれます）とは、開発者が定義した関数の実行を求める構造化されたリクエストを、モデルが JSON の引数付きで返す LLM API の機能です。関数を実行して結果を返すのはアプリケーションで、モデル自身がコードを実行することはありません。

[ハムザ（hamza）](https://broadrouter.com/ja/glossary/hamza/)

ハムザ（ء）とは、アラビア語で声門閉鎖音を表す文字です。単独か、alef（أ إ）、waw（ؤ）、yeh（ئ）を台にして書き、آ は alef と madda の組み合わせです。表記が揺れるため、検索や音声の採点では alef 系の字形を ا にまとめることがよくあります。

[キャッシュ入力トークン（cached input tokens）](https://broadrouter.com/ja/glossary/cached-input-tokens/)

キャッシュ入力トークンとは、LLM プロバイダーが直前に処理し、再計算せずにキャッシュから再利用できるプロンプトのトークンです。通常はシステムプロンプトやドキュメントなど繰り返し送るプレフィックスで、新しい入力トークンより安い単価で課金されます。

[リランキング（reranking）](https://broadrouter.com/ja/glossary/reranking/)

リランキングとは検索の第 2 段階で、より正確だが遅いモデル（通常はクロスエンコーダー）が、一次検索で得たクエリと候補文書のペアをそれぞれ採点して並べ替え、最も関連性の高い少数だけを言語モデルに渡します。

[現代標準アラビア語（MSA）](https://broadrouter.com/ja/glossary/msa/)

現代標準アラビア語（MSA）とは、アラブ世界全体で書き言葉、ニュース、教育、公式のスピーチに使われる標準化されたアラビア語です。誰の日常の母語でもなく、人々はエジプト方言や湾岸方言などの地域方言を話し、改まった場面で MSA に切り替えます。

## よくある質問

### BroadNet Inference は埋め込みを提供していますか？

いいえ。ドキュメントに記載されたエンドポイントはチャット補完と音声の文字起こしです。埋め込みは別のプロバイダーのモデルを使うか、オープンな多言語埋め込みモデルを自分で動かし、生成のステップに BroadNet を使ってください。

### ta marbuta は ha に正規化すべきですか？

検索では、通常はそうすべきです。ユーザーはどちらも入力するからです。いくつかの別の単語が統合されてしまいますが、ほとんどのコーパスでは再現率の向上のほうが上回ります。表示と引用には元のテキストを使ってください。

### アラビア語のチャンクはどのくらいの大きさにすべきですか？

1〜3 段落、数百語から始め、少しオーバーラップを持たせます。文の途中ではなく見出しや段落の区切りで分割し、各チャンクに文書のタイトルを付けてください。

### アラビア語に使える埋め込みモデルはどれですか？

多言語モデルを使い、自社のアラビア語クエリでテストしてください。たとえば BGE M3 は、作者によれば 100 以上の言語での検索に対応しています。英語専用の埋め込みモデルでは、アラビア語のベクトルの質が低くなります。

### 英語で検索してアラビア語の文書を見つけられますか？

はい。両言語を 1 つの空間にマッピングする多言語埋め込みモデルを使うか、キーワード検索の前に LLM でクエリを翻訳します。言語をまたぐクエリは明示的にテストしてください。

## 続けて読む

-   [ロングコンテキストか RAG か：100 万トークンがベクトル DB に代わるとき](https://broadrouter.com/ja/blog/long-context-vs-rag/)
-   [アラビア語音声認識の単語誤り率（WER）をわかりやすく解説](https://broadrouter.com/ja/blog/arabic-asr-wer-explained/)
-   [アラビア語のプロンプトエンジニアリング：文体、RTL、数字、混在テキスト](https://broadrouter.com/ja/blog/arabic-prompt-engineering/)
-   [アラビア語向け LLM API の選び方：何をテストすべきか](https://broadrouter.com/ja/blog/choosing-an-llm-for-arabic/)
-   [LLM でアラビア語に母音記号を付ける：プロンプト、検証、DER](https://broadrouter.com/ja/blog/arabic-diacritization-llm/)
-   [LLM でアラビア語の文法・スペルを校正する方法](https://broadrouter.com/ja/blog/arabic-grammar-spelling-correction-llm/)
-   [ガイド：LangChain で BroadNet Inference を使う](https://broadrouter.com/ja/guides/langchain-openai-base-url/)
-   [ガイド：OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/)

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-arabic-rag-search&utm_content=page-cta) ·

**出典**

-   [Lewis ほか、Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（arXiv 2005.11401、2026-11-14 取得）](https://arxiv.org/abs/2005.11401)
-   [Chen ほか、M3-Embedding：100 以上の言語に対応（arXiv 2402.03216、2026-11-14 取得）](https://arxiv.org/abs/2402.03216)
-   [Elasticsearch の言語アナライザー、arabic アナライザーのフィルター（2026-11-14 取得）](https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html)
-   [Unicode アラビア文字コード表、U+0600〜U+06FF（2026-11-14 取得）](https://www.unicode.org/charts/PDF/U0600.pdf)
-   [BroadNet Inference API リファレンス、利用可能なエンドポイント（2026-11-14 取得）（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-arabic-rag-search&utm_content=sources)
