BroadRouter

検索と RAG のためのアラビア語テキスト正規化:変えるもの、変えないもの

BroadNet Inference チーム · 約 7 分で読めます · 公開日 · 更新日

検索や RAG のインデックスでは、保存するコピーとすべてのクエリを同じ方法で正規化します。Unicode NFKC、タシュキールとタトウィールの除去、アリフの統一、ى を ي、ة を ه に変換、数字の変換です。原文は表示用と LLM 用に残します。ハムザの台とター・マルブータは調整可能にします。再現率は上がりますが、別の単語もまとまります。

アラビア語では、同じ単語をいくつもの書き方で書けます。ユーザーは احمد と入力し、文書には أَحْمَد と書かれています。文字をそのまま比較する検索インデックスはこの一致を見逃し、RAG パイプラインのキーワード検索部分も同様です。正規化は、比較の前に異体を 1 つの形にまとめることでこれを解決します。しかし雑に行うと、意味の異なる単語までまとめてしまいます。この記事では、ルールを 1 つずつ取り上げ、何をするか、いつ適用するか、何を壊すか、主要なライブラリでどう違うかを説明し、最後にテスト済みの Python コードを示します。

アラビア語 RAG パイプライン全体(チャンク分割、ハイブリッド検索、引用付きの回答)については、実用的なアラビア語 RAGを参照してください。この記事は、そのうち正規化の手順を深掘りします。

正規化は本当に検索に役立ちますか?

キーワード検索については役立ちます。証拠は古いものの明確です。Larkey、Ballesteros、Connell(SIGIR 2002)は、TREC-2001 のニュース記事コレクションでアラビア語の検索をテストしました。ステミングの前に、コーパスとクエリを正規化しています。母音記号と句読点の除去、アリフの統一、語末の ى と ة の変換です。拡張なしのクエリによる単一言語での結果は次のとおりです。

処理 平均適合率 生テキストからの変化(丸めた数値から算出)
生テキスト .194 —
正規化 .238 +22.7%
正規化+軽量ステミング(light8) .376 +93.8%

注意点が 2 つあります。これは 2002 年のニュースを対象としたキーワード検索であり、埋め込み検索ではありません。また、最大の効果は軽量ステミング(و や ال などの接頭辞と一般的な接尾辞の除去)によるもので、これは正規化とは別の手順です。Lucene の ArabicAnalyzer と Elasticsearch の arabic アナライザーは、ノーマライザーと軽量ステマーの両方を適用します。

何を正規化し、各ルールの代償は何ですか?

ルール 例 検索インデックス リスク
Unicode NFKC ﻻ → لا、ا + ٔ → أ 適用する。常に最初 他の文字体系の互換文字も書き換える
不可視の記号を除去 ゼロ幅接合子、RLM/LRM、BOM 適用する アラビア語にはなし。ZWNJ はペルシア語では意味を持つ
タシュキールを除去 أَحْمَدُ → أحمد 適用する 母音だけで区別される単語がまとまる
タトウィール(ـ)を除去 الـــمدينة → المدينة 適用する なし
アリフを統一 أ إ آ ٱ → ا 適用する 少数の組がまとまる:سأل(尋ねた)と سال(流れた)
アリフ・マクスーラ ى → ي 通常は適用 على(〜の上に)と علي(アリー)がまとまる
ター・マルブータ ة → ه 通常は適用 كتابة(書くこと)と كتابه(彼の本)がまとまる
ハムザの台 ؤ ئ → ء 任意 مسؤول と مسئول がまとまる(良い)が、別の単語もまとまる
ペルシア文字 ی → ي、ک → ك ユーザーがペルシア語キーボードを使うなら適用 アラビア語テキストにはなし
数字 ٢٠٢٦ と ۲۰۲۶ → 2026 適用する なし。表示用には原文を残す

「検索インデックス」の列は、インデックスキーとクエリに対するものです。保存、表示し、モデルに渡すテキストは書かれたままにします。

なぜ Unicode 正規化を最初に行うのですか?

見た目が同じ文字でも、保存の仕方が異なることがあります。أ は 1 つのコードポイント(U+0623)の場合もあれば、ハムザなしのアリフに結合ハムザが続く形(U+0627 U+0654)の場合もあります。古い PDF や一部のキーボードは、アラビア文字の表示形(U+FB50〜U+FEFF)を生成します。たとえば 1 文字のラーム・アリフ ﻻ です。Unicode 正規化では、NFC がハムザをアリフに合成し、NFKC はさらに表示形や合字を展開します。Python では unicodedata.normalize("NFKC", "ﻻ") は لا を返し、ﷲ は الله になります。

これを何よりも先に実行してください。そうしないと、أ を置換する正規表現が分解形を見逃します。もう 1 つ落とし穴があります。CAMeL Tools の dediac_ar は、AR_DIAC_CHARSET(U+064B〜U+0652 と U+0670)の文字を除去します。このセットには結合ハムザやマッダの記号(U+0653〜U+0655)が含まれないため、分解形のテキストでは母音記号の除去後もそれらが残ります。NFKC なら先にそれらを合成します。

NFKC は互換マッピングなので、アラビア文字以外の文字、たとえば全角のラテン文字も変えます。検索キーでは通常それが望ましい結果であり、原文を隣に残す理由がもう 1 つ増えます。

正規化すべきでないものは?

  • **表示、引用、引き写すテキスト。**正規化したアラビア語はスペルミスのように見えます(المدينه)。原文をキーの隣に保存してください。
  • **LLM に送るもの。**モデルはハムザやタシュキールを問題なく読み、正確なテキストなら名前や引用も正しく保てます。タシュキールを除くとトークンは多少減ります。精度と引き換えにする前に、アラビア語トークンカウンターでどれだけ減るか確認してください。
  • **記号が意味を担うテキスト:**コーラン、ハディース、詩、子ども向けの本、発音や母音付与のタスク(LLM で母音記号を付けるを参照)。
  • **スペルや文法の校正:**先に正規化すると、直したいハムザやター・マルブータの誤りが消えてしまいます。LLM でアラビア語の文法・スペルを校正する方法を参照してください。
  • **識別子。**製品コード、メールアドレス、URL、ラテン文字のテキストにアラビア語のルールを通してはいけません。正規化はアラビア文字のフィールド、またはアラビア文字のトークンだけに適用します。
  • **完全一致で検索されるフィールド。**法的な名称や ID のようなフィールドでは、生のコピーもインデックスしておけば、完全一致を最上位に表示できます。

CAMeL Tools、PyArabic、Lucene はどう違いますか?

これらは同じルールを実装していないので、混ぜて使うとインデックスとクエリが永遠に一致しなくなります。各ライブラリのドキュメントとソースを読み、PyArabic 0.6.15 を実行しました。

関数 実際の動作
CAMeL normalize_unicode NFKC(compatibility=False なら NFC)。﷼ を ريال に、﷽ を完全な句に展開する
CAMeL normalize_alef_ar إ أ ٱ آ → ا
CAMeL normalize_alef_maksura_ar ى → ي
CAMeL normalize_teh_marbuta_ar ة → ه
CAMeL dediac_ar U+064B〜U+0652 と U+0670 を除去。タトウィールは残す
PyArabic strip_tashkeel シャッダを含むすべてのハラカートを除去
PyArabic strip_tatweel ـ を除去
PyArabic normalize_alef すべてのアリフの形と ى → ا。إلى は الا になる
PyArabic normalize_hamza 既定の方法では أ を含むすべてのハムザの形を ء にする。أحمد は ءحمد になる
Lucene ArabicNormalizer アリフ上のハムザの形 → ا、ة → ه、ى → ي、ハラカートとタトウィールを除去

PyArabic の行には驚く人が多いはずです。normalize_alef の docstring にはアリフ・マクスーラは例外とありますが、0.6.15 では ALEFAT セットに ى が含まれ、関数はそれを ا に変換します。normalize_hamza はハムザを区別しない照合のためのもので、一般的な検索向けではありません。順序も重要です。先にアリフを正規化すると、normalize_hamza は ؤ、ئ、ء だけを処理するので、مسؤول と مسئول はどちらも مسءول になります。tasheel メソッドでは代わりに مسوول と مسيول になり、互いに一致しません。

Elasticsearch の arabic_normalization フィルターは Lucene のノーマライザーを使うので、Elasticsearch のインデックスと一致させたい Python パイプラインは、Lucene のルールを正確に写すべきです。つまり ى → ا ではなく ى → ي です。

テスト済みのノーマライザーはどんなものですか?

この関数は Lucene の選択に従い、Unicode、数字、ペルシア文字の処理を加え、リスクのあるルールを切り替え可能にしています。標準ライブラリだけを使います。

import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text

テスト文字列に対する結果は次のとおりです。

入力 出力 補足
أَحْمَدُ احمد タシュキールとハムザが消える
الـــمدينة المدينه タトウィールとター・マルブータ
إلى الي アリフとアリフ・マクスーラ
ا + U+0654 + مل امل 分解されたハムザが合成され、統一される
ﻻبد لابد 表示形が展開される
٢٠٢٦ / ۱۴۰۵ 2026 / 1405 アラビア・インド数字とペルシア数字
مسؤول / مسئول hamza_seats=True ではどちらも مسءول 既定では変化なし
فارسی فارسي ペルシア語のヤー

使う場所は 2 つです。インデックスキーを作るときと、クエリを読み込むときです。original と normalize(original) を並べて保存し、後者で検索して前者を返します。無料のアラビア語テキスト正規化ツールにテキストを貼り付ければ、設定を決める前に各ルールの効果を確認できます。

正規化は埋め込みや RAG とどう組み合わせますか?

RAG パイプラインには通常 2 つの検索器があります。キーワード検索(BM25)と埋め込みです。正規化がキーワード側に役立つのは明らかです。埋め込み側には上記の証拠は当てはまりません。埋め込みモデルは生のテキストで学習しており、多くはすでに احمد と أحمد を近くに配置しています。埋め込み前の正規化は、役立つことも、何も変えないことも、害になることもあります。答えのわかっている実際のクエリを 50〜100 個用意し、生の入力と正規化した入力で実行して、再現率の高いほうを採用してください。どちらを選ぶにせよ、文書とクエリには同じように適用します。

正規化するとトークン数もわずかに減ります。母音記号やタトウィールはトークナイザーにとって余分な文字だからです。実測の比率はトークナイザー効率データセットとアラビア語の 1 語あたりのトークン数にあります。音声認識を公平に評価する際にも同じ正規化を使います。アラビア語の WER 解説を参照してください。

アラビズィ(ラテン文字で書かれたアラビア語)には、まったく別のアプローチが必要です。LLM はアラビズィをどう扱うかを参照してください。

BroadNet Inference の位置づけ

正規化は自分のコードで実行するので、API は不要です。BroadNet Inference の出番は検索の後です。埋め込みは販売していないので、好みの検索器と埋め込みプロバイダーに、回答ステップ用の BroadNet のチャットモデルを組み合わせてください。GLM 5.3 と DeepSeek V4.1 Flash は 1,048,576 トークンのコンテキストを扱えるので、検索した多くの文章を、正規化していない元のアラビア語のまま渡せます。アラビア語の品質でモデルを選ぶには、アラビア語向け LLM の選び方を参照してください。キーワード検索だけが必要なら、Elasticsearch の組み込みの arabic アナライザーで十分かもしれません。

よくある質問

アラビア語テキストをインデックスする前にタシュキール(母音記号)を除くべきですか?

検索なら、除くべきです。ほとんどのクエリと現代のテキストには母音記号がないので、除かないと母音付きの文書がマッチしません。インデックスキーとクエリから除き、表示用には原文を残します。意味を担うコーラン、詩、発音のタスクでは残してください。

ター・マルブータ(ة)はハー(ه)に正規化すべきですか?

検索では通常そうします。語末に ه と打つ人が多いからです。ただし、كتابة(書くこと)と كتابه(彼の本)のような組がまとまってしまいます。その衝突が自分の分野で問題になるなら ة を残し、両方の設定をテストしてください。

Elasticsearch のアラビア語正規化は何をしますか?

arabic_normalization トークンフィルターは Lucene の ArabicNormalizer を使い、アリフ上のハムザの各形をハムザなしのアリフに、ター・マルブータをハーに、アリフ・マクスーラをヤーに変え、ハラカートとタトウィールを除去します。組み込みの arabic アナライザーは、さらにストップワードと、接頭の冠詞、接続詞、前置詞、一般的な接尾辞を取り除くステマーを加えます。

アラビア語の正規化は埋め込み検索に役立ちますか?

はっきりしていません。測定された効果はキーワード検索によるものです。埋め込みモデルは生のテキストから学習し、表記ゆれに対応できることも多いので、採用する前に実際のクエリの小さなセットを作り、正規化の有無で再現率を比べてください。

LLM に送る前にアラビア語テキストを正規化すべきですか?

一般的には不要です。引用、名前、出典を正確に保つため、原文を送ってください。タシュキールを除くとトークンは多少減りますが、タスクで記号が不要な場合に限って行ってください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く