アラビア語では、同じ単語をいくつもの書き方で書けます。ユーザーは احمد と入力し、文書には أَحْمَد と書かれています。文字をそのまま比較する検索インデックスはこの一致を見逃し、RAG パイプラインのキーワード検索部分も同様です。正規化は、比較の前に異体を 1 つの形にまとめることでこれを解決します。しかし雑に行うと、意味の異なる単語までまとめてしまいます。この記事では、ルールを 1 つずつ取り上げ、何をするか、いつ適用するか、何を壊すか、主要なライブラリでどう違うかを説明し、最後にテスト済みの Python コードを示します。
アラビア語 RAG パイプライン全体(チャンク分割、ハイブリッド検索、引用付きの回答)については、実用的なアラビア語 RAGを参照してください。この記事は、そのうち正規化の手順を深掘りします。
正規化は本当に検索に役立ちますか?
キーワード検索については役立ちます。証拠は古いものの明確です。Larkey、Ballesteros、Connell(SIGIR 2002)は、TREC-2001 のニュース記事コレクションでアラビア語の検索をテストしました。ステミングの前に、コーパスとクエリを正規化しています。母音記号と句読点の除去、アリフの統一、語末の ى と ة の変換です。拡張なしのクエリによる単一言語での結果は次のとおりです。
| 処理 | 平均適合率 | 生テキストからの変化(丸めた数値から算出) |
|---|---|---|
| 生テキスト | .194 | — |
| 正規化 | .238 | +22.7% |
| 正規化+軽量ステミング(light8) | .376 | +93.8% |
注意点が 2 つあります。これは 2002 年のニュースを対象としたキーワード検索であり、埋め込み検索ではありません。また、最大の効果は軽量ステミング(و や ال などの接頭辞と一般的な接尾辞の除去)によるもので、これは正規化とは別の手順です。Lucene の ArabicAnalyzer と Elasticsearch の arabic アナライザーは、ノーマライザーと軽量ステマーの両方を適用します。
何を正規化し、各ルールの代償は何ですか?
| ルール | 例 | 検索インデックス | リスク |
|---|---|---|---|
| Unicode NFKC | ﻻ → لا、ا + ٔ → أ | 適用する。常に最初 | 他の文字体系の互換文字も書き換える |
| 不可視の記号を除去 | ゼロ幅接合子、RLM/LRM、BOM | 適用する | アラビア語にはなし。ZWNJ はペルシア語では意味を持つ |
| タシュキールを除去 | أَحْمَدُ → أحمد | 適用する | 母音だけで区別される単語がまとまる |
| タトウィール(ـ)を除去 | الـــمدينة → المدينة | 適用する | なし |
| アリフを統一 | أ إ آ ٱ → ا | 適用する | 少数の組がまとまる:سأل(尋ねた)と سال(流れた) |
| アリフ・マクスーラ | ى → ي | 通常は適用 | على(〜の上に)と علي(アリー)がまとまる |
| ター・マルブータ | ة → ه | 通常は適用 | كتابة(書くこと)と كتابه(彼の本)がまとまる |
| ハムザの台 | ؤ ئ → ء | 任意 | مسؤول と مسئول がまとまる(良い)が、別の単語もまとまる |
| ペルシア文字 | ی → ي、ک → ك | ユーザーがペルシア語キーボードを使うなら適用 | アラビア語テキストにはなし |
| 数字 | ٢٠٢٦ と ۲۰۲۶ → 2026 | 適用する | なし。表示用には原文を残す |
「検索インデックス」の列は、インデックスキーとクエリに対するものです。保存、表示し、モデルに渡すテキストは書かれたままにします。
なぜ Unicode 正規化を最初に行うのですか?
見た目が同じ文字でも、保存の仕方が異なることがあります。أ は 1 つのコードポイント(U+0623)の場合もあれば、ハムザなしのアリフに結合ハムザが続く形(U+0627 U+0654)の場合もあります。古い PDF や一部のキーボードは、アラビア文字の表示形(U+FB50〜U+FEFF)を生成します。たとえば 1 文字のラーム・アリフ ﻻ です。Unicode 正規化では、NFC がハムザをアリフに合成し、NFKC はさらに表示形や合字を展開します。Python では unicodedata.normalize("NFKC", "ﻻ") は لا を返し、ﷲ は الله になります。
これを何よりも先に実行してください。そうしないと、أ を置換する正規表現が分解形を見逃します。もう 1 つ落とし穴があります。CAMeL Tools の dediac_ar は、AR_DIAC_CHARSET(U+064B〜U+0652 と U+0670)の文字を除去します。このセットには結合ハムザやマッダの記号(U+0653〜U+0655)が含まれないため、分解形のテキストでは母音記号の除去後もそれらが残ります。NFKC なら先にそれらを合成します。
NFKC は互換マッピングなので、アラビア文字以外の文字、たとえば全角のラテン文字も変えます。検索キーでは通常それが望ましい結果であり、原文を隣に残す理由がもう 1 つ増えます。
正規化すべきでないものは?
- **表示、引用、引き写すテキスト。**正規化したアラビア語はスペルミスのように見えます(المدينه)。原文をキーの隣に保存してください。
- **LLM に送るもの。**モデルはハムザやタシュキールを問題なく読み、正確なテキストなら名前や引用も正しく保てます。タシュキールを除くとトークンは多少減ります。精度と引き換えにする前に、アラビア語トークンカウンターでどれだけ減るか確認してください。
- **記号が意味を担うテキスト:**コーラン、ハディース、詩、子ども向けの本、発音や母音付与のタスク(LLM で母音記号を付けるを参照)。
- **スペルや文法の校正:**先に正規化すると、直したいハムザやター・マルブータの誤りが消えてしまいます。LLM でアラビア語の文法・スペルを校正する方法を参照してください。
- **識別子。**製品コード、メールアドレス、URL、ラテン文字のテキストにアラビア語のルールを通してはいけません。正規化はアラビア文字のフィールド、またはアラビア文字のトークンだけに適用します。
- **完全一致で検索されるフィールド。**法的な名称や ID のようなフィールドでは、生のコピーもインデックスしておけば、完全一致を最上位に表示できます。
CAMeL Tools、PyArabic、Lucene はどう違いますか?
これらは同じルールを実装していないので、混ぜて使うとインデックスとクエリが永遠に一致しなくなります。各ライブラリのドキュメントとソースを読み、PyArabic 0.6.15 を実行しました。
| 関数 | 実際の動作 |
|---|---|
CAMeL normalize_unicode |
NFKC(compatibility=False なら NFC)。﷼ を ريال に、﷽ を完全な句に展開する |
CAMeL normalize_alef_ar |
إ أ ٱ آ → ا |
CAMeL normalize_alef_maksura_ar |
ى → ي |
CAMeL normalize_teh_marbuta_ar |
ة → ه |
CAMeL dediac_ar |
U+064B〜U+0652 と U+0670 を除去。タトウィールは残す |
PyArabic strip_tashkeel |
シャッダを含むすべてのハラカートを除去 |
PyArabic strip_tatweel |
ـ を除去 |
PyArabic normalize_alef |
すべてのアリフの形と ى → ا。إلى は الا になる |
PyArabic normalize_hamza |
既定の方法では أ を含むすべてのハムザの形を ء にする。أحمد は ءحمد になる |
Lucene ArabicNormalizer |
アリフ上のハムザの形 → ا、ة → ه、ى → ي、ハラカートとタトウィールを除去 |
PyArabic の行には驚く人が多いはずです。normalize_alef の docstring にはアリフ・マクスーラは例外とありますが、0.6.15 では ALEFAT セットに ى が含まれ、関数はそれを ا に変換します。normalize_hamza はハムザを区別しない照合のためのもので、一般的な検索向けではありません。順序も重要です。先にアリフを正規化すると、normalize_hamza は ؤ、ئ、ء だけを処理するので、مسؤول と مسئول はどちらも مسءول になります。tasheel メソッドでは代わりに مسوول と مسيول になり、互いに一致しません。
Elasticsearch の arabic_normalization フィルターは Lucene のノーマライザーを使うので、Elasticsearch のインデックスと一致させたい Python パイプラインは、Lucene のルールを正確に写すべきです。つまり ى → ا ではなく ى → ي です。
テスト済みのノーマライザーはどんなものですか?
この関数は Lucene の選択に従い、Unicode、数字、ペルシア文字の処理を加え、リスクのあるルールを切り替え可能にしています。標準ライブラリだけを使います。
import re
import unicodedata
DIACRITICS = re.compile("[ً-ٰٟ]") # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[---]") # zero-width, bidi
ALEF = re.compile("[آأإٱ]") # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"}) # ی -> ي, ک -> ك
def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
hamza_seats=False, digits=True):
text = unicodedata.normalize("NFKC", text) # compose marks, unpack ligatures
text = INVISIBLE.sub("", text)
text = DIACRITICS.sub("", text).replace("ـ", "") # tashkeel, tatweel
text = text.translate(FARSI)
if alef:
text = ALEF.sub("ا", text)
if alef_maksura:
text = text.replace("ى", "ي") # ى -> ي
if ta_marbuta:
text = text.replace("ة", "ه") # ة -> ه
if hamza_seats:
text = re.sub("[ؤئ]", "ء", text) # ؤ ئ -> ء
if digits:
text = text.translate(DIGITS)
return text
テスト文字列に対する結果は次のとおりです。
| 入力 | 出力 | 補足 |
|---|---|---|
| أَحْمَدُ | احمد | タシュキールとハムザが消える |
| الـــمدينة | المدينه | タトウィールとター・マルブータ |
| إلى | الي | アリフとアリフ・マクスーラ |
| ا + U+0654 + مل | امل | 分解されたハムザが合成され、統一される |
| ﻻبد | لابد | 表示形が展開される |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | アラビア・インド数字とペルシア数字 |
| مسؤول / مسئول | hamza_seats=True ではどちらも مسءول |
既定では変化なし |
| فارسی | فارسي | ペルシア語のヤー |
使う場所は 2 つです。インデックスキーを作るときと、クエリを読み込むときです。original と normalize(original) を並べて保存し、後者で検索して前者を返します。無料のアラビア語テキスト正規化ツールにテキストを貼り付ければ、設定を決める前に各ルールの効果を確認できます。
正規化は埋め込みや RAG とどう組み合わせますか?
RAG パイプラインには通常 2 つの検索器があります。キーワード検索(BM25)と埋め込みです。正規化がキーワード側に役立つのは明らかです。埋め込み側には上記の証拠は当てはまりません。埋め込みモデルは生のテキストで学習しており、多くはすでに احمد と أحمد を近くに配置しています。埋め込み前の正規化は、役立つことも、何も変えないことも、害になることもあります。答えのわかっている実際のクエリを 50〜100 個用意し、生の入力と正規化した入力で実行して、再現率の高いほうを採用してください。どちらを選ぶにせよ、文書とクエリには同じように適用します。
正規化するとトークン数もわずかに減ります。母音記号やタトウィールはトークナイザーにとって余分な文字だからです。実測の比率はトークナイザー効率データセットとアラビア語の 1 語あたりのトークン数にあります。音声認識を公平に評価する際にも同じ正規化を使います。アラビア語の WER 解説を参照してください。
アラビズィ(ラテン文字で書かれたアラビア語)には、まったく別のアプローチが必要です。LLM はアラビズィをどう扱うかを参照してください。
BroadNet Inference の位置づけ
正規化は自分のコードで実行するので、API は不要です。BroadNet Inference の出番は検索の後です。埋め込みは販売していないので、好みの検索器と埋め込みプロバイダーに、回答ステップ用の BroadNet のチャットモデルを組み合わせてください。GLM 5.3 と DeepSeek V4.1 Flash は 1,048,576 トークンのコンテキストを扱えるので、検索した多くの文章を、正規化していない元のアラビア語のまま渡せます。アラビア語の品質でモデルを選ぶには、アラビア語向け LLM の選び方を参照してください。キーワード検索だけが必要なら、Elasticsearch の組み込みの arabic アナライザーで十分かもしれません。
