BroadRouter
始める

アラビア語テキストの正規化(Arabic text normalization)

更新日

アラビア語テキストの正規化とは、照合の前に同じ単語の表記ゆれを 1 つの形にそろえる処理です。発音記号とタトウィールを取り除き、アリフの形を統一し、多くの場合 ى を ي に、ة を ه に置き換えます。検索キーと評価に使い、表示するテキストには使いません。

別名: アラビア語 正規化、アラビア語 表記ゆれ、アリフ 正規化、正書法の正規化、タトウィール、カシーダ、Arabic normalization、alef normalization、orthographic normalization、tatweel、kashida、alef variants、Arabic text normalization

アラビア語のユーザーは、同じ単語をいくつもの書き方で入力します。正規化は、それらの綴りを一致させるための処理です。

しくみ

正規化は、保存するテキストとクエリの両方に適用する文字の書き換えルールの集まりです。多くの検索エンジンで使われている Apache Lucene の ArabicNormalizer は、次の 5 つのルールを挙げています。

  1. アリフを台にしたハムザを、ただのアリフにする。
  2. ター・マルブータ(ة)をハー(ه)にする。
  3. 点のないヤー、つまりアリフ・マクスーラ(ى)をヤー(ي)にする。
  4. ハラカート(発音記号)を取り除く。
  5. 「引き伸ばし文字」であるタトウィールを取り除く。

CAMeL Tools は、同じ考え方を個別の関数として提供しています。normalize_alef_ar は إ أ ٱ آ(U+0625、U+0623、U+0671、U+0622)を ا に、normalize_alef_maksura_ar は ى を ي に、normalize_teh_marbuta_ar は ة を ه に置き換えます。normalize_unicode はデフォルトで NFKC を実行します。これは Unicode 正規化で、最初に行うべき処理です。

タトウィール(U+0640、カシーダとも呼ばれます)は、Unicode 標準が行の均等割り付け用と説明している連結文字です。文字の間に挿入すると行が引き伸ばされます。意味は持たないので、كتـــاب と كتاب は一致すべきです。

具体例です。

入力 正規化後 適用したルール
إِسْلامٌ اسلام 発音記号、アリフ
مدرسة مدرسه ター・マルブータ
مستشفى مستشفي アリフ・マクスーラ
كتـــاب كتاب タトウィール

なぜ重要か

Larkey、Ballesteros、Connell(2002)は、TREC-2001 のアラビア語ニュースコレクションを正規化しました。句読点、発音記号、文字以外を取り除き、いくつかの文字の異体を 1 つの形に置き換えたものです。正規化だけで、単一言語の平均適合率は .194 から .238 に上がりました。さらに彼らの light8 ステマーを重ねると .376 に達しました。

同じことが次の場面にも当てはまります。

  • RAG とキーワード検索。 ハムザなしで入力したクエリでも、ハムザ付きで書かれたドキュメントが見つかるべきです。アラビア語の RAG 検索を参照してください。
  • 単語誤り率。 アラビア語 ASR のスコアは、参照テキストと書き起こしが同じ方法で正規化されたかどうかで変わります。その影響はアラビア語 WER の解説記事で示しています。
  • 重複排除と分析。 正規化せずに単語やユーザーの用語を数えると、1 つの単語がいくつにも分かれます。

代償は、別の単語が 1 つにまとまってしまうことです。アリフを統一すると、異なる小辞 إن と أن が同じ文字列になり、ة を ه にするルールは كرة(ボール)と كره(憎しみ)を一緒にしてしまいます。ハムザとター・マルブータのルールは調整可能なものとして扱ってください。

BroadNet Inference の場合

正規化は API ではなく、あなたのコードの中で行います。BroadNet のチャットと書き起こしのエンドポイントは、テキストや音声を受け取ったまま処理します。2 つのコピーを持ってください。モデルとユーザー向けの元のテキストと、照合用の正規化したキーです。

無料のアラビア語テキスト正規化ツールはこれらのルールをブラウザで適用し、それぞれのルールが何を変えるかを確認できます。正規化ガイドには、テスト済みの Python コードとルールごとの検討があります。

よくある間違い

  • ドキュメントは正規化してクエリは正規化しない、あるいはその逆。
  • 正規化したテキストをユーザーに表示したり、引用したりすること。
  • ى の置き換え方が 2 通りあるなど、ルールの異なるライブラリを混ぜて使うこと。

よくある質問

正規化はエンベディング検索にも効果がありますか?

古典的な結果はキーワード検索で測定されたものです。エンベディングについては、自分のクエリで正規化した入力としていない入力をテストしてから決めてください。

LLM に送る前にテキストを正規化すべきですか?

通常はしません。モデルが実際の綴り、ハムザ、発音記号を見られるよう、元のテキストを送ってください。正規化するのは、照合・インデックス・採点に使うコピーだけです。

どのライブラリも同じルールを使っていますか?

いいえ。CAMeL Tools と Lucene はどちらもアリフ・マクスーラをヤーに、ター・マルブータをハーに置き換えますが、ほかのライブラリは異なります。1 つのルールセットを選び、ドキュメントにもクエリにも同じものを使ってください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く