アラビア語のユーザーは、同じ単語をいくつもの書き方で入力します。正規化は、それらの綴りを一致させるための処理です。
しくみ
正規化は、保存するテキストとクエリの両方に適用する文字の書き換えルールの集まりです。多くの検索エンジンで使われている Apache Lucene の ArabicNormalizer は、次の 5 つのルールを挙げています。
- アリフを台にしたハムザを、ただのアリフにする。
- ター・マルブータ(ة)をハー(ه)にする。
- 点のないヤー、つまりアリフ・マクスーラ(ى)をヤー(ي)にする。
- ハラカート(発音記号)を取り除く。
- 「引き伸ばし文字」であるタトウィールを取り除く。
CAMeL Tools は、同じ考え方を個別の関数として提供しています。normalize_alef_ar は إ أ ٱ آ(U+0625、U+0623、U+0671、U+0622)を ا に、normalize_alef_maksura_ar は ى を ي に、normalize_teh_marbuta_ar は ة を ه に置き換えます。normalize_unicode はデフォルトで NFKC を実行します。これは Unicode 正規化で、最初に行うべき処理です。
タトウィール(U+0640、カシーダとも呼ばれます)は、Unicode 標準が行の均等割り付け用と説明している連結文字です。文字の間に挿入すると行が引き伸ばされます。意味は持たないので、كتـــاب と كتاب は一致すべきです。
具体例です。
| 入力 | 正規化後 | 適用したルール |
|---|---|---|
| إِسْلامٌ | اسلام | 発音記号、アリフ |
| مدرسة | مدرسه | ター・マルブータ |
| مستشفى | مستشفي | アリフ・マクスーラ |
| كتـــاب | كتاب | タトウィール |
なぜ重要か
Larkey、Ballesteros、Connell(2002)は、TREC-2001 のアラビア語ニュースコレクションを正規化しました。句読点、発音記号、文字以外を取り除き、いくつかの文字の異体を 1 つの形に置き換えたものです。正規化だけで、単一言語の平均適合率は .194 から .238 に上がりました。さらに彼らの light8 ステマーを重ねると .376 に達しました。
同じことが次の場面にも当てはまります。
- RAG とキーワード検索。 ハムザなしで入力したクエリでも、ハムザ付きで書かれたドキュメントが見つかるべきです。アラビア語の RAG 検索を参照してください。
- 単語誤り率。 アラビア語 ASR のスコアは、参照テキストと書き起こしが同じ方法で正規化されたかどうかで変わります。その影響はアラビア語 WER の解説記事で示しています。
- 重複排除と分析。 正規化せずに単語やユーザーの用語を数えると、1 つの単語がいくつにも分かれます。
代償は、別の単語が 1 つにまとまってしまうことです。アリフを統一すると、異なる小辞 إن と أن が同じ文字列になり、ة を ه にするルールは كرة(ボール)と كره(憎しみ)を一緒にしてしまいます。ハムザとター・マルブータのルールは調整可能なものとして扱ってください。
BroadNet Inference の場合
正規化は API ではなく、あなたのコードの中で行います。BroadNet のチャットと書き起こしのエンドポイントは、テキストや音声を受け取ったまま処理します。2 つのコピーを持ってください。モデルとユーザー向けの元のテキストと、照合用の正規化したキーです。
無料のアラビア語テキスト正規化ツールはこれらのルールをブラウザで適用し、それぞれのルールが何を変えるかを確認できます。正規化ガイドには、テスト済みの Python コードとルールごとの検討があります。
よくある間違い
- ドキュメントは正規化してクエリは正規化しない、あるいはその逆。
- 正規化したテキストをユーザーに表示したり、引用したりすること。
- ى の置き換え方が 2 通りあるなど、ルールの異なるライブラリを混ぜて使うこと。