مدرسة と مدرسه は、多くのアラビア語の読み手にとって同じ「学校」という単語です。しかし文字列比較にとっては別の単語です。その原因がター・マルブータです。
仕組み
Unicode 標準は TEH MARBUTA(U+0629)を語末の文字、つまり語や形態素の末尾にしか現れない文字としています。右結合の文字なので、前の文字にだけつながります。字形は語末の HEH(U+0647)に 2 つの点を加えたものです。
| 文字 | コードポイント | Unicode 名 | ب の後の語末形 |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
2 つは語末で 2 つの点しか違わないため、入力されたテキストには両方の綴りが現れます。Bouamor ら(2018)は、現代標準アラビア語には標準的な正書法がある一方で方言にはなく、人々は発音に合わせて綴ることが多いと指摘しています。そのため、くだけたテキストやアラビア語の方言のテキストでは、辞書なら ة と書くところに語末の ه が出てくると考えてください。
検索用の正規化は両者をまとめます。CAMeL Tools の normalize_teh_marbuta_ar は単純な s.replace('ة', 'ه') で、Lucene の ArabicNormalizer も “normalization of teh marbuta to heh”(訳:teh marbuta を heh に正規化する)をルールの 1 つに挙げています。
なぜ重要か
再現率。 ة を ه にまとめると、مدرسه というクエリで مدرسة と綴った文書が見つかり、その逆も同様です。これはアラビア語テキストの正規化の標準ルールの 1 つで、アリフやハムザの統一と並びます。
単語の統合。 このルールは、この 1 文字だけが違う単語も 1 つにしてしまいます。
| 元の語 | 意味 | ة を ه にした後 |
|---|---|---|
| كرة | ボール | كره |
| كره | 憎しみ | كره |
検索では、ときどき起こる誤マッチは通常は許容できる代償です。エンティティのマッチング、スペル修正、法律文書では区別を残し、元の文字列で比較してください。
スコアリング。 音声認識の評価では、参照が ة の箇所を文字起こしが ه と書くと、両方を同じ方法で正規化しない限り単語誤りとして数えられます。スコアを出す前に決め、その旨を明記してください。
BroadNet Inference の場合
BroadNet の API はテキストを正規化しません。チャットモデルは ة と ه を書かれたとおりに受け取って返し、BroadNet Transcribe Arabic は普通のアラビア語テキストを返します。ة のルールは、自分のインデックスやスコアリングのコードで、両側に適用してください。
チャットモデルにスペル修正をさせる場合は、その編集をコードで確認してください。アラビア語のスペル修正の記事で差分ベースのチェックを紹介しています。インデックスについては、アラビア語 RAG 検索の記事と正規化ガイドが、このルールをどこに入れるかを示しています。アラビア語テキスト正規化ツールで、手元の文字列にルールを試すこともできます。