ハムザは、アラビア語の正しい綴りとよく見かける綴りを分けることが最も多い、小さな記号です。أحمد と احمد は、読み手にとっては同じ名前ですが、コンピューターにとっては別の文字列です。
仕組み
Unicode 標準は “the hamza may occur above or below other letters”(訳:ハムザはほかの文字の上または下に置かれることがある)と述べ、台となる文字として alef、waw、yeh を挙げています。台に載った字形は、それぞれ 1 つの合成済み文字として符号化されています。
| 文字 | コードポイント | Unicode 名 |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
Unicode は分解も定義しています。أ、ؤ、ئ は、それぞれ台の文字の後に U+0654 ARABIC HAMZA ABOVE を続けたものと正準等価です。つまり、見た目が同じ أ でも、1 つのコードポイントで届くことも 2 つで届くこともあります。Unicode 正規化で NFC か NFKC にすると、ا + U+0654 が 1 つの U+0623 に戻ります。ハムザのルールより先に Unicode 正規化を実行すべきなのはこのためです。
入力されたテキストではハムザが書かれないこともあるため、同じ単語が أ、إ、آ、あるいは何も付かない ا で現れます。正規化が対象にするのはこの揺れです。CAMeL Tools の normalize_alef_ar は إ أ ٱ آ を ا に置き換えます。Lucene の ArabicNormalizer は “hamza with alef seat to a bare alef”(訳:alef を台にしたハムザを、何も付かない alef に)正規化します。
なぜ重要か
- 検索。 ユーザーが اسلام と入力し、文書には إسلام と書かれている場合、alef のルールがなければキーワード検索で見つかりません。アラビア語テキストの正規化を参照してください。
- 音声の採点。 Open Universal Arabic ASR Leaderboard は、WER を “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas”(訳:句読点と発音記号をすべて取り除き、ハムザとマッダの付いた文字を正規化)したうえで計算しています。自分で単語誤り率を出すときに同じ処理をしないと、ハムザが抜けているだけの正しい文字起こしが誤りとして数えられ、リーダーボードの数値とも比較できなくなります。
- 代償。 ハムザをまとめると、ハムザだけが違う単語が統合されます。動詞 سأل(彼は尋ねた)と سال(それは流れた)は、どちらも سال になります。小辞 إن と أن は、どちらも ان になります。ほとんどの検索では許容できますが、スペル修正や法律文書では許容できません。
BroadNet Inference では
BroadNet の API はテキストをそのまま通すので、ハムザの扱いはお使いのコードで行います。BroadNet Transcribe Arabic の文字起こしは普通のアラビア語テキストなので、採点の前に、参照テキストと文字起こしの両方に同じ正規化をかけてください。BroadNet のドキュメントのとおり、language=ar を指定してください。リクエストの例はアラビア語音声認識ガイドにあります。
ユーザーが入力したテキストのハムザを直すには、チャットモデルが役立ちます。スペル修正の記事では、意図した文字だけが変わったことを確認する方法を紹介しています。まとめる処理で文字列がどう変わるかは、アラビア語テキスト正規化ツールで試せます。