BroadRouter
始める

ハムザ(hamza)

更新日

ハムザ(ء)とは、アラビア語で声門閉鎖音を表す文字です。単独か、alef(أ إ)、waw(ؤ)、yeh(ئ)を台にして書き、آ は alef と madda の組み合わせです。表記が揺れるため、検索や音声の採点では alef 系の字形を ا にまとめることがよくあります。

別名: ハムザ、ハムザの正規化、アラビア語 ハムザ、hamza、hamzah、hamza forms、hamza normalization

ハムザは、アラビア語の正しい綴りとよく見かける綴りを分けることが最も多い、小さな記号です。أحمد と احمد は、読み手にとっては同じ名前ですが、コンピューターにとっては別の文字列です。

仕組み

Unicode 標準は “the hamza may occur above or below other letters”(訳:ハムザはほかの文字の上または下に置かれることがある)と述べ、台となる文字として alef、waw、yeh を挙げています。台に載った字形は、それぞれ 1 つの合成済み文字として符号化されています。

文字 コードポイント Unicode 名
ء U+0621 ARABIC LETTER HAMZA
أ U+0623 ARABIC LETTER ALEF WITH HAMZA ABOVE
إ U+0625 ARABIC LETTER ALEF WITH HAMZA BELOW
آ U+0622 ARABIC LETTER ALEF WITH MADDA ABOVE
ؤ U+0624 ARABIC LETTER WAW WITH HAMZA ABOVE
ئ U+0626 ARABIC LETTER YEH WITH HAMZA ABOVE

Unicode は分解も定義しています。أ、ؤ、ئ は、それぞれ台の文字の後に U+0654 ARABIC HAMZA ABOVE を続けたものと正準等価です。つまり、見た目が同じ أ でも、1 つのコードポイントで届くことも 2 つで届くこともあります。Unicode 正規化で NFC か NFKC にすると、ا + U+0654 が 1 つの U+0623 に戻ります。ハムザのルールより先に Unicode 正規化を実行すべきなのはこのためです。

入力されたテキストではハムザが書かれないこともあるため、同じ単語が أ、إ、آ、あるいは何も付かない ا で現れます。正規化が対象にするのはこの揺れです。CAMeL Tools の normalize_alef_ar は إ أ ٱ آ を ا に置き換えます。Lucene の ArabicNormalizer は “hamza with alef seat to a bare alef”(訳:alef を台にしたハムザを、何も付かない alef に)正規化します。

なぜ重要か

  • 検索。 ユーザーが اسلام と入力し、文書には إسلام と書かれている場合、alef のルールがなければキーワード検索で見つかりません。アラビア語テキストの正規化を参照してください。
  • 音声の採点。 Open Universal Arabic ASR Leaderboard は、WER を “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas”(訳:句読点と発音記号をすべて取り除き、ハムザとマッダの付いた文字を正規化)したうえで計算しています。自分で単語誤り率を出すときに同じ処理をしないと、ハムザが抜けているだけの正しい文字起こしが誤りとして数えられ、リーダーボードの数値とも比較できなくなります。
  • 代償。 ハムザをまとめると、ハムザだけが違う単語が統合されます。動詞 سأل(彼は尋ねた)と سال(それは流れた)は、どちらも سال になります。小辞 إن と أن は、どちらも ان になります。ほとんどの検索では許容できますが、スペル修正や法律文書では許容できません。

BroadNet Inference では

BroadNet の API はテキストをそのまま通すので、ハムザの扱いはお使いのコードで行います。BroadNet Transcribe Arabic の文字起こしは普通のアラビア語テキストなので、採点の前に、参照テキストと文字起こしの両方に同じ正規化をかけてください。BroadNet のドキュメントのとおり、language=ar を指定してください。リクエストの例はアラビア語音声認識ガイドにあります。

ユーザーが入力したテキストのハムザを直すには、チャットモデルが役立ちます。スペル修正の記事では、意図した文字だけが変わったことを確認する方法を紹介しています。まとめる処理で文字列がどう変わるかは、アラビア語テキスト正規化ツールで試せます。

よくある質問

ハムザは文字ですか、それとも補助記号ですか?

どちらの見方もあります。Unicode は ء(U+0621)を文字 ARABIC LETTER HAMZA として符号化する一方、分解形で使う結合文字 HAMZA ABOVE(U+0654)も持っています。

ؤ と ئ も正規化すべきですか?

一般的なツールは、デフォルトでは正規化しません。CAMeL Tools の alef ルールも Lucene のルールも、対象は alef 系の字形だけです。waw や yeh を台にしたハムザもまとめると再現率はさらに上がりますが、統合される単語も増えます。ご自身のクエリでテストしてください。

LLM は抜けているハムザを補えますか?

スペル修正の一環として、たいていは補えます。ただし、ほかに何も変えていないか確認してください。修正後のテキストも正規化しないまま検索キーに使うのは避けてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く