同じ 3 つのアラビア文字が、「彼は書いた」「本(複数)」「それは書かれた」のどれにもなります。それを見分けるのが発音記号で、ほとんどのテキストでは省略されています。
しくみ
Unicode 標準はこれらの記号を tashkil と呼び、“may be written as combining marks”(訳:結合文字として書かれることがある)としたうえで、“In normal writing, however, these marks are omitted.”(訳:ただし通常の書き方では、これらの記号は省略される)と続けています。ハラカート(harakat)は、そのうち短母音を表すものの呼び名です。記号はそれぞれ独立した結合文字で、付く文字の直後に置かれます。主なものは U+064B から U+0652 の範囲にあります。
| コードポイント | 名称 | 役割 |
|---|---|---|
| U+064E | FATHA | 短母音 a |
| U+064F | DAMMA | 短母音 u |
| U+0650 | KASRA | 短母音 i |
| U+064B〜U+064D | FATHATAN、DAMMATAN、KASRATAN | タンウィーン(-an、-un、-in の語尾) |
| U+0651 | SHADDA | 子音の重複 |
| U+0652 | SUKUN | 母音なし |
記号のない كتب を例にします。
- كَتَبَ(kataba)、「彼は書いた」
- كُتُب(kutub)、「本(複数)」
- كُتِبَ(kutiba)、「それは書かれた」
記号がなければ、3 つともまったく同じ文字列です。読み手は文脈から意味を選びます。ソフトウェアも同じことをしなければならず、それが発音記号付与ツール(diacritizer)の仕事です。Zerrouki と Balla(2017)は、約 7,560 万語、主に古典アラビア語からなる Tashkeela コーパスを構築しました。母音を完全に付けたテキストは少なく、付与ツールの学習にはそれが欠かせないためです。Fadel ら(2019)は、公開ベンチマークで従来の成果に並ぶか上回るニューラル付与モデルを報告し、発音記号が機械翻訳に役立つことも示しています。
ライブラリはこれらの記号を 1 つの集合として扱います。CAMeL Tools の AR_DIAC_CHARSET は U+064B〜U+0652 に U+0670(上付きアリフ)を加えたもので、dediac_ar 関数がこれらを取り除きます。
なぜ重要か
- 検索と照合。 同じ単語でも、記号の有無で別の文字列になります。アラビア語テキストの正規化の一環として検索キーから取り除かないと、完全一致が失敗します。
- トークン。 記号の一つひとつが、トークナイザーにとって余分な 1 文字です。母音を完全に付けたテキストは、記号のないテキストより目に見えてトークンが増えます。実測の比率は発音記号のガイドを、基準値はアラビア語の単語あたりのトークン数を参照してください。
- 音声と評価。 書き起こしはたいてい記号なしで返ってきます。単語誤り率は両方のテキストから発音記号を取り除いてから計算してください。そうしないと、ファトハが 1 つ多いだけの正しい単語が誤りとして数えられます。
- 記号が必要な場面。 音声合成、語学教育、クルアーンや詩のテキスト、母音がないと読みが曖昧になる人名です。
BroadNet Inference の場合
BroadNet には発音記号付与のエンドポイントはありません。チャットモデルは POST /v1/chat/completions でタシュキールを普通のテキストとして受け取るので、Qwen3.8 27B などのモデルに記号の付与や削除を頼むことはできます。安全なのは、応答をコードで確認する方法です。発音記号を取り除き、入力と 1 文字ずつ比べます。プロンプトと確認方法は LLM による発音記号付与の記事にあります。
削除にはモデルを使う必要はまったくありません。U+064B〜U+0652 を対象にした短い正規表現のほうが速く、無料で、正確です。アラビア語テキスト正規化ツールでは、その効果をブラウザで確認できます。