BroadRouter

アラビア語の発音記号(タシュキール、tashkeel)

更新日

アラビア語の発音記号(タシュキール)とは、文字の上下に書く小さな記号で、短母音、子音の重複、母音がないことを示します。省略可能で、ニュースを含むほとんどのアラビア語テキストでは書かれないため、読み手もソフトウェアも文脈から母音を推測します。

別名: アラビア語 発音記号、アラビア語 母音記号、タシュキール、ハラカート、母音符号、発音区別符号、tashkeel、tashkil、harakat、diacritization、Arabic diacritization、diacritics、vowel marks、Arabic diacritics

同じ 3 つのアラビア文字が、「彼は書いた」「本(複数)」「それは書かれた」のどれにもなります。それを見分けるのが発音記号で、ほとんどのテキストでは省略されています。

しくみ

Unicode 標準はこれらの記号を tashkil と呼び、“may be written as combining marks”(訳:結合文字として書かれることがある)としたうえで、“In normal writing, however, these marks are omitted.”(訳:ただし通常の書き方では、これらの記号は省略される)と続けています。ハラカート(harakat)は、そのうち短母音を表すものの呼び名です。記号はそれぞれ独立した結合文字で、付く文字の直後に置かれます。主なものは U+064B から U+0652 の範囲にあります。

コードポイント 名称 役割
U+064E FATHA 短母音 a
U+064F DAMMA 短母音 u
U+0650 KASRA 短母音 i
U+064B〜U+064D FATHATAN、DAMMATAN、KASRATAN タンウィーン(-an、-un、-in の語尾)
U+0651 SHADDA 子音の重複
U+0652 SUKUN 母音なし

記号のない كتب を例にします。

  • كَتَبَ(kataba)、「彼は書いた」
  • كُتُب(kutub)、「本(複数)」
  • كُتِبَ(kutiba)、「それは書かれた」

記号がなければ、3 つともまったく同じ文字列です。読み手は文脈から意味を選びます。ソフトウェアも同じことをしなければならず、それが発音記号付与ツール(diacritizer)の仕事です。Zerrouki と Balla(2017)は、約 7,560 万語、主に古典アラビア語からなる Tashkeela コーパスを構築しました。母音を完全に付けたテキストは少なく、付与ツールの学習にはそれが欠かせないためです。Fadel ら(2019)は、公開ベンチマークで従来の成果に並ぶか上回るニューラル付与モデルを報告し、発音記号が機械翻訳に役立つことも示しています。

ライブラリはこれらの記号を 1 つの集合として扱います。CAMeL Tools の AR_DIAC_CHARSET は U+064B〜U+0652 に U+0670(上付きアリフ)を加えたもので、dediac_ar 関数がこれらを取り除きます。

なぜ重要か

  • 検索と照合。 同じ単語でも、記号の有無で別の文字列になります。アラビア語テキストの正規化の一環として検索キーから取り除かないと、完全一致が失敗します。
  • トークン。 記号の一つひとつが、トークナイザーにとって余分な 1 文字です。母音を完全に付けたテキストは、記号のないテキストより目に見えてトークンが増えます。実測の比率は発音記号のガイドを、基準値はアラビア語の単語あたりのトークン数を参照してください。
  • 音声と評価。 書き起こしはたいてい記号なしで返ってきます。単語誤り率は両方のテキストから発音記号を取り除いてから計算してください。そうしないと、ファトハが 1 つ多いだけの正しい単語が誤りとして数えられます。
  • 記号が必要な場面。 音声合成、語学教育、クルアーンや詩のテキスト、母音がないと読みが曖昧になる人名です。

BroadNet Inference の場合

BroadNet には発音記号付与のエンドポイントはありません。チャットモデルは POST /v1/chat/completions でタシュキールを普通のテキストとして受け取るので、Qwen3.8 27B などのモデルに記号の付与や削除を頼むことはできます。安全なのは、応答をコードで確認する方法です。発音記号を取り除き、入力と 1 文字ずつ比べます。プロンプトと確認方法は LLM による発音記号付与の記事にあります。

削除にはモデルを使う必要はまったくありません。U+064B〜U+0652 を対象にした短い正規表現のほうが速く、無料で、正確です。アラビア語テキスト正規化ツールでは、その効果をブラウザで確認できます。

よくある質問

アラビア語テキストをインデックスする前に、発音記号は取り除くべきですか?

キーワード検索なら、たいていは取り除きます。ただし検索キーからだけです。Tashkeela の著者は、ほとんどの検索エンジンが発音記号を無視すると指摘しています。表示用と LLM 用には元のテキストを残してください。

発音記号付きのアラビア語は、なぜトークンが多くなるのですか?

記号の一つひとつが独立した Unicode 文字なので、母音を完全に付けた単語はトークナイザーが分割する文字が増えます。タシュキールを付ける前と後で、トークンカウンターを使って自分のテキストを数えてください。

LLM は発音記号を正確に付けられますか?

付けることはできますが、文字そのものを変えてしまうこともあります。応答から記号を取り除いて入力と比べ、文字が一つでも変わっていればその応答は採用しないでください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く