AI モデルが「アラビア語を話せる」と言うとき、たいていは現代標準アラビア語を扱えるという意味です。方言はまた別の試験です。
仕組み
アラビア語は複数の変種からなる言語の集まりです。MADAR の論文(Bouamor ほか、2018)ははっきりこう述べています。MSA は “the shared language of culture, media, and education from Morocco to Oman”(訳:モロッコからオマーンまでの文化、メディア、教育の共通言語)でありながら、“is not the native language of any speaker of Arabic”(訳:どのアラビア語話者の母語でもない)。方言は地域ごとにエジプト、北アフリカ、レバント、湾岸、イエメンに分けられ、さらにチュニジア、レバノン、クウェート、カタールなどに細分されます。MADAR 自体は MSA に加えて 25 都市の方言を扱っています。
実際には両者は混ざります。テレビのトーク番組のように MSA が期待される台本なしの場面では、話者は MSA と自分の方言を行き来します。これがコードスイッチングです。2014 年のコードスイッチング共通タスクでは、単語レベルで MSA と方言を見分けるのが最も難しい組み合わせで、スペイン語と英語、ネパール語と英語よりも難しいことがわかりました。
| MSA | 方言 | |
|---|---|---|
| 使われる場面 | ニュース、本、学校、契約書、公式のスピーチ | 家庭、街中、電話、ボイスメッセージ、チャット |
| 綴り | 標準化されている | 決まった綴りがなく、Arabizi で入力されることも多い |
| 学習データ | 大規模な書き言葉コーパス | はるかに少なく、地域による偏りも大きい |
なぜ重要か
- LLM の品質。 きれいな MSA を書けるモデルでも、湾岸やマグレブのスラングは理解できないことがあります。ユーザーが話す方言でテストしてください。
- 音声認識の精度。 多くのテストセットは朗読や放送の音声ですが、実際の音声は方言のボイスメッセージかもしれません。アラビア語全体で 1 つの数字ではなく、変種ごとの単語誤り率を確認し、自分の録音でテストしてください。
- トークンコスト。 当サイトのトークナイザーのデータセットでは、Qwen3.8 27B で現代標準アラビア語は同じ文の英語版の 1.31× のトークンを必要とし(FLORES-200 の 2,009 文)、湾岸アラビア語は 1.21× でした(Tatoeba の 49 文という小さなセットなので概算です)。自分のテキストはアラビア語トークンカウンターで測ってください。
BroadNet Inference の場合
BroadNet は、Qwen3.8 27B を流暢なアラビア語の文章作成についてテストし、湾岸方言とエジプト方言も理解できたと報告しています。BroadNet Transcribe Arabic は方言を含むアラビア語向けとされています。MSA でも方言でも、音声には language=ar を指定してください。BroadNet のドキュメントは、指定しないとアラビア語がラテン文字で返ってくることがあると注意しています。自分の録音でテストする方法は、記事「アラビア語方言の音声認識」で説明しています。