アラビア語のベンチマークで高得点のモデルでも、リヤドからの音声メッセージやカサブランカからのチャットにはつまずくことがあります。それが方言で、現代標準アラビア語とは別の試験です。
仕組み
MADAR コーパスを構築した Bouamor ら(2018)は、アラビア語を “a family of varieties”(訳:変種の集まり)と表現しています。現代標準アラビア語(MSA)は “from Morocco to Oman”(訳:モロッコからオマーンまで)共通の文化、メディア、教育の言語ですが、誰の母語でもありません。方言はふつう、エジプト、北アフリカ、レバント、湾岸、イエメンといった地域単位か、チュニジア、レバノン、クウェートといったより細かい単位でまとめられます。音、語彙、形態の面で MSA と異なり、程度は小さいものの都市ごとにも違いがあります。
ソフトウェアにとって特に重要な違いは 3 つです。
- 音。 MADAR が挙げる例は文字 qaf(ق)です。チュニジア方言では MSA に近い /q/ のままですが、エジプト方言とレバント方言では声門閉鎖音、湾岸方言では /g/ になります。音声モデルは、この 3 つをすべて同じ書き言葉の単語に対応させなければなりません。
- 語彙。 日常の言葉が違います。「〜が欲しい」は MSA では أريد、エジプト方言では عايز、レバント方言では بدي、湾岸方言では أبي または أبغى、モロッコ方言では بغيت です。
- 綴り。 MADAR によれば、MSA には標準的な正書法がありますが、方言にはありません。人々は音や語源に基づいて綴り、ときにはラテン文字でアラビージー(Arabizi)として書きます。英語やフランス語を混ぜることもあり、これはコードスイッチングと呼ばれます。
方言が文字で書かれることも増えています。MADAR は、方言をネット上のくだけたコミュニケーションで主要な書き言葉になりつつあるものと位置づけています。NADI 2020 は、アラブ 21 か国 100 州のツイートから共有タスクを構築しました。
なぜ重要か
- チャットボットやサポートボット。 ユーザーは話すとおりに書きます。MSA で学習した意図判定ルール、キーワード検索、感情分析モデルは方言の語を取りこぼします。LLM で湾岸方言とエジプト方言を扱うを参照してください。
- 音声認識。 同じモデルでも、方言の音声は読み上げた MSA よりはるかにスコアが悪くなります。方言の音声認識の記事で説明しているとおり、方言ごとにテストセットを作ってください。
- 振り分け。 返答、レビュー担当者、プロンプトを地域によって変えるなら、まずアラビア語方言識別で方言をラベル付けしてください。
BroadNet Inference では
BroadNet は BroadNet Transcribe Arabic の対象として、湾岸、エジプト、レバント、マグリブの方言と現代標準アラビア語を挙げています。BroadNet の報告では、単語誤り率は FLEURS-ar の読み上げ音声で 3.8、BroadNet 独自の湾岸・エジプト・レバント方言セットで 23.4 で、いずれも BroadNet による測定です。この差が方言の影響です。どの方言でも language=ar を指定してください。BroadNet のドキュメントは、指定しないとアラビア語がラテン文字に音写されて返ってくることがあると注意しています。
テキストについては、BroadNet は Qwen3.8 27B をアラビア語でテストし、湾岸方言とエジプト方言を理解したと報告しています。レバント方言とマグリブ方言のテキストについては結果を公表していないので、ご自身のメッセージでテストしてください。アラビア語 LLM ガイドでモデルを比較しており、アラビア語音声認識ガイドには動くコードがあります。
よくある間違い
- MSA のニュース記事だけでテストし、方言で書くユーザーに向けてリリースする。
- 方言をまたいで WER を平均し、最も弱い方言を見えなくしてしまう。
- ユーザーに表示するテキストで、方言の綴りを MSA に正規化してしまう。