BroadRouter

アラビア語方言の音声認識:湾岸、エジプト、レバント、マグリブ

BroadNet Inference チーム · 約 5 分で読めます · 公開日 · 更新日

アラビア語の方言は、発音、語彙、綴りが現代標準アラビア語と異なり、話者は英語やフランス語も混ぜるため、正則アラビア語中心で学習した ASR は方言でスコアが大きく落ちます。テストでは、実際の音声で方言ごとにテストセットを作り、綴りの規則を決め、方言ごとに WER、CER、固有表現の正確さを測ります。

音声認識がアラビア語の方言を苦手とするのは、方言が発音、語彙、綴りの点で現代標準アラビア語(MSA)と異なり、話者が英語やフランス語を混ぜるからです。プロバイダーの実力を知るには、実際の音声で方言ごとに小さなテストセットを作り、方言ごとに別々に採点してください。

リヤドからの電話、カイロのボイスメモ、カサブランカのサポート通話はどれも「アラビア語」ですが、1 つのモデルが最初のものはうまく処理し、3 つ目はうまく処理できないこともあります。

この記事では、主要な方言グループがそれぞれ音声認識にとって難しい理由と、自社の方言でプロバイダーの実力がわかるテストの作り方を説明します。価格、制限、プライバシーを含む全体的な選定チェックリストは、アラビア語音声認識 API の選び方をご覧ください。

アラビア語の方言はなぜ音声認識にとって難しいのですか?

4 つの問題が積み重なります。

  1. **発音が違う。**同じ文字でも地域によって発音が異なるため、音響モデルは複数の音を 1 つの綴りに対応させなければなりません。
  2. **語彙が違う。**日常の単語が方言ごとに異なります。主に MSA で学習したモデルは、方言の単語を対応する正則語に「訂正」してしまうことがあり、参照テキストが逐語的な書き起こしなら、それは誤りとして数えられます。
  3. **標準的な綴りがない。**方言はくだけた形で書かれるため、人間の書き起こし担当者 2 人でも意見が割れます。学習データも偏っています。方言のカバー範囲に関する 2024 年の研究は、既存の ASR システムが “mainly cover the modern standard Arabic (MSA) variety and few high-resource dialects”(訳:主に現代標準アラビア語(MSA)と、少数の高リソース方言をカバーしている)と指摘しています(arXiv 2411.05872)。
  4. **コードスイッチング。**話者は文の途中で英語やフランス語を混ぜます。8 つの方言をカバーする Casablanca データセットは、方言や性別と並んでコードスイッチングにも注釈を付けています。

Open Universal Arabic ASR Leaderboard の論文(Interspeech 2025)がオープンソースのモデルを複数の多方言テストセットで評価しているのも、まさにこの理由からです。アラビア語のスコアを 1 つにまとめると、ばらつきが隠れてしまいます。

各方言は音声認識をどうつまずかせるのですか?

方言グループ 地域 ASR でつまずきやすい点
湾岸方言(Khaleeji) サウジアラビア、UAE、クウェート、カタール、バーレーン、オマーン 英語の製品名、数字、ブランド名が混ざる。qaf と kaf の地域的な発音
エジプト方言 エジプト jeem を硬い g で発音。qaf はしばしば声門閉鎖音。メディアで非常によく使われるため、モデルが目にする量は通常多い
レバント方言 シリア、レバノン、ヨルダン、パレスチナ 都市部では qaf が声門閉鎖音。フランス語や英語が混ざり、特にレバノンで顕著
マグリブ方言(Darija) モロッコ、アルジェリア、チュニジア、リビア MSA から最も遠い。短母音の脱落。フランス語とのコードスイッチングが多い。アマジグ語からの借用語
イラク方言 イラク 独特の語彙と発音。公開されている学習用音声が少ない

これらは傾向であって、規則ではありません。各グループの中でも都市部と地方では話し方が異なり、若い話者ほどコードスイッチングが多くなります。要点は、グループごとに失敗の仕方が違うので、グループごとに採点するということです。

アラビア語方言のテストセットはどう作るのですか?

1. 方言ごとに実際の音声を集める

本番で扱うチャネル(電話、WhatsApp のボイスメモ、会議の録音)から、方言ごとに 30〜50 クリップを抜き出します。8 kHz の電話音声はスタジオ音声とは挙動が異なります。各クリップに方言のラベルを付け、英語やフランス語を含むクリップには印を付けてください。

2. 先に綴りの規則を決める

誰かが参照テキストを書く前に、次のどちらにするかを決めます。

  • 方言のまま逐語的に(話された通りに、方言の綴りで書く)、または
  • 正規化する(一貫した形に揃える)。

選んだ方針を例とともに書き残してください。参照テキストが逐語的で、モデルが MSA 寄りの単語を出力すると、意味が正しくても WER はひどい数字になります。どちらの選択も間違いではありません。下流のシステムが必要とするものに合わせることが大切です。

3. 方言ごとに 10 クリップの参照テキストを書く

その方言のネイティブスピーカーに書き起こしてもらいます。コードスイッチングを含むクリップでは、英単語をラテン文字のまま残すかどうかを決め、全体で統一してください。

4. 両方を正規化してから採点する

ダイアクリティカルマークを除去し、alef の字形(إ أ آ を ا に)と語末の yaa(ى を ي に)を統一し、句読点を削除し、東アラビア数字を西洋数字に変換します。そのうえで次を計算します。

指標 理由
方言ごとの WER 標準的な指標。接語や接頭辞に厳しい
方言ごとの CER 綴りの揺れに寛容
固有表現の正確さ 数字、日付、人名が正確に書き起こされた割合
コードスイッチンググループの WER 英語やフランス語の単語が残っているかがわかる

jiwer パッケージで WER と CER を計算できます。アラビア語の WER 解説には、再利用できる正規化関数と、正規化でスコアがどれだけ変わるかの実例があります。

5. 書き起こしを読む

コールセンターや銀行の業務フローが使えるかどうかは、数字で決まります。方言ごとに 20 件の書き起こしを読み、すべての数字、日付、人名を手作業で確認してください。

公開されているアラビア語の WER の数字から何がわかりますか?

公開ベンチマークが示すのは方向性であって、約束ではありません。BroadNet はモデルカタログで BroadNet Transcribe Arabic の WER を 3 つ公開しています。FLEURS-ar(クリーンな朗読音声)で 3.8、MASC-ar(実環境の混在した音声)で 21.1、自社の方言セットで 23.4 です。同じモデルでも朗読音声から方言音声で 6 倍に跳ね上がっており、だからこそ自社の方言でテストする必要があります。

プロバイダーを比較するときは、同じテストセットで比較してください。Open Universal Arabic ASR Leaderboard のようなリーダーボードが役に立つのは、すべてのモデルが同じ方法で採点されるからです。ベンダーが自社のデータセットで出した数字は、別のベンダーの数字とは比較できません。

方言の書き起こしはどの LLM に読ませるべきですか?

書き起こしは通常、通話の要約、チケットの振り分け、質問への回答などのために LLM に渡されます。その LLM も方言を読める必要があります。テスト方法はアラビア語向け LLM の選び方で説明しています。Qwen3.8 27B は、BroadNet が湾岸方言とエジプト方言でテストしたモデルです。

BroadNet Inference の位置づけ

BroadNet Transcribe Arabic は方言を含むアラビア語向けに作られたモデルで、料金は 1 分 $0.0042(1 時間 $0.25)です。BroadNet の報告では、Open Universal Arabic ASR Leaderboard で 37 件中 2 位 (2026年9月時点の数値。2026年11月15日のライブのリーダーボードでは 39 件中 4 位) に位置し、API での提供がライセンス上認められているモデルの中では 1 位です。雑音の多い音声で数字、日付、人名を正確に認識したい場合、BroadNet はファインチューニング版を要相談で提供しています。$5 の初回クレジットで約 1,190 分を処理でき、上記のテストをすべて実施するのに十分です。音声認識コスト計算ツールを使えば、本番の利用量を月額料金に換算できます。始めるにはキーを作成してください。

BroadNet は方言グループごとの WER を公開していません。だからこそ、このテストを実施すべきです。同社の方言セットの数字は 1 つの数字にすぎず、顧客が話すのはすべての方言ではなく、1 つか 2 つの方言だからです。

よくある質問

音声認識で一番難しいアラビア語の方言はどれですか?

共通の順位はなく、モデルの学習データによって変わります。モロッコやアルジェリアなどのマグリブ方言は、現代標準アラビア語から最も遠く、フランス語も混ざるため、難しいことが多いです。一般的な順位に頼るより、自社の方言でテストしてください。

音声認識はエジプト方言のアラビア語を聞き取れますか?

エジプト方言はメディアで広く使われているため、珍しい方言よりは良い結果になることが多いですが、正則アラビア語よりは精度が下がると考えてください。自社の録音で測定してください。

アラビア語では WER と CER のどちらを使うべきですか?

両方使ってください。WER は単語単位で数えるため、接頭辞や接語が 1 つ違うだけで単語全体が誤りになります。CER は文字単位で数え、綴りの揺れに寛容です。これは標準的な綴りのない方言では重要です。

アラビア語 ASR プロバイダーのテストには何件の音声クリップが必要ですか?

方言ごとに実際のクリップを約 30〜50 件、そのうち各方言で少なくとも 10 件を人手で書き起こして参照テキストにします。これでプロバイダー間の大きな差は見えます。

アラビア語の方言で言語コードは関係ありますか?

language=ar を送ってください。ほとんどの API では、方言も ar のコードを共有しています。指定しないと、アラビア語の音声をラテン文字に音写して返すモデルもあります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く