BroadRouter

アラビア語方言識別(Arabic dialect identification)

更新日

アラビア語方言識別とは、テキストや録音がエジプト、湾岸、レバント、マグリブの各方言や現代標準アラビア語など、どのアラビア語の変種かを地域・国・都市の単位で判定するタスクです。メッセージの振り分け、プロンプト選択、評価セットの分割に使います。

別名: アラビア語 方言識別、アラビア語 方言判定、方言識別、方言検出、dialect identification、dialect detection、ADI、NADI、Arabic dialect identification

ユーザーの方言で答えるには、まずユーザーがどの方言で書いたかを知る必要があります。それが方言識別です。

しくみ

研究コミュニティは、NADI 共有タスク(Nuanced Arabic Dialect Identification)でこの能力を測っています。NADI 2020 は 21 のアラブ諸国の 100 の州をカバーするツイートを使い、国単位と州単位のサブタスクを設けました。NADI 2024 は、1 つの文が複数の方言で成り立ちうることから方言識別をマルチラベルのタスクとして定義し、方言らしさの度合いを測るサブタスクを追加しました。サブタスク 1 の最良のシステムは 50.57 F1 で、主催者は方言識別が依然として難しいと述べています。

MADAR コーパス(Bouamor ら、2018)はよく使われるリソースで、旅行分野の同じ文を 25 都市の方言に翻訳したものです。2,000 文は 25 方言すべてにあり、さらに 10,000 文がドーハ、ベイルート、カイロ、チュニス、ラバトの分だけあります。こうした対訳データを見ると、同じ意味が各地でどう書かれるかがわかります。

実際の製品では、たいていもっと粗いラベルで足ります。使いやすいラベルの例です。

ラベル 対象
msa 現代標準アラビア語
gulf サウジアラビア、UAE、クウェート、カタール、バーレーン、オマーン
egyptian エジプト
levantine シリア、レバノン、ヨルダン、パレスチナ
maghrebi モロッコ、アルジェリア、チュニジア、リビア
other_or_unclear イラク、イエメン、スーダン、混在、短すぎるもの

LLM 向けのプロンプトでは、ラベル、確信度、方言の手がかりになった単語をまとめた JSON オブジェクトを 1 つ返すよう求めます。たとえば、メッセージ عايز أغير الباقة なら次のように返ってきます。

{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}

手がかりの単語を出させると、誤りを見直しやすくなります。手がかりが標準語の単語なら、そのラベルは疑わしいということです。

なぜ重要か

  • 振り分け。 湾岸地域の顧客を湾岸地域の担当者につなぐ、あるいは返信プロンプトをユーザーの方言に切り替えます。
  • 評価。 音声やチャットのテストセットを方言ごとに分けます。方言の音声認識の記事が示すとおり、1 つの平均値では最も弱いグループが見えなくなります。
  • 分析。 特定の方言に投資する前に、ユーザーが実際にどの方言で書いているかを把握します。

方言が混ざったメッセージはよくあります。ユーザーは 1 行の中で方言、標準語、英語を切り替えます。これがコードスイッチングです。無理に推測させるより、「不明」のラベルを残しておいてください。

BroadNet Inference の場合

BroadNet には方言識別のエンドポイントはありません。POST /v1/chat/completions を使って自分で構築できます。BroadNet の API リファレンスには GLM 5.3 と Qwen3.8 27B の構造化出力が記載されており、固定のラベルリストに向いています。構造化出力を参照してください。BroadNet は、Qwen3.8 27B が湾岸方言とエジプト方言を理解することをテストで確認したと報告しています。BroadNet はどのモデルについても方言識別の精度を公開していないので、頼る前に自分のメッセージ 100 件ほどに手作業でラベルを付け、それに対してモデルを測定してください。

この種のタスクのプロンプト、ラベルリスト、採点方法はアラビア語テキスト分類の記事で、ラベルの意味はアラビア語の方言で解説しています。

よくある質問

アラビア語方言識別の精度はどのくらいですか?

粒度とテキストの長さによります。NADI 2024 では、マルチラベルの方言識別で最良のシステムが 50.57 F1 を記録し、主催者はこのタスクが依然として難しいと結論づけています。長めのメッセージに地域単位のラベルを付けるほうが、短いメッセージに国や都市単位のラベルを付けるより簡単です。

1 つのメッセージが複数の方言に当てはまることはありますか?

あります。短い文や中立的な文は複数の方言で成り立つことがあり、そのため NADI 2024 は方言識別をマルチラベルのタスクとして定義しました。「不明」や複数ラベルの回答を許容してください。

専用の分類器は必要ですか?

最初は不要です。固定のラベルリストを与えた LLM なら、すぐに用意できます。手作業でラベルを付けたサンプルで測定し、量や精度の要求が高くなったら学習済みの分類器に切り替えてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く