BroadRouter
始める

コードスイッチング(code-switching)

更新日

コードスイッチングとは、同じ会話や同じ文の中で、話し言葉でも書き言葉でも 2 つ以上の言語、あるいは 1 つの言語の複数の変種を使うことです。アラビア語話者が方言に英単語を混ぜたり、現代標準アラビア語と方言を行き来したりするのがその例です。

別名: コードスイッチング、コード切り替え、コードミキシング、言語の混在、多言語混在テキスト、code switching、code-mixing、code mixing、language mixing、mixed-language text、code-switching

バイリンガルの人にとって、コードスイッチングはごく普通の話し方です。入力 1 つにつき 1 言語を想定したソフトウェアにとっては、よくある誤りの原因です。

しくみ

Solorio ら(2014)は、コードスイッチングのデータを扱った最初の共有タスクで、これを “spoken or written, where two or more languages are being used interchangeably”(訳:話し言葉でも書き言葉でも、2 つ以上の言語が入れ替わりに使われる)コミュニケーション行為と広く定義しています。このタスクでは、ツイートの各単語に言語ラベルを付けました。対象は、現代標準アラビア語と方言アラビア語、北京語と英語、ネパール語と英語、スペイン語と英語の 4 組です。7 チームが 42 件の結果を提出しました。単語単位の識別が最も難しかったのは、互いに近い関係にある現代標準アラビア語(MSA)と方言の組で、最も易しかったのはスペイン語と英語、ネパール語と英語でした。

アラビア語のユーザーは、いくつもの切り替えを同時に行います。

  • 方言と標準語。 MADAR の論文は、テレビのトーク番組のように標準語が期待される台本なしの場面で、話し手が方言と標準語を何度も切り替えると指摘しています。
  • アラビア語と英語・フランス語。 Darwish(2014)は、多くのアラビア語話者がバイリンガルで、文の中で英語やフランス語をアラビア語に混ぜると述べています。
  • 文字。 入力されたメッセージでは、1 行の中にアラビア文字、ラテン文字、アラビージーが混ざることがあります。

湾岸地域の典型的なチャットメッセージには、これらがすべて混ざっています。

عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")

アラビア語の部分は方言で、「meeting」はアラビア語の節の中の英語、そして文は英語で終わります。言語判定器、トークナイザー、音声モデルのいずれも、この切り替えに対応しなければなりません。

なぜ重要か

  • 音声認識。 書き起こしのリクエストは通常、language を 1 つしか受け付けません。アラビア語の音声に含まれる英語の製品名は、アラビア文字で出てくることも、ラテン文字で出てくることも、聞き間違えられることもあります。表記のルールを決め、それに沿って単語誤り率を採点してください。そうしないと、表記の違いを誤りとして数えてしまいます。
  • 振り分けと検索。 メッセージごとに 1 つのラベルを選ぶ言語判定器は、混在したメッセージに誤ったラベルを付けるので、アラビア語の意図が英語のフローに入ってしまうことがあります。
  • LLM のプロンプト。 入力に言語が混ざる可能性があることをモデルに伝え、どの言語で答えるかを指定してください。そうしないと、最後に出てきた言語に合わせてしまうことがあります。

BroadNet Inference の場合

BroadNet のドキュメントは、書き起こしでは常に language を送るよう求めており、アラビア語は ar、英語は en です。指定しないとアラビア語がラテン文字に音訳されることがあるとも注意しています。言語が混在する場合の設定は記載されていません。英単語を含むアラビア語の音声は、BroadNet Transcribe Arabic に language=ar で送り、実際の録音でテストしてください。そのテストセットの作り方は方言の音声認識の記事で解説しています。チャットで混在したテキストを扱うなら、BroadNet がアラビア語の方言でテストしたと報告しているモデルは Qwen3.8 27B です。

よくある質問

コードスイッチングとコードミキシングは同じものですか?

実際には、どちらの呼び方も 1 つのメッセージや会話に複数の言語が含まれることを指し、言語ツールにとっての問題も同じです。この用語集では 1 つの用語として扱います。

英単語が混ざったアラビア語の音声には、どの言語を指定すればよいですか?

BroadNet では、主にアラビア語の音声なら language=ar を送ってください。英単語をラテン文字のまま残すかどうかを事前に決め、書き起こしのサンプルを確認してください。

LLM はコードスイッチングしたテキストを理解できますか?

アラビア語と英語のようなよくある組み合わせなら、たいていは理解できますが、品質はモデルや方言によって異なります。入力に言語が混ざる可能性があることをプロンプトに書き、返信の言語を指定し、ユーザーの実際のメッセージでテストしてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く