BroadRouter
开始使用

语码转换(code-switching)

更新于

语码转换是在同一段对话或同一句话中使用两种或更多语言,或同一语言的不同变体,口语和书面语都有。例如讲阿拉伯语的人在方言里夹杂英语单词,或在现代标准阿拉伯语和方言之间来回切换。

又称: 语码转换、语码混用、语码混合、中英夹杂、混合语言、多语言混合、code switching、code-mixing、code mixing、language mixing、mixed-language text、code-switching

对双语者来说,语码转换是再正常不过的说话方式。对假设每次输入只有一种语言的软件来说,它是常见的错误来源。

工作原理

Solorio 等(2014)在第一个语码转换数据共享任务中,把它宽泛地定义为一种交流行为,“spoken or written, where two or more languages are being used interchangeably”(译文:口头或书面地交替使用两种或更多语言)。他们的任务给推文的每个词标注语种,覆盖四个语言对:现代标准阿拉伯语与阿拉伯语方言、普通话与英语、尼泊尔语与英语、西班牙语与英语。七支队伍提交了 42 次结果。词级识别最难的是标准阿拉伯语(MSA)与方言,因为两者关系很近;最容易的是西班牙语与英语、尼泊尔语与英语。

阿拉伯语用户会同时以几种方式切换:

  • 方言与标准语。 MADAR 论文指出,在本应使用标准语的非脚本场合,例如电视谈话节目,说话人会反复在方言和标准语之间切换。
  • 阿拉伯语与英语或法语。 Darwish(2014)观察到,许多讲阿拉伯语的人是双语者,会在句子内部把英语或法语和阿拉伯语混用。
  • 文字。 打字的消息可能在一行里混用阿拉伯文字、拉丁文字和 Arabizi。

一条典型的海湾地区聊天消息把这些都混在了一起:

عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")

阿拉伯语部分是方言,“meeting”是嵌在阿拉伯语从句里的英语,句子又以英语结尾。语种检测器、分词器和语音模型都得应对这种切换。

为什么重要

  • 语音转文字。 转写请求通常只接受一个 language。阿拉伯语语音中的英语产品名,可能以阿拉伯文字、拉丁文字出现,或者被听错。请约定一个规范,并按它计算词错误率,否则你会把写法差异算成错误。
  • 路由与搜索。 每条消息只给一个标签的语种检测器会给混合消息贴错标签,阿拉伯语意图就可能落进英语流程。
  • 大模型提示词。 告诉模型输入可能混用多种语言,并说明用哪种语言回答。否则它可能会跟着最后出现的语言走。

在 BroadNet Inference 上

BroadNet 的文档要求转写时始终发送 language,阿拉伯语用 ar,英语用 en,并提醒不传的话,阿拉伯语可能被音译成拉丁字母。文档没有说明混合语言的设置。对夹杂英语单词的阿拉伯语语音,请向 BroadNet Transcribe Arabic 发送 language=ar,并用真实录音测试;方言语音识别一文介绍了如何搭建这样的测试集。对于对话中的混合文本,Qwen3.8 27B 是 BroadNet 报告在阿拉伯语方言上测试过的模型。

常见问题

语码转换和语码混用是一回事吗?

实际使用中,两个说法都指一条消息或一段对话里出现不止一种语言,给语言工具带来的问题也一样。本术语表把它们当作同一个术语。

阿拉伯语音频里夹着英语单词,language 该传什么?

在 BroadNet 上,以阿拉伯语为主的音频请发送 language=ar。事先决定英语单词是否保留拉丁字母,并抽查一部分转写结果。

大模型能理解语码转换的文本吗?

对阿拉伯语和英语这样的常见组合通常能,但质量因模型和方言而异。在提示词里说明输入可能混用多种语言,指定回复语言,并用用户的真实消息测试。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity