对双语者来说,语码转换是再正常不过的说话方式。对假设每次输入只有一种语言的软件来说,它是常见的错误来源。
工作原理
Solorio 等(2014)在第一个语码转换数据共享任务中,把它宽泛地定义为一种交流行为,“spoken or written, where two or more languages are being used interchangeably”(译文:口头或书面地交替使用两种或更多语言)。他们的任务给推文的每个词标注语种,覆盖四个语言对:现代标准阿拉伯语与阿拉伯语方言、普通话与英语、尼泊尔语与英语、西班牙语与英语。七支队伍提交了 42 次结果。词级识别最难的是标准阿拉伯语(MSA)与方言,因为两者关系很近;最容易的是西班牙语与英语、尼泊尔语与英语。
阿拉伯语用户会同时以几种方式切换:
- 方言与标准语。 MADAR 论文指出,在本应使用标准语的非脚本场合,例如电视谈话节目,说话人会反复在方言和标准语之间切换。
- 阿拉伯语与英语或法语。 Darwish(2014)观察到,许多讲阿拉伯语的人是双语者,会在句子内部把英语或法语和阿拉伯语混用。
- 文字。 打字的消息可能在一行里混用阿拉伯文字、拉丁文字和 Arabizi。
一条典型的海湾地区聊天消息把这些都混在了一起:
عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")
阿拉伯语部分是方言,“meeting”是嵌在阿拉伯语从句里的英语,句子又以英语结尾。语种检测器、分词器和语音模型都得应对这种切换。
为什么重要
- 语音转文字。 转写请求通常只接受一个
language。阿拉伯语语音中的英语产品名,可能以阿拉伯文字、拉丁文字出现,或者被听错。请约定一个规范,并按它计算词错误率,否则你会把写法差异算成错误。 - 路由与搜索。 每条消息只给一个标签的语种检测器会给混合消息贴错标签,阿拉伯语意图就可能落进英语流程。
- 大模型提示词。 告诉模型输入可能混用多种语言,并说明用哪种语言回答。否则它可能会跟着最后出现的语言走。
在 BroadNet Inference 上
BroadNet 的文档要求转写时始终发送 language,阿拉伯语用 ar,英语用 en,并提醒不传的话,阿拉伯语可能被音译成拉丁字母。文档没有说明混合语言的设置。对夹杂英语单词的阿拉伯语语音,请向 BroadNet Transcribe Arabic 发送 language=ar,并用真实录音测试;方言语音识别一文介绍了如何搭建这样的测试集。对于对话中的混合文本,Qwen3.8 27B 是 BroadNet 报告在阿拉伯语方言上测试过的模型。