코드 스위칭은 이중 언어 사용자에게는 자연스러운 말하기 방식입니다. 입력 하나에 언어 하나를 기대하는 소프트웨어에게는 흔한 오류의 원인입니다.
작동 방식
Solorio 외(2014)는 코드 스위칭 데이터에 관한 첫 공유 과제에서 이를 “spoken or written, where two or more languages are being used interchangeably”(번역: 말이든 글이든 둘 이상의 언어가 번갈아 쓰이는) 의사소통 행위로 넓게 정의합니다. 이 과제는 트위터 게시물의 단어마다 언어를 라벨링했으며, 현대 표준 아랍어-아랍어 방언, 중국어(만다린)-영어, 네팔어-영어, 스페인어-영어의 네 가지 조합을 다뤘습니다. 7개 팀이 42개 결과를 제출했습니다. 단어 단위 식별은 둘이 서로 가까운 현대 표준 아랍어(MSA)와 방언 조합이 가장 어려웠고, 스페인어-영어와 네팔어-영어가 가장 쉬웠습니다.
아랍어 사용자는 여러 방식으로 동시에 언어를 바꿉니다.
- 방언과 표준 아랍어. MADAR 논문은 TV 토크쇼처럼 표준 아랍어가 기대되는 즉흥적인 자리에서 화자가 방언과 표준 아랍어를 반복해서 오간다고 지적합니다.
- 아랍어와 영어 또는 프랑스어. Darwish(2014)는 많은 아랍어 사용자가 이중 언어 사용자이며 문장 안에서 영어나 프랑스어를 아랍어와 섞는다고 봅니다.
- 문자 체계. 입력한 메시지 한 줄에 아랍 문자, 라틴 문자, 아라비지가 섞일 수 있습니다.
전형적인 걸프 지역 채팅 메시지는 이 모든 것을 섞습니다.
عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")
아랍어 단어는 방언이고, “meeting”은 아랍어 절 안의 영어 단어이며, 문장은 영어로 끝납니다. 언어 감지기, 토크나이저, 음성 모델은 각각 이 전환을 처리해야 합니다.
왜 중요한가
- 음성 인식. 전사 요청은 보통
language를 하나만 받습니다. 아랍어 음성 속 영어 제품명은 아랍 문자로, 라틴 문자로 나오거나 잘못 들릴 수 있습니다. 표기 규칙을 정하고 그 기준으로 단어 오류율을 채점하세요. 그러지 않으면 스타일 차이를 오류로 세게 됩니다. - 라우팅과 검색. 메시지마다 라벨 하나만 고르는 언어 감지기는 혼합 메시지를 잘못 분류하므로, 아랍어 의도가 영어 흐름으로 갈 수 있습니다.
- LLM 프롬프트. 입력이 여러 언어로 섞일 수 있다고 모델에 알리고, 어떤 언어로 답할지 지정하세요. 그러지 않으면 마지막에 나온 언어를 따라 할 수 있습니다.
BroadNet Inference에서는
BroadNet 문서는 전사 시 항상 language를 보내라고 합니다. 아랍어는 ar, 영어는 en이며, 이 값이 없으면 아랍어가 라틴 문자로 음역될 수 있다고 경고합니다. 혼합 언어 설정은 문서에 없습니다. 영어 단어가 섞인 아랍어 음성이라면 BroadNet Transcribe Arabic에 language=ar을 보내고 실제 녹음으로 테스트하세요. 그런 테스트 세트를 만드는 방법은 방언 음성 인식 글에서 다룹니다. 채팅에서 섞인 텍스트라면, BroadNet이 아랍어 방언으로 테스트했다고 보고하는 모델은 Qwen3.8 27B입니다.