BroadRouter
시작하기

코드 스위칭(code-switching)

업데이트

코드 스위칭(code-switching)은 말이나 글에서 같은 대화나 문장 안에 둘 이상의 언어, 또는 한 언어의 여러 변종을 섞어 쓰는 것입니다. 아랍어 사용자가 방언에 영어 단어를 섞거나, 현대 표준 아랍어와 자기 방언을 오가는 것이 그 예입니다.

다른 이름: 코드 스위칭, 코드 전환, 코드 믹싱, 언어 혼용, 혼합 언어 텍스트, code switching, code-mixing, code mixing, language mixing, mixed-language text

코드 스위칭은 이중 언어 사용자에게는 자연스러운 말하기 방식입니다. 입력 하나에 언어 하나를 기대하는 소프트웨어에게는 흔한 오류의 원인입니다.

작동 방식

Solorio 외(2014)는 코드 스위칭 데이터에 관한 첫 공유 과제에서 이를 “spoken or written, where two or more languages are being used interchangeably”(번역: 말이든 글이든 둘 이상의 언어가 번갈아 쓰이는) 의사소통 행위로 넓게 정의합니다. 이 과제는 트위터 게시물의 단어마다 언어를 라벨링했으며, 현대 표준 아랍어-아랍어 방언, 중국어(만다린)-영어, 네팔어-영어, 스페인어-영어의 네 가지 조합을 다뤘습니다. 7개 팀이 42개 결과를 제출했습니다. 단어 단위 식별은 둘이 서로 가까운 현대 표준 아랍어(MSA)와 방언 조합이 가장 어려웠고, 스페인어-영어와 네팔어-영어가 가장 쉬웠습니다.

아랍어 사용자는 여러 방식으로 동시에 언어를 바꿉니다.

  • 방언과 표준 아랍어. MADAR 논문은 TV 토크쇼처럼 표준 아랍어가 기대되는 즉흥적인 자리에서 화자가 방언과 표준 아랍어를 반복해서 오간다고 지적합니다.
  • 아랍어와 영어 또는 프랑스어. Darwish(2014)는 많은 아랍어 사용자가 이중 언어 사용자이며 문장 안에서 영어나 프랑스어를 아랍어와 섞는다고 봅니다.
  • 문자 체계. 입력한 메시지 한 줄에 아랍 문자, 라틴 문자, 아라비지가 섞일 수 있습니다.

전형적인 걸프 지역 채팅 메시지는 이 모든 것을 섞습니다.

عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")

아랍어 단어는 방언이고, “meeting”은 아랍어 절 안의 영어 단어이며, 문장은 영어로 끝납니다. 언어 감지기, 토크나이저, 음성 모델은 각각 이 전환을 처리해야 합니다.

왜 중요한가

  • 음성 인식. 전사 요청은 보통 language를 하나만 받습니다. 아랍어 음성 속 영어 제품명은 아랍 문자로, 라틴 문자로 나오거나 잘못 들릴 수 있습니다. 표기 규칙을 정하고 그 기준으로 단어 오류율을 채점하세요. 그러지 않으면 스타일 차이를 오류로 세게 됩니다.
  • 라우팅과 검색. 메시지마다 라벨 하나만 고르는 언어 감지기는 혼합 메시지를 잘못 분류하므로, 아랍어 의도가 영어 흐름으로 갈 수 있습니다.
  • LLM 프롬프트. 입력이 여러 언어로 섞일 수 있다고 모델에 알리고, 어떤 언어로 답할지 지정하세요. 그러지 않으면 마지막에 나온 언어를 따라 할 수 있습니다.

BroadNet Inference에서는

BroadNet 문서는 전사 시 항상 language를 보내라고 합니다. 아랍어는 ar, 영어는 en이며, 이 값이 없으면 아랍어가 라틴 문자로 음역될 수 있다고 경고합니다. 혼합 언어 설정은 문서에 없습니다. 영어 단어가 섞인 아랍어 음성이라면 BroadNet Transcribe Arabic에 language=ar을 보내고 실제 녹음으로 테스트하세요. 그런 테스트 세트를 만드는 방법은 방언 음성 인식 글에서 다룹니다. 채팅에서 섞인 텍스트라면, BroadNet이 아랍어 방언으로 테스트했다고 보고하는 모델은 Qwen3.8 27B입니다.

자주 묻는 질문

코드 스위칭과 코드 믹싱은 같은 건가요?

실무에서는 두 이름 모두 한 메시지나 대화에 둘 이상의 언어가 쓰이는 것을 가리키며, 언어 도구에 같은 문제를 일으킵니다. 이 용어집에서는 둘을 하나의 용어로 다룹니다.

영어 단어가 섞인 아랍어 오디오에는 어떤 언어를 지정해야 하나요?

BroadNet에서는 주로 아랍어인 오디오에 language=ar을 보내세요. 영어 단어를 라틴 문자로 남길지 미리 정하고, 전사 결과 샘플을 확인하세요.

LLM은 코드 스위칭된 텍스트를 이해할 수 있나요?

아랍어와 영어처럼 흔한 조합이라면 대개 이해하지만, 품질은 모델과 방언에 따라 다릅니다. 프롬프트에 입력이 여러 언어로 섞여 있을 수 있다고 알리고 답변 언어를 지정한 뒤, 실제 사용자 메시지로 테스트하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기