아라비지는 많은 아랍어 사용자가 휴대폰으로 입력하는 방식입니다. 아랍어 단어를 라틴 자판으로 치고, 없는 소리 몇 개는 숫자로 채웁니다.
작동 방식
Darwish(2014)는 아라비지(Arabish, Franco-Arab이라고도 함)를 라틴 문자로 음역한 아랍어로 설명하며, 영어에 없는 글자는 숫자로 나타낸다고 합니다. “2”와 “3”은 함자 소리와 ع를 뜻합니다. 예전 브라우저와 휴대폰이 아랍 문자를 표시하지 못해서 생겨났고, 사람들이 익숙한 데다 영어 자판으로 더 빨리 칠 수 있어서 지금도 쓰입니다.
소프트웨어에게 어려운 이유는 세 가지입니다.
- 표준 철자가 없습니다. Shazal, Usman, Habash(2020)는 소셜 미디어의 아라비지가 표준 정서법이 없는 아랍어 방언이며, 아랍 문자로의 대응이 일대일이 아니라고 지적합니다.
- 영어나 프랑스어와 섞입니다.
w aletli Tuesday(“그리고 그녀가 화요일이라고 했어”) 같은 메시지는 두 언어를 섞는데, 이것이 코드 스위칭입니다. - 먼저 감지해야 합니다. 소프트웨어는 변환하기 전에 어떤 단어가 아라비지인지 판단해야 합니다. Darwish는 고전적인 파이프라인으로 감지 정확도 98.5%, 변환 정확도 88.7%를 보고했고, 2020년의 시퀀스-투-시퀀스 모델은 감지와 변환을 함께 하는 과제의 블라인드 테스트 세트에서 단어 정확도 80.6%를 기록했습니다.
LLM API 입장에서 아라비지는 토크나이저에서도 아랍 문자와 다르게 동작합니다. 어휘가 거의 보지 못한 방식으로 철자된 라틴 텍스트이기 때문입니다.
왜 중요한가
걸프, 이집트, 레반트 지역에서 챗봇, 검색, 분석 서비스를 운영한다면 일부 사용자는 아라비지로 입력합니다. 아랍 문자용으로 만든 키워드 검색, 의도 규칙, 감성 분석 도구는 그런 메시지를 놓칩니다. 흔한 해결책은 라우팅이나 인덱싱 전에 방언을 명시해 LLM에게 아라비지를 아랍 문자로 바꾸게 하고, 원문은 따로 보관하는 것입니다. 프롬프트와 답변 문자 선택은 아라비지 처리 가이드에서 단계별로 다룹니다.
BroadNet Inference에서는
BroadNet에는 아라비지 전용 기능이 없으며, 채팅 모델은 이를 일반 텍스트로 받습니다. BroadNet은 Qwen3.8 27B를 아랍어로 테스트한 결과 걸프와 이집트 방언을 이해했다고 보고하므로, 아라비지 테스트의 출발점으로 삼을 수 있습니다. LLM으로 걸프·이집트 방언 다루기를 참고하세요.
음성은 별개의 경우입니다. BroadNet 문서는 language가 없으면 아랍어 오디오가 라틴 문자로 음역될 수 있다고 경고합니다. 그 출력은 아라비지처럼 보이지만 화자가 아니라 요청 때문에 생긴 것입니다. BroadNet Transcribe Arabic에는 language=ar을 보내세요.