BroadRouter

아라비지와 LLM: 3, 7 같은 숫자를 쓰는 프랑코 아랍어 처리하기

BroadNet Inference 팀 · 5분 분량 · 게시 · 업데이트

아라비지는 프랑코 아랍어라고도 하며, 라틴 문자에 없는 소리를 숫자로 표기하는 라틴 문자 아랍어입니다. ع는 3, ح는 7, ء는 2, خ는 5입니다. LLM은 대개 이해하지만 변환 결과가 일관되지 않습니다. 감지한 뒤 방언을 지정해 아랍 문자로 음역하게 하고, 그 아랍어 텍스트를 처리하세요.

아라비지는 프랑코 아랍어 또는 “프랑코”라고도 하며, 라틴 문자에 없는 소리를 ع는 3, ح는 7처럼 숫자로 나타내 라틴 문자로 쓴 아랍어입니다. LLM으로 처리하려면 감지하고, 방언을 지정해 모델이 아랍 문자로 변환하게 한 다음, 나머지 파이프라인을 아랍어 텍스트로 돌리세요.

“ana 3ayez a7gez ma3ad bokra”는 이집트에서 흔한 고객 메시지입니다. “أنا عايز أحجز ميعاد بكرة”(내일 예약하고 싶어요)라는 뜻입니다. 아랍어 키보드가 없던 휴대폰과 컴퓨터에서 생겨났고, 지금도 채팅에 등장합니다.

어떤 숫자가 어떤 아랍 글자를 나타내나요?

표준은 없지만, 숫자는 모양이 비슷하거나 라틴 문자에 대응하는 글자가 없는 아랍 글자에 쓰입니다. 아랍어 채팅 알파벳 개요에 흔한 관습이 정리되어 있습니다.

숫자 아랍 글자 예 아랍 문자 의미
2 ء(함자) / أ so2al سؤال 질문
3 ع 3arabi عربي 아랍어
3’ 또는 8 غ 8aly / 3’aly غالي 비싼
5 또는 kh خ 5alas خلاص 끝났어 / 됐어
6 ط 6ayeb طيب 좋아(걸프)
7 ح 7abibi حبيبي 내 사랑
9 ص 9ba7 صباح 아침(걸프)
8 ق(일부 지역) 8alb قلب 마음

지역마다 습관이 다릅니다. 예를 들어 개요에 따르면 غ를 8로 쓰는 것은 레바논에서만이고, 사우디아라비아에서는 ق를 8이나 9로 쓰는 경우가 흔합니다. 이집트 아라비지에서는 ق가 성문 파열음으로 발음되는 곳에서 2가 ق를 나타낼 수 있습니다. 모음은 들리는 대로 쓰기 때문에 “ma3lesh”, “ma3lsh”, “m3lsh”(معلش, 괜찮아)는 모두 같은 단어입니다.

아라비지는 왜 소프트웨어에 어렵나요?

  • 거의 항상 방언입니다. 사람들은 말하는 대로 아라비지를 쓰므로, 기준이 되는 아랍 문자 없이 방언의 모든 어려움이 한꺼번에 따라옵니다.
  • 영어나 프랑스어처럼 보입니다. “bas”는 아랍어로 بس(그런데 / ~만)이지만 영어로는 아무 뜻도 없고, “men”은 من(~에서 / 누구)입니다. 키워드 감지기와 언어 식별 도구는 아라비지를 영어나 다른 라틴 문자 언어로 분류하는 경우가 많습니다.
  • 표준 철자가 없습니다. 완전 일치 검색, 의도 규칙, 분석이 깨집니다.
  • 코드 스위칭. “el order bta3i lessa ma waslsh, can u check?”는 한 문장에 이집트 아라비지와 영어를 섞어 씁니다.

규칙 기반 변환기는 라틴 문자열 하나가 여러 아랍어 철자에 대응할 수 있어서 어려움을 겪습니다. Darwish의 아라비지 감지 및 변환 연구 같은 연구 시스템은 음역 마이닝과 언어 모델링을 결합해 올바른 단어를 골랐고, 88.7%의 변환 정확도를 보고했습니다. 최신 LLM은 사실상 이를 한 단계로 해냅니다.

LLM은 아라비지를 얼마나 잘 처리하나요?

대형 모델은 웹과 소셜 미디어 텍스트에서 아라비지를 접했기 때문에 흔한 표현은 대개 이해합니다. 결과는 모델과 방언에 따라 다르므로 믿기 전에 테스트하세요. 전형적인 실패 유형은 다음과 같습니다.

  1. 영어로 취급하고 잘못 읽은 메시지에 답합니다.
  2. 엉뚱한 방언으로 변환합니다. 예를 들어 이집트 방언을 어조가 바뀌는 MSA 단어로 “바꾸거나”, 사용자가 레바논 사람인데 걸프 방언으로 추측합니다.
  3. 출력 문자가 일관되지 않습니다. 한 메시지에는 아라비지로, 다음 메시지에는 아랍 문자로 답합니다.
  4. 라틴 철자가 모호한 이름과 장소에서 그럴듯하게 지어낸 정확성을 보입니다.

해결책은 방언 전반과 같습니다. 무엇이 들어올지, 무엇을 만들어야 할지 모델에게 알려 주세요.

LLM으로 아라비지를 아랍 문자로 어떻게 변환하나요?

아라비지를 먼저 아랍 문자로 변환한 다음, 나머지 파이프라인(검색, 라우팅, 답장)을 아랍어 텍스트로 돌리세요. 이렇게 하면 코드 경로가 하나로 유지되고 검색과 분석이 작동합니다.

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
 "dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
 "arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
 "english_gloss": "<short English meaning>"}"""

def normalise(message: str) -> dict:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=1500,  # the model reasons first; leave room for the JSON
        messages=[{"role": "system", "content": NORMALISE},
                  {"role": "user", "content": message}],
    )
    text = r.choices[0].message.content.strip()
    text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
    return json.loads(text)  # validate the fields before you trust them

print(normalise("el order bta3i lessa ma waslsh, can u check?"))

좋은 결과는 다음과 같습니다.

{"script": "mixed", "dialect": "egyptian",
 "arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
 "english_gloss": "My order still hasn't arrived, can you check?"}

이 설계에 대한 메모입니다.

  • 방언 단어를 유지하세요. “the message in Arabic script, keeping the dialect words”(방언 단어를 유지한 아랍 문자 메시지)를 요청하면 MSA로 슬쩍 바꿔 쓰는 것을 막을 수 있습니다. 그렇게 바뀌면 라우팅과 감성 분석에 필요한 의미가 사라집니다.
  • 원문을 보관하세요. 감사와 규칙 재학습을 위해 원래 메시지를 변환 결과 옆에 저장하세요.
  • 저렴한 사전 필터를 쓰세요. 단순한 검사(아래 정규식처럼 단어 안에 라틴 문자와 숫자 2, 3, 5, 6, 7, 8, 9 중 하나가 함께 있는지)로 LLM 호출을 쓰기 전에 아라비지 대부분을 잡을 수 있습니다. 순수 아랍어나 순수 영어 메시지는 변환을 건너뛸 수 있습니다. 출력을 더 엄격하게 하려면 스키마와 함께 구조화된 출력을 쓰세요.
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
    return bool(ARABIZI_HINT.search(text)) and not re.search(r"[؀-ۿ]", text)

이 힌트는 숫자 없는 아라비지(“ana mesh fahem”, 이해가 안 돼요)를 놓치고, “a7x” 같은 제품 코드에 반응합니다. 분류기가 아니라 비용 절감 장치로 취급하세요. 실제 판단은 LLM의 script 필드가 합니다.

답장은 어떤 문자로 써야 하나요?

메시지 단위가 아니라 제품 단위로 정하세요.

답장 문자 언제
아랍 문자(MSA 또는 가벼운 방언) 대부분의 비즈니스에서 기본값. 누구나 읽을 수 있음
영어 지원 언어가 영어이거나, 고객이 주로 영어를 섞어 쓴 경우
아라비지 고객의 스타일에 맞추고 싶은 젊은 브랜드. 원어민과 샘플을 검토할 것

아라비지를 자동으로 따라 쓰면, 따를 표준이 없기 때문에 원어민 사용자에게 어색해 보이는 철자가 나오기 쉽습니다. 그래도 따라 쓴다면 선호하는 철자의 예시를 모델에게 주세요. 문체와 문자 설정은 아랍어 프롬프트 엔지니어링에서 더 다룹니다.

아라비지에는 어떤 모델을 써야 하나요?

채널에서 실제 아라비지 메시지 50~100개를 모으고, 각각의 올바른 아랍 문자 버전과 의도를 적은 다음, 후보 모델을 먼저 의도 정확도로, 그다음 변환 품질로 채점하세요. BroadNet은 자체 테스트에서 Qwen3.8 27B가 걸프와 이집트 방언을 이해하고 유창한 아랍어를 썼다고 밝히지만, 아라비지 전용 결과는 공개하지 않았으므로 여러분의 메시지로 테스트하세요. DeepSeek V4.1 Flash는 출력 토큰당 더 저렴하고, BroadNet Gemma 4 VL 26B는 대량 사전 분류 단계에 쓸 수 있는 가장 저렴한 BroadNet 모델입니다. 가격은 가격 페이지에 있습니다. 라틴 문자 아라비지와 아랍 문자는 토큰화가 다르므로, 비용을 추정하기 전에 메시지 몇 개의 두 버전을 무료 토큰 계산기에 붙여 넣어 보세요.

아라비지는 어디에서 나타나나요?

  • WhatsApp과 소셜 DM: 주된 출처입니다. 아랍어 WhatsApp 챗봇 아키텍처를 참고하세요.
  • 검색창: 사용자는 “7agz”(حجز, 예약)라고 입력합니다. 아랍어 RAG 검색 전에 같은 단계로 검색어를 정규화하세요.
  • 언어를 지정했다면 음성 인식에서는 나오지 않습니다. 아라비지는 사람이 입력하는 것입니다. 아랍어 오디오의 전사본이 라틴 문자로 돌아왔다면 요청에 language=ar이 빠졌을 가능성이 큽니다. BroadNet 문서는 그러지 않으면 아랍어가 음역될 수 있다고 경고합니다. WhatsApp 음성 메시지 가이드를 참고하세요.

자주 묻는 질문

아라비지와 프랑코 아랍어는 같은 건가요?

네. 아라비지, 프랑코 아랍어, 프랑코, 아랍어 채팅 알파벳은 모두 라틴 문자와 숫자로 아랍어를 쓰는 같은 관습을 가리킵니다. 이름은 나라마다 다르며, 이집트에서는 "프랑코"가 흔합니다.

챗봇이 아라비지로 답해야 하나요?

대개는 아닙니다. 브랜드에 맞게 아랍 문자나 영어로 답하세요. 젊은 층을 겨냥한 브랜드 중에는 아라비지로 답하는 곳도 있지만, 철자가 자연스러워 보이는지 원어민에게 확인받으세요.

정규식으로 아라비지를 아랍어로 변환할 수 있나요?

안정적으로는 안 됩니다. 모음은 마음대로 빠지거나 추가되고, 같은 라틴 문자가 문맥에 따라 다른 아랍 문자에 대응합니다. 규칙은 감지에는 도움이 되지만 변환에는 언어 모델이 필요합니다.

아랍어 메시지에서 3은 무슨 뜻인가요?

아라비지에서 3은 글자 ع(아인)를 나타냅니다. 예를 들어 "3arabi"는 عربي(아랍어)입니다. 그 밖에 흔히 쓰는 숫자로는 ء의 2, خ의 5, ح의 7, ص의 9가 있습니다.

전사 결과가 왜 라틴 문자로 나왔나요?

사용자가 입력한 아라비지가 아니라 음성 모델이 음역한 것입니다. 아랍 문자로 받으려면 모든 아랍어 전사 요청에 language=ar을 보내세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기