BroadRouter

Arabizi e LLMs: como lidar com o franco-árabe e números como 3 e 7

Pela equipe da BroadNet Inference · 5 min de leitura · Publicado em · Atualizado em

O Arabizi, também chamado de franco-árabe, é árabe escrito com letras latinas e dígitos para os sons que o alfabeto latino não tem: 3 para ع, 7 para ح, 2 para ء, 5 para خ. Os LLMs normalmente o entendem, mas o convertem de forma inconsistente. Detecte-o, peça ao modelo que translitere para o alfabeto árabe dizendo o dialeto e processe o texto em árabe.

O Arabizi, também chamado de franco-árabe ou “Franco”, é árabe escrito com letras latinas e dígitos para os sons que o alfabeto latino não tem, como 3 para ع e 7 para ح. Para lidar com ele usando um LLM, detecte-o, faça o modelo convertê-lo para o alfabeto árabe dizendo qual é o dialeto e rode o resto do pipeline sobre o texto em árabe.

“ana 3ayez a7gez ma3ad bokra” é uma mensagem comum de cliente no Egito: “أنا عايز أحجز ميعاد بكرة” (quero marcar um horário para amanhã). Ele nasceu em celulares e computadores sem teclado árabe e ainda aparece em conversas de chat.

Quais números representam quais letras árabes?

Não há padrão, mas os dígitos são usados para letras árabes que se parecem com eles ou que não têm equivalente latino. A visão geral do alfabeto de chat árabe lista as convenções comuns:

Dígito Letra árabe Exemplo Alfabeto árabe Significado
2 ء (hamza) / أ so2al سؤال pergunta
3 ع 3arabi عربي árabe
3’ ou 8 غ 8aly / 3’aly غالي caro
5 ou kh خ 5alas خلاص pronto / chega
6 ط 6ayeb طيب OK (Golfo)
7 ح 7abibi حبيبي meu querido
9 ص 9ba7 صباح manhã (Golfo)
8 ق (em algumas regiões) 8alb قلب coração

Os hábitos regionais variam. A visão geral observa, por exemplo, que 8 para غ só é usado no Líbano, enquanto 8 e 9 para ق são comuns na Arábia Saudita; no Arabizi egípcio, 2 pode representar ق onde ele é pronunciado como oclusiva glotal. As vogais são escritas de ouvido, então “ma3lesh”, “ma3lsh” e “m3lsh” (معلش, deixa pra lá) são todos a mesma palavra.

Por que o Arabizi é difícil para software?

  • É quase sempre dialeto. As pessoas escrevem Arabizi do jeito que falam, então ele traz todos os desafios dos dialetos de uma vez, sem o alfabeto árabe como âncora.
  • Parece inglês ou francês. “bas” é بس (mas / só) em árabe e nada em inglês; “men” é من (de / quem). Detectores de palavras-chave e ferramentas de identificação de idioma muitas vezes rotulam o Arabizi como inglês ou outro idioma de alfabeto latino.
  • Sem grafia padrão. Busca por correspondência exata, regras de intenção e análises quebram.
  • Code-switching. “el order bta3i lessa ma waslsh, can u check?” mistura Arabizi egípcio e inglês na mesma frase.

Conversores baseados em regras sofrem porque uma sequência latina pode corresponder a muitas grafias árabes; sistemas de pesquisa como o trabalho de Darwish sobre detecção e conversão de Arabizi combinavam mineração de transliterações com modelagem de linguagem para escolher a palavra certa, e relataram 88,7% de precisão na conversão. Os LLMs modernos, na prática, fazem isso em um passo só.

Os LLMs lidam bem com Arabizi?

Modelos grandes viram Arabizi em textos da web e de redes sociais, então muitas vezes entendem frases comuns. Os resultados variam por modelo e dialeto, então teste antes de depender disso. Falhas típicas:

  1. Tratar como inglês e responder a uma mensagem mal entendida.
  2. Converter para o dialeto errado, por exemplo “transformando” egípcio em palavras do MSA que mudam o tom, ou supondo Golfo quando o usuário é libanês.
  3. Alfabeto de saída inconsistente, respondendo em Arabizi a uma mensagem e em alfabeto árabe à seguinte.
  4. Precisão alucinada em nomes e lugares, em que a grafia latina é ambígua.

A solução é a mesma dos dialetos em geral: diga ao modelo o que esperar e o que produzir.

Como converter Arabizi para o alfabeto árabe com um LLM?

Primeiro converta o Arabizi para o alfabeto árabe e depois rode o resto do pipeline (busca, roteamento, respostas) sobre o texto em árabe. Assim você mantém um único caminho no código e a busca e as análises funcionam.

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
 "dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
 "arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
 "english_gloss": "<short English meaning>"}"""

def normalise(message: str) -> dict:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=1500,  # the model reasons first; leave room for the JSON
        messages=[{"role": "system", "content": NORMALISE},
                  {"role": "user", "content": message}],
    )
    text = r.choices[0].message.content.strip()
    text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
    return json.loads(text)  # validate the fields before you trust them

print(normalise("el order bta3i lessa ma waslsh, can u check?"))

Um bom resultado:

{"script": "mixed", "dialect": "egyptian",
 "arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
 "english_gloss": "My order still hasn't arrived, can you check?"}

Observações sobre esse desenho:

  • Mantenha as palavras do dialeto. Pedir “a mensagem em alfabeto árabe, mantendo as palavras do dialeto” evita que ela seja reescrita em silêncio para MSA, o que faria perder sentido para roteamento e análise de sentimento.
  • Guarde o original. Armazene a mensagem bruta ao lado da conversão, para auditorias e para retreinar regras.
  • Use um pré-filtro barato. Uma checagem simples (letras latinas mais os dígitos 2, 3, 5, 6, 7, 8 ou 9 dentro das palavras, como na regex abaixo) pega a maior parte do Arabizi antes de você gastar uma chamada de LLM. Mensagens só em árabe ou só em inglês podem pular a conversão. Para uma saída mais rígida, use saída estruturada com um schema.
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
    return bool(ARABIZI_HINT.search(text)) and not re.search(r"[؀-ۿ]", text)

A pista não pega Arabizi sem dígitos (“ana mesh fahem”, não entendi) e dispara em códigos de produto como “a7x”; trate-a como economia de custo, não como classificador. A decisão real é o campo script do LLM.

Em qual alfabeto a resposta deve sair?

Decida por produto, não por mensagem:

Responder em Quando
Alfabeto árabe (MSA ou dialeto leve) Padrão para a maioria das empresas; todo mundo lê
Inglês Se seu idioma de suporte é o inglês, ou se o cliente escreveu sobretudo em inglês
Arabizi Marcas jovens que querem acompanhar o estilo do cliente; peça a nativos que revisem amostras

Espelhar o Arabizi automaticamente tende a gerar grafias que parecem estranhas para usuários nativos, porque não há padrão a seguir. Se for espelhar, dê ao modelo exemplos das grafias que você prefere. Mais sobre registro e alfabeto em engenharia de prompt em árabe.

Qual modelo usar para Arabizi?

Reúna de 50 a 100 mensagens reais em Arabizi dos seus canais, escreva para cada uma a versão correta em alfabeto árabe e a intenção, e avalie os modelos candidatos primeiro pela precisão de intenção e depois pela qualidade da conversão. A BroadNet informa que, nos testes dela, o Qwen3.8 27B entendeu os dialetos do Golfo e egípcio e escreveu árabe fluente; ela não publicou resultado específico para Arabizi, então teste nas suas mensagens. O DeepSeek V4.1 Flash é mais barato por token de output, e o BroadNet Gemma 4 VL 26B é o modelo mais barato da BroadNet para uma etapa de pré-classificação em grande volume. Os preços estão na página de preços. Arabizi em alfabeto latino e texto em alfabeto árabe são tokenizados de forma diferente, então cole as duas versões de algumas mensagens no contador de tokens gratuito antes de estimar o custo.

Onde o Arabizi aparece?

  • WhatsApp e DMs de redes sociais: a fonte principal. Veja arquitetura de chatbot de WhatsApp em árabe.
  • Caixas de busca: os usuários digitam “7agz” (حجز, reserva). Normalize as consultas com o mesmo passo antes da recuperação RAG em árabe.
  • Não da fala para texto, se você enviar o idioma. Arabizi é digitado por pessoas. Se a transcrição de um áudio em árabe volta em letras latinas, provavelmente falta language=ar na requisição; a documentação da BroadNet avisa que, sem isso, o árabe pode ser transliterado. Veja o guia de áudios do WhatsApp.

Perguntas frequentes

Arabizi e franco-árabe são a mesma coisa?

Sim. Arabizi, franco-árabe, "Franco" e alfabeto de chat árabe dão nome à mesma prática de escrever árabe com letras latinas e dígitos. Os nomes variam por país; "Franco" é comum no Egito.

Meu chatbot deve responder em Arabizi?

Normalmente não. Responda em alfabeto árabe ou em inglês, conforme sua marca. Algumas marcas voltadas ao público jovem respondem em Arabizi, mas peça a falantes nativos que confiram se a grafia parece natural.

Uma regex consegue converter Arabizi para árabe?

Não de forma confiável. As vogais são omitidas ou acrescentadas livremente, e as mesmas letras latinas correspondem a letras árabes diferentes conforme o contexto. Regras ajudam na detecção; a conversão precisa de um modelo de linguagem.

O que significa o 3 nas mensagens em árabe?

No Arabizi, o 3 representa a letra ع (ayn), como em "3arabi" para عربي (árabe). Outros dígitos comuns são 2 para ء, 5 para خ, 7 para ح e 9 para ص.

Por que minha transcrição voltou em letras latinas?

Isso é transliteração feita pelo modelo de fala, não Arabizi digitado por usuários. Envie language=ar em toda requisição de transcrição em árabe para receber o alfabeto árabe.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity