BroadRouter

Árabe do Golfo, egípcio e levantino: como os LLMs lidam com dialetos

Pela equipe da BroadNet Inference · 6 min de leitura · Publicado em

Os LLMs lidam com os dialetos árabes de forma desigual: normalmente entendem o árabe egípcio e do Golfo melhor do que o escrevem, e a qualidade cai em dialetos mais raros. Teste compreensão e escrita separadamente com suas próprias mensagens. Nos testes da própria BroadNet, o Qwen3.8 27B entendeu os dialetos do Golfo e egípcio e escreveu árabe fluente. Ele custa $0.175 por 1M de tokens de input.

Os LLMs normalmente entendem o árabe do Golfo e o egípcio melhor do que os escrevem, e se saem pior em dialetos mais raros. Um cliente em Riad, um no Cairo e um em Beirute podem perguntar “o que você quer?” com três frases diferentes, e um modelo que lida bem com o árabe padrão moderno (MSA) ainda pode entendê-los errado. Teste compreensão e escrita separadamente.

Este post mostra o que muda entre os grandes grupos de dialetos, onde os LLMs costumam errar e como testar um modelo antes de confiar clientes reais a ele.

Quão diferentes os dialetos são, de verdade?

Muito nas palavras do dia a dia, bem mais próximos no vocabulário formal. Os corpora de pesquisa dão a escala: o corpus MADAR traduziu as mesmas frases de viagem para os dialetos de 25 cidades árabes. A tabela mostra algumas frases comuns. A coluna MSA é o que um livro didático imprimiria; as outras são formas típicas faladas e escritas em mensagens. A grafia varia de pessoa para pessoa, o que faz parte do problema.

Significado MSA Golfo (saudita / emiradense) Egípcio Levantino
O que você quer? ماذا تريد؟ وش تبي؟ / شو تبي؟ عايز إيه؟ شو بدّك؟
Como vai? كيف حالك؟ شلونك؟ إزيك؟ كيفك؟
agora الآن الحين دلوقتي هلّق
Não sei لا أعرف ما أدري مش عارف ما بعرف
muito جداً وايد أوي كتير

Três padrões importam para os LLMs:

  • As palavras funcionais mudam. Palavras interrogativas, negação e “querer” são totalmente diferentes entre os dialetos. São palavras curtas e frequentes que decidem o sentido da frase, então ler uma errado inverte a intenção.
  • A grafia não é padronizada. Os dialetos são sobretudo falados, então as pessoas os escrevem como soam. A mesma palavra pode aparecer com letras diferentes, com ou sem hamza, ou em alfabeto latino (Arabizi).
  • O code-switching é normal. Mensagens de negócios no Golfo misturam nomes de produtos em inglês; falantes levantinos e magrebinos misturam francês. Um modelo precisa lidar com os dois alfabetos na mesma frase.

Onde os LLMs erram com dialetos árabes?

Os modelos aprendem com o texto que veem, e existe muito menos texto público em dialetos menores, como o emiradense ou o sudanês, do que em árabe padrão moderno. Na prática isso aparece como alguns erros recorrentes:

  1. Ler uma palavra dialetal como outra palavra do MSA. No Golfo, “أبي” (eu quero) parece o MSA “أبي” (meu pai). O contexto normalmente resolve, mas modelos pequenos às vezes não.
  2. Responder à intenção errada. Uma reclamação curta em egípcio como “الطلب لسه موصلش” (o pedido ainda não chegou) exige que o modelo saiba que “لسه” significa “ainda” e que “موصلش” é um verbo negado.
  3. Escrever um dialeto misturado. Quando pedimos uma resposta “em árabe do Golfo”, modelos mais fracos produzem uma mistura de egípcio, levantino e MSA que nenhum nativo escreveria. Isso é mais comum que entender errado.
  4. Corrigir demais. Alguns modelos “consertam” o dialeto do cliente para MSA quando você pediu para citá-lo, o que quebra tarefas de extração.

A regra geral: os modelos entendem dialetos melhor do que os escrevem. Planeje seu produto em torno disso.

O que a BroadNet testou em dialetos árabes?

A BroadNet publica a própria checagem de árabe na página de preços dela. Para o Qwen3.8 27B, ela informa:

  • escrita fluente em árabe,
  • dialetos do Golfo e egípcio compreendidos,
  • tradução árabe–inglês precisa.

É o que a BroadNet afirma, e nada mais. Ela não publica resultado para levantino, iraquiano ou magrebino, nem uma pontuação de escrita em dialeto. Se clientes levantinos importam para você, teste-os você mesmo com o método abaixo.

O Qwen3.8 27B aceita texto e imagens, suporta ferramentas e saída estruturada, raciocina antes de responder e tem contexto de 262.144 tokens. Por 1M de tokens, custa $0.175 de input e $2.17 de output. Compare os outros modelos de chat na página de preços e veja como escolher uma API de LLM para árabe para o checklist mais amplo, que também cobre escrita, tradução e documentos.

Como escrever o prompt para um dialeto específico?

Diga qual dialeto você espera, em qual quer a resposta e quão formal ela deve ser. Um system prompt que funciona bem para a caixa de entrada de um varejo saudita:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

system = (
    "You are a customer-service assistant for a Saudi online store. "
    "Customers write in Gulf Arabic (often Saudi), MSA, English or Arabizi. "
    "Understand all of them. Reply in simple, polite Modern Standard Arabic, "
    "in two or three short sentences. If the customer writes in English, reply in English. "
    "Never invent order details."
)

response = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,  # the model reasons first; leave room for the answer
    messages=[
        {"role": "system", "content": system},
        {"role": "user", "content": "السلام عليكم، طلبي للحين ما وصل، وش السالفة؟"},
    ],
)
print(response.choices[0].message.content)

A mensagem do cliente está em árabe do Golfo: “Olá, meu pedido ainda não chegou, o que está acontecendo?” As palavras “للحين” (ainda) e “وش السالفة” (qual é a história / o que está acontecendo) são formas do Golfo. Uma boa resposta reconhece o atraso em MSA e pede o número do pedido.

Mais alguns hábitos de prompt que ajudam:

  • Diga o país, não só a região. “Árabe do Golfo” abrange a fala saudita, emiradense, kuwaitiana, catariana, bareinita e omanense, que são diferentes. Se você conhece o mercado, diga.
  • Peça um rótulo de dialeto em tarefas de extração. Para roteamento ou análise, faça o modelo retornar {"dialect": "gulf" | "egyptian" | "levantine" | "msa" | "other", "intent": ...} usando saída estruturada. É um jeito barato de descobrir quem são seus clientes.
  • Mantenha as instruções em um só idioma. Instruções em inglês com conteúdo em árabe funcionam bem na maioria dos modelos. Instruções em árabe também funcionam; misturar os dois no mesmo system prompt tende a borrar o registro. Mais sobre isso em engenharia de prompt em árabe.

Vale a pena responder em dialeto?

Para a maioria das empresas, não. O MSA simples (às vezes chamado de árabe “branco” ou neutro) é entendido por todo leitor de árabe, passa uma imagem profissional e evita o risco de uma resposta que soe como do país errado. Respostas em dialeto fazem sentido para marcas informais, textos de marketing escritos para um único mercado e produtos de voz em que o MSA soa rígido. Se for por esse caminho, peça a falantes nativos daquele dialeto exato que revisem uma amostra das saídas toda semana.

Como testar o tratamento de dialetos em um dia?

  1. Reúna mensagens reais. Pegue de 30 a 50 mensagens anonimizadas por dialeto da sua caixa de entrada, dos logs de chat ou de áudios transcritos. Tire nomes, telefones e números de pedido.
  2. Rotule a intenção. Para cada mensagem, escreva a intenção correta e os dados que o modelo deve extrair (número do pedido, produto, data).
  3. Teste a compreensão. Peça a cada modelo candidato que retorne a intenção e os campos em JSON. Conte os acertos exatos. É esse número que decide se o roteamento funciona.
  4. Teste a escrita. Para dez mensagens por dialeto, peça uma resposta. Peça a um falante nativo que dê nota de 1 a 3 a cada resposta em correção, tom e naturalidade. Não avalie um dialeto que você não fala.
  5. Confira custo e velocidade. Registre usage.prompt_tokens, usage.completion_tokens e a latência por chamada. Texto em dialeto pode ser tokenizado de forma diferente do MSA, então meça em vez de chutar; o contador gratuito de tokens para árabe dá uma primeira estimativa rápida.
  6. Repita para cada modelo. Rode o mesmo conjunto no Qwen3.8 27B, no DeepSeek V4.1 Flash e no GLM 5.3. Os três usam a mesma API compatível com a OpenAI, então só muda o id do modelo.

Qwen3.8 27B, DeepSeek V4.1 Flash e GLM 5.3 funcionam depois de uma recarga; entre os modelos de chat, o crédito inicial gratuito de $5 só cobre o BroadNet Gemma 4 VL 26B, que vale incluir como referência de baixo custo. Um resultado útil muitas vezes é uma configuração dividida: um modelo para compreensão e roteamento, com as respostas redigidas em MSA.

E o dialeto nos áudios?

Se seus clientes mandam áudios, o tratamento de dialetos começa antes, na fala para texto. Um modelo de transcrição pode entender errado uma palavra dialetal antes mesmo de o LLM vê-la. A BroadNet informa um word error rate em dialeto de 23,4 para o BroadNet Transcribe Arabic, contra 3,8 na fala lida do FLEURS; veja WER em árabe explicado para o que esses números significam. Teste a cadeia inteira, do áudio à resposta, não cada peça isolada.

Perguntas frequentes

Meu chatbot deve responder no dialeto do cliente?

Normalmente não por padrão. O árabe padrão moderno simples é entendido em toda parte e passa uma imagem profissional. Use respostas em dialeto só onde a voz da sua marca pedir, e só depois que falantes nativos revisarem a saída.

Qual modelo da BroadNet a BroadNet testou em dialetos árabes?

O Qwen3.8 27B. A BroadNet informa escrita fluente em árabe, compreensão dos dialetos do Golfo e egípcio e tradução árabe–inglês precisa. Ela não publicou resultado para levantino nem magrebino.

Quantas mensagens de teste preciso por dialeto?

De trinta a cinquenta mensagens reais por dialeto bastam para ver diferenças claras entre modelos. Acrescente mais para o dialeto que a maioria dos seus clientes usa.

Mensagens em dialeto gastam mais tokens?

É possível. A contagem de tokens depende do tokenizador e da grafia, e texto em dialeto muitas vezes tem grafia fora do padrão. Cole amostras em um contador de tokens e confirme com prompt_tokens nas suas próprias mensagens em vez de supor.

Um LLM entende árabe egípcio?

Muitas vezes, mas confira nas suas próprias mensagens. A BroadNet informa que, nos testes dela, o Qwen3.8 27B entendeu árabe egípcio e do Golfo; outros modelos variam. Escrever em dialeto costuma ser menos confiável que ler, então avalie separadamente a precisão de intenção e a qualidade das respostas em 30 a 50 mensagens reais.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity