Um modelo pode ir bem em benchmarks de árabe e ainda tropeçar em uma mensagem de voz de Riad ou em uma mensagem de chat de Casablanca. Isso são dialetos, e eles são um teste diferente do árabe padrão moderno.
Como funciona
Bouamor et al. (2018), que criaram o corpus MADAR, descrevem o árabe como “a family of varieties” (tradução: uma família de variedades). O MSA é a língua comum da cultura, da mídia e da educação “from Morocco to Oman” (tradução: do Marrocos a Omã), mas não é a língua materna de nenhum falante. Os dialetos costumam ser agrupados por região, como egípcio, norte-africano, levantino, do Golfo e iemenita, ou por sub-região, como tunisiano, libanês, kuwaitiano e assim por diante. Eles diferem do MSA em sons, vocabulário e morfologia e, em menor grau, de cidade para cidade.
Três diferenças pesam mais para software:
- Sons. O exemplo do MADAR é a letra qaf (ق). No árabe tunisiano ela continua /q/, perto do MSA; no egípcio e no levantino vira uma oclusiva glotal; no árabe do Golfo é /g/. Modelos de fala precisam levar as três de volta à mesma palavra escrita.
- Palavras. Palavras do dia a dia mudam. “Eu quero” é أريد em MSA, عايز em egípcio, بدي em levantino, أبي ou أبغى no árabe do Golfo e بغيت no árabe marroquino.
- Ortografia. O MADAR observa que o MSA tem ortografia padrão e os dialetos não. As pessoas escrevem pelo som ou pela etimologia, às vezes em letras latinas, como no Arabizi. Os falantes também misturam inglês ou francês, o que é code-switching.
O dialeto também é cada vez mais escrito. O MADAR o chama de língua escrita primária emergente da comunicação informal on-line. O NADI 2020 montou uma shared task a partir de tweets de 100 províncias em 21 países árabes.
Por que isso importa
- Chats e bots de atendimento. Os usuários escrevem como falam. Regras de intenção, busca por palavra-chave e modelos de sentimento treinados em MSA não reconhecem palavras dialetais. Veja dialetos do Golfo e egípcio com LLMs.
- Speech-to-text. No mesmo modelo, áudio em dialeto tem resultado bem pior do que MSA lido. Monte um conjunto de teste por dialeto, como explica o post sobre reconhecimento de fala em dialetos.
- Roteamento. Se respostas, revisores ou prompts mudam por região, rotule o dialeto antes com a identificação de dialeto árabe.
Na BroadNet Inference
A BroadNet lista o BroadNet Transcribe Arabic para árabe do Golfo, egípcio, levantino, magrebino e padrão moderno. A BroadNet informa um word error rate de 3,8 na fala lida do FLEURS-ar e de 23,4 no seu próprio conjunto de dialetos do Golfo, egípcio e levantino, ambas medições da BroadNet. A diferença é o efeito do dialeto. Envie language=ar para todos; a documentação da BroadNet avisa que, sem isso, o árabe pode voltar transliterado em letras latinas.
Para texto, a BroadNet informa ter testado o Qwen3.8 27B em árabe, com os dialetos do Golfo e egípcio compreendidos. A BroadNet não publica resultado para texto levantino ou magrebino, então teste esses com as suas próprias mensagens. O guia de LLMs para árabe compara os modelos, e o guia de speech-to-text em árabe tem código funcionando.
Erros comuns
- Testar só com texto jornalístico em MSA e depois lançar para usuários que escrevem em dialeto.
- Tirar a média do WER entre dialetos, o que esconde o mais fraco.
- Normalizar a grafia dialetal para MSA no texto que você mostra aos usuários.