Quando se diz que um modelo de IA “fala árabe”, normalmente isso significa que ele lida com o árabe padrão moderno. Os dialetos são outro teste.
Como funciona
O árabe é uma família de variedades. O artigo do MADAR (Bouamor et al., 2018) diz isso com todas as letras: o MSA é “the shared language of culture, media, and education from Morocco to Oman” (tradução: a língua comum da cultura, da mídia e da educação do Marrocos a Omã), mas “is not the native language of any speaker of Arabic” (tradução: não é a língua materna de nenhum falante de árabe). Os dialetos se agrupam por região em egípcio, norte-africano, levantino, do Golfo e iemenita, e por sub-região em tunisiano, libanês, kuwaitiano, catariano e assim por diante. O próprio MADAR cobre 25 dialetos de cidades, além do MSA.
Na prática, os dois se misturam. Em situações sem roteiro em que se esperaria o MSA, como talk shows na TV, as pessoas alternam entre o MSA e o dialeto. Isso é code-switching, e a shared task de code-switching de 2014 concluiu que MSA vs. dialeto é o par mais difícil de distinguir no nível da palavra, mais do que espanhol-inglês ou nepalês-inglês.
| MSA | Dialetos | |
|---|---|---|
| Onde | noticiário, livros, escola, contratos, fala formal | casa, rua, ligações, mensagens de voz, chat |
| Ortografia | padrão | sem ortografia fixa; muitas vezes digitados em Arabizi |
| Dados de treino | grandes corpora escritos | bem menos, distribuídos de forma desigual por região |
Por que importa
- Qualidade do LLM. Um modelo pode escrever um bom MSA e ainda assim não entender gírias do Golfo ou do Magrebe. Teste com o dialeto que seus usuários falam.
- Precisão da fala para texto. Muitos conjuntos de teste são fala lida ou de transmissão, enquanto o seu áudio pode ser mensagem de voz em dialeto. Peça o word error rate por variedade, e não um único número para o árabe, e teste com as suas próprias gravações.
- Custo em tokens. No nosso dataset de tokenizers, no Qwen3.8 27B o árabe padrão moderno precisou de 1.31× os tokens das mesmas frases em inglês (2,009 frases do FLORES-200) e o árabe do Golfo de 1.21× (um conjunto pequeno de 49 frases do Tatoeba, então um valor aproximado). Use o contador de tokens em árabe no seu próprio texto.
Na BroadNet Inference
A BroadNet informa ter testado o Qwen3.8 27B para escrita fluente em árabe, com compreensão dos dialetos do Golfo e egípcio. O BroadNet Transcribe Arabic aparece listado para árabe, incluindo dialetos. Para áudio em MSA e em dialeto, envie language=ar; a documentação da BroadNet avisa que, sem ele, o árabe pode voltar em letras latinas. O artigo sobre reconhecimento de fala em dialetos explica como testar com as suas próprias gravações.