Quando si dice che un modello di AI “parla arabo”, di solito si intende che gestisce l’arabo standard moderno. I dialetti sono un test a parte.
Come funziona
L’arabo è una famiglia di varietà. L’articolo su MADAR (Bouamor et al., 2018) lo dice chiaramente: l’MSA è “the shared language of culture, media, and education from Morocco to Oman” (traduzione: la lingua comune di cultura, media e istruzione dal Marocco all’Oman), eppure “is not the native language of any speaker of Arabic” (traduzione: non è la lingua madre di nessun parlante arabo). I dialetti si raggruppano per regione in egiziano, nordafricano, levantino, del Golfo e yemenita, e per sottoregione in tunisino, libanese, kuwaitiano, qatariota e così via. MADAR stesso copre 25 dialetti cittadini oltre all’MSA.
Nella pratica le due cose si mescolano. Nei contesti non scritti in cui ci si aspetterebbe l’MSA, come i talk show televisivi, chi parla passa avanti e indietro tra MSA e dialetto. È il code-switching, e lo shared task del 2014 sul code-switching ha trovato che MSA e dialetto sono la coppia più difficile da distinguere a livello di parola, più di spagnolo-inglese o nepalese-inglese.
| MSA | Dialetti | |
|---|---|---|
| Dove | notiziari, libri, scuola, contratti, discorsi formali | casa, strada, telefonate, messaggi vocali, chat |
| Ortografia | standard | nessuna ortografia fissa; spesso scritti in Arabizi |
| Dati di addestramento | grandi corpus scritti | molti meno, distribuiti in modo disomogeneo per regione |
Perché è importante
- Qualità dell’LLM. Un modello può scrivere un buon MSA e non capire lo slang del Golfo o del Maghreb. Fai i test con il dialetto che parlano i tuoi utenti.
- Accuratezza dello speech-to-text. Molti set di test sono parlato letto o trasmesso, mentre il tuo audio può essere fatto di messaggi vocali in dialetto. Chiedi il word error rate per varietà, non un unico numero per l’arabo, e fai test sulle tue registrazioni.
- Costo in token. Nel nostro dataset sui tokenizer, su Qwen3.8 27B l’arabo standard moderno ha richiesto 1.31× i token delle stesse frasi in inglese (2,009 frasi FLORES-200) e l’arabo del Golfo 1.21× (un piccolo set di 49 frasi Tatoeba, quindi un valore indicativo). Usa il contatore di token per l’arabo sul tuo testo.
Su BroadNet Inference
BroadNet riporta di aver testato Qwen3.8 27B per una scrittura fluente in arabo, con comprensione dei dialetti del Golfo ed egiziano. BroadNet Transcribe Arabic è indicato per l’arabo, dialetti compresi. Sia per l’audio in MSA sia per quello in dialetto invia language=ar; la documentazione di BroadNet avverte che senza questo parametro l’arabo può tornare in lettere latine. L’articolo sul riconoscimento vocale dei dialetti spiega come fare test sulle tue registrazioni.