BroadRouter

Arabo dialettale (dialectal Arabic)

Aggiornato

L’arabo dialettale è l’arabo parlato ogni giorno in una regione o in una città, come l’arabo egiziano, del Golfo, levantino o maghrebino. I dialetti differiscono dall’arabo standard moderno per suoni, parole e grammatica, non hanno un’ortografia standard e si scrivono sempre più online, il che li rende più difficili per i modelli linguistici.

Detto anche: dialetti arabi, dialetto arabo, arabo colloquiale, arabo del Golfo, arabo egiziano, arabo levantino, arabo maghrebino, dialectal Arabic, Arabic dialects, Arabic dialect, colloquial Arabic, Gulf Arabic, Egyptian Arabic, Levantine Arabic, Maghrebi Arabic, Khaleeji

Un modello può ottenere buoni punteggi nei benchmark di arabo e inciampare lo stesso su un vocale da Riyad o su un messaggio in chat da Casablanca. Quelli sono dialetti, e sono una prova diversa dall’arabo standard moderno.

Come funziona

Bouamor et al. (2018), che hanno costruito il corpus MADAR, descrivono l’arabo come “a family of varieties” (traduzione: una famiglia di varietà). L’MSA è la lingua comune di cultura, media e istruzione “from Morocco to Oman” (traduzione: dal Marocco all’Oman), ma non è la lingua madre di nessun parlante. I dialetti si raggruppano di solito per regione, come egiziano, nordafricano, levantino, del Golfo e yemenita, oppure per sottoregione, come tunisino, libanese, kuwaitiano e così via. Si differenziano dall’MSA per suoni, lessico e morfologia, e in misura minore da città a città.

Per il software contano soprattutto tre differenze:

  • Suoni. L’esempio di MADAR è la lettera qaf (ق). In arabo tunisino resta /q/, vicino all’MSA; in egiziano e levantino è un colpo di glottide; nel Golfo è /g/. I modelli vocali devono ricondurre tutte e tre le pronunce alla stessa parola scritta.
  • Parole. Le parole di tutti i giorni cambiano. “Voglio” è أريد in MSA, عايز in egiziano, بدي in levantino, أبي o أبغى nel Golfo e بغيت in arabo marocchino.
  • Ortografia. MADAR osserva che l’MSA ha un’ortografia standard e i dialetti no. Si scrive a orecchio o secondo l’etimologia, a volte in lettere latine come l’Arabizi. I parlanti mescolano anche inglese o francese, il che si chiama code-switching.

Il dialetto, poi, si scrive sempre di più. MADAR lo definisce la lingua scritta primaria emergente della comunicazione informale online. NADI 2020 ha costruito uno shared task da tweet che coprono 100 province di 21 paesi arabi.

Perché è importante

Su BroadNet Inference

BroadNet elenca BroadNet Transcribe Arabic per arabo del Golfo, egiziano, levantino, maghrebino e standard moderno. BroadNet riporta un word error rate di 3,8 sul parlato letto di FLEURS-ar e di 23,4 sul proprio set di dialetti del Golfo, egiziani e levantini, entrambi misurati da BroadNet. La differenza è l’effetto del dialetto. Invia language=ar per tutti; la documentazione di BroadNet avverte che altrimenti l’arabo può tornare traslitterato in lettere latine.

Per il testo, BroadNet riporta di aver testato Qwen3.8 27B in arabo, con i dialetti del Golfo ed egiziano compresi. BroadNet non pubblica risultati per il testo levantino o maghrebino, quindi provali con i tuoi messaggi. La guida agli LLM per l’arabo confronta i modelli, e la guida allo speech-to-text in arabo contiene codice funzionante.

Errori comuni

  • Testare solo su testi giornalistici in MSA e poi andare in produzione con utenti che scrivono in dialetto.
  • Fare la media del WER tra i dialetti, il che nasconde quello più debole.
  • Normalizzare l’ortografia dialettale verso l’MSA nel testo che mostri agli utenti.

Domande frequenti

Quale codice lingua invio per un audio in dialetto?

Invia ar. La documentazione di BroadNet chiede language=ar per l’audio in arabo, e BroadNet elenca Transcribe Arabic per arabo del Golfo, egiziano, levantino, maghrebino e standard moderno con quell’unico modello.

Il modello deve rispondere in dialetto o in MSA?

Decidilo per ogni prodotto e scrivilo nel system prompt. Molti assistenti leggono il dialetto e rispondono in un MSA semplice o nel dialetto dell’utente; verifica cosa preferiscono i tuoi utenti.

Quanti dialetti arabi esistono?

Non c’è un numero fisso. I dialetti si raggruppano per regione (egiziano, nordafricano, levantino, del Golfo, yemenita) o per sottoregione. Il solo MADAR copre i dialetti di 25 città.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity