BroadRouter

Arabo del Golfo, egiziano e levantino: gli LLM e i dialetti

A cura del team di BroadNet Inference · 6 min di lettura · Pubblicato

Gli LLM gestiscono i dialetti arabi in modo disomogeneo: di solito capiscono l’arabo egiziano e del Golfo meglio di quanto lo scrivano, e la qualità cala con i dialetti più rari. Testa separatamente comprensione e scrittura sui tuoi messaggi. Nei test di BroadNet, Qwen3.8 27B ha capito i dialetti del Golfo ed egiziano e ha scritto un arabo scorrevole. Costa $0.175 per 1M di token di input.

Di solito gli LLM capiscono l’arabo del Golfo e quello egiziano meglio di quanto li scrivano, e vanno peggio con i dialetti più rari. Un cliente a Riad, uno al Cairo e uno a Beirut possono chiedere “cosa vuoi?” con tre frasi diverse, e un modello che gestisce bene l’arabo standard moderno (MSA) può comunque fraintenderli. Testa separatamente comprensione e scrittura.

Questo articolo spiega cosa cambia tra i grandi gruppi di dialetti, dove gli LLM tendono a sbagliare e come testare un modello prima di affidargli clienti veri.

Quanto sono diversi davvero i dialetti?

Molto nelle parole di tutti i giorni, molto meno nel lessico formale. I corpus di ricerca danno l’idea della scala: il corpus MADAR ha tradotto le stesse frasi di viaggio nei dialetti di 25 città arabe. La tabella mostra alcune frasi comuni. La colonna MSA è quella che stamperebbe un libro di testo; le altre sono forme tipiche del parlato e dei messaggi. La grafia cambia da persona a persona, e questo è parte del problema.

Significato MSA Golfo (saudita / emiratino) Egiziano Levantino
Cosa vuoi? ماذا تريد؟ وش تبي؟ / شو تبي؟ عايز إيه؟ شو بدّك؟
Come stai? كيف حالك؟ شلونك؟ إزيك؟ كيفك؟
adesso الآن الحين دلوقتي هلّق
Non lo so لا أعرف ما أدري مش عارف ما بعرف
molto / tanto جداً وايد أوي كتير

Per gli LLM contano tre schemi:

  • Cambiano le parole funzionali. Parole interrogative, negazione e “volere” sono completamente diverse da un dialetto all’altro. Sono parole brevi e frequenti che decidono il senso della frase, quindi leggerne male una ribalta l’intento.
  • La grafia non è standard. I dialetti sono soprattutto parlati, quindi le persone li scrivono come suonano. La stessa parola può comparire con lettere diverse, con o senza hamza, oppure in caratteri latini (Arabizi).
  • Il code-switching è normale. I messaggi di lavoro nel Golfo mescolano nomi di prodotto inglesi; chi parla levantino e maghrebino mescola il francese. Un modello deve saper gestire entrambi gli alfabeti nella stessa frase.

Dove sbagliano gli LLM con i dialetti arabi?

I modelli imparano dal testo che vedono, e di testo pubblico in dialetti più piccoli come l’emiratino o il sudanese ce n’è molto meno che in arabo standard moderno. In pratica questo si traduce in alcuni errori ricorrenti:

  1. Leggere una parola dialettale come un’altra parola MSA. Nel Golfo “أبي” (voglio) sembra l’MSA “أبي” (mio padre). Di solito il contesto chiarisce, ma i modelli piccoli a volte no.
  2. Rispondere all’intento sbagliato. Un breve reclamo egiziano come “الطلب لسه موصلش” (l’ordine non è ancora arrivato) richiede che il modello sappia che “لسه” significa “ancora” e che “موصلش” è un verbo negato.
  3. Scrivere un dialetto misto. Se chiedi di rispondere “in arabo del Golfo”, i modelli più deboli producono un misto di egiziano, levantino e MSA che nessun madrelingua scriverebbe. Succede più spesso dei fraintendimenti.
  4. Correggere troppo. Alcuni modelli “sistemano” il dialetto del cliente in MSA quando gli hai chiesto di citarlo, e questo rompe i compiti di estrazione.

La regola generale: i modelli capiscono i dialetti meglio di quanto li scrivano. Progetta il tuo prodotto tenendone conto.

Cosa ha testato BroadNet sui dialetti arabi?

BroadNet pubblica il proprio controllo sull’arabo nella sua pagina prezzi. Per Qwen3.8 27B riporta:

  • scrittura araba scorrevole,
  • dialetti del Golfo ed egiziano compresi,
  • traduzione arabo–inglese accurata.

È quello che dichiara BroadNet, niente di più. Non pubblica risultati su levantino, iracheno o maghrebino, e non pubblica un punteggio sulla scrittura in dialetto. Se i clienti levantini contano per te, testali tu con il metodo qui sotto.

Qwen3.8 27B accetta testo e immagini, supporta tool e output strutturato, ragiona prima di rispondere e ha un contesto di 262.144 token. Per 1M di token costa $0.175 di input e $2.17 di output. Confronta gli altri modelli chat nella pagina prezzi e vedi scegliere un’API LLM per l’arabo per la checklist più ampia, che copre anche scrittura, traduzione e documenti.

Come si scrive il prompt per un dialetto specifico?

Indica quale dialetto ti aspetti, in quale vuoi la risposta e quanto formale deve essere. Un system prompt che funziona bene per la casella di un negozio online saudita:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

system = (
    "You are a customer-service assistant for a Saudi online store. "
    "Customers write in Gulf Arabic (often Saudi), MSA, English or Arabizi. "
    "Understand all of them. Reply in simple, polite Modern Standard Arabic, "
    "in two or three short sentences. If the customer writes in English, reply in English. "
    "Never invent order details."
)

response = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,  # the model reasons first; leave room for the answer
    messages=[
        {"role": "system", "content": system},
        {"role": "user", "content": "السلام عليكم، طلبي للحين ما وصل، وش السالفة؟"},
    ],
)
print(response.choices[0].message.content)

Il messaggio del cliente è in arabo del Golfo: “Salve, il mio ordine non è ancora arrivato, che succede?” Le parole “للحين” (ancora) e “وش السالفة” (qual è la storia / che succede) sono forme del Golfo. Una buona risposta riconosce il ritardo in MSA e chiede il numero d’ordine.

Altre abitudini utili nel prompt:

  • Indica il paese, non solo la regione. “Arabo del Golfo” comprende il parlato saudita, emiratino, kuwaitiano, qatariota, bahreinita e omanita, che sono diversi. Se conosci il mercato, dillo.
  • Chiedi un’etichetta di dialetto nei compiti di estrazione. Per instradamento o analisi, fai restituire al modello {"dialect": "gulf" | "egyptian" | "levantine" | "msa" | "other", "intent": ...} con l’output strutturato. È un modo economico per capire chi sono i tuoi clienti.
  • Tieni le istruzioni in una sola lingua. Istruzioni in inglese con contenuto in arabo funzionano bene sulla maggior parte dei modelli. Funzionano anche istruzioni in arabo; mescolare le due lingue nello stesso system prompt tende a confondere il registro. Approfondimenti nel prompt engineering in arabo.

Conviene rispondere in dialetto?

Per la maggior parte delle aziende, no. L’MSA semplice (a volte chiamato arabo “bianco” o neutro) è compreso da ogni lettore arabo, risulta professionale ed evita il rischio di una risposta che suoni del paese sbagliato. Le risposte in dialetto hanno senso per brand informali, testi di marketing scritti per un solo mercato e prodotti vocali in cui l’MSA suona rigido. Se scegli questa strada, fai rivedere ogni settimana un campione di output a madrelingua di quel preciso dialetto.

Come testare la gestione dei dialetti in un giorno?

  1. Raccogli messaggi reali. Prendi da 30 a 50 messaggi anonimizzati per dialetto dalla tua casella, dai log delle chat o dai vocali trascritti. Togli nomi, numeri di telefono e numeri d’ordine.
  2. Etichetta l’intento. Per ogni messaggio, scrivi l’intento corretto e i dati che il modello deve estrarre (numero d’ordine, prodotto, data).
  3. Testa la comprensione. Chiedi a ogni modello candidato di restituire intento e campi in JSON. Conta le corrispondenze esatte. È questo il numero che decide se l’instradamento funziona.
  4. Testa la scrittura. Per dieci messaggi per dialetto, chiedi una risposta. Fai valutare a un madrelingua ogni risposta da 1 a 3 per correttezza, tono e naturalezza. Non valutare un dialetto che non parli.
  5. Controlla costi e velocità. Registra usage.prompt_tokens, usage.completion_tokens e la latenza per chiamata. Il testo in dialetto può essere tokenizzato diversamente dall’MSA, quindi misura invece di indovinare; il contatore gratuito di token per l’arabo dà una prima stima rapida.
  6. Ripeti per ogni modello. Esegui lo stesso set su Qwen3.8 27B, DeepSeek V4.1 Flash e GLM 5.3. Tutti e tre usano la stessa API compatibile con OpenAI, quindi cambia solo l’id del modello.

Qwen3.8 27B, DeepSeek V4.1 Flash e GLM 5.3 funzionano dopo una ricarica; tra i modelli chat, il credito iniziale gratuito $5 copre solo BroadNet Gemma 4 VL 26B, che vale la pena aggiungere come riferimento a basso costo. Spesso il risultato utile è una configurazione divisa: un modello per comprensione e instradamento, con risposte scritte in MSA.

E il dialetto nei vocali?

Se i tuoi clienti mandano vocali, la gestione del dialetto comincia prima, nello speech-to-text. Un modello di trascrizione può capire male una parola dialettale prima ancora che l’LLM la veda. BroadNet riporta un word error rate sul dialetto di 23,4 per BroadNet Transcribe Arabic, contro 3,8 sul parlato letto di FLEURS; vedi il WER in arabo spiegato per cosa significano questi numeri. Testa l’intera catena, dal vocale alla risposta, non ogni pezzo da solo.

Domande frequenti

Il mio chatbot deve rispondere nel dialetto del cliente?

Di solito non per default. L’arabo standard moderno semplice si capisce ovunque e appare professionale. Usa risposte in dialetto solo dove lo richiede il tono del tuo brand, e solo dopo che dei madrelingua hanno rivisto l’output.

Quale modello BroadNet ha testato BroadNet sui dialetti arabi?

Qwen3.8 27B. BroadNet riporta una scrittura araba scorrevole, la comprensione dei dialetti del Golfo ed egiziano e una traduzione arabo–inglese accurata. Non ha pubblicato risultati sul levantino o sul maghrebino.

Quanti messaggi di test servono per ogni dialetto?

Da trenta a cinquanta messaggi reali per dialetto bastano per vedere differenze chiare tra i modelli. Aggiungine altri per il dialetto usato dalla maggior parte dei tuoi clienti.

I messaggi in dialetto costano più token?

Può darsi. Il numero di token dipende dal tokenizer e dalla grafia, e il testo in dialetto ha spesso una grafia non standard. Incolla dei campioni in un contatore di token e verifica con prompt_tokens sui tuoi messaggi invece di dare per scontato.

Un LLM capisce l’arabo egiziano?

Spesso sì, ma verificalo sui tuoi messaggi. BroadNet riporta che nei suoi test Qwen3.8 27B ha capito l’arabo egiziano e del Golfo; gli altri modelli variano. Scrivere in dialetto di solito è meno affidabile che leggerlo, quindi valuta separatamente l’accuratezza sull’intento e la qualità delle risposte su 30-50 messaggi reali.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity