Per le persone bilingui il code-switching è il modo normale di parlare. Per il software che si aspetta una lingua per input, è una fonte comune di errori.
Come funziona
Solorio et al. (2014), nel primo shared task sui dati con code-switching, lo definiscono in senso ampio come un atto comunicativo, “spoken or written, where two or more languages are being used interchangeably” (traduzione: parlato o scritto, in cui due o più lingue vengono usate in modo intercambiabile). Il loro task etichettava con la lingua ogni parola di post su Twitter in quattro coppie: arabo standard moderno-arabo dialettale, mandarino-inglese, nepalese-inglese e spagnolo-inglese. Sette team hanno inviato 42 run. L’identificazione a livello di parola è risultata più difficile per arabo standard contro dialetto, perché i due sono strettamente imparentati, e più facile per spagnolo-inglese e nepalese-inglese.
Gli utenti arabi alternano in più modi contemporaneamente:
- Dialetto e arabo standard. L’articolo su MADAR osserva che nei contesti non preparati in cui ci si aspetta l’arabo standard, come i talk show televisivi, chi parla passa ripetutamente dal proprio dialetto all’arabo standard e viceversa.
- Arabo e inglese o francese. Darwish (2014) osserva che molti arabofoni sono bilingui e mescolano inglese o francese con l’arabo all’interno delle frasi.
- Scritture. I messaggi digitati possono mescolare scrittura araba, scrittura latina e Arabizi nella stessa riga.
Un tipico messaggio di chat dal Golfo mescola tutto questo:
عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")
Le parole arabe sono dialettali, “meeting” è inglese dentro una proposizione araba, e la frase finisce in inglese. Un rilevatore di lingua, un tokenizer e un modello vocale devono ciascuno gestire quel passaggio.
Perché è importante
- Speech-to-text. Una richiesta di trascrizione di solito accetta un solo
language. Il nome inglese di un prodotto dentro un parlato arabo può uscire in caratteri arabi, in caratteri latini o frainteso. Concorda una convenzione e calcola il word error rate rispetto a quella, altrimenti conterai differenze di stile come errori. - Instradamento e ricerca. Un rilevatore di lingua che assegna una sola etichetta per messaggio etichetterà male i messaggi misti, e gli intent in arabo possono finire nel flusso inglese.
- Prompt per LLM. Di’ al modello che l’input può mescolare lingue e indica in quale lingua rispondere. Altrimenti potrebbe imitare l’ultima lingua arrivata.
Su BroadNet Inference
La documentazione di BroadNet dice di inviare sempre language con la trascrizione, ar per l’arabo ed en per l’inglese, e avverte che senza di esso l’arabo può essere traslitterato in lettere latine. Non documenta un’impostazione per lingue miste. Per il parlato arabo con parole inglesi, invia language=ar a BroadNet Transcribe Arabic e fai prove su registrazioni reali; l’articolo sul riconoscimento vocale dei dialetti spiega come costruire quel set di test. Per il testo misto in chat, Qwen3.8 27B è il modello che BroadNet riferisce di aver testato sui dialetti arabi.