BroadRouter
Inizia

Code-switching (commutazione di codice)

Aggiornato

Il code-switching è l’uso di due o più lingue, o varietà di una stessa lingua, all’interno della stessa conversazione o frase, nel parlato o nello scritto. Ne sono esempi gli arabofoni che inseriscono parole inglesi nel dialetto, o che passano dall’arabo standard moderno al loro dialetto.

Detto anche: commutazione di codice, alternanza linguistica, mescolanza di lingue, testo multilingue misto, code switching, code-mixing, code mixing, language mixing, mixed-language text

Per le persone bilingui il code-switching è il modo normale di parlare. Per il software che si aspetta una lingua per input, è una fonte comune di errori.

Come funziona

Solorio et al. (2014), nel primo shared task sui dati con code-switching, lo definiscono in senso ampio come un atto comunicativo, “spoken or written, where two or more languages are being used interchangeably” (traduzione: parlato o scritto, in cui due o più lingue vengono usate in modo intercambiabile). Il loro task etichettava con la lingua ogni parola di post su Twitter in quattro coppie: arabo standard moderno-arabo dialettale, mandarino-inglese, nepalese-inglese e spagnolo-inglese. Sette team hanno inviato 42 run. L’identificazione a livello di parola è risultata più difficile per arabo standard contro dialetto, perché i due sono strettamente imparentati, e più facile per spagnolo-inglese e nepalese-inglese.

Gli utenti arabi alternano in più modi contemporaneamente:

  • Dialetto e arabo standard. L’articolo su MADAR osserva che nei contesti non preparati in cui ci si aspetta l’arabo standard, come i talk show televisivi, chi parla passa ripetutamente dal proprio dialetto all’arabo standard e viceversa.
  • Arabo e inglese o francese. Darwish (2014) osserva che molti arabofoni sono bilingui e mescolano inglese o francese con l’arabo all’interno delle frasi.
  • Scritture. I messaggi digitati possono mescolare scrittura araba, scrittura latina e Arabizi nella stessa riga.

Un tipico messaggio di chat dal Golfo mescola tutto questo:

عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")

Le parole arabe sono dialettali, “meeting” è inglese dentro una proposizione araba, e la frase finisce in inglese. Un rilevatore di lingua, un tokenizer e un modello vocale devono ciascuno gestire quel passaggio.

Perché è importante

  • Speech-to-text. Una richiesta di trascrizione di solito accetta un solo language. Il nome inglese di un prodotto dentro un parlato arabo può uscire in caratteri arabi, in caratteri latini o frainteso. Concorda una convenzione e calcola il word error rate rispetto a quella, altrimenti conterai differenze di stile come errori.
  • Instradamento e ricerca. Un rilevatore di lingua che assegna una sola etichetta per messaggio etichetterà male i messaggi misti, e gli intent in arabo possono finire nel flusso inglese.
  • Prompt per LLM. Di’ al modello che l’input può mescolare lingue e indica in quale lingua rispondere. Altrimenti potrebbe imitare l’ultima lingua arrivata.

Su BroadNet Inference

La documentazione di BroadNet dice di inviare sempre language con la trascrizione, ar per l’arabo ed en per l’inglese, e avverte che senza di esso l’arabo può essere traslitterato in lettere latine. Non documenta un’impostazione per lingue miste. Per il parlato arabo con parole inglesi, invia language=ar a BroadNet Transcribe Arabic e fai prove su registrazioni reali; l’articolo sul riconoscimento vocale dei dialetti spiega come costruire quel set di test. Per il testo misto in chat, Qwen3.8 27B è il modello che BroadNet riferisce di aver testato sui dialetti arabi.

Domande frequenti

Il code-switching è la stessa cosa del code-mixing?

In pratica entrambi i nomi indicano più di una lingua in un solo messaggio o conversazione, e causano gli stessi problemi agli strumenti linguistici. Questo glossario li tratta come un unico termine.

Quale lingua devo indicare per un audio arabo con parole inglesi?

Su BroadNet, invia language=ar per un audio prevalentemente in arabo. Decidi prima se le parole inglesi devono restare in caratteri latini, e controlla un campione di trascrizioni.

Gli LLM capiscono un testo con code-switching?

Di solito sì, per le coppie comuni come arabo e inglese, ma la qualità varia per modello e dialetto. Scrivi nel prompt che l’input può mescolare lingue, indica la lingua della risposta e fai prove con messaggi reali dei tuoi utenti.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity