Normal na pananalita ang code-switching para sa mga bilingual. Para sa software na umaasang iisang wika lang ang bawat input, karaniwan itong pinagmumulan ng error.
Paano ito gumagana
Sa unang shared task tungkol sa code-switched data, malawak ang depinisyon nina Solorio et al. (2014): isang communication act, “spoken or written, where two or more languages are being used interchangeably” (Salin ng BroadRouter: “binigkas man o isinulat, kung saan dalawa o higit pang wika ang ginagamit nang salitan”). Nilagyan ng label ng task nila ang bawat salita ng mga post sa Twitter ayon sa wika nito sa apat na pares: Modern Standard Arabic-Dialectal Arabic, Mandarin-English, Nepali-English at Spanish-English. Pitong team ang nagsumite ng 42 run. Pinakamahirap ang word-level identification para sa MSA laban sa dialect, dahil malapit na magkaugnay ang dalawa, at pinakamadali para sa Spanish-English at Nepali-English.
Sabay-sabay na nagpapalit sa ilang paraan ang mga Arabic user:
- Dialect at MSA. Ayon sa MADAR paper, sa mga hindi naka-script na sitwasyon kung saan inaasahan ang MSA, gaya ng TV talk show, paulit-ulit na nagpapalipat-lipat ang mga nagsasalita sa dialect nila at MSA.
- Arabic at English o French. Napansin ni Darwish (2014) na bilingual ang maraming nagsasalita ng Arabic at naghahalo sila ng English o French sa Arabic sa loob ng pangungusap.
- Mga script. Puwedeng maghalo sa iisang linya ng tina-type na mensahe ang Arabic script, Latin script at Arabizi.
Pinaghahalo ng isang karaniwang chat message mula sa Gulf ang lahat ng ito:
عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")
Dialect ang mga salitang Arabic, English ang “meeting” sa loob ng Arabic na clause, at nagtatapos sa English ang pangungusap. Kailangang kayanin ng language detector, tokenizer at speech model ang ganitong palit.
Bakit ito mahalaga
- Speech-to-text. Kadalasang iisang
languagelang ang tinatanggap ng transcription request. Puwedeng lumabas na Arabic script, Latin script o mali ang dinig sa English na pangalan ng produkto sa loob ng Arabic na pananalita. Magkasundo sa isang convention at i-score ang word error rate laban dito, kung hindi ay bibilangin mong error ang pagkakaiba sa istilo. - Routing at search. Mali ang ilalagay na label sa halo-halong mensahe ng language detector na iisang label lang ang pinipili kada mensahe, kaya puwedeng mapunta sa English na flow ang mga Arabic na intent.
- LLM prompts. Sabihin sa model na puwedeng halo-halo ang wika ng input at kung anong wika ang isasagot. Kung hindi, baka gayahin nito kung anong wika ang huling lumabas.
Sa BroadNet Inference
Ayon sa docs ng BroadNet, laging ipadala ang language sa transcription, ar para sa Arabic at en para sa English, at nagbababala ito na kapag wala nito, puwedeng ma-transliterate sa Latin na titik ang Arabic. Walang nakadokumentong setting para sa halo-halong wika. Para sa Arabic na pananalita na may English na salita, ipadala ang language=ar sa BroadNet Transcribe Arabic at subukan sa totoong recording; saklaw ng artikulo tungkol sa dialect speech recognition ang pagbuo ng test set na iyon. Para sa halo-halong text sa chat, ang Qwen3.8 27B ang model na iniulat ng BroadNet na sinubukan nito sa mga Arabic dialect.