BroadRouter
Magsimula

Code-switching

Na-update

Ang code-switching ay ang paggamit ng dalawa o higit pang wika, o ng mga variety ng iisang wika, sa iisang usapan o pangungusap, sa pagsasalita man o pagsulat. Halimbawa nito ang mga nagsasalita ng Arabic na naghahalo ng English sa dialect, o nagpapalipat-lipat sa Modern Standard Arabic at sa dialect nila.

Tinatawag ding: code switching, code-mixing, code mixing, language mixing, mixed-language text, paghahalo ng wika

Normal na pananalita ang code-switching para sa mga bilingual. Para sa software na umaasang iisang wika lang ang bawat input, karaniwan itong pinagmumulan ng error.

Paano ito gumagana

Sa unang shared task tungkol sa code-switched data, malawak ang depinisyon nina Solorio et al. (2014): isang communication act, “spoken or written, where two or more languages are being used interchangeably” (Salin ng BroadRouter: “binigkas man o isinulat, kung saan dalawa o higit pang wika ang ginagamit nang salitan”). Nilagyan ng label ng task nila ang bawat salita ng mga post sa Twitter ayon sa wika nito sa apat na pares: Modern Standard Arabic-Dialectal Arabic, Mandarin-English, Nepali-English at Spanish-English. Pitong team ang nagsumite ng 42 run. Pinakamahirap ang word-level identification para sa MSA laban sa dialect, dahil malapit na magkaugnay ang dalawa, at pinakamadali para sa Spanish-English at Nepali-English.

Sabay-sabay na nagpapalit sa ilang paraan ang mga Arabic user:

  • Dialect at MSA. Ayon sa MADAR paper, sa mga hindi naka-script na sitwasyon kung saan inaasahan ang MSA, gaya ng TV talk show, paulit-ulit na nagpapalipat-lipat ang mga nagsasalita sa dialect nila at MSA.
  • Arabic at English o French. Napansin ni Darwish (2014) na bilingual ang maraming nagsasalita ng Arabic at naghahalo sila ng English o French sa Arabic sa loob ng pangungusap.
  • Mga script. Puwedeng maghalo sa iisang linya ng tina-type na mensahe ang Arabic script, Latin script at Arabizi.

Pinaghahalo ng isang karaniwang chat message mula sa Gulf ang lahat ng ito:

عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")

Dialect ang mga salitang Arabic, English ang “meeting” sa loob ng Arabic na clause, at nagtatapos sa English ang pangungusap. Kailangang kayanin ng language detector, tokenizer at speech model ang ganitong palit.

Bakit ito mahalaga

  • Speech-to-text. Kadalasang iisang language lang ang tinatanggap ng transcription request. Puwedeng lumabas na Arabic script, Latin script o mali ang dinig sa English na pangalan ng produkto sa loob ng Arabic na pananalita. Magkasundo sa isang convention at i-score ang word error rate laban dito, kung hindi ay bibilangin mong error ang pagkakaiba sa istilo.
  • Routing at search. Mali ang ilalagay na label sa halo-halong mensahe ng language detector na iisang label lang ang pinipili kada mensahe, kaya puwedeng mapunta sa English na flow ang mga Arabic na intent.
  • LLM prompts. Sabihin sa model na puwedeng halo-halo ang wika ng input at kung anong wika ang isasagot. Kung hindi, baka gayahin nito kung anong wika ang huling lumabas.

Sa BroadNet Inference

Ayon sa docs ng BroadNet, laging ipadala ang language sa transcription, ar para sa Arabic at en para sa English, at nagbababala ito na kapag wala nito, puwedeng ma-transliterate sa Latin na titik ang Arabic. Walang nakadokumentong setting para sa halo-halong wika. Para sa Arabic na pananalita na may English na salita, ipadala ang language=ar sa BroadNet Transcribe Arabic at subukan sa totoong recording; saklaw ng artikulo tungkol sa dialect speech recognition ang pagbuo ng test set na iyon. Para sa halo-halong text sa chat, ang Qwen3.8 27B ang model na iniulat ng BroadNet na sinubukan nito sa mga Arabic dialect.

Mga tanong

Pareho ba ang code-switching at code-mixing?

Sa praktika, parehong tumutukoy ang dalawang pangalan sa higit sa isang wika sa iisang mensahe o usapan, at pareho ang problemang dulot nila sa mga language tool. Iisang termino ang turing ng glossary na ito sa dalawa.

Anong language ang ipapadala ko para sa Arabic audio na may English na salita?

Sa BroadNet, ipadala ang language=ar para sa audio na karamihan ay Arabic. Magpasya nang maaga kung mananatili sa Latin script ang mga English na salita, at suriin ang sample ng mga transcript.

Naiintindihan ba ng LLM ang code-switched na text?

Kadalasan, para sa mga karaniwang pares gaya ng Arabic at English, pero iba-iba ang kalidad ayon sa model at dialect. Sabihin sa prompt na puwedeng halo-halo ang wika ng input, banggitin ang wika ng sagot, at subukan gamit ang totoong mensahe ng mga user mo.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity