Penukaran kod ialah pertuturan biasa bagi orang dwibahasa. Bagi perisian yang menjangka satu bahasa bagi setiap input, ia punca ralat yang biasa.
Cara ia berfungsi
Solorio et al. (2014), dalam shared task pertama tentang data penukaran kod, mentakrifkannya secara luas sebagai satu tindakan komunikasi, “spoken or written, where two or more languages are being used interchangeably” (Terjemahan BroadRouter: “lisan atau bertulis, di mana dua atau lebih bahasa digunakan secara bersilih ganti”). Tugas mereka melabel setiap perkataan dalam hantaran Twitter mengikut bahasanya merentas empat pasangan: Bahasa Arab Standard Moden-Bahasa Arab Dialek, Mandarin-Inggeris, Nepal-Inggeris dan Sepanyol-Inggeris. Tujuh pasukan menghantar 42 larian. Pengecaman peringkat perkataan paling sukar bagi MSA berbanding dialek, kerana kedua-duanya berkait rapat, dan paling mudah bagi Sepanyol-Inggeris dan Nepal-Inggeris.
Pengguna Arab bertukar dalam beberapa cara serentak:
- Dialek dan MSA. Kertas MADAR menyatakan bahawa dalam situasi tanpa skrip yang menjangkakan MSA, seperti rancangan bual bicara TV, penutur berulang kali bertukar antara dialek mereka dan MSA.
- Arab dan Inggeris atau Perancis. Darwish (2014) memerhatikan bahawa ramai penutur Arab adalah dwibahasa dan mencampurkan bahasa Inggeris atau Perancis dengan bahasa Arab dalam ayat.
- Tulisan. Mesej yang ditaip boleh mencampurkan tulisan Arab, tulisan Rumi dan Arabizi dalam satu baris.
Mesej chat Teluk yang biasa mencampurkan kesemuanya:
عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")
Perkataan Arabnya ialah dialek, “meeting” ialah bahasa Inggeris dalam klausa Arab, dan ayat itu berakhir dalam bahasa Inggeris. Pengesan bahasa, tokenizer dan model pertuturan masing-masing perlu menangani pertukaran itu.
Mengapa ia penting
- Speech-to-text. Permintaan transkripsi biasanya menerima satu
language. Nama produk Inggeris dalam pertuturan Arab mungkin keluar dalam tulisan Arab, tulisan Rumi atau tersalah dengar. Persetujui satu konvensyen dan kira kadar ralat perkataan berdasarkannya, jika tidak anda akan mengira perbezaan gaya sebagai ralat. - Penghalaan dan carian. Pengesan bahasa yang memilih satu label bagi setiap mesej akan salah melabel mesej bercampur, jadi niat Arab boleh tersasar ke aliran bahasa Inggeris.
- Prompt LLM. Beritahu model bahawa input mungkin bercampur bahasa dan nyatakan bahasa jawapan. Jika tidak, ia mungkin meniru bahasa yang muncul terakhir.
Di BroadNet Inference
Dokumentasi BroadNet menyatakan supaya sentiasa menghantar language dengan transkripsi, ar untuk Arab dan en untuk Inggeris, dan memberi amaran bahawa tanpanya bahasa Arab boleh ditransliterasi ke dalam huruf Rumi. Ia tidak mendokumenkan tetapan bahasa bercampur. Untuk pertuturan Arab yang mengandungi perkataan Inggeris, hantar language=ar kepada BroadNet Transcribe Arabic dan uji pada rakaman sebenar; artikel pengecaman pertuturan dialek menerangkan cara membina set ujian itu. Untuk teks bercampur dalam chat, Qwen3.8 27B ialah model yang dilaporkan BroadNet telah diuji pada dialek Arab.