Alih kode adalah cara bicara yang wajar bagi orang dwibahasa. Bagi perangkat lunak yang mengharapkan satu bahasa per input, ini sumber kesalahan yang umum.
Cara kerjanya
Solorio dkk. (2014), dalam shared task pertama tentang data code-switched, mendefinisikannya secara luas sebagai tindak komunikasi, “spoken or written, where two or more languages are being used interchangeably” (terjemahan: lisan atau tulisan, di mana dua bahasa atau lebih dipakai secara bergantian). Tugas mereka melabeli setiap kata dalam postingan Twitter dengan bahasanya untuk empat pasangan: Arab Standar Modern-Arab Dialek, Mandarin-Inggris, Nepali-Inggris, dan Spanyol-Inggris. Tujuh tim mengirim 42 run. Identifikasi tingkat kata paling sulit untuk MSA versus dialek, karena keduanya berkerabat dekat, dan paling mudah untuk Spanyol-Inggris dan Nepali-Inggris.
Pengguna Arab berpindah bahasa dengan beberapa cara sekaligus:
- Dialek dan MSA. Paper MADAR mencatat bahwa dalam situasi tanpa naskah di mana MSA diharapkan, seperti talk show TV, penutur berulang kali berpindah antara dialek mereka dan MSA.
- Arab dan Inggris atau Prancis. Darwish (2014) mengamati bahwa banyak penutur bahasa Arab adalah dwibahasa dan mencampur bahasa Inggris atau Prancis dengan bahasa Arab di dalam kalimat.
- Aksara. Pesan yang diketik bisa mencampur aksara Arab, huruf Latin, dan Arabizi dalam satu baris.
Pesan chat khas Teluk mencampur semuanya:
عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")
Kata-kata Arabnya berupa dialek, “meeting” adalah bahasa Inggris di dalam klausa Arab, dan kalimatnya berakhir dalam bahasa Inggris. Detektor bahasa, tokenizer, dan model ucapan masing-masing harus mampu menangani perpindahan itu.
Kenapa ini penting
- Speech-to-text. Request transkripsi biasanya hanya menerima satu
language. Nama produk berbahasa Inggris di tengah ucapan Arab bisa keluar dalam aksara Arab, huruf Latin, atau salah dengar. Sepakati satu konvensi dan hitung word error rate berdasarkan konvensi itu, atau perbedaan gaya akan terhitung sebagai kesalahan. - Routing dan pencarian. Detektor bahasa yang memilih satu label per pesan akan salah melabeli pesan campuran, sehingga intent berbahasa Arab bisa masuk ke alur bahasa Inggris.
- Prompt LLM. Beri tahu model bahwa input mungkin bercampur bahasa dan tentukan bahasa jawabannya. Jika tidak, model bisa meniru bahasa mana pun yang muncul terakhir.
Di BroadNet Inference
Dokumentasi BroadNet meminta Anda selalu mengirim language untuk transkripsi, ar untuk bahasa Arab dan en untuk bahasa Inggris, dan memperingatkan bahwa tanpa itu bahasa Arab bisa ditransliterasi ke huruf Latin. Dokumentasi tidak mencantumkan setelan untuk bahasa campuran. Untuk ucapan Arab yang berisi kata bahasa Inggris, kirim language=ar ke BroadNet Transcribe Arabic dan uji dengan rekaman asli; artikel pengenalan ucapan dialek membahas cara menyusun set uji itu. Untuk teks campuran di chat, Qwen3.8 27B adalah model yang dilaporkan BroadNet telah diuji pada dialek Arab.