Code-switching là cách nói bình thường của người song ngữ. Với phần mềm mong đợi một ngôn ngữ cho mỗi đầu vào, nó là nguồn lỗi phổ biến.
Cách hoạt động
Solorio và cộng sự (2014), trong shared task đầu tiên về dữ liệu code-switching, định nghĩa rộng nó là một hành vi giao tiếp, “spoken or written, where two or more languages are being used interchangeably” (Bản dịch: bằng lời nói hoặc chữ viết, trong đó hai hay nhiều ngôn ngữ được dùng xen kẽ nhau). Bài toán của họ gắn nhãn ngôn ngữ cho từng từ trong các bài đăng Twitter ở bốn cặp: tiếng Ả Rập chuẩn hiện đại-tiếng Ả Rập phương ngữ, tiếng Quan Thoại-tiếng Anh, tiếng Nepal-tiếng Anh và tiếng Tây Ban Nha-tiếng Anh. Bảy nhóm nộp 42 lượt chạy. Nhận dạng cấp từ khó nhất với cặp MSA và phương ngữ, vì hai bên rất gần nhau, và dễ nhất với tiếng Tây Ban Nha-tiếng Anh và tiếng Nepal-tiếng Anh.
Người dùng tiếng Ả Rập chuyển đổi theo nhiều cách cùng lúc:
- Phương ngữ và MSA. Bài báo MADAR ghi nhận rằng trong các bối cảnh không có kịch bản mà MSA được kỳ vọng, như talk show trên TV, người nói liên tục chuyển qua lại giữa phương ngữ của họ và MSA.
- Tiếng Ả Rập và tiếng Anh hoặc tiếng Pháp. Darwish (2014) nhận xét rằng nhiều người nói tiếng Ả Rập là người song ngữ và trộn tiếng Anh hoặc tiếng Pháp với tiếng Ả Rập ngay trong câu.
- Hệ chữ. Tin nhắn gõ có thể trộn chữ Ả Rập, chữ Latin và Arabizi trong một dòng.
Một tin nhắn chat điển hình ở vùng Vịnh trộn tất cả những điều này:
عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")
Các từ tiếng Ả Rập là phương ngữ, “meeting” là tiếng Anh nằm trong một mệnh đề tiếng Ả Rập, và câu kết thúc bằng tiếng Anh. Bộ nhận diện ngôn ngữ, tokenizer và model giọng nói đều phải xử lý được sự chuyển đổi đó.
Vì sao quan trọng
- Chuyển giọng nói thành văn bản. Một request chép lời thường chỉ nhận một
language. Tên sản phẩm tiếng Anh trong lời nói tiếng Ả Rập có thể ra chữ Ả Rập, chữ Latin, hoặc bị nghe nhầm. Hãy thống nhất một quy ước và chấm word error rate theo quy ước đó, nếu không bạn sẽ tính khác biệt về cách viết thành lỗi. - Định tuyến và tìm kiếm. Bộ nhận diện ngôn ngữ chọn một nhãn cho mỗi tin nhắn sẽ gắn nhãn sai tin nhắn trộn, nên ý định tiếng Ả Rập có thể rơi vào luồng tiếng Anh.
- Prompt cho LLM. Hãy nói với model rằng đầu vào có thể trộn ngôn ngữ và chỉ rõ ngôn ngữ trả lời. Nếu không, nó có thể bắt chước ngôn ngữ xuất hiện cuối cùng.
Trên BroadNet Inference
Tài liệu của BroadNet yêu cầu luôn gửi language khi chép lời, ar cho tiếng Ả Rập và en cho tiếng Anh, và cảnh báo rằng thiếu nó thì tiếng Ả Rập có thể bị chuyển tự sang chữ Latin. Tài liệu không mô tả chế độ đa ngôn ngữ. Với lời nói tiếng Ả Rập có từ tiếng Anh, hãy gửi language=ar tới BroadNet Transcribe Arabic và thử trên bản ghi âm thật; bài viết về nhận dạng giọng nói phương ngữ trình bày cách dựng tập test đó. Với văn bản trộn ngôn ngữ trong chat, Qwen3.8 27B là model mà BroadNet cho biết đã thử với các phương ngữ tiếng Ả Rập.