BroadRouter
Bắt đầu

Code-switching (chuyển mã ngôn ngữ)

Cập nhật

Code-switching là việc dùng hai hay nhiều ngôn ngữ, hoặc nhiều biến thể của một ngôn ngữ, trong cùng một cuộc hội thoại hay một câu, khi nói hoặc viết. Ví dụ: người nói tiếng Ả Rập chêm từ tiếng Anh vào phương ngữ, hoặc chuyển qua lại giữa tiếng Ả Rập chuẩn hiện đại và phương ngữ của mình.

Còn gọi là: chuyển mã ngôn ngữ, trộn mã, trộn ngôn ngữ, văn bản đa ngôn ngữ, code switching, code-mixing, code mixing, language mixing, mixed-language text

Code-switching là cách nói bình thường của người song ngữ. Với phần mềm mong đợi một ngôn ngữ cho mỗi đầu vào, nó là nguồn lỗi phổ biến.

Cách hoạt động

Solorio và cộng sự (2014), trong shared task đầu tiên về dữ liệu code-switching, định nghĩa rộng nó là một hành vi giao tiếp, “spoken or written, where two or more languages are being used interchangeably” (Bản dịch: bằng lời nói hoặc chữ viết, trong đó hai hay nhiều ngôn ngữ được dùng xen kẽ nhau). Bài toán của họ gắn nhãn ngôn ngữ cho từng từ trong các bài đăng Twitter ở bốn cặp: tiếng Ả Rập chuẩn hiện đại-tiếng Ả Rập phương ngữ, tiếng Quan Thoại-tiếng Anh, tiếng Nepal-tiếng Anh và tiếng Tây Ban Nha-tiếng Anh. Bảy nhóm nộp 42 lượt chạy. Nhận dạng cấp từ khó nhất với cặp MSA và phương ngữ, vì hai bên rất gần nhau, và dễ nhất với tiếng Tây Ban Nha-tiếng Anh và tiếng Nepal-tiếng Anh.

Người dùng tiếng Ả Rập chuyển đổi theo nhiều cách cùng lúc:

  • Phương ngữ và MSA. Bài báo MADAR ghi nhận rằng trong các bối cảnh không có kịch bản mà MSA được kỳ vọng, như talk show trên TV, người nói liên tục chuyển qua lại giữa phương ngữ của họ và MSA.
  • Tiếng Ả Rập và tiếng Anh hoặc tiếng Pháp. Darwish (2014) nhận xét rằng nhiều người nói tiếng Ả Rập là người song ngữ và trộn tiếng Anh hoặc tiếng Pháp với tiếng Ả Rập ngay trong câu.
  • Hệ chữ. Tin nhắn gõ có thể trộn chữ Ả Rập, chữ Latin và Arabizi trong một dòng.

Một tin nhắn chat điển hình ở vùng Vịnh trộn tất cả những điều này:

عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")

Các từ tiếng Ả Rập là phương ngữ, “meeting” là tiếng Anh nằm trong một mệnh đề tiếng Ả Rập, và câu kết thúc bằng tiếng Anh. Bộ nhận diện ngôn ngữ, tokenizer và model giọng nói đều phải xử lý được sự chuyển đổi đó.

Vì sao quan trọng

  • Chuyển giọng nói thành văn bản. Một request chép lời thường chỉ nhận một language. Tên sản phẩm tiếng Anh trong lời nói tiếng Ả Rập có thể ra chữ Ả Rập, chữ Latin, hoặc bị nghe nhầm. Hãy thống nhất một quy ước và chấm word error rate theo quy ước đó, nếu không bạn sẽ tính khác biệt về cách viết thành lỗi.
  • Định tuyến và tìm kiếm. Bộ nhận diện ngôn ngữ chọn một nhãn cho mỗi tin nhắn sẽ gắn nhãn sai tin nhắn trộn, nên ý định tiếng Ả Rập có thể rơi vào luồng tiếng Anh.
  • Prompt cho LLM. Hãy nói với model rằng đầu vào có thể trộn ngôn ngữ và chỉ rõ ngôn ngữ trả lời. Nếu không, nó có thể bắt chước ngôn ngữ xuất hiện cuối cùng.

Trên BroadNet Inference

Tài liệu của BroadNet yêu cầu luôn gửi language khi chép lời, ar cho tiếng Ả Rập và en cho tiếng Anh, và cảnh báo rằng thiếu nó thì tiếng Ả Rập có thể bị chuyển tự sang chữ Latin. Tài liệu không mô tả chế độ đa ngôn ngữ. Với lời nói tiếng Ả Rập có từ tiếng Anh, hãy gửi language=ar tới BroadNet Transcribe Arabic và thử trên bản ghi âm thật; bài viết về nhận dạng giọng nói phương ngữ trình bày cách dựng tập test đó. Với văn bản trộn ngôn ngữ trong chat, Qwen3.8 27B là model mà BroadNet cho biết đã thử với các phương ngữ tiếng Ả Rập.

Câu hỏi thường gặp

Code-switching có giống code-mixing không?

Trong thực tế, cả hai tên đều chỉ việc có hơn một ngôn ngữ trong cùng một tin nhắn hay cuộc hội thoại, và chúng gây ra cùng các vấn đề cho công cụ xử lý ngôn ngữ. Bảng thuật ngữ này xem chúng là một.

Âm thanh tiếng Ả Rập có chêm từ tiếng Anh thì gửi language nào?

Trên BroadNet, hãy gửi language=ar cho âm thanh chủ yếu là tiếng Ả Rập. Quyết định trước việc từ tiếng Anh có giữ chữ Latin hay không, và kiểm tra một mẫu bản chép lời.

LLM có hiểu được văn bản trộn ngôn ngữ không?

Thường là có với các cặp phổ biến như tiếng Ả Rập và tiếng Anh, nhưng chất lượng thay đổi theo model và phương ngữ. Hãy nói trong prompt rằng đầu vào có thể trộn ngôn ngữ, chỉ định ngôn ngữ trả lời, và thử với tin nhắn thật của người dùng.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity