Arabizi là cách nhiều người nói tiếng Ả Rập gõ trên điện thoại: từ tiếng Ả Rập, bàn phím Latin, thêm vài chữ số cho những âm còn thiếu.
Cách hoạt động
Darwish (2014) mô tả Arabizi, còn gọi là Arabish hay Franco-Arab, là tiếng Ả Rập chuyển tự sang chữ Latin, dùng chữ số cho những chữ cái tiếng Anh không có: “2” và “3” thay cho âm hamza và ع. Nó ra đời vì các trình duyệt và điện thoại đời cũ không hiển thị được chữ Ả Rập. Nó vẫn tồn tại vì người dùng đã quen và gõ nhanh hơn trên bàn phím tiếng Anh.
Ba đặc điểm khiến nó khó với phần mềm:
- Không có chính tả chuẩn. Shazal, Usman và Habash (2020) chỉ ra rằng Arabizi trên mạng xã hội là tiếng Ả Rập phương ngữ, vốn không có chính tả chuẩn, và việc ánh xạ sang chữ Ả Rập không phải một đối một.
- Trộn với tiếng Anh hoặc tiếng Pháp. Một tin nhắn như
w aletli Tuesday(“và cô ấy bảo tôi là thứ Ba”) trộn cả hai, đó là code-switching. - Phải phát hiện trước. Phần mềm phải xác định từ nào là Arabizi trước khi chuyển đổi. Darwish báo cáo độ chính xác phát hiện 98,5% và chuyển đổi 88,7% với một pipeline cổ điển; model sequence-to-sequence năm 2020 đạt độ chính xác 80,6% theo từ trên tập test ẩn cho bài toán kết hợp.
Với API LLM, Arabizi còn hoạt động khác với chữ Ả Rập khi qua tokenizer, vì nó là văn bản Latin được viết theo những cách mà bộ từ vựng hiếm khi gặp.
Vì sao quan trọng
Nếu bạn vận hành chatbot, tìm kiếm hay phân tích ở vùng Vịnh, Ai Cập hoặc Levant, một phần người dùng sẽ gõ Arabizi. Tìm kiếm theo từ khóa, quy tắc nhận diện ý định và công cụ phân tích cảm xúc xây cho chữ Ả Rập sẽ bỏ sót những tin nhắn đó. Cách xử lý phổ biến là nhờ LLM chuyển Arabizi sang chữ Ả Rập, có nêu rõ phương ngữ, trước khi định tuyến hoặc index, và giữ lại văn bản gốc. Hướng dẫn xử lý Arabizi đi qua các prompt và lựa chọn chữ viết cho câu trả lời.
Trên BroadNet Inference
BroadNet không có tính năng riêng cho Arabizi; các model chat nhận nó như văn bản thường. BroadNet cho biết đã thử Qwen3.8 27B bằng tiếng Ả Rập và model hiểu được phương ngữ vùng Vịnh và Ai Cập, đây là điểm khởi đầu cho các bài thử Arabizi. Xem phương ngữ vùng Vịnh và Ai Cập với LLM.
Giọng nói là trường hợp khác. Tài liệu của BroadNet cảnh báo rằng nếu không có language, âm thanh tiếng Ả Rập có thể bị chuyển tự sang chữ Latin. Kết quả đó trông giống Arabizi nhưng do request gây ra, không phải do người nói. Hãy gửi language=ar tới BroadNet Transcribe Arabic.