BroadRouter
Bắt đầu

Chuẩn hóa văn bản tiếng Ả Rập

Cập nhật

Chuẩn hóa văn bản tiếng Ả Rập là bước đưa các cách viết khác nhau của cùng một từ về một dạng trước khi so khớp: xóa dấu phụ và tatweel, thống nhất các dạng alef, thường đổi ى thành ي, ة thành ه. Chỉ áp dụng cho khóa tìm kiếm và đánh giá, không cho văn bản hiển thị.

Còn gọi là: chuẩn hóa tiếng Ả Rập, chuẩn hóa alef, chuẩn hóa chính tả, tatweel, kashida, Arabic normalization, alef normalization, orthographic normalization, alef variants

Người dùng tiếng Ả Rập gõ cùng một từ theo nhiều cách. Chuẩn hóa làm cho các cách viết đó khớp nhau.

Cách hoạt động

Chuẩn hóa là một tập phép thay ký tự áp dụng cho cả văn bản lưu trữ lẫn truy vấn. ArabicNormalizer của Apache Lucene, được nhiều công cụ tìm kiếm sử dụng, liệt kê năm quy tắc:

  1. hamza đặt trên alef thành alef trần;
  2. teh marbuta (ة) thành heh (ه);
  3. yeh không chấm, tức alef maksura (ى), thành yeh (ي);
  4. xóa harakat (dấu phụ);
  5. xóa tatweel, “ký tự kéo dài” (stretching character).

CAMeL Tools cung cấp cùng các ý đó dưới dạng các hàm riêng. normalize_alef_ar đổi إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) thành ا, normalize_alef_maksura_ar đổi ى thành ي, và normalize_teh_marbuta_ar đổi ة thành ه. normalize_unicode mặc định chạy NFKC, tức chuẩn hóa Unicode, và nên chạy trước tiên.

Tatweel (U+0640, còn gọi là kashida) là ký tự nối mà Tiêu chuẩn Unicode mô tả cho việc căn đều hai lề: chèn nó giữa các ký tự sẽ kéo dài dòng. Nó không mang nghĩa, nên كتـــاب và كتاب phải khớp nhau.

Ví dụ:

Đầu vào Sau khi chuẩn hóa Quy tắc dùng
إِسْلامٌ اسلام dấu phụ, alef
مدرسة مدرسه teh marbuta
مستشفى مستشفي alef maksura
كتـــاب كتاب tatweel

Vì sao quan trọng

Larkey, Ballesteros và Connell (2002) chuẩn hóa bộ tin tức tiếng Ả Rập TREC-2001 bằng cách xóa dấu câu, dấu phụ và ký tự không phải chữ cái, đồng thời thay nhiều biến thể chữ cái bằng một dạng. Chỉ riêng chuẩn hóa đã nâng average precision đơn ngữ từ .194 lên .238. Thêm bộ stemmer light8 của họ lên trên thì đạt .376.

Điều tương tự áp dụng cho:

  • RAG và tìm kiếm theo từ khóa. Một truy vấn gõ không có hamza vẫn phải tìm ra tài liệu viết có hamza. Xem tìm kiếm RAG tiếng Ả Rập.
  • Word error rate. Điểm ASR tiếng Ả Rập phụ thuộc vào việc văn bản tham chiếu và bản chép lời có được chuẩn hóa giống nhau hay không. Bài giải thích WER tiếng Ả Rập cho thấy hiệu ứng này.
  • Khử trùng lặp và phân tích. Đếm từ hoặc thuật ngữ của người dùng mà không chuẩn hóa sẽ tách một từ thành nhiều từ.

Cái giá là các từ khác nhau bị gộp lại. Thống nhất alef biến hai tiểu từ khác nhau إن và أن thành cùng một chuỗi, còn quy tắc ة thành ه gộp كرة (quả bóng) với كره (sự căm ghét). Hãy xem các quy tắc về hamza và taa marbuta là có thể tinh chỉnh.

Trên BroadNet Inference

Chuẩn hóa chạy trong code của bạn, không phải trên API. Các endpoint chat và chép lời của BroadNet nhận văn bản hoặc âm thanh đúng như bạn gửi. Hãy giữ hai bản: bản gốc cho model và người dùng, và một khóa đã chuẩn hóa để so khớp.

Công cụ chuẩn hóa văn bản tiếng Ả Rập miễn phí áp dụng các quy tắc này ngay trên trình duyệt để bạn thấy từng quy tắc thay đổi gì. Hướng dẫn chuẩn hóa có code Python đã kiểm thử và phần thảo luận từng quy tắc.

Lỗi thường gặp

  • Chuẩn hóa tài liệu mà không chuẩn hóa truy vấn, hoặc ngược lại.
  • Hiển thị hoặc trích dẫn văn bản đã chuẩn hóa cho người dùng.
  • Trộn các thư viện có quy tắc khác nhau, chẳng hạn hai cách đổi ى khác nhau.

Câu hỏi thường gặp

Chuẩn hóa có giúp cả tìm kiếm bằng embedding không?

Các kết quả kinh điển được đo trên tìm kiếm theo từ khóa. Với embedding, hãy thử cả đầu vào đã chuẩn hóa và đầu vào gốc trên truy vấn của chính bạn rồi mới quyết định.

Có nên chuẩn hóa văn bản trước khi gửi cho LLM không?

Thường là không. Hãy gửi bản gốc để model thấy chính tả thật, hamza và dấu phụ. Chỉ chuẩn hóa những bản sao bạn dùng để so khớp, index hoặc chấm điểm.

Các thư viện có áp dụng cùng quy tắc không?

Không. CAMeL Tools và Lucene đều đổi alef maksura thành yeh và teh marbuta thành heh, nhưng các thư viện khác có thể khác. Hãy chọn một bộ quy tắc và dùng nó cho cả tài liệu lẫn truy vấn.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity