Hai chuỗi có thể trông giống hệt nhau trên màn hình mà vẫn so sánh bằng ra sai. Chuẩn hóa Unicode là cách sửa.
Cách hoạt động
UAX #15 định nghĩa bốn dạng:
| Dạng | Định nghĩa |
|---|---|
| NFD | Phân rã chính tắc (canonical decomposition) |
| NFC | Phân rã chính tắc, rồi tổ hợp chính tắc |
| NFKD | Phân rã tương thích (compatibility decomposition) |
| NFKC | Phân rã tương thích, rồi tổ hợp chính tắc |
Theo cách nói của MDN, các ký tự tương đương chính tắc phải trông và hoạt động giống nhau. Các ký tự tương đương tương thích “should be treated alike in some — but not necessarily all — applications” (Bản dịch: nên được xử lý như nhau trong một số, nhưng không nhất thiết tất cả, ứng dụng), nên NFKC và NFKD có thể làm thay đổi hình thức văn bản. normalize() của JavaScript mặc định dùng NFC. Python cung cấp cùng bốn dạng qua unicodedata.normalize(form, s), và unicodedata.is_normalized để kiểm tra một chuỗi.
Tiếng Ả Rập có cả hai loại.
Chính tắc. Unicode Standard nói أ (U+0623) phân rã thành ا (U+0627) cộng U+0654 HAMZA ABOVE. Văn bản từ một số bàn phím hoặc bộ chuyển đổi đến ở dạng hai ký tự. NFC tổ hợp lại thành U+0623, nên so khớp được.
Tương thích. Unicode mã hóa các dạng trình bày tiếng Ả Rập, tức hình dạng chữ theo ngữ cảnh và chữ ghép, ở U+FB50 đến U+FDFF và U+FE70 đến U+FEFE, và nói chúng dùng cho mục đích tương thích và “should not be used in general interchange” (Bản dịch: không nên dùng trong trao đổi thông thường). Dù vậy, chúng vẫn xuất hiện trong văn bản sao chép từ PDF cũ và một số output OCR. NFKC gộp chúng lại:
| Đầu vào | Code point | Sau NFKC |
|---|---|---|
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (hai chữ cái) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (bốn chữ cái) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا" # True
unicodedata.normalize("NFC", "أ") == "أ" # True
normalize_unicode của CAMeL Tools mặc định áp dụng NFKC, sau khi đã ánh xạ hai ký tự đặc biệt, ký hiệu Rial U+FDFC và chữ ghép Basmala U+FDFD, sang chữ cái tiếng Ả Rập thông thường.
Vì sao quan trọng
- Tìm kiếm và RAG. Một tài liệu trích từ PDF có dạng trình bày sẽ không khớp với truy vấn gõ bằng bàn phím thông thường. Hãy chạy NFKC cho cả hai trước các quy tắc chuẩn hóa văn bản tiếng Ả Rập, vốn giả định chữ cái chuẩn.
- Số token. Dạng trình bày có code point khác với chữ cái thông thường, nên tokenizer có thể tách cùng một từ nhìn thấy được thành số token khác nhau. Trong UTF-8, ﻻ chiếm 3 byte còn لا chiếm 4. Nếu input của bạn đến từ PDF, hãy đếm cả hai phiên bản bằng công cụ đếm token tiếng Ả Rập.
- Kiểm tra. Hãy chuẩn hóa trước khi so sánh output của model với văn bản nguồn, chẳng hạn khi kiểm tra một thực thể được trích xuất có thực sự xuất hiện trong tài liệu hay không.
Trên BroadNet Inference
Tài liệu tham khảo API của BroadNet không nói input có được chuẩn hóa phía server hay không, nên hãy tự chuẩn hóa trong code trước khi gửi, đánh chỉ mục hoặc so sánh văn bản. Với tài liệu tiếng Ả Rập, bài OCR bằng vision LLM và hướng dẫn đọc hóa đơn tiếng Ả Rập trình bày cách đọc trang dưới dạng ảnh bằng các model như Gemma 4 VL 26B, giúp tránh lớp văn bản PDF bị hỏng. Hãy chạy NFKC trên mọi văn bản trả về trước khi so khớp.
Lỗi thường gặp
- Lưu văn bản NFKC để hiển thị; hãy giữ bản gốc NFC.
- Chuẩn hóa tài liệu nhưng không chuẩn hóa truy vấn.
- Cho rằng chuẩn hóa sẽ xóa dấu phụ, tatweel hoặc mark bidi. Nó không làm vậy.