Tiếng Ả Rập cho phép viết cùng một từ theo nhiều cách. Người dùng gõ احمد; tài liệu ghi أَحْمَد. Một chỉ mục tìm kiếm so khớp chính xác từng ký tự sẽ bỏ lỡ kết quả này, và nửa tìm kiếm từ khóa của một pipeline RAG cũng vậy. Chuẩn hóa khắc phục điều này bằng cách quy các biến thể về một dạng trước khi so sánh. Làm cẩu thả, nó còn gộp những từ có nghĩa khác nhau. Bài này đi qua từng quy tắc: mỗi quy tắc làm gì, khi nào áp dụng, nó làm hỏng gì, và các thư viện chính khác nhau thế nào. Cuối bài là code Python đã test.
Về toàn bộ pipeline RAG tiếng Ả Rập (chia đoạn, tìm kiếm kết hợp, câu trả lời có trích dẫn), xem RAG tiếng Ả Rập chạy tốt. Bài này đi sâu hơn vào bước chuẩn hóa.
Chuẩn hóa có thực sự giúp truy xuất không?
Có, với tìm kiếm từ khóa, và bằng chứng tuy cũ nhưng rõ ràng. Larkey, Ballesteros và Connell (SIGIR 2002) đã test truy xuất tiếng Ả Rập trên bộ tin tức TREC-2001. Trước khi stemming, họ chuẩn hóa corpus và truy vấn: xóa dấu và dấu câu, thống nhất các dạng alef, và đổi ى và ة ở cuối từ. Kết quả đơn ngữ của họ, với truy vấn không mở rộng:
| Xử lý | Average precision | Thay đổi so với gốc (tính từ số đã làm tròn) |
|---|---|---|
| Văn bản gốc | 0,194 | — |
| Đã chuẩn hóa | 0,238 | +22,7% |
| Chuẩn hóa + stemming nhẹ (light8) | 0,376 | +93,8% |
Có hai lưu ý. Đây là tìm kiếm từ khóa trên tin tức năm 2002, không phải tìm kiếm bằng embedding. Và mức tăng lớn nhất đến từ stemming nhẹ (gỡ tiền tố như و và ال cùng các hậu tố phổ biến), một bước tách biệt với chuẩn hóa. ArabicAnalyzer của Lucene và analyzer arabic của Elasticsearch áp dụng cả hai: một bộ chuẩn hóa, rồi một stemmer nhẹ.
Nên chuẩn hóa những gì, và mỗi quy tắc phải trả giá gì?
| Quy tắc | Ví dụ | Chỉ mục tìm kiếm | Rủi ro |
|---|---|---|---|
| Unicode NFKC | ﻻ → لا, ا + ٔ → أ | Có, luôn làm đầu tiên | Cũng viết lại ký tự tương thích ở các hệ chữ khác |
| Xóa ký tự vô hình | zero-width joiner, RLM/LRM, BOM | Có | Không có với tiếng Ả Rập; ZWNJ quan trọng trong tiếng Ba Tư |
| Xóa tashkeel | أَحْمَدُ → أحمد | Có | Gộp các từ chỉ phân biệt bằng nguyên âm |
| Xóa tatweel (ـ) | الـــمدينة → المدينة | Có | Không có |
| Thống nhất alef | أ إ آ ٱ → ا | Có | Gộp vài cặp: سأل (đã hỏi) và سال (đã chảy) |
| Alef maksura | ى → ي | Thường có | Gộp على (trên) và علي (Ali) |
| Ta marbuta | ة → ه | Thường có | Gộp كتابة (việc viết) và كتابه (cuốn sách của anh ấy) |
| Vị trí hamza | ؤ ئ → ء | Tùy chọn | Gộp مسؤول và مسئول (tốt) nhưng cũng gộp một số từ khác nghĩa |
| Chữ Ba Tư | ی → ي, ک → ك | Có, nếu người dùng có bàn phím tiếng Ba Tư | Không có với văn bản tiếng Ả Rập |
| Chữ số | ٢٠٢٦ và ۲۰۲۶ → 2026 | Có | Không có; giữ bản gốc để hiển thị |
Cột thứ ba áp dụng cho khóa chỉ mục và truy vấn. Văn bản bạn lưu, hiển thị và gửi cho model vẫn giữ như đã viết.
Vì sao chuẩn hóa Unicode phải làm đầu tiên?
Cùng một chữ cái nhìn thấy được có thể được lưu theo nhiều cách. أ có thể là một code point (U+0623) hoặc alef trơn theo sau là hamza kết hợp (U+0627 U+0654). File PDF cũ và một số bàn phím tạo ra các dạng trình bày tiếng Ả Rập (U+FB50 đến U+FEFF), như chữ ghép lam-alef ﻻ một ký tự. Theo chuẩn hóa Unicode, NFC ghép hamza vào alef, còn NFKC mở luôn các dạng trình bày và chữ ghép. Trong Python, unicodedata.normalize("NFKC", "ﻻ") trả về لا, và ﷲ thành الله.
Hãy chạy bước này trước mọi bước khác. Nếu không, một regex thay أ sẽ bỏ sót dạng bị tách. Còn một cái bẫy thứ hai: dediac_ar của CAMeL Tools xóa các ký tự trong AR_DIAC_CHARSET (U+064B đến U+0652 và U+0670). Tập này không có các dấu hamza và madda kết hợp (U+0653 đến U+0655), nên với văn bản bị tách, chúng vẫn còn sau khi xóa dấu. NFKC ghép chúng lại trước.
NFKC là ánh xạ tương thích. Nó cũng đổi các ký tự ngoài tiếng Ả Rập, chẳng hạn chữ Latin toàn độ rộng. Với khóa tìm kiếm, đó thường là điều bạn muốn, và là thêm một lý do để giữ bản gốc bên cạnh.
Những gì không nên chuẩn hóa?
- Văn bản bạn hiển thị, dẫn nguồn hoặc trích dẫn. Tiếng Ả Rập đã chuẩn hóa trông như sai chính tả (المدينه). Hãy lưu bản gốc cạnh khóa.
- Những gì bạn gửi cho LLM. Model đọc hamza và tashkeel tốt, và văn bản chính xác giữ tên riêng và trích dẫn đúng. Xóa tashkeel tiết kiệm được một ít token; hãy kiểm tra bao nhiêu bằng công cụ đếm token tiếng Ả Rập trước khi đánh đổi độ chính xác.
- Văn bản mà dấu mang ý nghĩa: Quran, hadith, thơ, sách thiếu nhi, các tác vụ phát âm và thêm dấu (xem thêm dấu bằng LLM).
- Sửa chính tả hoặc ngữ pháp: chuẩn hóa trước sẽ xóa các lỗi hamza và taa marbuta mà bạn muốn sửa; xem sửa ngữ pháp và chính tả tiếng Ả Rập bằng LLM.
- Định danh. Mã sản phẩm, email, URL và văn bản chữ Latin không được đi qua các quy tắc tiếng Ả Rập. Chỉ áp dụng chuẩn hóa cho các trường chữ Ả Rập, hoặc chỉ cho token tiếng Ả Rập.
- Trường người dùng tìm chính xác. Với tên pháp lý hoặc các trường dạng ID, hãy lập chỉ mục thêm một bản gốc, để kết quả khớp chính xác vẫn xếp đầu.
CAMeL Tools, PyArabic và Lucene khác nhau thế nào?
Chúng không cài đặt cùng các quy tắc, và trộn lẫn chúng sẽ tạo ra chỉ mục và truy vấn không bao giờ khớp. Chúng tôi đã đọc tài liệu và mã nguồn của từng thư viện, và chạy PyArabic 0.6.15:
| Hàm | Thực sự làm gì |
|---|---|
CAMeL normalize_unicode |
NFKC (hoặc NFC với compatibility=False); còn mở ﷼ thành ريال và ﷽ thành cả câu đầy đủ |
CAMeL normalize_alef_ar |
إ أ ٱ آ → ا |
CAMeL normalize_alef_maksura_ar |
ى → ي |
CAMeL normalize_teh_marbuta_ar |
ة → ه |
CAMeL dediac_ar |
Xóa U+064B đến U+0652 và U+0670; giữ tatweel |
PyArabic strip_tashkeel |
Xóa mọi harakat kể cả shadda |
PyArabic strip_tatweel |
Xóa ـ |
PyArabic normalize_alef |
Mọi dạng alef và ى → ا, nên إلى thành الا |
PyArabic normalize_hamza |
Cách mặc định đổi mọi dạng hamza thành ء, kể cả أ, nên أحمد thành ءحمد |
Lucene ArabicNormalizer |
Các dạng hamza trên alef → ا, ة → ه, ى → ي, xóa harakat và tatweel |
Các dòng PyArabic làm nhiều người bất ngờ. Docstring của normalize_alef nói alef maksura là ngoại lệ, nhưng trong 0.6.15 tập ALEFAT có chứa ى, và hàm đổi nó thành ا. normalize_hamza được xây cho việc so khớp bỏ qua hamza, không phải cho tìm kiếm thông thường. Thứ tự cũng quan trọng: chạy chuẩn hóa alef trước, thì normalize_hamza chỉ còn đụng tới ؤ, ئ và ء, nên مسؤول và مسئول đều thành مسءول. Cách tasheel của nó lại cho ra مسوول và مسيول, không khớp với nhau.
Filter arabic_normalization của Elasticsearch dùng bộ chuẩn hóa của Lucene, nên một pipeline Python muốn khớp với chỉ mục Elasticsearch phải chép đúng các quy tắc của Lucene. Nghĩa là ى → ي, không phải ى → ا.
Một bộ chuẩn hóa đã test trông thế nào?
Hàm này theo các lựa chọn của Lucene, thêm xử lý Unicode, chữ số và chữ Ba Tư, và cho phép bật tắt các quy tắc rủi ro. Nó chỉ dùng thư viện chuẩn.
import re
import unicodedata
DIACRITICS = re.compile("[ً-ٰٟ]") # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[---]") # zero-width, bidi
ALEF = re.compile("[آأإٱ]") # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"}) # ی -> ي, ک -> ك
def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
hamza_seats=False, digits=True):
text = unicodedata.normalize("NFKC", text) # compose marks, unpack ligatures
text = INVISIBLE.sub("", text)
text = DIACRITICS.sub("", text).replace("ـ", "") # tashkeel, tatweel
text = text.translate(FARSI)
if alef:
text = ALEF.sub("ا", text)
if alef_maksura:
text = text.replace("ى", "ي") # ى -> ي
if ta_marbuta:
text = text.replace("ة", "ه") # ة -> ه
if hamza_seats:
text = re.sub("[ؤئ]", "ء", text) # ؤ ئ -> ء
if digits:
text = text.translate(DIGITS)
return text
Kết quả nó trả về trên các chuỗi test của chúng tôi:
| Input | Output | Ghi chú |
|---|---|---|
| أَحْمَدُ | احمد | Tashkeel và hamza đã bị xóa |
| الـــمدينة | المدينه | Tatweel và ta marbuta |
| إلى | الي | Alef và alef maksura |
| ا + U+0654 + مل | امل | Hamza bị tách được ghép, rồi thống nhất |
| ﻻبد | لابد | Dạng trình bày được mở |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | Chữ số Ả Rập-Ấn và Ba Tư |
| مسؤول / مسئول | Cả hai thành مسءول với hamza_seats=True |
Mặc định thì giữ nguyên |
| فارسی | فارسي | Ya Ba Tư |
Hãy dùng nó ở hai chỗ: khi tạo khóa chỉ mục và khi đọc truy vấn. Lưu original và normalize(original) cạnh nhau, tìm trên cái thứ hai và trả về cái thứ nhất. Công cụ chuẩn hóa văn bản tiếng Ả Rập miễn phí cho bạn dán văn bản và xem tác dụng của từng quy tắc trước khi chọn thiết lập.
Chuẩn hóa liên quan thế nào tới embedding và RAG?
Một pipeline RAG thường có hai bộ truy xuất: tìm kiếm từ khóa (BM25) và embedding. Chuẩn hóa rõ ràng giúp phía từ khóa. Với phía embedding, bằng chứng ở trên không áp dụng được: model embedding được huấn luyện trên văn bản gốc, và nhiều model đã đặt احمد và أحمد gần nhau. Chuẩn hóa trước khi embed có thể giúp, không tác dụng gì, hoặc gây hại. Hãy xây 50 đến 100 truy vấn thật có câu trả lời đã biết, chạy với input gốc và input đã chuẩn hóa, và giữ cách nào cho recall cao hơn. Dù chọn gì, hãy áp dụng giống hệt cho tài liệu và truy vấn.
Chuẩn hóa cũng giảm nhẹ số token, vì dấu và tatweel là ký tự thêm đối với tokenizer. Các tỷ lệ đã đo có trong dataset hiệu quả tokenizer và số token mỗi từ trong tiếng Ả Rập. Cùng cách chuẩn hóa này được dùng để chấm nhận dạng giọng nói cho công bằng; xem giải thích WER tiếng Ả Rập.
Arabizi (tiếng Ả Rập viết bằng chữ Latin) cần một cách tiếp cận hoàn toàn khác: LLM xử lý Arabizi thế nào.
BroadNet Inference phù hợp ở đâu
Chuẩn hóa chạy trong code của bạn, nên không cần API. BroadNet Inference tham gia sau bước truy xuất. Dịch vụ không bán embedding, nên hãy kết hợp bộ truy xuất và nhà cung cấp embedding bạn chọn với một model chat BroadNet cho bước trả lời. GLM 5.3 và DeepSeek V4.1 Flash nhận context 1.048.576 token, nên bạn có thể truyền nhiều đoạn đã truy xuất bằng tiếng Ả Rập gốc, chưa chuẩn hóa. Để chọn model theo chất lượng tiếng Ả Rập, xem chọn LLM cho tiếng Ả Rập. Nếu bạn chỉ cần tìm kiếm từ khóa, analyzer arabic có sẵn của Elasticsearch có thể là đủ.
