BroadRouter

Chuẩn hóa văn bản tiếng Ả Rập cho tìm kiếm và RAG: đổi gì, giữ gì

Đội ngũ BroadNet Inference · 7 phút đọc · Đăng ngày · Cập nhật

Với chỉ mục tìm kiếm và RAG, hãy chuẩn hóa bản lưu và mọi truy vấn theo cùng một cách: Unicode NFKC, xóa tashkeel và tatweel, thống nhất các dạng alef, đổi ى thành ي và ة thành ه, và chuyển chữ số. Giữ văn bản gốc để hiển thị và gửi cho LLM. Coi vị trí hamza và ta marbuta là tùy chỉnh được: chúng tăng recall nhưng gộp một số từ khác nghĩa.

Tiếng Ả Rập cho phép viết cùng một từ theo nhiều cách. Người dùng gõ احمد; tài liệu ghi أَحْمَد. Một chỉ mục tìm kiếm so khớp chính xác từng ký tự sẽ bỏ lỡ kết quả này, và nửa tìm kiếm từ khóa của một pipeline RAG cũng vậy. Chuẩn hóa khắc phục điều này bằng cách quy các biến thể về một dạng trước khi so sánh. Làm cẩu thả, nó còn gộp những từ có nghĩa khác nhau. Bài này đi qua từng quy tắc: mỗi quy tắc làm gì, khi nào áp dụng, nó làm hỏng gì, và các thư viện chính khác nhau thế nào. Cuối bài là code Python đã test.

Về toàn bộ pipeline RAG tiếng Ả Rập (chia đoạn, tìm kiếm kết hợp, câu trả lời có trích dẫn), xem RAG tiếng Ả Rập chạy tốt. Bài này đi sâu hơn vào bước chuẩn hóa.

Chuẩn hóa có thực sự giúp truy xuất không?

Có, với tìm kiếm từ khóa, và bằng chứng tuy cũ nhưng rõ ràng. Larkey, Ballesteros và Connell (SIGIR 2002) đã test truy xuất tiếng Ả Rập trên bộ tin tức TREC-2001. Trước khi stemming, họ chuẩn hóa corpus và truy vấn: xóa dấu và dấu câu, thống nhất các dạng alef, và đổi ى và ة ở cuối từ. Kết quả đơn ngữ của họ, với truy vấn không mở rộng:

Xử lý Average precision Thay đổi so với gốc (tính từ số đã làm tròn)
Văn bản gốc 0,194 —
Đã chuẩn hóa 0,238 +22,7%
Chuẩn hóa + stemming nhẹ (light8) 0,376 +93,8%

Có hai lưu ý. Đây là tìm kiếm từ khóa trên tin tức năm 2002, không phải tìm kiếm bằng embedding. Và mức tăng lớn nhất đến từ stemming nhẹ (gỡ tiền tố như و và ال cùng các hậu tố phổ biến), một bước tách biệt với chuẩn hóa. ArabicAnalyzer của Lucene và analyzer arabic của Elasticsearch áp dụng cả hai: một bộ chuẩn hóa, rồi một stemmer nhẹ.

Nên chuẩn hóa những gì, và mỗi quy tắc phải trả giá gì?

Quy tắc Ví dụ Chỉ mục tìm kiếm Rủi ro
Unicode NFKC ﻻ → لا, ا + ٔ → أ Có, luôn làm đầu tiên Cũng viết lại ký tự tương thích ở các hệ chữ khác
Xóa ký tự vô hình zero-width joiner, RLM/LRM, BOM Có Không có với tiếng Ả Rập; ZWNJ quan trọng trong tiếng Ba Tư
Xóa tashkeel أَحْمَدُ → أحمد Có Gộp các từ chỉ phân biệt bằng nguyên âm
Xóa tatweel (ـ) الـــمدينة → المدينة Có Không có
Thống nhất alef أ إ آ ٱ → ا Có Gộp vài cặp: سأل (đã hỏi) và سال (đã chảy)
Alef maksura ى → ي Thường có Gộp على (trên) và علي (Ali)
Ta marbuta ة → ه Thường có Gộp كتابة (việc viết) và كتابه (cuốn sách của anh ấy)
Vị trí hamza ؤ ئ → ء Tùy chọn Gộp مسؤول và مسئول (tốt) nhưng cũng gộp một số từ khác nghĩa
Chữ Ba Tư ی → ي, ک → ك Có, nếu người dùng có bàn phím tiếng Ba Tư Không có với văn bản tiếng Ả Rập
Chữ số ٢٠٢٦ và ۲۰۲۶ → 2026 Có Không có; giữ bản gốc để hiển thị

Cột thứ ba áp dụng cho khóa chỉ mục và truy vấn. Văn bản bạn lưu, hiển thị và gửi cho model vẫn giữ như đã viết.

Vì sao chuẩn hóa Unicode phải làm đầu tiên?

Cùng một chữ cái nhìn thấy được có thể được lưu theo nhiều cách. أ có thể là một code point (U+0623) hoặc alef trơn theo sau là hamza kết hợp (U+0627 U+0654). File PDF cũ và một số bàn phím tạo ra các dạng trình bày tiếng Ả Rập (U+FB50 đến U+FEFF), như chữ ghép lam-alef ﻻ một ký tự. Theo chuẩn hóa Unicode, NFC ghép hamza vào alef, còn NFKC mở luôn các dạng trình bày và chữ ghép. Trong Python, unicodedata.normalize("NFKC", "ﻻ") trả về لا, và ﷲ thành الله.

Hãy chạy bước này trước mọi bước khác. Nếu không, một regex thay أ sẽ bỏ sót dạng bị tách. Còn một cái bẫy thứ hai: dediac_ar của CAMeL Tools xóa các ký tự trong AR_DIAC_CHARSET (U+064B đến U+0652 và U+0670). Tập này không có các dấu hamza và madda kết hợp (U+0653 đến U+0655), nên với văn bản bị tách, chúng vẫn còn sau khi xóa dấu. NFKC ghép chúng lại trước.

NFKC là ánh xạ tương thích. Nó cũng đổi các ký tự ngoài tiếng Ả Rập, chẳng hạn chữ Latin toàn độ rộng. Với khóa tìm kiếm, đó thường là điều bạn muốn, và là thêm một lý do để giữ bản gốc bên cạnh.

Những gì không nên chuẩn hóa?

  • Văn bản bạn hiển thị, dẫn nguồn hoặc trích dẫn. Tiếng Ả Rập đã chuẩn hóa trông như sai chính tả (المدينه). Hãy lưu bản gốc cạnh khóa.
  • Những gì bạn gửi cho LLM. Model đọc hamza và tashkeel tốt, và văn bản chính xác giữ tên riêng và trích dẫn đúng. Xóa tashkeel tiết kiệm được một ít token; hãy kiểm tra bao nhiêu bằng công cụ đếm token tiếng Ả Rập trước khi đánh đổi độ chính xác.
  • Văn bản mà dấu mang ý nghĩa: Quran, hadith, thơ, sách thiếu nhi, các tác vụ phát âm và thêm dấu (xem thêm dấu bằng LLM).
  • Sửa chính tả hoặc ngữ pháp: chuẩn hóa trước sẽ xóa các lỗi hamza và taa marbuta mà bạn muốn sửa; xem sửa ngữ pháp và chính tả tiếng Ả Rập bằng LLM.
  • Định danh. Mã sản phẩm, email, URL và văn bản chữ Latin không được đi qua các quy tắc tiếng Ả Rập. Chỉ áp dụng chuẩn hóa cho các trường chữ Ả Rập, hoặc chỉ cho token tiếng Ả Rập.
  • Trường người dùng tìm chính xác. Với tên pháp lý hoặc các trường dạng ID, hãy lập chỉ mục thêm một bản gốc, để kết quả khớp chính xác vẫn xếp đầu.

CAMeL Tools, PyArabic và Lucene khác nhau thế nào?

Chúng không cài đặt cùng các quy tắc, và trộn lẫn chúng sẽ tạo ra chỉ mục và truy vấn không bao giờ khớp. Chúng tôi đã đọc tài liệu và mã nguồn của từng thư viện, và chạy PyArabic 0.6.15:

Hàm Thực sự làm gì
CAMeL normalize_unicode NFKC (hoặc NFC với compatibility=False); còn mở ﷼ thành ريال và ﷽ thành cả câu đầy đủ
CAMeL normalize_alef_ar إ أ ٱ آ → ا
CAMeL normalize_alef_maksura_ar ى → ي
CAMeL normalize_teh_marbuta_ar ة → ه
CAMeL dediac_ar Xóa U+064B đến U+0652 và U+0670; giữ tatweel
PyArabic strip_tashkeel Xóa mọi harakat kể cả shadda
PyArabic strip_tatweel Xóa ـ
PyArabic normalize_alef Mọi dạng alef và ى → ا, nên إلى thành الا
PyArabic normalize_hamza Cách mặc định đổi mọi dạng hamza thành ء, kể cả أ, nên أحمد thành ءحمد
Lucene ArabicNormalizer Các dạng hamza trên alef → ا, ة → ه, ى → ي, xóa harakat và tatweel

Các dòng PyArabic làm nhiều người bất ngờ. Docstring của normalize_alef nói alef maksura là ngoại lệ, nhưng trong 0.6.15 tập ALEFAT có chứa ى, và hàm đổi nó thành ا. normalize_hamza được xây cho việc so khớp bỏ qua hamza, không phải cho tìm kiếm thông thường. Thứ tự cũng quan trọng: chạy chuẩn hóa alef trước, thì normalize_hamza chỉ còn đụng tới ؤ, ئ và ء, nên مسؤول và مسئول đều thành مسءول. Cách tasheel của nó lại cho ra مسوول và مسيول, không khớp với nhau.

Filter arabic_normalization của Elasticsearch dùng bộ chuẩn hóa của Lucene, nên một pipeline Python muốn khớp với chỉ mục Elasticsearch phải chép đúng các quy tắc của Lucene. Nghĩa là ى → ي, không phải ى → ا.

Một bộ chuẩn hóa đã test trông thế nào?

Hàm này theo các lựa chọn của Lucene, thêm xử lý Unicode, chữ số và chữ Ba Tư, và cho phép bật tắt các quy tắc rủi ro. Nó chỉ dùng thư viện chuẩn.

import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text

Kết quả nó trả về trên các chuỗi test của chúng tôi:

Input Output Ghi chú
أَحْمَدُ احمد Tashkeel và hamza đã bị xóa
الـــمدينة المدينه Tatweel và ta marbuta
إلى الي Alef và alef maksura
ا + U+0654 + مل امل Hamza bị tách được ghép, rồi thống nhất
ﻻبد لابد Dạng trình bày được mở
٢٠٢٦ / ۱۴۰۵ 2026 / 1405 Chữ số Ả Rập-Ấn và Ba Tư
مسؤول / مسئول Cả hai thành مسءول với hamza_seats=True Mặc định thì giữ nguyên
فارسی فارسي Ya Ba Tư

Hãy dùng nó ở hai chỗ: khi tạo khóa chỉ mục và khi đọc truy vấn. Lưu original và normalize(original) cạnh nhau, tìm trên cái thứ hai và trả về cái thứ nhất. Công cụ chuẩn hóa văn bản tiếng Ả Rập miễn phí cho bạn dán văn bản và xem tác dụng của từng quy tắc trước khi chọn thiết lập.

Chuẩn hóa liên quan thế nào tới embedding và RAG?

Một pipeline RAG thường có hai bộ truy xuất: tìm kiếm từ khóa (BM25) và embedding. Chuẩn hóa rõ ràng giúp phía từ khóa. Với phía embedding, bằng chứng ở trên không áp dụng được: model embedding được huấn luyện trên văn bản gốc, và nhiều model đã đặt احمد và أحمد gần nhau. Chuẩn hóa trước khi embed có thể giúp, không tác dụng gì, hoặc gây hại. Hãy xây 50 đến 100 truy vấn thật có câu trả lời đã biết, chạy với input gốc và input đã chuẩn hóa, và giữ cách nào cho recall cao hơn. Dù chọn gì, hãy áp dụng giống hệt cho tài liệu và truy vấn.

Chuẩn hóa cũng giảm nhẹ số token, vì dấu và tatweel là ký tự thêm đối với tokenizer. Các tỷ lệ đã đo có trong dataset hiệu quả tokenizer và số token mỗi từ trong tiếng Ả Rập. Cùng cách chuẩn hóa này được dùng để chấm nhận dạng giọng nói cho công bằng; xem giải thích WER tiếng Ả Rập.

Arabizi (tiếng Ả Rập viết bằng chữ Latin) cần một cách tiếp cận hoàn toàn khác: LLM xử lý Arabizi thế nào.

BroadNet Inference phù hợp ở đâu

Chuẩn hóa chạy trong code của bạn, nên không cần API. BroadNet Inference tham gia sau bước truy xuất. Dịch vụ không bán embedding, nên hãy kết hợp bộ truy xuất và nhà cung cấp embedding bạn chọn với một model chat BroadNet cho bước trả lời. GLM 5.3 và DeepSeek V4.1 Flash nhận context 1.048.576 token, nên bạn có thể truyền nhiều đoạn đã truy xuất bằng tiếng Ả Rập gốc, chưa chuẩn hóa. Để chọn model theo chất lượng tiếng Ả Rập, xem chọn LLM cho tiếng Ả Rập. Nếu bạn chỉ cần tìm kiếm từ khóa, analyzer arabic có sẵn của Elasticsearch có thể là đủ.

Câu hỏi thường gặp

Có nên xóa tashkeel (dấu nguyên âm) trước khi lập chỉ mục văn bản tiếng Ả Rập không?

Với tìm kiếm thì có: phần lớn truy vấn và văn bản hiện đại không có dấu, nên nếu không xóa, tài liệu có dấu sẽ không khớp. Hãy xóa chúng khỏi khóa chỉ mục và truy vấn, giữ văn bản gốc để hiển thị, và giữ dấu cho Quran, thơ hay các tác vụ phát âm, nơi dấu mang ý nghĩa.

Có nên chuẩn hóa ta marbuta (ة) thành ha (ه) không?

Với tìm kiếm thì thường nên, vì nhiều người gõ ه ở cuối từ. Nhưng nó gộp một số cặp, như كتابة (việc viết) và كتابه (cuốn sách của anh ấy). Nếu những va chạm đó quan trọng trong lĩnh vực của bạn, hãy giữ ة và test cả hai thiết lập.

Chuẩn hóa tiếng Ả Rập trong Elasticsearch làm gì?

Token filter arabic_normalization dùng ArabicNormalizer của Lucene: đổi các dạng hamza trên alef thành alef trơn, ta marbuta thành ha, alef maksura thành ya, và xóa harakat cùng tatweel. Analyzer arabic có sẵn thêm stop word và một stemmer gỡ mạo từ, liên từ, giới từ gắn liền và các hậu tố phổ biến.

Chuẩn hóa tiếng Ả Rập có giúp tìm kiếm bằng embedding không?

Điều này chưa được xác lập. Các cải thiện đã đo đến từ tìm kiếm từ khóa. Model embedding học từ văn bản gốc và thường xử lý được biến thể chính tả, nên hãy xây một tập nhỏ truy vấn thật và so recall khi có và không chuẩn hóa trước khi quyết định.

Có nên chuẩn hóa văn bản tiếng Ả Rập trước khi gửi cho LLM không?

Nhìn chung là không. Hãy gửi văn bản gốc để trích dẫn, tên riêng và nguồn giữ chính xác. Xóa tashkeel tiết kiệm được một ít token, nhưng chỉ làm khi tác vụ không cần đến dấu.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity