---
title: "Chuẩn hóa văn bản tiếng Ả Rập cho tìm kiếm và RAG | BroadRouter"
description: "Tashkeel, dạng alef, ta marbuta, vị trí hamza, chữ Ba Tư, chữ số và Unicode: quy tắc chuẩn hóa tiếng Ả Rập nào giúp tìm kiếm, quy tắc nào gây hại, kèm code Python."
url: https://broadrouter.com/vi/blog/arabic-text-normalization-search/
lang: vi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/arabic-text-normalization-search/) (cập nhật ngày 2026-11-16).

# Chuẩn hóa văn bản tiếng Ả Rập cho tìm kiếm và RAG: đổi gì, giữ gì

Đội ngũ BroadNet Inference · 7 phút đọc · Đăng ngày 2026-11-15 · Cập nhật 2026-11-16

Với chỉ mục tìm kiếm và RAG, hãy chuẩn hóa bản lưu và mọi truy vấn theo cùng một cách: Unicode NFKC, xóa tashkeel và tatweel, thống nhất các dạng alef, đổi ى thành ي và ة thành ه, và chuyển chữ số. Giữ văn bản gốc để hiển thị và gửi cho LLM. Coi vị trí hamza và ta marbuta là tùy chỉnh được: chúng tăng recall nhưng gộp một số từ khác nghĩa.

## Ý chính

-   Hãy chuẩn hóa khóa tìm kiếm, đừng bao giờ chuẩn hóa văn bản bạn hiển thị hoặc trích dẫn. Lưu bản gốc bên cạnh.
-   Trong một nghiên cứu kinh điển trên tin tức tiếng Ả Rập TREC-2001, chỉ riêng chuẩn hóa đã nâng average precision từ 0,194 lên 0,238, và thêm stemming nhẹ thì đạt 0,376.
-   Hãy chạy Unicode NFKC trước tiên. Nó ghép hamza bị tách, mở các dạng trình bày và chữ ghép, và giúp các quy tắc sau hoạt động ổn định.
-   Các thư viện không thống nhất. normalize\_alef của PyArabic đổi ى thành ا; CAMeL Tools đổi ى thành ي. Hãy chọn một bộ quy tắc và dùng ở mọi nơi.
-   Với tìm kiếm bằng embedding, hãy test input đã chuẩn hóa và input gốc trên truy vấn của bạn. Các quy tắc chuẩn hóa được đo trên tìm kiếm từ khóa.

**Trong trang này**

1.  Chuẩn hóa có thực sự giúp truy xuất không?
2.  Nên chuẩn hóa những gì, và mỗi quy tắc phải trả giá gì?
3.  Vì sao chuẩn hóa Unicode phải làm đầu tiên?
4.  Những gì không nên chuẩn hóa?
5.  CAMeL Tools, PyArabic và Lucene khác nhau thế nào?
6.  Một bộ chuẩn hóa đã test trông thế nào?
7.  Chuẩn hóa liên quan thế nào tới embedding và RAG?
8.  BroadNet Inference phù hợp ở đâu

Tiếng Ả Rập cho phép viết cùng một từ theo nhiều cách. Người dùng gõ احمد; tài liệu ghi أَحْمَد. Một chỉ mục tìm kiếm so khớp chính xác từng ký tự sẽ bỏ lỡ kết quả này, và nửa tìm kiếm từ khóa của một pipeline RAG cũng vậy. Chuẩn hóa khắc phục điều này bằng cách quy các biến thể về một dạng trước khi so sánh. Làm cẩu thả, nó còn gộp những từ có nghĩa khác nhau. Bài này đi qua từng quy tắc: mỗi quy tắc làm gì, khi nào áp dụng, nó làm hỏng gì, và các thư viện chính khác nhau thế nào. Cuối bài là code Python đã test.

Về toàn bộ pipeline RAG tiếng Ả Rập (chia đoạn, tìm kiếm kết hợp, câu trả lời có trích dẫn), xem [RAG tiếng Ả Rập chạy tốt](https://broadrouter.com/vi/blog/arabic-rag-search/). Bài này đi sâu hơn vào bước chuẩn hóa.

## Chuẩn hóa có thực sự giúp truy xuất không?

Có, với tìm kiếm từ khóa, và bằng chứng tuy cũ nhưng rõ ràng. Larkey, Ballesteros và Connell (SIGIR 2002) đã test truy xuất tiếng Ả Rập trên bộ tin tức TREC-2001. Trước khi stemming, họ chuẩn hóa corpus và truy vấn: xóa dấu và dấu câu, thống nhất các dạng alef, và đổi ى và ة ở cuối từ. Kết quả đơn ngữ của họ, với truy vấn không mở rộng:

| Xử lý | Average precision | Thay đổi so với gốc (tính từ số đã làm tròn) |
| --- | --- | --- |
| Văn bản gốc | 0,194 | — |
| Đã chuẩn hóa | 0,238 | +22,7% |
| Chuẩn hóa + stemming nhẹ (light8) | 0,376 | +93,8% |

Có hai lưu ý. Đây là tìm kiếm từ khóa trên tin tức năm 2002, không phải tìm kiếm bằng embedding. Và mức tăng lớn nhất đến từ stemming nhẹ (gỡ tiền tố như و và ال cùng các hậu tố phổ biến), một bước tách biệt với chuẩn hóa. `ArabicAnalyzer` của Lucene và analyzer `arabic` của Elasticsearch áp dụng cả hai: một bộ chuẩn hóa, rồi một stemmer nhẹ.

## Nên chuẩn hóa những gì, và mỗi quy tắc phải trả giá gì?

| Quy tắc | Ví dụ | Chỉ mục tìm kiếm | Rủi ro |
| --- | --- | --- | --- |
| Unicode NFKC | ﻻ → لا, ا + ٔ → أ | Có, luôn làm đầu tiên | Cũng viết lại ký tự tương thích ở các hệ chữ khác |
| Xóa ký tự vô hình | zero-width joiner, RLM/LRM, BOM | Có | Không có với tiếng Ả Rập; ZWNJ quan trọng trong tiếng Ba Tư |
| Xóa tashkeel | أَحْمَدُ → أحمد | Có | Gộp các từ chỉ phân biệt bằng nguyên âm |
| Xóa tatweel (ـ) | الـــمدينة → المدينة | Có | Không có |
| Thống nhất alef | أ إ آ ٱ → ا | Có | Gộp vài cặp: سأل (đã hỏi) và سال (đã chảy) |
| Alef maksura | ى → ي | Thường có | Gộp على (trên) và علي (Ali) |
| Ta marbuta | ة → ه | Thường có | Gộp كتابة (việc viết) và كتابه (cuốn sách của anh ấy) |
| Vị trí hamza | ؤ ئ → ء | Tùy chọn | Gộp مسؤول và مسئول (tốt) nhưng cũng gộp một số từ khác nghĩa |
| Chữ Ba Tư | ی → ي, ک → ك | Có, nếu người dùng có bàn phím tiếng Ba Tư | Không có với văn bản tiếng Ả Rập |
| Chữ số | ٢٠٢٦ và ۲۰۲۶ → 2026 | Có | Không có; giữ bản gốc để hiển thị |

Cột thứ ba áp dụng cho khóa chỉ mục và truy vấn. Văn bản bạn lưu, hiển thị và gửi cho model vẫn giữ như đã viết.

## Vì sao chuẩn hóa Unicode phải làm đầu tiên?

Cùng một chữ cái nhìn thấy được có thể được lưu theo nhiều cách. أ có thể là một code point (U+0623) hoặc alef trơn theo sau là hamza kết hợp (U+0627 U+0654). File PDF cũ và một số bàn phím tạo ra các dạng trình bày tiếng Ả Rập (U+FB50 đến U+FEFF), như chữ ghép lam-alef ﻻ một ký tự. Theo [chuẩn hóa Unicode](https://unicode.org/reports/tr15/), NFC ghép hamza vào alef, còn NFKC mở luôn các dạng trình bày và chữ ghép. Trong Python, `unicodedata.normalize("NFKC", "ﻻ")` trả về لا, và `ﷲ` thành الله.

Hãy chạy bước này trước mọi bước khác. Nếu không, một regex thay أ sẽ bỏ sót dạng bị tách. Còn một cái bẫy thứ hai: `dediac_ar` của CAMeL Tools xóa các ký tự trong `AR_DIAC_CHARSET` (U+064B đến U+0652 và U+0670). Tập này không có các dấu hamza và madda kết hợp (U+0653 đến U+0655), nên với văn bản bị tách, chúng vẫn còn sau khi xóa dấu. NFKC ghép chúng lại trước.

NFKC là ánh xạ tương thích. Nó cũng đổi các ký tự ngoài tiếng Ả Rập, chẳng hạn chữ Latin toàn độ rộng. Với khóa tìm kiếm, đó thường là điều bạn muốn, và là thêm một lý do để giữ bản gốc bên cạnh.

## Những gì không nên chuẩn hóa?

-   **Văn bản bạn hiển thị, dẫn nguồn hoặc trích dẫn.** Tiếng Ả Rập đã chuẩn hóa trông như sai chính tả (المدينه). Hãy lưu bản gốc cạnh khóa.
-   **Những gì bạn gửi cho LLM.** Model đọc hamza và tashkeel tốt, và văn bản chính xác giữ tên riêng và trích dẫn đúng. Xóa tashkeel tiết kiệm được một ít token; hãy kiểm tra bao nhiêu bằng [công cụ đếm token tiếng Ả Rập](https://broadrouter.com/tools/arabic-token-counter/) trước khi đánh đổi độ chính xác.
-   **Văn bản mà dấu mang ý nghĩa:** Quran, hadith, thơ, sách thiếu nhi, các tác vụ phát âm và thêm dấu (xem [thêm dấu bằng LLM](https://broadrouter.com/vi/blog/arabic-diacritization-llm/)).
-   **Sửa chính tả hoặc ngữ pháp:** chuẩn hóa trước sẽ xóa các lỗi hamza và taa marbuta mà bạn muốn sửa; xem [sửa ngữ pháp và chính tả tiếng Ả Rập bằng LLM](https://broadrouter.com/vi/blog/arabic-grammar-spelling-correction-llm/).
-   **Định danh.** Mã sản phẩm, email, URL và văn bản chữ Latin không được đi qua các quy tắc tiếng Ả Rập. Chỉ áp dụng chuẩn hóa cho các trường chữ Ả Rập, hoặc chỉ cho token tiếng Ả Rập.
-   **Trường người dùng tìm chính xác.** Với tên pháp lý hoặc các trường dạng ID, hãy lập chỉ mục thêm một bản gốc, để kết quả khớp chính xác vẫn xếp đầu.

## CAMeL Tools, PyArabic và Lucene khác nhau thế nào?

Chúng không cài đặt cùng các quy tắc, và trộn lẫn chúng sẽ tạo ra chỉ mục và truy vấn không bao giờ khớp. Chúng tôi đã đọc tài liệu và mã nguồn của từng thư viện, và chạy PyArabic 0.6.15:

| Hàm | Thực sự làm gì |
| --- | --- |
| CAMeL `normalize_unicode` | NFKC (hoặc NFC với `compatibility=False`); còn mở ﷼ thành ريال và ﷽ thành cả câu đầy đủ |
| CAMeL `normalize_alef_ar` | إ أ ٱ آ → ا |
| CAMeL `normalize_alef_maksura_ar` | ى → ي |
| CAMeL `normalize_teh_marbuta_ar` | ة → ه |
| CAMeL `dediac_ar` | Xóa U+064B đến U+0652 và U+0670; giữ tatweel |
| PyArabic `strip_tashkeel` | Xóa mọi harakat kể cả shadda |
| PyArabic `strip_tatweel` | Xóa ـ |
| PyArabic `normalize_alef` | Mọi dạng alef **và ى** → ا, nên إلى thành الا |
| PyArabic `normalize_hamza` | Cách mặc định đổi mọi dạng hamza thành ء, kể cả أ, nên أحمد thành ءحمد |
| Lucene `ArabicNormalizer` | Các dạng hamza trên alef → ا, ة → ه, ى → ي, xóa harakat và tatweel |

Các dòng PyArabic làm nhiều người bất ngờ. Docstring của `normalize_alef` nói alef maksura là ngoại lệ, nhưng trong 0.6.15 tập `ALEFAT` có chứa ى, và hàm đổi nó thành ا. `normalize_hamza` được xây cho việc so khớp bỏ qua hamza, không phải cho tìm kiếm thông thường. Thứ tự cũng quan trọng: chạy chuẩn hóa alef trước, thì `normalize_hamza` chỉ còn đụng tới ؤ, ئ và ء, nên مسؤول và مسئول đều thành مسءول. Cách `tasheel` của nó lại cho ra مسوول và مسيول, không khớp với nhau.

Filter `arabic_normalization` của Elasticsearch dùng bộ chuẩn hóa của Lucene, nên một pipeline Python muốn khớp với chỉ mục Elasticsearch phải chép đúng các quy tắc của Lucene. Nghĩa là ى → ي, không phải ى → ا.

## Một bộ chuẩn hóa đã test trông thế nào?

Hàm này theo các lựa chọn của Lucene, thêm xử lý Unicode, chữ số và chữ Ba Tư, và cho phép bật tắt các quy tắc rủi ro. Nó chỉ dùng thư viện chuẩn.

```python
import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩﻿]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text
```

Kết quả nó trả về trên các chuỗi test của chúng tôi:

| Input | Output | Ghi chú |
| --- | --- | --- |
| أَحْمَدُ | احمد | Tashkeel và hamza đã bị xóa |
| الـــمدينة | المدينه | Tatweel và ta marbuta |
| إلى | الي | Alef và alef maksura |
| ا + U+0654 + مل | امل | Hamza bị tách được ghép, rồi thống nhất |
| ﻻبد | لابد | Dạng trình bày được mở |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | Chữ số Ả Rập-Ấn và Ba Tư |
| مسؤول / مسئول | Cả hai thành مسءول với `hamza_seats=True` | Mặc định thì giữ nguyên |
| فارسی | فارسي | Ya Ba Tư |

Hãy dùng nó ở hai chỗ: khi tạo khóa chỉ mục và khi đọc truy vấn. Lưu `original` và `normalize(original)` cạnh nhau, tìm trên cái thứ hai và trả về cái thứ nhất. [Công cụ chuẩn hóa văn bản tiếng Ả Rập](https://broadrouter.com/tools/arabic-text-normalizer/) miễn phí cho bạn dán văn bản và xem tác dụng của từng quy tắc trước khi chọn thiết lập.

## Chuẩn hóa liên quan thế nào tới embedding và RAG?

Một pipeline RAG thường có hai bộ truy xuất: tìm kiếm từ khóa (BM25) và [embedding](https://broadrouter.com/vi/glossary/embeddings/). Chuẩn hóa rõ ràng giúp phía từ khóa. Với phía embedding, bằng chứng ở trên không áp dụng được: model embedding được huấn luyện trên văn bản gốc, và nhiều model đã đặt احمد và أحمد gần nhau. Chuẩn hóa trước khi embed có thể giúp, không tác dụng gì, hoặc gây hại. Hãy xây 50 đến 100 truy vấn thật có câu trả lời đã biết, chạy với input gốc và input đã chuẩn hóa, và giữ cách nào cho recall cao hơn. Dù chọn gì, hãy áp dụng giống hệt cho tài liệu và truy vấn.

Chuẩn hóa cũng giảm nhẹ số token, vì dấu và tatweel là ký tự thêm đối với [tokenizer](https://broadrouter.com/vi/glossary/tokenizer/). Các tỷ lệ đã đo có trong [dataset hiệu quả tokenizer](https://broadrouter.com/data/tokenizer-efficiency/) và [số token mỗi từ trong tiếng Ả Rập](https://broadrouter.com/vi/blog/tokens-per-word-arabic-english/). Cùng cách chuẩn hóa này được dùng để chấm nhận dạng giọng nói cho công bằng; xem [giải thích WER tiếng Ả Rập](https://broadrouter.com/vi/blog/arabic-asr-wer-explained/).

Arabizi (tiếng Ả Rập viết bằng chữ Latin) cần một cách tiếp cận hoàn toàn khác: [LLM xử lý Arabizi thế nào](https://broadrouter.com/vi/blog/arabizi-llm-handling/).

## BroadNet Inference phù hợp ở đâu

Chuẩn hóa chạy trong code của bạn, nên không cần API. BroadNet Inference tham gia sau bước truy xuất. Dịch vụ không bán embedding, nên hãy kết hợp bộ truy xuất và nhà cung cấp embedding bạn chọn với một model chat BroadNet cho bước trả lời. [GLM 5.3](https://broadrouter.com/vi/models/glm-5.3/) và DeepSeek V4.1 Flash nhận context 1.048.576 token, nên bạn có thể truyền nhiều đoạn đã truy xuất bằng tiếng Ả Rập gốc, chưa chuẩn hóa. Để chọn model theo chất lượng tiếng Ả Rập, xem [chọn LLM cho tiếng Ả Rập](https://broadrouter.com/vi/blog/choosing-an-llm-for-arabic/). Nếu bạn chỉ cần tìm kiếm từ khóa, analyzer `arabic` có sẵn của Elasticsearch có thể là đủ.

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Hamza (chữ hamza trong tiếng Ả Rập)](https://broadrouter.com/vi/glossary/hamza/)

Hamza (ء) là chữ cái tiếng Ả Rập biểu thị âm tắc thanh hầu. Nó đứng riêng hoặc nằm trên chữ đỡ: alef (أ إ), waw (ؤ) hoặc yeh (ئ), còn آ là alef kết hợp madda. Vì văn bản gõ tay viết hamza không nhất quán, tìm kiếm và chấm giọng nói thường gộp các dạng alef về ا.

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Chuẩn hóa Unicode (Unicode normalization)](https://broadrouter.com/vi/glossary/unicode-normalization/)

Chuẩn hóa Unicode chuyển văn bản về một dạng chuẩn để các chuỗi trông giống nhau dùng cùng code point. Có bốn dạng: NFD, NFC, NFKD và NFKC; các dạng K còn gộp ký tự tương thích, như dạng trình bày (presentation form) và chữ ghép tiếng Ả Rập, thành chữ cái thông thường.

[Chuẩn hóa văn bản tiếng Ả Rập](https://broadrouter.com/vi/glossary/arabic-text-normalization/)

Chuẩn hóa văn bản tiếng Ả Rập là bước đưa các cách viết khác nhau của cùng một từ về một dạng trước khi so khớp: xóa dấu phụ và tatweel, thống nhất các dạng alef, thường đổi ى thành ي, ة thành ه. Chỉ áp dụng cho khóa tìm kiếm và đánh giá, không cho văn bản hiển thị.

[BM25](https://broadrouter.com/vi/glossary/bm25/)

BM25 (Okapi BM25) là hàm xếp hạng cho tìm kiếm từ khóa, chấm điểm tài liệu dựa trên tần suất các từ trong truy vấn xuất hiện trong đó, độ hiếm của các từ ấy trong cả bộ tài liệu và độ dài tài liệu. Đây là hàm similarity mặc định của Lucene và Elasticsearch.

[Dấu phụ tiếng Ả Rập (tashkeel)](https://broadrouter.com/vi/glossary/arabic-diacritics/)

Dấu phụ tiếng Ả Rập, hay tashkeel, là các dấu nhỏ viết trên hoặc dưới chữ cái để biểu thị nguyên âm ngắn, phụ âm kép và việc không có nguyên âm. Chúng không bắt buộc: phần lớn văn bản, kể cả tin tức, bỏ chúng, nên người đọc và phần mềm phải đoán nguyên âm từ ngữ cảnh.

[Tool calling (gọi tool, function calling)](https://broadrouter.com/vi/glossary/tool-calling/)

Tool calling, còn gọi là function calling, là tính năng của API LLM trong đó model trả về một yêu cầu có cấu trúc để chạy một hàm do nhà phát triển định nghĩa, kèm đối số JSON. Ứng dụng chạy hàm rồi gửi kết quả lại; model không bao giờ tự chạy code.

[Embedding (vector nhúng)](https://broadrouter.com/vi/glossary/embeddings/)

Embedding là danh sách số thực (vector) mà một model tạo ra để biểu diễn đoạn văn bản, hình ảnh hay đầu vào khác. Đầu vào có nghĩa tương tự nhận vector gần nhau, nên khoảng cách giữa vector dùng được để xếp hạng kết quả tìm kiếm, gom cụm tài liệu hoặc tìm mục liên quan.

## Câu hỏi thường gặp

### Có nên xóa tashkeel (dấu nguyên âm) trước khi lập chỉ mục văn bản tiếng Ả Rập không?

Với tìm kiếm thì có: phần lớn truy vấn và văn bản hiện đại không có dấu, nên nếu không xóa, tài liệu có dấu sẽ không khớp. Hãy xóa chúng khỏi khóa chỉ mục và truy vấn, giữ văn bản gốc để hiển thị, và giữ dấu cho Quran, thơ hay các tác vụ phát âm, nơi dấu mang ý nghĩa.

### Có nên chuẩn hóa ta marbuta (ة) thành ha (ه) không?

Với tìm kiếm thì thường nên, vì nhiều người gõ ه ở cuối từ. Nhưng nó gộp một số cặp, như كتابة (việc viết) và كتابه (cuốn sách của anh ấy). Nếu những va chạm đó quan trọng trong lĩnh vực của bạn, hãy giữ ة và test cả hai thiết lập.

### Chuẩn hóa tiếng Ả Rập trong Elasticsearch làm gì?

Token filter arabic\_normalization dùng ArabicNormalizer của Lucene: đổi các dạng hamza trên alef thành alef trơn, ta marbuta thành ha, alef maksura thành ya, và xóa harakat cùng tatweel. Analyzer arabic có sẵn thêm stop word và một stemmer gỡ mạo từ, liên từ, giới từ gắn liền và các hậu tố phổ biến.

### Chuẩn hóa tiếng Ả Rập có giúp tìm kiếm bằng embedding không?

Điều này chưa được xác lập. Các cải thiện đã đo đến từ tìm kiếm từ khóa. Model embedding học từ văn bản gốc và thường xử lý được biến thể chính tả, nên hãy xây một tập nhỏ truy vấn thật và so recall khi có và không chuẩn hóa trước khi quyết định.

### Có nên chuẩn hóa văn bản tiếng Ả Rập trước khi gửi cho LLM không?

Nhìn chung là không. Hãy gửi văn bản gốc để trích dẫn, tên riêng và nguồn giữ chính xác. Xóa tashkeel tiết kiệm được một ít token, nhưng chỉ làm khi tác vụ không cần đến dấu.

## Đọc tiếp

-   [RAG tiếng Ả Rập: chuẩn hóa, chia chunk và truy xuất hiệu quả](https://broadrouter.com/vi/blog/arabic-rag-search/)
-   [Số token mỗi từ: tiếng Ả Rập và tiếng Anh, vì sao tiếng Ả Rập đắt hơn](https://broadrouter.com/vi/blog/tokens-per-word-arabic-english/)
-   [Tỷ lệ lỗi từ (WER) trong nhận dạng giọng nói tiếng Ả Rập](https://broadrouter.com/vi/blog/arabic-asr-wer-explained/)
-   [Arabizi và LLM: xử lý tiếng Ả Rập Franco với các số như 3 và 7](https://broadrouter.com/vi/blog/arabizi-llm-handling/)
-   [Chọn API LLM cho tiếng Ả Rập: cần test những gì](https://broadrouter.com/vi/blog/choosing-an-llm-for-arabic/)
-   [Trích xuất thực thể tiếng Ả Rập bằng LLM: JSON, ngày tháng, kiểm tra](https://broadrouter.com/vi/blog/arabic-named-entity-extraction-llm/)
-   [Thêm dấu cho tiếng Ả Rập bằng LLM: prompt, kiểm tra, DER](https://broadrouter.com/vi/blog/arabic-diacritization-llm/)
-   [Sửa ngữ pháp và chính tả tiếng Ả Rập bằng LLM: hướng dẫn](https://broadrouter.com/vi/blog/arabic-grammar-spelling-correction-llm/)
-   [Biên bản họp tiếng Ả Rập từ bản ghi âm: một pipeline API](https://broadrouter.com/vi/blog/arabic-meeting-minutes-from-recordings/)
-   [So sánh API OCR tiếng Ả Rập: Google, Azure, Textract, Mistral, LLM](https://broadrouter.com/vi/blog/arabic-ocr-api-comparison/)
-   [Hướng dẫn: Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-arabic-text-normalization-search&utm_content=page-cta) ·

**Nguồn**

-   [Larkey, Ballesteros và Connell, Improving Stemming for Arabic Information Retrieval: Light Stemming and Co-occurrence Analysis, SIGIR 2002 (kiểm tra ngày 2026-11-15)](https://ciir.cs.umass.edu/pubfiles/ir-249.pdf)
-   [Tài liệu CAMeL Tools 1.6.0, camel\_tools.utils.normalize (kiểm tra ngày 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [Mã nguồn CAMeL Tools, charsets.py: AR\_DIAC\_CHARSET mà dediac\_ar sử dụng (kiểm tra ngày 2026-11-15)](https://github.com/CAMeL-Lab/camel_tools/blob/master/camel_tools/utils/charsets.py)
-   [PyArabic 0.6.15 trên GitHub, module araby (kiểm tra ngày 2026-11-15)](https://github.com/linuxscout/pyarabic)
-   [Tài liệu ArabicNormalizer của Apache Lucene 9.12 (kiểm tra ngày 2026-11-15)](https://lucene.apache.org/core/9_12_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Các token filter chuẩn hóa của Elasticsearch: arabic\_normalization (kiểm tra ngày 2026-11-15)](https://www.elastic.co/docs/reference/text-analysis/analysis-normalization-tokenfilter)
-   [Unicode Standard Annex #15, Unicode Normalization Forms (kiểm tra ngày 2026-11-15)](https://unicode.org/reports/tr15/)
-   [Bảng mã Unicode tiếng Ả Rập, U+0600 đến U+06FF (kiểm tra ngày 2026-11-15)](https://www.unicode.org/charts/PDF/U0600.pdf)
