Tiếng Ả Rập thường được viết mà không có nguyên âm ngắn. Người đọc tự điền chúng dựa vào ngữ cảnh; phần mềm thì thường không làm được. Việc khôi phục chúng, gọi là thêm dấu (diacritization) hay tashkeel, biến كتب thành كَتَبَ (anh ấy đã viết), كُتُبٌ (những cuốn sách) hoặc كُتِبَ (nó đã được viết), tùy câu. Bài này hướng dẫn làm việc đó bằng LLM qua một API tương thích OpenAI, cách ngăn model âm thầm sửa văn bản của bạn, và cách đo kết quả so với một công cụ thêm dấu chuyên dụng.
Khi nào bạn cần dấu?
- Chuyển văn bản thành giọng nói. Giọng đọc cần nguyên âm để phát âm một từ. Bài báo CATT liệt kê chuyển văn bản thành giọng nói và dịch máy là các ứng dụng được dấu cải thiện. BroadNet Inference không có endpoint chuyển văn bản thành giọng nói, nên trong một pipeline TTS, văn bản đã thêm dấu sẽ được gửi tới một dịch vụ TTS riêng.
- Người học và tài liệu cho trẻ em. Người đọc còn đang học dựa vào các dấu này.
- Tên và thuật ngữ dễ nhầm. Danh từ riêng, từ hiếm và thuật ngữ chuyên môn, nơi một nguyên âm sai làm đổi nghĩa.
- Văn bản tôn giáo và cổ điển. Ở đây dấu là một phần của văn bản, và công cụ tự động chỉ nên điền chỗ trống dưới sự rà soát của con người.
Với tìm kiếm hoặc truy xuất, bạn thường không muốn có dấu. Khi đó bạn xóa chúng đi, như trong chuẩn hóa văn bản tiếng Ả Rập cho tìm kiếm. Công cụ miễn phí chuẩn hóa văn bản tiếng Ả Rập làm việc xóa này ngay trong trình duyệt. Thêm dấu là thao tác ngược lại, và khó hơn nhiều: xóa dấu chỉ là tra bảng, còn thêm dấu cần ngữ pháp và ngữ cảnh.
LLM thêm dấu giỏi đến đâu?
Hai con số đã công bố, cần đọc cẩn thận:
| Hệ thống | Benchmark CATT, DER có tính đuôi cách | DER không tính | WER có tính đuôi cách | WER không tính |
|---|---|---|---|---|
| CATT encoder-decoder | 8,624% | 6,989% | 34,191% | 28,477% |
| CATT encoder-only | 8,762% | 7,088% | 35,508% | 29,714% |
| GPT-4 (GPT-4-turbo theo nội dung bài báo) | 9,515% | 8,113% | 38,311% | 33,505% |
| Command R+ | 13,169% | 11,329% | 48,518% | 44,158% |
| Shakkala | 13,494% | 10,386% | 50,387% | 40,643% |
| Mishkal | 16,482% | 10,796% | 60,844% | 40,215% |
Nguồn: Bảng 4 trong bài báo CATT (2024). Càng thấp càng tốt. Benchmark gồm 742 câu tin tức thu thập năm 2023, được hai chuyên gia bản ngữ thêm dấu và một người thứ ba kiểm tra.
Trên tập test thứ hai của bài báo, WikiNews (400 câu), GPT-4 đạt kết quả tốt hơn hẳn mọi hệ thống khác: DER 0,551%. Các tác giả đánh dấu dòng đó và cho rằng model có thể đã thấy WikiNews khi huấn luyện. Đây là cảnh báo chung cho benchmark LLM: văn bản test công khai có thể nằm trong dữ liệu huấn luyện. Các tác giả CATT cũng nêu lo ngại tương tự về Tashkeela, vì sách trong đó trích dẫn nhiều Quran và hadith.
Một bài báo riêng năm 2024 của Skiredj và Berrada báo cáo GPT-4 đạt khoảng 20% DER và 30% WER trên benchmark của Fadel và cộng sự, nhưng thiếu chi tiết cần thiết để so với bảng trên.
Vậy các model cỡ GPT-4 có thể tiến gần công cụ chuyên dụng, và cũng có thể thua xa. Cả hai bài báo đều ra đời trước các model mở mà bạn gọi được hôm nay. Hãy đo trên văn bản của bạn.
Có những tập test nào?
| Dataset | Nội dung |
|---|---|
| Tashkeela | 75.629.921 từ có đủ dấu nguyên âm từ 97 cuốn sách; 98,85% tiếng Ả Rập cổ điển từ thư viện Shamela, 1,15% tiếng Ả Rập chuẩn hiện đại |
| Benchmark của Fadel và cộng sự | Khoảng 2,3 triệu từ trích từ Tashkeela; 50.000 dòng huấn luyện, 2.500 dòng validation và 2.500 dòng test |
| Benchmark CATT | 742 câu tin tức được thêm dấu thủ công, phát hành cùng các model CATT |
| WikiNews | 400 câu tin tức MSA được thêm dấu thủ công |
Tashkeela và tập Fadel phần lớn là tiếng Ả Rập cổ điển. Nếu văn bản của bạn là tiếng Ả Rập kinh doanh hoặc tin tức hiện đại, tập CATT và WikiNews gần hơn, và một mẫu từ chính văn bản của bạn là gần nhất.
Prompt nào giữ nguyên các chữ cái?
Nhiệm vụ của model là thêm dấu và không đụng vào gì khác. Nhưng LLM thích giúp đỡ: chúng sẽ sửa الى thành إلى, đổi ى cuối thành ي hoặc thêm hamza bị thiếu. Mỗi thay đổi có thể là tiếng Ả Rập đúng, nhưng đó là sửa chính tả, không phải thêm dấu. Nó đổi văn bản của bạn mà không báo.
Vì vậy prompt nêu rõ quy tắc, còn code thì thực thi nó: xóa dấu khỏi câu trả lời và so với input đã xóa dấu. Nếu khác một chữ cái, một khoảng trắng hay một dấu câu, câu trả lời bị loại.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MARKS = re.compile("[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""
def skeleton(s: str) -> str:
"""The text with every diacritic removed: what the model is not allowed to change."""
return MARKS.sub("", unicodedata.normalize("NFC", s))
def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
for attempt in range(tries):
r = client.chat.completions.create(
model=model, max_tokens=4000, temperature=0,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
if skeleton(out) == skeleton(text):
return out
diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
print(f"attempt {attempt + 1}: letters changed {diff}")
return None # keep the undiacritized text; never ship a changed sentence
for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
print(diacritize(line))
Chúng tôi chạy đoạn này với một mock server cục bộ, không phải API thật. Câu trả lời soạn sẵn cho câu đầu tiên đã “sửa” الى thành إلى ở cả hai lần thử, còn câu trả lời cho câu thứ hai thì sạch. Output là:
attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ
Ghi chú về code:
- Unicode NFC trước tiên. Một hamza có thể đến dưới dạng một ký tự dựng sẵn (أ) hoặc một chữ cái cộng dấu kết hợp. NFC làm hai bên giống nhau trước khi so sánh. Bài về chuẩn hóa nói kỹ về cái bẫy này.
max_tokens=4000. Tài liệu BroadNet cho biết DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận tính vàomax_tokens. Giới hạn quá nhỏ sẽ trả về câu trả lời rỗng, và bước kiểm tra sẽ loại nó. Hãy chừa chỗ, hoặc đặtreasoning_effortlà low; xem phản hồi rỗng từ model suy luận và công cụ tính ngân sách token suy luận.- Bước kiểm tra không test yêu cầu “giữ dấu có sẵn”. Nếu input của bạn đã có dấu một phần, hãy so cả các dấu đó.
- Chính tả là một quyết định riêng. Nếu bạn muốn sửa الى, hãy chạy bước sửa lỗi trước, rồi thêm dấu cho văn bản đã sửa. Trộn hai việc làm cả hai không thể kiểm tra được.
- Chia nhỏ văn bản dài. Gửi một câu hoặc một đoạn cho mỗi request. Bản thân CATT giới hạn input ở 1.024 ký tự và cắt câu dài tại dấu câu; thói quen này cũng giữ câu trả lời của LLM ngắn và việc thử lại rẻ.
Lời khuyên chung về viết prompt tiếng Ả Rập, kể cả khi nào nên dặn model đừng thêm dấu, có trong prompt engineering cho tiếng Ả Rập.
Chấm điểm việc thêm dấu thế nào: DER và WER?
Tỷ lệ lỗi dấu (DER) là tỷ lệ chữ cái có dấu khác với bản chuẩn. Tỷ lệ lỗi từ (WER) ở đây là tỷ lệ từ có ít nhất một dấu sai. Đó không phải WER của nhận dạng giọng nói trong bài về ASR; nó đếm các từ có dấu sai, không đếm từ bị chèn hay bị xóa.
Hai thiết lập làm thay đổi con số rất nhiều:
- Có hay không tính đuôi cách. Chữ cái cuối của một từ mang cách ngữ pháp (i’rab), vốn phụ thuộc cú pháp. Các bài báo báo cáo cả hai thiết lập, vì đuôi cách gây ra nhiều lỗi.
- Có đếm chữ cái không dấu hay không. Một số script đếm chữ cái trơn (như alef trong الطالب) là dự đoán “không dấu” đúng; số khác bỏ qua. Script chấm điểm của Fadel có cờ cho việc này.
Các script đã công bố khác nhau ở những lựa chọn này, nên chỉ so các con số tạo ra bởi cùng một script. Script dưới đây đủ ngắn để đọc:
import re, unicodedata
MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")
def letters(word: str) -> list[tuple[str, str]]:
"""(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
out = []
for ch in unicodedata.normalize("NFC", word):
if LETTER.match(ch):
out.append([ch, ""])
elif MARK.match(ch) and out:
out[-1][1] += ch
return [(c, "".join(sorted(d))) for c, d in out]
def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
"""DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
errs = total = werr = words = 0
for g_line, p_line in zip(gold, pred):
for g, p in zip(g_line.split(), p_line.split()):
G, P = letters(g), letters(p)
if [c for c, _ in G] != [c for c, _ in P]:
raise ValueError(f"letters differ: {g} / {p}") # score only same-skeleton output
scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
if (case_ending or i < len(G) - 1) and (count_bare or gd)]
if not scored:
continue
bad = sum(gd != pd for gd, pd in scored)
errs += bad; total += len(scored); werr += bad > 0; words += 1
return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}
gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))
Dự đoán mẫu có hai đuôi cách sai và một nguyên âm bên trong sai trên 32 chữ cái và 7 từ. Nó in DER 9,38 và WER 42,86 khi tính đuôi cách, và DER 4,0 và WER 14,29 khi không tính. Hãy để ý WER khuếch đại vài lỗi như thế nào: một dấu sai làm hỏng cả một từ.
Script từ chối chấm từ nào có chữ cái bị đổi. Đó là cố ý. Một công cụ thêm dấu mà sửa chữ cái thì đã thất bại nhiệm vụ, và DER của nó vô nghĩa.
Để kiểm tra thêm, chúng tôi chạy Mishkal 0.4.1, một công cụ thêm dấu dựa trên quy tắc, trên một câu 16 từ mà chúng tôi tự thêm dấu bằng tay. Cả bốn lỗi của nó đều là đuôi cách, chẳng hạn مُحَمَّدُ thay vì مُحَمَّدٌ. Nó đạt DER 5,88 khi tính đuôi cách và 0,0 khi không tính. Một câu không chứng minh được gì về Mishkal; nó chỉ cho thấy vì sao bạn cần báo cáo cả hai thiết lập.
Để xây tập test, hãy lấy 100 đến 200 câu từ văn bản của bạn, nhờ người bản ngữ thêm dấu, xóa dấu đi rồi chạy từng ứng viên. Giữ bản của con người làm bản chuẩn.
Khi nào công cụ chuyên dụng thắng LLM?
| Chọn | Khi |
|---|---|
| Model chuyên dụng (CATT, libtashkeel, Mishkal) | Khối lượng lớn, loại văn bản cố định, yêu cầu độ trễ nghiêm ngặt, dùng offline hoặc trên thiết bị, hoặc cần output giữ nguyên từng chữ cái theo thiết kế |
| LLM qua API | Khối lượng nhỏ hoặc thất thường, input hỗn hợp hoặc lộn xộn, team không có người vận hành ML, hoặc pipeline đã gọi LLM cho các bước khác |
Model chuyên dụng dự đoán dấu cho từng chữ cái, nên không thể viết lại văn bản của bạn. CATT dùng Apache 2.0 và cài bằng pip install catt-tashkeel; README khuyên dùng model encoder-only nếu cần tốc độ và encoder-decoder nếu cần độ chính xác. libtashkeel dùng MIT và được huấn luyện chủ yếu trên MSA. Mishkal dựa trên quy tắc và dùng GPL, điều này quan trọng nếu bạn đóng gói nó trong sản phẩm.
LLM giúp bắt đầu nhanh hơn và xử lý được input mà model huấn luyện chưa từng gặp: phương ngữ, tiếng Ả Rập trộn tiếng Anh, dấu câu kỳ lạ. Nhưng nó cần bước kiểm tra khung chữ ở trên cho mọi câu trả lời, và tốn tiền theo token.
Thêm dấu bằng LLM tốn bao nhiêu?
Dấu là ký tự thêm vào, và tokenizer tách chúng thành token thêm. Chúng tôi đếm tập test Fadel 2.500 dòng (125.098 từ) bằng tokenizer riêng của từng model, văn bản trơn so với văn bản có đủ dấu:
| Tokenizer | Văn bản trơn | Có dấu | Tỷ lệ |
|---|---|---|---|
| Qwen3.8 27B | 196.987 | 407.144 | 2,07× |
| DeepSeek V4.1 Flash | 222.555 | 540.454 | 2,43× |
| Gemma 4 VL 26B | 208.769 | 508.758 | 2,44× |
| GLM 5.3 | 239.753 | 770.361 | 3,21× |
Bạn trả token input cho văn bản trơn và token output cho câu trả lời có dấu, cộng thêm phần suy luận nếu có. Output là phía đắt: mỗi 1 triệu token là $2.17 với Qwen3.8 27B, $0.52 với DeepSeek V4.1 Flash, $3.46 với GLM 5.3 và $0.22 với Gemma 4 VL 26B, theo trang giá của BroadNet. Các lần thử lại sau khi kiểm tra thất bại còn tốn thêm. Hãy dán văn bản của bạn vào công cụ đếm token tiếng Ả Rập để kiểm tra tỷ lệ trên dữ liệu thật, và xem số token mỗi từ trong tiếng Ả Rập và tiếng Anh để hiểu vì sao ngay từ đầu tiếng Ả Rập đã tốn nhiều token hơn.
Với một job chạy một lần trên kho lưu trữ lớn, các gói DeepSeek V4.1 Flash thay việc tính theo token bằng giá cố định mỗi phiên ($15 một tuần hoặc $1 một giờ); mỗi phiên xử lý một request mỗi lúc, nên hãy lên kế hoạch chạy như trong xử lý hàng loạt không cần batch API.
BroadNet Inference phù hợp ở đâu
BroadRouter là trang web của chính BroadNet. BroadNet Inference phục vụ bốn model chat ở trên qua một endpoint tương thích OpenAI, nên code chạy được với OpenAI Python SDK sau khi đặt base URL và key. Gemma 4 VL 26B dùng được với tín dụng ban đầu $5; DeepSeek, GLM và Qwen cần nạp tiền. BroadNet không có endpoint thêm dấu, không công bố benchmark thêm dấu riêng và không có chuyển văn bản thành giọng nói. Model nào của BroadNet thêm dấu cho văn bản của bạn tốt nhất thì chưa được đo: hãy chấm điểm chúng trên mẫu của bạn trước khi chọn. Xem tài liệu tham chiếu API để biết chi tiết request.
