Hiệu đính tiếng Ả Rập trông như một prompt một dòng: “hãy sửa văn bản này”. Thực tế model còn diễn đạt lại, thêm dấu, đổi từ phương ngữ thành từ trang trọng và giải thích các thay đổi, khiến bạn không biết chỉnh sửa nào là cần thiết. Bài này xây một công cụ sửa lỗi trên LLM tương thích OpenAI: chỉnh sửa ít nhất, kiểm tra câu trả lời bằng code, gắn nhãn từng chỉnh sửa theo loại lỗi và chấm điểm toàn bộ theo cách các benchmark nghiên cứu vẫn làm.
LLM sửa ngữ pháp tiếng Ả Rập giỏi đến đâu?
Benchmark chuẩn là các QALB shared task. QALB-2014 dùng bình luận bằng tiếng Ả Rập chuẩn hiện đại trên website Al Jazeera: hơn một triệu từ văn bản huấn luyện với khoảng 306.000 chỉnh sửa, và các tập test khoảng 50.000 từ. QALB-2015 thêm nhánh thứ hai gồm bài luận của người học tiếng Ả Rập như ngoại ngữ (L2). Cả hai chấm hệ thống theo chỉnh sửa bằng M2 scorer. Điểm cao nhất, F1 (càng cao càng tốt):
| Tập test | F1 của hệ thống tốt nhất | Văn bản |
|---|---|---|
| QALB-2014 test | 67,91 | Bình luận tin tức của người bản ngữ |
| QALB-2015 test bản ngữ | 72,87 | Bình luận tin tức của người bản ngữ |
| QALB-2015 test L2 | 41,20 | Bài luận của người học |
Dòng L2 là lời cảnh báo hữu ích. Văn bản của người học có nhiều lỗi chọn từ và thiếu từ hơn, và hệ thống tốt nhất đạt điểm thấp hơn nhiều. Nếu người dùng của bạn là người học, hãy dự kiến con số của bạn giống dòng đó hơn.
Sau đó Kwon, Bhatia, Nagoudi và Abdul-Mageed (ArabicNLP 2023) chạy ChatGPT và GPT-4 trên tập test QALB-2014. Với cùng công cụ chấm:
| Hệ thống | F1 |
|---|---|
| ChatGPT, 1 ví dụ | 53,59 |
| ChatGPT, 5 ví dụ | 63,98 |
| GPT-4, 5 ví dụ | 65,49 |
| AraT5v2, fine-tune | 67,70 |
Hai chi tiết quan trọng cho prompt của bạn. Thêm ví dụ giúp rất nhiều. Và prompt zero-shot cùng prompt viết bằng tiếng Ả Rập cho ra câu trả lời đầy lời giải thích mà các tác giả không thể chấm tự động. Công cụ sửa lỗi cần output mà chương trình diff được.
Sao không chỉ chuẩn hóa văn bản?
Công cụ chuẩn hóa văn bản tiếng Ả Rập trên trang này xóa tashkeel và tatweel, đổi أ إ آ thành ا và, tùy chọn, ى thành ي và ة thành ه. Đó là bước đúng cho tìm kiếm, vì người gõ احمد phải tìm thấy أحمد. Nhưng đó là bước sai trước khi sửa lỗi, vì nó xóa đúng sự phân biệt mà công cụ sửa lỗi phải khôi phục. Sau khi chuẩn hóa, انا và أنا là cùng một chuỗi, nên lỗi hamza biến mất và cách sửa cũng vậy.
Khi cần cả hai, hãy giữ ba bản: văn bản gốc, văn bản đã sửa để hiển thị cho người dùng, và một bản đã chuẩn hóa của văn bản đã sửa cho chỉ mục tìm kiếm. Chuẩn hóa văn bản tiếng Ả Rập cho tìm kiếm nói về phía lập chỉ mục. Có một bước chuẩn hóa nên làm trước khi sửa: Unicode NFC, gộp alif tách rời cộng hamza kết hợp thành một ký tự, để diff không báo một thay đổi không có thật.
Prompt nên viết gì?
Hãy yêu cầu chỉnh sửa tối thiểu, nêu các loại lỗi bạn quan tâm, cấm những thay đổi bạn không muốn và chỉ yêu cầu văn bản đã sửa. Viết chỉ dẫn bằng tiếng Anh hay tiếng Ả Rập là tùy bạn; prompt engineering cho tiếng Ả Rập bàn về sự đánh đổi này. Kwon và cộng sự nhận được output dùng được từ chỉ dẫn tiếng Anh kèm ví dụ. Thêm ba đến năm cặp câu đã sửa từ dữ liệu của bạn (few-shot) là cải tiến rẻ nhất nên thử trước.
Đặt temperature là 0. Bạn muốn cùng một cách sửa mỗi lần. Nếu văn bản là phương ngữ như tiếng Ả Rập Ai Cập hay vùng Vịnh, hãy nói rõ có giữ phương ngữ không. Prompt dưới đây giả định tiếng Ả Rập chuẩn hiện đại (MSA) và dặn model không đổi văn phong, điều này cũng bao gồm phương ngữ.
Kiểm tra câu trả lời của model thế nào?
Code gửi một request, đo mức độ khác biệt giữa câu trả lời và input, trích các chỉnh sửa theo từ và gắn nhãn cho từng cái.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""
def tokens(s: str) -> list[str]:
s = unicodedata.normalize("NFC", s) # composed hamza forms, so أ is one character
return re.findall(r"\w+|[^\w\s]", s) # Arabic letters are \w; ، ؟ ؛ become tokens
def edits(src: str, hyp: str) -> list[tuple]:
"""Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
a, b = tokens(src), tokens(hyp)
out = []
for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
i, j = i1, j1
while op != "equal" and (i < i2 or j < j2): # split the block into one-word edits
if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]: # و قابلت -> وقابلت
out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]: # عبدالله -> عبد الله
out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
elif i < i2 and j < j2:
out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
elif i < i2: # deleted word
out.append((i, i + 1, "", a[i])); i += 1
else: # inserted word
out.append((i, i, b[j], "")); j += 1
return out
HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
("taa marbuta", lambda w: w.replace("ة", "ه")),
("alef maqsura", lambda w: w.replace("ى", "ي"))]
def error_class(orig: str, corr: str) -> str:
if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
return "punctuation"
if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
return "merge" if " " in orig else "split"
for name, f in RULES:
if orig != corr and f(orig) == f(corr):
return name
both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
if both(orig) == both(corr):
return "mixed orthography"
return "other"
def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
r = client.chat.completions.create(
model=model, temperature=0, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = r.choices[0].message.content.strip()
sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
if sim < min_similarity: # a rewrite, not a correction: keep the original
return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
return {"text": out, "similarity": round(sim, 2),
"edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}
Chúng tôi chạy nó với một mock server cục bộ trả câu trả lời soạn sẵn (không gọi API thật, vì mock trả về đúng những gì chúng tôi viết). Với ذهبت الى المدرسه و قابلت المعلمه في الصباح, câu trả lời ذهبت إلى المدرسة وقابلت المعلمة في الصباح cho ra bốn chỉnh sửa: الى thành إلى (hamza), المدرسه thành المدرسة (taa marbuta), و قابلت thành وقابلت (gộp) và المعلمه thành المعلمة (taa marbuta). Với مشي الي, nó liệt kê مشي thành مشى (alef maqsura) và الي thành إلى (chính tả hỗn hợp, vì sửa cả hamza và alef maqsura cùng lúc). Một câu trả lời soạn sẵn biến الطقس جميل اليوم thành một câu dài gấp đôi có độ tương đồng 0,52, nên code giữ bản gốc và ghi log câu trả lời.
Ghi chú về code:
- Ngưỡng tương đồng là công cụ thô. Một câu sai chính tả nặng có thể hợp lệ mà vẫn rơi gần 0,8. Hãy chỉnh ngưỡng trên dữ liệu của bạn, và gửi các câu trả lời bị loại cho người xem, đừng vứt đi.
max_tokens=2000chừa chỗ cho suy luận. Tài liệu BroadNet cho biết DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời và phần suy luận tính vàomax_tokens; bạn cũng có thể đặtreasoning_effortlà low. Xem phản hồi rỗng từ model suy luận.- Nhãn loại lỗi là quy tắc, không phải parser. “Khác” bao gồm thiếu chữ cái (مسؤل thành مسؤول), hòa hợp và chọn từ. Để có phân loại đầy đủ, hãy chạy ARETA (bên dưới) trên cùng các cặp.
Nên theo dõi những loại lỗi nào?
Ban tổ chức QALB nêu alif có hamza và nhầm lẫn alef maqsura/ya là các lỗi chính tả tiếng Ả Rập phổ biến nhất. ARETA, công cụ gắn nhãn loại lỗi của CAMeL Lab (Belkebir và Habash, CoNLL 2021), dùng bộ nhãn dựa trên Arabic Learner Corpus. Các nhãn chính tả gồm OH (hamza), OT (ha và taa marbuta) và OA (alif và ya), bên cạnh các nhãn hình thái, cú pháp, ngữ nghĩa, dấu câu, gộp (MG) và tách (SP). Bài báo của nó báo cáo F1 micro-average 85,8% so với văn bản người học được gắn nhãn thủ công.
| Loại | Sai | Đúng | Sai ở đâu |
|---|---|---|---|
| Hamza | انا، الى، مسأله | أنا، إلى، مسألة | Thiếu hamza, sai vị trí đặt hoặc nằm sai phía của alif |
| Taa marbuta | المدرسه | المدرسة | ة cuối viết thành ه, hoặc ngược lại |
| Alef maqsura | مشي، علي (giới từ) | مشى، على | ى cuối viết thành ي; علي cũng là tên người, nên ngữ cảnh quyết định |
| Gộp hoặc tách | و قابلت، عبدالله | وقابلت، عبد الله | Khoảng trắng quanh و và ال, tên ghép |
| Dấu câu | thiếu ، hoặc ؟ | thêm vào | Người gắn nhãn QALB ít đồng thuận nhất về dấu câu |
Hãy theo dõi recall theo từng loại. Một model sửa được taa marbuta nhưng bỏ sót hamza sau giới từ cần ví dụ cho mẫu đó, chứ không cần model khác.
Chấm điểm công cụ sửa lỗi thế nào?
Sửa lỗi ngữ pháp (GEC) được chấm theo chỉnh sửa. So các chỉnh sửa biến câu gốc thành câu chuẩn đã sửa tay với các chỉnh sửa biến nó thành output của model. Precision là tỷ lệ chỉnh sửa của model khớp với bản chuẩn. Recall là tỷ lệ chỉnh sửa chuẩn mà model đã làm. QALB báo cáo F1; các nghiên cứu sau, gồm Kwon và cộng sự, còn báo cáo F0.5, chỉ số coi trọng precision gấp đôi recall, vì một “sửa lỗi” sai làm người dùng khó chịu hơn một lỗi bị bỏ sót.
from collections import Counter
def score(sources, golds, hyps, beta=0.5):
"""Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
tp = fp = fn = 0
by_class = Counter()
for s, g, h in zip(sources, golds, hyps):
G = {e[:3] for e in edits(s, g)}
H = {e[:3] for e in edits(s, h)}
tp += len(G & H); fp += len(H - G); fn += len(G - H)
for e in edits(s, g):
by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
p = tp / (tp + fp) if tp + fp else 1.0
r = tp / (tp + fn) if tp + fn else 1.0
f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
for c in sorted({c for c, _ in by_class})}
return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}
Trên một tập mẫu hai câu với bảy chỉnh sửa chuẩn, trong đó output bỏ sót phép gộp và một taa marbuta, lại thêm một dấu chấm, nó in P 0,833, R 0,714 và F0.5 0,806, với recall theo loại: hamza 2/2, taa marbuta 2/3, gộp 0/1.
Đây là ý tưởng M2, đã đơn giản hóa. M2 scorer chính thức tìm cách căn chỉnh các chỉnh sửa của hệ thống khớp nhất với bản chuẩn, nên một cách sửa đúng nhưng được tách thành chỉnh sửa khác với bản chuẩn sẽ không bị phạt. Cách khớp chính xác của chúng tôi nghiêm hơn. Hãy dùng công cụ chấm chính thức khi so với số liệu đã công bố (bản developer vẫn cần Python 2). ERRANT trích xuất chỉnh sửa tương tự nhưng chỉ cho tiếng Anh.
Hãy xây tập chuẩn từ văn bản thật của người dùng, 100 đến 200 câu, do một người gắn nhãn cẩn thận sửa theo cùng quy tắc chỉnh sửa tối thiểu mà bạn đưa cho model. Chạy từng model và prompt ứng viên trên đó, rồi so F0.5 và recall theo loại. Cách đánh giá LLM trước khi chuyển đổi nói về cách chạy so sánh này cho công bằng.
Còn Tibyan và dữ liệu tổng hợp thì sao?
Dữ liệu sửa lỗi tiếng Ả Rập có nhãn rất hiếm. Alrehili và Alhothali chỉ ra rằng QALB-14 và QALB-15 cộng lại có khoảng 20.500 ví dụ song song. Corpus Tibyan của họ (arXiv 2024, sau đó đăng trên PeerJ Computer Science) dùng ChatGPT để sinh các cặp câu sai và câu đúng từ sách về lỗi tiếng Ả Rập thường gặp, có nhà ngôn ngữ học rà soát. Nó chứa khoảng 600.000 token, với bảy loại lỗi: chính tả, hình thái, cú pháp, ngữ nghĩa, dấu câu, gộp và tách. Các tác giả nói corpus được công khai; chúng tôi không tìm thấy link tải để kiểm tra giấy phép. Nó hữu ích cho ví dụ few-shot và stress test, nhưng là dữ liệu tổng hợp, nên đừng dùng làm bài test nghiệm thu.
Nếu cần một baseline không phải LLM, repo arabic-gec của CAMeL Lab công bố code và model từ Alhafni và cộng sự (EMNLP 2023). Nếu chỉ cần chính tả, package ar-corrector gợi ý các từ trong từ điển cách một hoặc hai chỉnh sửa; nó không xử lý ngữ pháp, và bản phát hành cuối là năm 2021.
Nên dùng model BroadNet nào?
Giá tính trên 1 triệu token, theo trang giá của BroadNet. Output của việc sửa lỗi dài gần bằng input, nên giá output là quan trọng.
| Model | Lý do | Input / output |
|---|---|---|
| Qwen3.8 27B | Có tài liệu về suy luận; BroadNet báo cáo đã test tiếng Ả Rập, gồm cả hiểu phương ngữ vùng Vịnh và Ai Cập | $0.175 / $2.17 |
| GLM 5.3 | Có tài liệu về suy luận; context dài cho cả tài liệu | $0.78 / $3.46 |
| DeepSeek V4.1 Flash | Giá output thấp nhất trong các model suy luận ở đây; có cả gói theo phiên giá cố định | $0.175 / $0.52 |
| Gemma 4 VL 26B | Dùng được với tín dụng ban đầu $5, nên bạn có thể xây pipeline trước khi nạp tiền | $0.10 / $0.22 |
Hãy chạy công cụ chấm với từng model trên tập chuẩn của bạn và chọn theo F0.5 và giá. Tiếng Ả Rập thường tốn nhiều token mỗi từ hơn tiếng Anh; hãy dán một mẫu vào công cụ đếm token tiếng Ả Rập và ước tính hóa đơn bằng công cụ tính chi phí API LLM. BroadNet không có Batch API; để hiệu đính một kho lưu trữ lớn, xử lý hàng loạt không cần Batch API chỉ cách chạy với số request đồng thời có giới hạn, hoặc trên một phiên DeepSeek giá $15 một tuần (mỗi phiên một request mỗi lúc).
BroadNet Inference phù hợp ở đâu
BroadRouter là trang web của chính BroadNet. BroadNet Inference cho truy cập tương thích OpenAI tới các model ở trên, nên code chạy được với OpenAI Python SDK sau khi đổi base URL. Dịch vụ không có endpoint hiệu đính và không công bố benchmark sửa lỗi tiếng Ả Rập riêng, nên hãy đo trên văn bản của bạn. Tuyên bố về quyền riêng tư của BroadNet nói nội dung inference không được lưu giữ, điều này quan trọng khi bạn hiệu đính tin nhắn của khách hàng. Nếu cần công cụ sửa lỗi tự host cho khối lượng rất lớn, một model fine-tune như của CAMeL Lab có thể rẻ hơn và nhất quán hơn; các điểm số đã công bố ở trên là lý do nên test cả hai.
