Mukhang isang linyang prompt lang ang Arabic proofreading: “correct this text”. Sa praktika, nire-rephrase din ng model, nagdadagdag ng diacritics, pinapalitan ng pormal na salita ang salitang dialect at ipinapaliwanag ang mga binago nito, at hindi mo masabi kung aling edit ang talagang kailangan. Gumagawa ang post na ito ng corrector sa isang OpenAI-compatible LLM na gumagawa ng pinakakaunting edit, chine-check ang sagot sa code, nilalagyan ng label ang bawat edit ayon sa uri ng error at ini-score ang kabuuan gaya ng ginagawa ng mga research benchmark.
Gaano kahusay ang mga LLM sa Arabic grammar correction?
Ang mga QALB shared task ang standard na benchmark. Gumamit ang QALB-2014 ng mga komentong Modern Standard Arabic mula sa website ng Al Jazeera: mahigit isang milyong salita ng training text na may mga 306,000 correction, at mga test set na mga 50,000 salita. Nagdagdag ang QALB-2015 ng ikalawang track ng mga sanaysay ng mga nag-aaral ng Arabic bilang banyagang wika (L2). Pareho silang nag-score ng mga system batay sa edit gamit ang M2 scorer. Ang pinakamatataas na score, F1 (mas mataas, mas mahusay):
| Test set | F1 ng pinakamahusay na system | Text |
|---|---|---|
| QALB-2014 test | 67.91 | Mga news comment ng native speaker |
| QALB-2015 native test | 72.87 | Mga news comment ng native speaker |
| QALB-2015 L2 test | 41.20 | Mga sanaysay ng nag-aaral |
Ang L2 na row ang kapaki-pakinabang na babala. Mas maraming error sa pagpili ng salita at nawawalang salita ang text ng mga nag-aaral, at mas mababa nang malayo ang score ng pinakamahusay na system. Kung mga nag-aaral ang mga user mo, asahan na mas kahawig ng row na iyon ang mga numero mo.
Pinatakbo naman nina Kwon, Bhatia, Nagoudi at Abdul-Mageed (ArabicNLP 2023) ang ChatGPT at GPT-4 sa QALB-2014 test set. Sa parehong scorer:
| System | F1 |
|---|---|
| ChatGPT, 1 halimbawa | 53.59 |
| ChatGPT, 5 halimbawa | 63.98 |
| GPT-4, 5 halimbawa | 65.49 |
| AraT5v2, fine-tuned | 67.70 |
Dalawang detalye ang mahalaga para sa prompt mo. Malaki ang naitulong ng mas maraming halimbawa. At ang mga zero-shot na prompt at prompt na nasa Arabic ay nagbigay ng mga sagot na puno ng paliwanag na hindi ma-score nang awtomatiko ng mga author. Kailangan ng corrector ng output na kayang i-diff ng isang program.
Bakit hindi na lang i-normalize ang text?
Tinatanggal ng Arabic text normalizer sa site na ito ang tashkeel at tatweel, ginagawang ا ang أ إ آ at, kung pipiliin, ي ang ى at ه ang ة. Iyan ang tamang hakbang para sa search, dahil dapat mahanap ng user na nag-type ng احمد ang أحمد. Maling hakbang ito bago ang correction, dahil binubura nito ang pagkakaibang kailangang ibalik ng corrector. Pagkatapos ng normalization, iisang string na ang انا at أنا, kaya nawawala ang hamza error at nawawala rin ang pag-aayos.
Magtago ng tatlong kopya kapag kailangan mo ang dalawa: ang orihinal na text, ang naitamang text na ipinapakita mo sa mga user, at isang normalized na kopya ng naitamang text para sa search index mo. Tinatalakay ng Arabic text normalization para sa search ang bahagi ng indexing. May isang normalization step na nararapat bago ang correction: Unicode NFC, na pinagsasama ang decomposed na alif at combining hamza sa iisang character, para hindi mag-report ang diff ng pagbabagong wala naman.
Ano ang dapat sabihin ng prompt?
Humingi ng minimal na edit, pangalanan ang mga uri ng error na mahalaga sa iyo, ipagbawal ang mga pagbabagong ayaw mo at hingin ang naitamang text lang. Ikaw ang bahala kung English o Arabic ang mga instruction; tinatalakay ng Arabic prompt engineering ang trade-off. Nakakuha sina Kwon et al. ng magagamit na output mula sa English na instruction na may mga halimbawa. Ang pagdagdag ng tatlo hanggang limang naitamang pares ng pangungusap mula sa sarili mong data (few-shot) ang pinakamurang pagpapahusay na dapat subukan muna.
Itakda sa 0 ang temperature. Gusto mo ng parehong correction tuwing tatakbo. Kung dialect gaya ng Egyptian o Gulf Arabic ang text, sabihin kung pananatilihin ang dialect. Ipinapalagay ng prompt sa ibaba ang Modern Standard Arabic (MSA) at sinasabihan ang model na huwag baguhin ang istilo, na sakop din ang dialect.
Paano i-check ang sagot ng model?
Isang request ang ginagawa ng code, sinusukat kung gaano kalaki ang pagkakaiba ng sagot sa input, kinukuha ang mga word-level na edit at nilalagyan ng label ang bawat isa.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""
def tokens(s: str) -> list[str]:
s = unicodedata.normalize("NFC", s) # composed hamza forms, so أ is one character
return re.findall(r"\w+|[^\w\s]", s) # Arabic letters are \w; ، ؟ ؛ become tokens
def edits(src: str, hyp: str) -> list[tuple]:
"""Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
a, b = tokens(src), tokens(hyp)
out = []
for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
i, j = i1, j1
while op != "equal" and (i < i2 or j < j2): # split the block into one-word edits
if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]: # و قابلت -> وقابلت
out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]: # عبدالله -> عبد الله
out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
elif i < i2 and j < j2:
out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
elif i < i2: # deleted word
out.append((i, i + 1, "", a[i])); i += 1
else: # inserted word
out.append((i, i, b[j], "")); j += 1
return out
HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
("taa marbuta", lambda w: w.replace("ة", "ه")),
("alef maqsura", lambda w: w.replace("ى", "ي"))]
def error_class(orig: str, corr: str) -> str:
if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
return "punctuation"
if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
return "merge" if " " in orig else "split"
for name, f in RULES:
if orig != corr and f(orig) == f(corr):
return name
both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
if both(orig) == both(corr):
return "mixed orthography"
return "other"
def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
r = client.chat.completions.create(
model=model, temperature=0, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = r.choices[0].message.content.strip()
sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
if sim < min_similarity: # a rewrite, not a correction: keep the original
return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
return {"text": out, "similarity": round(sim, 2),
"edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}
Pinatakbo namin ito laban sa isang local mock server na may nakahandang sagot (walang live API call, dahil ibinabalik lang ng mock ang isinulat namin). Para sa ذهبت الى المدرسه و قابلت المعلمه في الصباح, nagbigay ng apat na edit ang sagot na ذهبت إلى المدرسة وقابلت المعلمة في الصباح: الى papuntang إلى (hamza), المدرسه papuntang المدرسة (taa marbuta), و قابلت papuntang وقابلت (merge) at المعلمه papuntang المعلمة (taa marbuta). Para sa مشي الي, inilista nito ang مشي papuntang مشى (alef maqsura) at الي papuntang إلى (mixed orthography, dahil sabay nitong inaayos ang hamza at alef maqsura). Ang isang nakahandang sagot na ginawang dalawang beses na mas mahabang pangungusap ang الطقس جميل اليوم ay nakakuha ng 0.52 similarity, kaya pinanatili ng code ang orihinal at ni-log ang sagot.
Mga tala sa code:
- Mapurol na kasangkapan ang similarity guard. Puwedeng lehitimong bumaba malapit sa 0.8 ang pangungusap na maraming mali sa spelling. I-tune ang threshold sa sarili mong data, at ipasa sa tao ang mga tinanggihang sagot, hindi sa basurahan.
- Nag-iiwan ng puwang para sa reasoning ang
max_tokens=2000. Ayon sa docs ng BroadNet, nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot at kasama ang reasoning samax_tokens; puwede mo ring itakda sa low angreasoning_effort. Tingnan ang walang lamang sagot mula sa mga reasoning model. - Mga patakaran ang class label, hindi parser. Kasama sa “other” ang nawawalang letra (مسؤل papuntang مسؤول), agreement at pagpili ng salita. Para sa buong taxonomy, patakbuhin ang ARETA (sa ibaba) sa parehong mga pares.
Aling mga error class ang dapat mong bantayan?
Ayon sa mga organizer ng QALB, ang hamzated alif at kalituhan sa alef maqsura/ya ang pinakakaraniwang Arabic spelling error. Gumagamit ang ARETA, ang error-type annotator ng CAMeL Lab (Belkebir at Habash, CoNLL 2021), ng tagset na batay sa Arabic Learner Corpus. Kasama sa mga orthographic tag nito ang OH (hamza), OT (ha at taa marbuta) at OA (alif at ya), kasabay ng mga morphological, syntactic, semantic, punctuation, merge (MG) at split (SP) na tag. Iniuulat ng paper nito ang 85.8% micro-average F1 laban sa text ng mga nag-aaral na mano-manong nilagyan ng label.
| Class | Mali | Tama | Ano ang nagkakamali |
|---|---|---|---|
| Hamza | انا، الى، مسأله | أنا، إلى، مسألة | Walang hamza, nasa maling upuan o nasa maling panig ng alif |
| Taa marbuta | المدرسه | المدرسة | Isinulat bilang ه ang huling ة, o kabaligtaran |
| Alef maqsura | مشي، علي (preposition) | مشى، على | Isinulat bilang ي ang huling ى; pangalan din ang علي, kaya konteksto ang nagpapasya |
| Merge o split | و قابلت، عبدالله | وقابلت، عبد الله | Mga space sa paligid ng و at ال, mga compound na pangalan |
| Punctuation | nawawalang ، o ؟ | idinagdag | Sa punctuation pinakamababa ang pagkakasundo ng mga annotator ng QALB |
Bantayan ang recall kada class. Ang model na nag-aayos ng taa marbuta pero hindi nakakakita ng hamza pagkatapos ng preposition ay nangangailangan ng mga halimbawa ng pattern na iyon, hindi ng ibang model.
Paano i-score ang isang corrector?
Batay sa edit ini-score ang grammatical error correction. Ikumpara ang mga edit na nagpapalit sa source tungo sa gold na pangungusap na itinama ng tao, sa mga edit na nagpapalit dito tungo sa output ng model. Ang precision ay ang bahagi ng mga edit ng model na tugma sa gold. Ang recall ay ang bahagi ng mga gold na edit na nagawa ng model. F1 ang ini-report ng QALB; ang mga sumunod na pag-aaral, kasama sina Kwon et al., ay nag-uulat din ng F0.5, na dalawang beses ang bigat ng precision kaysa sa recall, dahil mas nakakainis sa user ang maling “correction” kaysa sa hindi napansing mali.
from collections import Counter
def score(sources, golds, hyps, beta=0.5):
"""Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
tp = fp = fn = 0
by_class = Counter()
for s, g, h in zip(sources, golds, hyps):
G = {e[:3] for e in edits(s, g)}
H = {e[:3] for e in edits(s, h)}
tp += len(G & H); fp += len(H - G); fn += len(G - H)
for e in edits(s, g):
by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
p = tp / (tp + fp) if tp + fp else 1.0
r = tp / (tp + fn) if tp + fn else 1.0
f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
for c in sorted({c for c, _ in by_class})}
return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}
Sa isang toy set na dalawang pangungusap at pitong gold na edit, kung saan hindi nakita ng output ang merge at isang taa marbuta at nagdagdag ito ng tuldok, nag-print ito ng P 0.833, R 0.714 at F0.5 0.806, na may recall kada class: hamza 2/2, taa marbuta 2/3, merge 0/1.
Ito ang ideya ng M2, pinasimple. Hinahanap ng opisyal na M2 scorer ang alignment ng mga system edit na pinakatugma sa gold, kaya hindi napaparusahan ang tamang pag-aayos na iba ang pagkakahati sa edit kumpara sa gold. Mas mahigpit ang aming exact match. Gamitin ang opisyal na scorer kapag ikinukumpara sa mga nailathalang numero (kailangan pa rin ng Python 2 ang developer version nito). Ganoon din ang edit extraction ng ERRANT, pero para sa English lang.
Buuin ang gold set mula sa totoong text ng user, 100 hanggang 200 pangungusap, na itinama ng isang maingat na annotator gamit ang parehong minimal-edit na patakarang ibinigay mo sa model. Patakbuhin dito ang bawat kandidatong model at prompt, at ikumpara ang F0.5 at recall kada class. Tinatalakay ng paano i-evaluate ang LLM bago lumipat kung paano gawin nang patas ang paghahambing na iyon.
Paano naman ang Tibyan at synthetic data?
Kakaunti ang Arabic correction data na may label. Itinuturo nina Alrehili at Alhothali na mga 20,500 parallel na halimbawa lang ang laman ng QALB-14 at QALB-15 kapag pinagsama. Gumamit ang Tibyan corpus nila (arXiv 2024, kalaunan sa PeerJ Computer Science) ng ChatGPT para gumawa ng mga pares ng mali at tamang pangungusap mula sa mga aklat tungkol sa karaniwang Arabic error, na sinuri ng mga linguist. Mga 600,000 token ang laman nito, na may pitong uri ng error: orthography, morphology, syntax, semantics, punctuation, merge at split. Sabi ng mga author, pampubliko ang corpus; wala kaming nakitang download link para ma-check ang licence nito. Kapaki-pakinabang ito para sa few-shot na halimbawa at stress test, pero synthetic ito, kaya huwag itong gamitin bilang acceptance test mo.
Kung kailangan mo ng non-LLM na baseline, inilalathala ng arabic-gec repository ng CAMeL Lab ang code at mga model mula kina Alhafni et al. (EMNLP 2023). Para sa spelling lang, nagmumungkahi ang ar-corrector package ng mga salita mula sa diksyunaryo na isa o dalawang edit ang layo; hindi nito kaya ang grammar, at noong 2021 pa ang huling release nito.
Aling BroadNet model ang dapat mong gamitin?
Kada 1M token ang mga presyo, mula sa pricing page ng BroadNet. Halos kasinghaba ng input ang output ng correction, kaya mahalaga ang presyo ng output.
| Model | Bakit | Input / output |
|---|---|---|
| Qwen3.8 27B | Dokumentado ang reasoning; iniuulat ng BroadNet ang Arabic testing kasama ang pag-unawa sa Gulf at Egyptian na dialect | $0.175 / $2.17 |
| GLM 5.3 | Dokumentado ang reasoning; mahabang context para sa buong dokumento | $0.78 / $3.46 |
| DeepSeek V4.1 Flash | Pinakamababang presyo ng output sa mga reasoning model dito; mayroon ding flat na session plan | $0.175 / $0.52 |
| Gemma 4 VL 26B | Tumatakbo sa $5 na panimulang credit, kaya mabubuo mo ang pipeline bago mag-top-up | $0.10 / $0.22 |
Patakbuhin ang scorer gamit ang bawat model sa gold set mo at pumili batay sa F0.5 at presyo. Karaniwang mas maraming token kada salita ang Arabic kaysa sa English; mag-paste ng sample sa Arabic token counter at tantiyahin ang bill gamit ang LLM API cost calculator. Para i-proofread ang malaking archive: walang Batch API ang BroadNet; ipinapakita ng batch processing nang walang Batch API kung paano ito patakbuhin na may limitadong concurrency, o sa isang DeepSeek session sa halagang $15 kada linggo (isang request sa isang pagkakataon kada session).
Saan pumapasok ang BroadNet Inference
Ang BroadRouter ay sariling website ng BroadNet. Nagbibigay ang BroadNet Inference ng OpenAI-compatible na access sa mga model sa itaas, kaya tumatakbo ang code gamit ang OpenAI Python SDK pagkatapos palitan ang base URL. Wala itong proofreading endpoint at wala itong inilathalang sariling Arabic correction benchmark, kaya sukatin sa text mo. Sinasabi ng privacy statement nito na hindi itinatago ang inference content, na mahalaga kapag nagpu-proofread ka ng mga mensahe ng customer. Kung kailangan mo ng self-hosted na corrector para sa napakataas na volume, puwedeng mas mura at mas consistent ang isang fine-tuned na model gaya ng mga galing sa CAMeL Lab; ang mga nailathalang score sa itaas ang dahilan para i-test ang dalawa.
