Arapça düzelti okuması tek satırlık bir istem gibi görünür: “bu metni düzelt”. Pratikte model ayrıca cümleleri yeniden kurar, hareke ekler, bir lehçe kelimesini resmî bir kelimeyle değiştirir ve değişikliklerini açıklar; hangi düzenlemelerin gerçekten gerekli olduğunu ayırt edemezsiniz. Bu yazı, OpenAI uyumlu bir LLM üzerinde en az düzenlemeyi yapan, yanıtı kodda kontrol eden, her düzenlemeyi hata türüne göre etiketleyen ve hepsini araştırma kıyaslamalarının yaptığı gibi puanlayan bir düzeltici kuruyor.
LLM’ler Arapça dil bilgisi düzeltmede ne kadar iyi?
Standart kıyaslamalar QALB ortak görevleridir. QALB-2014, Al Jazeera’nın web sitesindeki Modern Standart Arapça yorumları kullandı: yaklaşık 306.000 düzeltme içeren bir milyondan fazla kelimelik eğitim metni ve yaklaşık 50.000 kelimelik test setleri. QALB-2015, Arapçayı yabancı dil olarak öğrenenlerin (L2) yazdığı kompozisyonlardan oluşan ikinci bir kol ekledi. İkisi de sistemleri M2 puanlayıcıyla düzenlemeler üzerinden puanladı. En iyi puanlar, F1 (yüksek olan daha iyi):
| Test seti | En iyi sistem F1 | Metin |
|---|---|---|
| QALB-2014 testi | 67,91 | Anadili Arapça olanların haber yorumları |
| QALB-2015 anadil testi | 72,87 | Anadili Arapça olanların haber yorumları |
| QALB-2015 L2 testi | 41,20 | Öğrenci kompozisyonları |
Asıl işe yarayan uyarı L2 satırı. Öğrenci metinlerinde daha fazla kelime seçimi hatası ve eksik kelime var ve en iyi sistem çok daha düşük puan aldı. Kullanıcılarınız öğrenciyse sayılarınızın bu satıra benzemesini bekleyin.
Kwon, Bhatia, Nagoudi ve Abdul-Mageed (ArabicNLP 2023) ardından ChatGPT ve GPT-4’ü QALB-2014 test setinde çalıştırdı. Aynı puanlayıcıyla:
| Sistem | F1 |
|---|---|
| ChatGPT, 1 örnek | 53,59 |
| ChatGPT, 5 örnek | 63,98 |
| GPT-4, 5 örnek | 65,49 |
| AraT5v2, ince ayarlı | 67,70 |
İsteminiz için iki ayrıntı önemli. Daha fazla örnek çok yardımcı oldu. Sıfır örnekli (zero-shot) istemler ve Arapça yazılmış istemler ise yazarların otomatik olarak puanlayamadığı, açıklamalarla dolu yanıtlar verdi. Bir düzelticinin, bir programın karşılaştırabileceği (diff) çıktıya ihtiyacı vardır.
Neden metni basitçe normalleştirmiyoruz?
Bu sitedeki Arapça metin normalleştirici teşkili ve tatvili kaldırır, أ إ آ’yı ا’ya ve isteğe bağlı olarak ى’yı ي’ye, ة’yi ه’ye eşler. Arama için doğru adım budur, çünkü احمد yazan bir kullanıcı أحمد’i bulmalıdır. Düzeltmeden önce ise yanlış adımdır, çünkü düzelticinin geri getirmesi gereken ayrımı siler. Normalleştirmeden sonra انا ile أنا aynı dizgidir; böylece hemze hatası da, düzeltmesi de ortadan kalkar.
İkisine de ihtiyacınız varsa üç kopya tutun: orijinal metin, kullanıcılara gösterdiğiniz düzeltilmiş metin ve arama dizininiz için düzeltilmiş metnin normalleştirilmiş bir kopyası. Dizinleme tarafını arama için Arapça metin normalleştirme anlatıyor. Düzeltmeden önce yeri olan tek bir normalleştirme adımı var: Unicode NFC. Bu adım ayrıştırılmış bir elif artı birleşen hemzeyi tek bir karaktere çevirir; böylece diff, olmayan bir değişikliği raporlamaz.
İstem ne söylemeli?
En az düzenleme isteyin, önemsediğiniz hata türlerini sayın, istemediğiniz değişiklikleri yasaklayın ve yalnızca düzeltilmiş metni isteyin. Talimatları İngilizce ya da Arapça yazmak size kalmış; artıları ve eksileri Arapça istem mühendisliği yazısında. Kwon vd., örneklerle birlikte İngilizce talimatlardan kullanılabilir çıktı aldı. Kendi verinizden üç ila beş düzeltilmiş cümle çifti eklemek (few-shot), ilk denenecek en ucuz iyileştirmedir.
temperature değerini 0 yapın. Her seferinde aynı düzeltmeyi istersiniz. Metin Mısır ya da Körfez Arapçası gibi bir lehçedeyse lehçenin korunup korunmayacağını söyleyin. Aşağıdaki istem Modern Standart Arapçayı (MSA) varsayar ve modele üslubu değiştirmemesini söyler; bu, lehçeyi de kapsar.
Modelin yanıtı nasıl kontrol edilir?
Kod tek bir istek yapar, yanıtın girdiden ne kadar farklı olduğunu ölçer, kelime düzeyindeki düzenlemeleri çıkarır ve her birini etiketler.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""
def tokens(s: str) -> list[str]:
s = unicodedata.normalize("NFC", s) # composed hamza forms, so أ is one character
return re.findall(r"\w+|[^\w\s]", s) # Arabic letters are \w; ، ؟ ؛ become tokens
def edits(src: str, hyp: str) -> list[tuple]:
"""Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
a, b = tokens(src), tokens(hyp)
out = []
for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
i, j = i1, j1
while op != "equal" and (i < i2 or j < j2): # split the block into one-word edits
if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]: # و قابلت -> وقابلت
out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]: # عبدالله -> عبد الله
out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
elif i < i2 and j < j2:
out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
elif i < i2: # deleted word
out.append((i, i + 1, "", a[i])); i += 1
else: # inserted word
out.append((i, i, b[j], "")); j += 1
return out
HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
("taa marbuta", lambda w: w.replace("ة", "ه")),
("alef maqsura", lambda w: w.replace("ى", "ي"))]
def error_class(orig: str, corr: str) -> str:
if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
return "punctuation"
if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
return "merge" if " " in orig else "split"
for name, f in RULES:
if orig != corr and f(orig) == f(corr):
return name
both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
if both(orig) == both(corr):
return "mixed orthography"
return "other"
def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
r = client.chat.completions.create(
model=model, temperature=0, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = r.choices[0].message.content.strip()
sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
if sim < min_similarity: # a rewrite, not a correction: keep the original
return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
return {"text": out, "similarity": round(sim, 2),
"edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}
Kodu, hazır yanıtlar döndüren yerel bir sahte (mock) sunucuya karşı çalıştırdık (canlı API çağrısı yok, çünkü sahte sunucu ne yazdıysak onu döndürüyor). ذهبت الى المدرسه و قابلت المعلمه في الصباح için ذهبت إلى المدرسة وقابلت المعلمة في الصباح yanıtı dört düzenleme verdi: الى → إلى (hemze), المدرسه → المدرسة (tâ merbûta), و قابلت → وقابلت (birleştirme) ve المعلمه → المعلمة (tâ merbûta). مشي الي için مشي → مشى (elif maksûre) ve الي → إلى (karışık imla; çünkü hemzeyi ve elif maksûreyi aynı anda düzeltiyor) listelendi. الطقس جميل اليوم cümlesini iki kat uzun bir cümleye çeviren hazır bir yanıt 0.52 benzerlik aldı; kod da orijinali tutup yanıtı günlüğe kaydetti.
Kodla ilgili notlar:
- Benzerlik koruması kaba bir araçtır. Çok sayıda yazım hatası içeren bir cümle meşru olarak 0.8 civarına düşebilir. Eşiği kendi verinizde ayarlayın ve reddedilen yanıtları çöpe değil, bir insana gönderin.
max_tokens=2000akıl yürütmeye yer bırakır. BroadNet’in dokümantasyonuna göre DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür ve akıl yürütmemax_tokens’a sayılır;reasoning_effortdeğerini low da yapabilirsiniz. Bkz. akıl yürütme modellerinden boş yanıtlar.- Sınıf etiketleri bir ayrıştırıcı değil, kurallardır. “Diğer” sınıfı eksik harfleri (مسؤل → مسؤول), uyumu ve kelime seçimini kapsar. Tam bir sınıflandırma için aynı çiftlerde ARETA’yı (aşağıda) çalıştırın.
Hangi hata sınıflarını izlemelisiniz?
QALB düzenleyicileri en yaygın Arapça yazım hataları olarak hemzeli elifleri ve elif maksûre/yâ karışıklığını gösteriyor. CAMeL Lab’in hata türü işaretleyicisi ARETA (Belkebir ve Habash, CoNLL 2021), Arabic Learner Corpus’a dayanan bir etiket seti kullanıyor. İmla etiketleri arasında OH (hemze), OT (hâ ve tâ merbûta) ve OA (elif ve yâ) var; yanında biçim bilgisi, sözdizimi, anlam, noktalama, birleştirme (MG) ve ayırma (SP) etiketleri bulunuyor. Makalesi, elle etiketlenmiş öğrenci metnine karşı %85,8 mikro ortalama F1 bildiriyor.
| Sınıf | Yanlış | Doğru | Ne yanlış gidiyor |
|---|---|---|---|
| Hemze | انا، الى، مسأله | أنا، إلى، مسألة | Hemze eksik, yanlış oturakta ya da elifin yanlış tarafında |
| Tâ merbûta | المدرسه | المدرسة | Sondaki ة, ه olarak yazılmış ya da tersi |
| Elif maksûre | مشي، علي (edat) | مشى، على | Sondaki ى, ي olarak yazılmış; علي aynı zamanda bir ad, karar bağlama kalıyor |
| Birleştirme ya da ayırma | و قابلت، عبدالله | وقابلت، عبد الله | و ve ال çevresindeki boşluklar, bileşik adlar |
| Noktalama | eksik ، ya da ؟ | eklenmiş | QALB işaretleyicilerinin en az uzlaştığı konu noktalamaydı |
Duyarlılığı sınıf bazında izleyin. Tâ merbûtayı düzeltip bir edattan sonraki hemzeyi kaçıran bir modelin başka bir modele değil, o kalıba ait örneklere ihtiyacı vardır.
Bir düzeltici nasıl puanlanır?
Dil bilgisi hatası düzeltme (GEC), düzenlemeler üzerinden puanlanır. Kaynağı elle düzeltilmiş altın standart cümleye dönüştüren düzenlemeleri, onu modelin çıktısına dönüştüren düzenlemelerle karşılaştırın. Kesinlik (precision), model düzenlemelerinden altın standartla eşleşenlerin oranıdır. Duyarlılık (recall), modelin yaptığı altın standart düzenlemelerin oranıdır. QALB F1 raporladı; Kwon vd. dahil sonraki çalışmalar, kesinliğe duyarlılığın iki katı ağırlık veren F0.5’i de raporluyor, çünkü yanlış bir “düzeltme” kullanıcıları kaçırılmış bir düzeltmeden daha çok rahatsız eder.
from collections import Counter
def score(sources, golds, hyps, beta=0.5):
"""Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
tp = fp = fn = 0
by_class = Counter()
for s, g, h in zip(sources, golds, hyps):
G = {e[:3] for e in edits(s, g)}
H = {e[:3] for e in edits(s, h)}
tp += len(G & H); fp += len(H - G); fn += len(G - H)
for e in edits(s, g):
by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
p = tp / (tp + fp) if tp + fp else 1.0
r = tp / (tp + fn) if tp + fn else 1.0
f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
for c in sorted({c for c, _ in by_class})}
return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}
Yedi altın standart düzenlemeli iki cümlelik bir oyuncak sette, çıktının birleştirmeyi ve bir tâ merbûtayı kaçırıp bir nokta eklediği durumda P 0.833, R 0.714 ve F0.5 0.806 yazdırdı; sınıf bazında duyarlılık: hemze 2/2, tâ merbûta 2/3, birleştirme 0/1.
Bu, M2 fikrinin sadeleştirilmiş hâli. Resmî M2 puanlayıcı, sistem düzenlemelerinin altın standarda en iyi uyan hizalamasını arar; böylece altın standarttan farklı biçimde düzenlemelere bölünmüş doğru bir düzeltme cezalandırılmaz. Bizim tam eşleşmemiz daha katı. Yayımlanmış sayılarla karşılaştırırken resmî puanlayıcıyı kullanın (geliştirici sürümü hâlâ Python 2 gerektiriyor). ERRANT aynı düzenleme çıkarımını yalnızca İngilizce için yapıyor.
Altın standart seti gerçek kullanıcı metninden, 100 ila 200 cümleyle oluşturun; modele verdiğiniz en az düzenleme kurallarının aynısıyla, dikkatli tek bir işaretleyiciye düzelttirin. Her aday modeli ve istemi bu sette çalıştırın, F0.5’i ve sınıf bazında duyarlılığı karşılaştırın. Bu karşılaştırmayı adil biçimde yapmayı geçiş yapmadan önce bir LLM’i değerlendirme yazısı anlatıyor.
Tibyan ve sentetik veri ne olacak?
Etiketli Arapça düzeltme verisi az. Alrehili ve Alhothali, QALB-14 ve QALB-15’in birlikte yaklaşık 20.500 paralel örnek içerdiğine dikkat çekiyor. Tibyan derlemleri (arXiv 2024, daha sonra PeerJ Computer Science’ta), yaygın Arapça hatalar üzerine yazılmış kitaplardan hatalı ve doğru cümle çiftleri üretmek için ChatGPT’yi kullandı; çiftler dilbilimciler tarafından gözden geçirildi. Derlem yaklaşık 600.000 token ve yedi hata türü içeriyor: imla, biçim bilgisi, sözdizimi, anlam, noktalama, birleştirme ve ayırma. Yazarlar derlemin herkese açık olduğunu söylüyor; lisansını kontrol etmek için bir indirme bağlantısı bulamadık. Few-shot örnekleri ve zorlama testleri için yararlı, ama sentetik; bu yüzden kabul testiniz olarak kullanmayın.
LLM olmayan bir taban çizgisine ihtiyacınız varsa CAMeL Lab’in arabic-gec deposu Alhafni vd.‘nin (EMNLP 2023) kodunu ve modellerini yayımlıyor. Yalnızca yazım için ar-corrector paketi bir ya da iki düzenleme uzaklığındaki sözlük kelimelerini önerir; dil bilgisini ele almaz ve son sürümü 2021’de çıktı.
Hangi BroadNet modelini kullanmalısınız?
Fiyatlar BroadNet’in fiyatlar sayfasından, 1M token başınadır. Düzeltme çıktısı yaklaşık olarak girdi kadar uzundur, bu yüzden çıktı fiyatı önemlidir.
| Model | Neden | Girdi / çıktı |
|---|---|---|
| Qwen3.8 27B | Akıl yürütme belgelenmiş; BroadNet, Körfez ve Mısır lehçesini anlama dahil Arapça testleri bildiriyor | $0.175 / $2.17 |
| GLM 5.3 | Akıl yürütme belgelenmiş; bütün belgeler için uzun bağlam | $0.78 / $3.46 |
| DeepSeek V4.1 Flash | Buradaki akıl yürütme modelleri arasında en düşük çıktı fiyatı; sabit oturum planlarında da var | $0.175 / $0.52 |
| Gemma 4 VL 26B | $5 başlangıç kredisiyle çalışır; bakiye yüklemeden önce hattı kurabilirsiniz | $0.10 / $0.22 |
Puanlayıcıyı her modelle altın standart setinizde çalıştırın ve F0.5 ile fiyata göre seçin. Arapça genellikle İngilizceden kelime başına daha fazla token tutar; bir örneği Arapça token sayacına yapıştırın ve faturayı LLM API maliyet hesaplayıcısıyla tahmin edin. Büyük bir arşivi düzeltmek için: BroadNet’in Batch API’si yok; Batch API olmadan toplu işleme yazısı bunu sınırlı eşzamanlılıkla ya da haftada $15 karşılığındaki bir DeepSeek oturumunda (oturum başına aynı anda bir istek) nasıl çalıştıracağınızı gösteriyor.
BroadNet Inference nerede devreye girer?
BroadRouter, BroadNet’in kendi sitesidir. BroadNet Inference, yukarıdaki modellere OpenAI uyumlu erişim sunar; base URL’yi değiştirdikten sonra kod OpenAI Python SDK ile çalışır. Düzelti uç noktası yok ve kendine ait bir Arapça düzeltme kıyaslaması yayımlamıyor; bu yüzden kendi metninizde ölçün. Gizlilik beyanı çıkarım içeriğinin saklanmadığını söylüyor; müşteri mesajlarını düzeltirken bu önemlidir. Çok yüksek hacim için kendi barındırdığınız bir düzeltici gerekiyorsa CAMeL Lab’inkiler gibi ince ayarlı bir model daha ucuz ve daha tutarlı olabilir; yukarıdaki yayımlanmış puanlar, ikisini de test etmeniz için bir neden.
