BroadRouter

LLM ile Arapça dil bilgisi ve yazım düzeltme: adım adım

BroadNet Inference ekibi · 8 dk okuma · Yayımlandı · Güncellendi

Modelden yalnızca düzeltilmiş metni, mümkün olan en az düzenlemeyle ve yeniden ifade etmeden isteyin. Sonra yanıtı kodda girdiyle karşılaştırın: çok fazla değişen yanıtları reddedin, kelime düzeyindeki her düzenlemeyi hemze, tâ merbûta, elif maksûre, birleştirme, ayırma veya diğer olarak etiketleyin. Elle düzeltilmiş bir örneklemi düzenlemeler üzerinden kesinlik, duyarlılık ve F0.5 ile puanlayın.

Arapça düzelti okuması tek satırlık bir istem gibi görünür: “bu metni düzelt”. Pratikte model ayrıca cümleleri yeniden kurar, hareke ekler, bir lehçe kelimesini resmî bir kelimeyle değiştirir ve değişikliklerini açıklar; hangi düzenlemelerin gerçekten gerekli olduğunu ayırt edemezsiniz. Bu yazı, OpenAI uyumlu bir LLM üzerinde en az düzenlemeyi yapan, yanıtı kodda kontrol eden, her düzenlemeyi hata türüne göre etiketleyen ve hepsini araştırma kıyaslamalarının yaptığı gibi puanlayan bir düzeltici kuruyor.

LLM’ler Arapça dil bilgisi düzeltmede ne kadar iyi?

Standart kıyaslamalar QALB ortak görevleridir. QALB-2014, Al Jazeera’nın web sitesindeki Modern Standart Arapça yorumları kullandı: yaklaşık 306.000 düzeltme içeren bir milyondan fazla kelimelik eğitim metni ve yaklaşık 50.000 kelimelik test setleri. QALB-2015, Arapçayı yabancı dil olarak öğrenenlerin (L2) yazdığı kompozisyonlardan oluşan ikinci bir kol ekledi. İkisi de sistemleri M2 puanlayıcıyla düzenlemeler üzerinden puanladı. En iyi puanlar, F1 (yüksek olan daha iyi):

Test seti En iyi sistem F1 Metin
QALB-2014 testi 67,91 Anadili Arapça olanların haber yorumları
QALB-2015 anadil testi 72,87 Anadili Arapça olanların haber yorumları
QALB-2015 L2 testi 41,20 Öğrenci kompozisyonları

Asıl işe yarayan uyarı L2 satırı. Öğrenci metinlerinde daha fazla kelime seçimi hatası ve eksik kelime var ve en iyi sistem çok daha düşük puan aldı. Kullanıcılarınız öğrenciyse sayılarınızın bu satıra benzemesini bekleyin.

Kwon, Bhatia, Nagoudi ve Abdul-Mageed (ArabicNLP 2023) ardından ChatGPT ve GPT-4’ü QALB-2014 test setinde çalıştırdı. Aynı puanlayıcıyla:

Sistem F1
ChatGPT, 1 örnek 53,59
ChatGPT, 5 örnek 63,98
GPT-4, 5 örnek 65,49
AraT5v2, ince ayarlı 67,70

İsteminiz için iki ayrıntı önemli. Daha fazla örnek çok yardımcı oldu. Sıfır örnekli (zero-shot) istemler ve Arapça yazılmış istemler ise yazarların otomatik olarak puanlayamadığı, açıklamalarla dolu yanıtlar verdi. Bir düzelticinin, bir programın karşılaştırabileceği (diff) çıktıya ihtiyacı vardır.

Neden metni basitçe normalleştirmiyoruz?

Bu sitedeki Arapça metin normalleştirici teşkili ve tatvili kaldırır, أ إ آ’yı ا’ya ve isteğe bağlı olarak ى’yı ي’ye, ة’yi ه’ye eşler. Arama için doğru adım budur, çünkü احمد yazan bir kullanıcı أحمد’i bulmalıdır. Düzeltmeden önce ise yanlış adımdır, çünkü düzelticinin geri getirmesi gereken ayrımı siler. Normalleştirmeden sonra انا ile أنا aynı dizgidir; böylece hemze hatası da, düzeltmesi de ortadan kalkar.

İkisine de ihtiyacınız varsa üç kopya tutun: orijinal metin, kullanıcılara gösterdiğiniz düzeltilmiş metin ve arama dizininiz için düzeltilmiş metnin normalleştirilmiş bir kopyası. Dizinleme tarafını arama için Arapça metin normalleştirme anlatıyor. Düzeltmeden önce yeri olan tek bir normalleştirme adımı var: Unicode NFC. Bu adım ayrıştırılmış bir elif artı birleşen hemzeyi tek bir karaktere çevirir; böylece diff, olmayan bir değişikliği raporlamaz.

İstem ne söylemeli?

En az düzenleme isteyin, önemsediğiniz hata türlerini sayın, istemediğiniz değişiklikleri yasaklayın ve yalnızca düzeltilmiş metni isteyin. Talimatları İngilizce ya da Arapça yazmak size kalmış; artıları ve eksileri Arapça istem mühendisliği yazısında. Kwon vd., örneklerle birlikte İngilizce talimatlardan kullanılabilir çıktı aldı. Kendi verinizden üç ila beş düzeltilmiş cümle çifti eklemek (few-shot), ilk denenecek en ucuz iyileştirmedir.

temperature değerini 0 yapın. Her seferinde aynı düzeltmeyi istersiniz. Metin Mısır ya da Körfez Arapçası gibi bir lehçedeyse lehçenin korunup korunmayacağını söyleyin. Aşağıdaki istem Modern Standart Arapçayı (MSA) varsayar ve modele üslubu değiştirmemesini söyler; bu, lehçeyi de kapsar.

Modelin yanıtı nasıl kontrol edilir?

Kod tek bir istek yapar, yanıtın girdiden ne kadar farklı olduğunu ölçer, kelime düzeyindeki düzenlemeleri çıkarır ve her birini etiketler.

import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
  letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""

def tokens(s: str) -> list[str]:
    s = unicodedata.normalize("NFC", s)        # composed hamza forms, so أ is one character
    return re.findall(r"\w+|[^\w\s]", s)       # Arabic letters are \w; ، ؟ ؛ become tokens

def edits(src: str, hyp: str) -> list[tuple]:
    """Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
    a, b = tokens(src), tokens(hyp)
    out = []
    for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
        i, j = i1, j1
        while op != "equal" and (i < i2 or j < j2):     # split the block into one-word edits
            if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]:      # و قابلت -> وقابلت
                out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
            elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]:    # عبدالله -> عبد الله
                out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
            elif i < i2 and j < j2:
                out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
            elif i < i2:                                                # deleted word
                out.append((i, i + 1, "", a[i])); i += 1
            else:                                                       # inserted word
                out.append((i, i, b[j], "")); j += 1
    return out

HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
         ("taa marbuta", lambda w: w.replace("ة", "ه")),
         ("alef maqsura", lambda w: w.replace("ى", "ي"))]

def error_class(orig: str, corr: str) -> str:
    if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
        return "punctuation"
    if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
        return "merge" if " " in orig else "split"
    for name, f in RULES:
        if orig != corr and f(orig) == f(corr):
            return name
    both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
    if both(orig) == both(corr):
        return "mixed orthography"
    return "other"

def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
    r = client.chat.completions.create(
        model=model, temperature=0, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    out = r.choices[0].message.content.strip()
    sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
    if sim < min_similarity:             # a rewrite, not a correction: keep the original
        return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
    return {"text": out, "similarity": round(sim, 2),
            "edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}

Kodu, hazır yanıtlar döndüren yerel bir sahte (mock) sunucuya karşı çalıştırdık (canlı API çağrısı yok, çünkü sahte sunucu ne yazdıysak onu döndürüyor). ذهبت الى المدرسه و قابلت المعلمه في الصباح için ذهبت إلى المدرسة وقابلت المعلمة في الصباح yanıtı dört düzenleme verdi: الى → إلى (hemze), المدرسه → المدرسة (tâ merbûta), و قابلت → وقابلت (birleştirme) ve المعلمه → المعلمة (tâ merbûta). مشي الي için مشي → مشى (elif maksûre) ve الي → إلى (karışık imla; çünkü hemzeyi ve elif maksûreyi aynı anda düzeltiyor) listelendi. الطقس جميل اليوم cümlesini iki kat uzun bir cümleye çeviren hazır bir yanıt 0.52 benzerlik aldı; kod da orijinali tutup yanıtı günlüğe kaydetti.

Kodla ilgili notlar:

  • Benzerlik koruması kaba bir araçtır. Çok sayıda yazım hatası içeren bir cümle meşru olarak 0.8 civarına düşebilir. Eşiği kendi verinizde ayarlayın ve reddedilen yanıtları çöpe değil, bir insana gönderin.
  • max_tokens=2000 akıl yürütmeye yer bırakır. BroadNet’in dokümantasyonuna göre DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür ve akıl yürütme max_tokens’a sayılır; reasoning_effort değerini low da yapabilirsiniz. Bkz. akıl yürütme modellerinden boş yanıtlar.
  • Sınıf etiketleri bir ayrıştırıcı değil, kurallardır. “Diğer” sınıfı eksik harfleri (مسؤل → مسؤول), uyumu ve kelime seçimini kapsar. Tam bir sınıflandırma için aynı çiftlerde ARETA’yı (aşağıda) çalıştırın.

Hangi hata sınıflarını izlemelisiniz?

QALB düzenleyicileri en yaygın Arapça yazım hataları olarak hemzeli elifleri ve elif maksûre/yâ karışıklığını gösteriyor. CAMeL Lab’in hata türü işaretleyicisi ARETA (Belkebir ve Habash, CoNLL 2021), Arabic Learner Corpus’a dayanan bir etiket seti kullanıyor. İmla etiketleri arasında OH (hemze), OT (hâ ve tâ merbûta) ve OA (elif ve yâ) var; yanında biçim bilgisi, sözdizimi, anlam, noktalama, birleştirme (MG) ve ayırma (SP) etiketleri bulunuyor. Makalesi, elle etiketlenmiş öğrenci metnine karşı %85,8 mikro ortalama F1 bildiriyor.

Sınıf Yanlış Doğru Ne yanlış gidiyor
Hemze انا، الى، مسأله أنا، إلى، مسألة Hemze eksik, yanlış oturakta ya da elifin yanlış tarafında
Tâ merbûta المدرسه المدرسة Sondaki ة, ه olarak yazılmış ya da tersi
Elif maksûre مشي، علي (edat) مشى، على Sondaki ى, ي olarak yazılmış; علي aynı zamanda bir ad, karar bağlama kalıyor
Birleştirme ya da ayırma و قابلت، عبدالله وقابلت، عبد الله و ve ال çevresindeki boşluklar, bileşik adlar
Noktalama eksik ، ya da ؟ eklenmiş QALB işaretleyicilerinin en az uzlaştığı konu noktalamaydı

Duyarlılığı sınıf bazında izleyin. Tâ merbûtayı düzeltip bir edattan sonraki hemzeyi kaçıran bir modelin başka bir modele değil, o kalıba ait örneklere ihtiyacı vardır.

Bir düzeltici nasıl puanlanır?

Dil bilgisi hatası düzeltme (GEC), düzenlemeler üzerinden puanlanır. Kaynağı elle düzeltilmiş altın standart cümleye dönüştüren düzenlemeleri, onu modelin çıktısına dönüştüren düzenlemelerle karşılaştırın. Kesinlik (precision), model düzenlemelerinden altın standartla eşleşenlerin oranıdır. Duyarlılık (recall), modelin yaptığı altın standart düzenlemelerin oranıdır. QALB F1 raporladı; Kwon vd. dahil sonraki çalışmalar, kesinliğe duyarlılığın iki katı ağırlık veren F0.5’i de raporluyor, çünkü yanlış bir “düzeltme” kullanıcıları kaçırılmış bir düzeltmeden daha çok rahatsız eder.

from collections import Counter

def score(sources, golds, hyps, beta=0.5):
    """Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
    tp = fp = fn = 0
    by_class = Counter()
    for s, g, h in zip(sources, golds, hyps):
        G = {e[:3] for e in edits(s, g)}
        H = {e[:3] for e in edits(s, h)}
        tp += len(G & H); fp += len(H - G); fn += len(G - H)
        for e in edits(s, g):
            by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
    p = tp / (tp + fp) if tp + fp else 1.0
    r = tp / (tp + fn) if tp + fn else 1.0
    f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
    recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
              for c in sorted({c for c, _ in by_class})}
    return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}

Yedi altın standart düzenlemeli iki cümlelik bir oyuncak sette, çıktının birleştirmeyi ve bir tâ merbûtayı kaçırıp bir nokta eklediği durumda P 0.833, R 0.714 ve F0.5 0.806 yazdırdı; sınıf bazında duyarlılık: hemze 2/2, tâ merbûta 2/3, birleştirme 0/1.

Bu, M2 fikrinin sadeleştirilmiş hâli. Resmî M2 puanlayıcı, sistem düzenlemelerinin altın standarda en iyi uyan hizalamasını arar; böylece altın standarttan farklı biçimde düzenlemelere bölünmüş doğru bir düzeltme cezalandırılmaz. Bizim tam eşleşmemiz daha katı. Yayımlanmış sayılarla karşılaştırırken resmî puanlayıcıyı kullanın (geliştirici sürümü hâlâ Python 2 gerektiriyor). ERRANT aynı düzenleme çıkarımını yalnızca İngilizce için yapıyor.

Altın standart seti gerçek kullanıcı metninden, 100 ila 200 cümleyle oluşturun; modele verdiğiniz en az düzenleme kurallarının aynısıyla, dikkatli tek bir işaretleyiciye düzelttirin. Her aday modeli ve istemi bu sette çalıştırın, F0.5’i ve sınıf bazında duyarlılığı karşılaştırın. Bu karşılaştırmayı adil biçimde yapmayı geçiş yapmadan önce bir LLM’i değerlendirme yazısı anlatıyor.

Tibyan ve sentetik veri ne olacak?

Etiketli Arapça düzeltme verisi az. Alrehili ve Alhothali, QALB-14 ve QALB-15’in birlikte yaklaşık 20.500 paralel örnek içerdiğine dikkat çekiyor. Tibyan derlemleri (arXiv 2024, daha sonra PeerJ Computer Science’ta), yaygın Arapça hatalar üzerine yazılmış kitaplardan hatalı ve doğru cümle çiftleri üretmek için ChatGPT’yi kullandı; çiftler dilbilimciler tarafından gözden geçirildi. Derlem yaklaşık 600.000 token ve yedi hata türü içeriyor: imla, biçim bilgisi, sözdizimi, anlam, noktalama, birleştirme ve ayırma. Yazarlar derlemin herkese açık olduğunu söylüyor; lisansını kontrol etmek için bir indirme bağlantısı bulamadık. Few-shot örnekleri ve zorlama testleri için yararlı, ama sentetik; bu yüzden kabul testiniz olarak kullanmayın.

LLM olmayan bir taban çizgisine ihtiyacınız varsa CAMeL Lab’in arabic-gec deposu Alhafni vd.‘nin (EMNLP 2023) kodunu ve modellerini yayımlıyor. Yalnızca yazım için ar-corrector paketi bir ya da iki düzenleme uzaklığındaki sözlük kelimelerini önerir; dil bilgisini ele almaz ve son sürümü 2021’de çıktı.

Hangi BroadNet modelini kullanmalısınız?

Fiyatlar BroadNet’in fiyatlar sayfasından, 1M token başınadır. Düzeltme çıktısı yaklaşık olarak girdi kadar uzundur, bu yüzden çıktı fiyatı önemlidir.

Model Neden Girdi / çıktı
Qwen3.8 27B Akıl yürütme belgelenmiş; BroadNet, Körfez ve Mısır lehçesini anlama dahil Arapça testleri bildiriyor $0.175 / $2.17
GLM 5.3 Akıl yürütme belgelenmiş; bütün belgeler için uzun bağlam $0.78 / $3.46
DeepSeek V4.1 Flash Buradaki akıl yürütme modelleri arasında en düşük çıktı fiyatı; sabit oturum planlarında da var $0.175 / $0.52
Gemma 4 VL 26B $5 başlangıç kredisiyle çalışır; bakiye yüklemeden önce hattı kurabilirsiniz $0.10 / $0.22

Puanlayıcıyı her modelle altın standart setinizde çalıştırın ve F0.5 ile fiyata göre seçin. Arapça genellikle İngilizceden kelime başına daha fazla token tutar; bir örneği Arapça token sayacına yapıştırın ve faturayı LLM API maliyet hesaplayıcısıyla tahmin edin. Büyük bir arşivi düzeltmek için: BroadNet’in Batch API’si yok; Batch API olmadan toplu işleme yazısı bunu sınırlı eşzamanlılıkla ya da haftada $15 karşılığındaki bir DeepSeek oturumunda (oturum başına aynı anda bir istek) nasıl çalıştıracağınızı gösteriyor.

BroadNet Inference nerede devreye girer?

BroadRouter, BroadNet’in kendi sitesidir. BroadNet Inference, yukarıdaki modellere OpenAI uyumlu erişim sunar; base URL’yi değiştirdikten sonra kod OpenAI Python SDK ile çalışır. Düzelti uç noktası yok ve kendine ait bir Arapça düzeltme kıyaslaması yayımlamıyor; bu yüzden kendi metninizde ölçün. Gizlilik beyanı çıkarım içeriğinin saklanmadığını söylüyor; müşteri mesajlarını düzeltirken bu önemlidir. Çok yüksek hacim için kendi barındırdığınız bir düzeltici gerekiyorsa CAMeL Lab’inkiler gibi ince ayarlı bir model daha ucuz ve daha tutarlı olabilir; yukarıdaki yayımlanmış puanlar, ikisini de test etmeniz için bir neden.

Sık sorulan sorular

ChatGPT ya da başka bir LLM Arapça dil bilgisini düzeltebilir mi?

Evet, sınırlarıyla. QALB-2014 kıyaslamasındaki yayımlanmış bir testte beş örnekli GPT-4, 65,49 F1'e ulaştı; bu, 67,70 alan ince ayarlı AraT5v2'ye yakın ama onun altında. En az düzenleme isteyen bir istem kullanın, yanıtı kodda kontrol edin ve kendi metninizden bir örneklemde ölçün.

En yaygın Arapça yazım hataları neler?

Elif üzerindeki hemze (أنا yerine انا, إلى yerine الى), yâ olarak yazılan elif maksûre (مشى yerine مشي), hâ olarak yazılan tâ merbûta (المدرسة yerine المدرسه) ve وقابلت yerine و قابلت gibi yanlış ayrılmış ya da birleştirilmiş kelimeler. QALB düzenleyicileri en yaygın hatalar olarak hemzeli elifleri ve elif maksûre/yâ karışıklığını gösteriyor.

Arapça metin normalleştirme, yazım düzeltmeyle aynı şey mi?

Hayır. Normalleştirme, arama ve eşleştirme bunları görmezden gelsin diye أ ve ا gibi yazım varyantlarını bilerek birleştirir. Düzeltme ise bağlamda hangi varyantın doğru olduğuna karar verir. Düzeltmeyi orijinal metinde çalıştırın, yalnızca arama için dizinlediğiniz kopyayı normalleştirin.

Bir Arapça dil bilgisi düzelticisini nasıl değerlendiririm?

100 ila 200 gerçek cümleyi en az düzenlemeyle elle düzeltin. Kaynaktan altın standarda ve kaynaktan model çıktısına kelime düzeyindeki düzenlemeleri çıkarın, sonra kesinlik, duyarlılık ve F0.5 için eşleşen düzenlemeleri sayın. QALB'nin kullandığı M2 puanlayıcı bunu daha akıllı bir düzenleme hizalamasıyla yapar.

Python için bir Arapça dil bilgisi denetleyici kütüphanesi var mı?

Yalnızca yazım için ar-corrector, bir ya da iki düzenleme uzaklığındaki sözlük kelimelerini önerir. Dil bilgisi için CAMeL Lab araştırma amaçlı GEC modelleri ve kodu (arabic-gec) yayımlıyor. Başlamanın en hızlı yolu bir LLM API'sidir; yüksek hacimde ince ayarlı bir model daha tutarlı olabilir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor

Kaynaklar