Adlandırılmış varlık çıkarımı bir paragrafı kodunuzun kullanabileceği kayıtlara dönüştürür: kim, hangi kurum, nerede ve ne zaman. Arapça, İngilizce hatlarının nadiren karşılaştığı dört sorun ekler: isteğe bağlı harekeler, aynı harfin birkaç yazımı, Latin harfleriyle yazılmış adlar (Arabizi) ve iki takvimde tarihler. Bu yazı OpenAI uyumlu bir LLM üzerinde, her birini kodda ele alan bir çıkarım adımı ve sizin metninizde işe yarayıp yaramadığını söyleyen bir puanlama betiği kuruyor.
Mesajlardan aralık çıkarmak yerine bütün mesajları sınıflandırmak için Arapça metin sınıflandırma yazısına bakın. JSON istek seçeneklerinin kendisi için JSON mode ile json_schema karşılaştırmasına bakın.
LLM’ler Arapça NER’de ne kadar başarılı?
Bulduğumuz en ilgili herkese açık ölçüm LAraBench (Abdelali vd., EACL 2024); GPT-3.5 ve GPT-4’ü Arapça NER setlerinde token token etiketleme görevi olarak çalıştırdı. Makro F1, yüksek olan daha iyi:
| Veri seti | GPT-3.5 sıfır atış | GPT-4 sıfır atış | GPT-4 3 atış | Atıf yapılan ince ayarlı sistem |
|---|---|---|---|---|
| ANERcorp (haber) | 0,210 | 0,355 | 0,420 | 0,886 |
| AQMAR (Vikipedi) | 0,230 | 0,365 | 0,390 | 0,690 |
| QASR (transkriptler) | 0,208 | 0,504 | yok | 0,698 |
Daha fazla örnek işe yaradı: ANERcorp’ta GPT-4, örneksiz 0,355’ten on örnekle 0,451’e çıktı. Yazarlar, modelin kendi biçiminde yazdığı etiketleri de yeniden eşlemek zorunda kaldı; örneğin B-PER yerine PER-B.
Bunu dikkatle okuyun. Bunlar, benchmark etiket setleri üzerinde katı bir etiketleme görevi yapan 2023 modelleri. Bir destek talebindeki kişi ve şirketlerin kısa bir listesini isteyen güncel bir model çok daha iyi yapabilir, ya da yapamayabilir. Tablo, hâlâ geçerli olan iki şey söylüyor: bir LLM kendiliğinden iyi bir NER sistemi değildir ve kendi ölçümünüze ihtiyacınız var.
Hangi Arapça NER veri setleri var?
| Veri seti | Metin | Boyut ve etiketler |
|---|---|---|
| ANERcorp | Haber | Yaklaşık 150.000 token; kişi, yer, kurum, diğer. CAMeL Lab standart bir eğitim/test bölümü yayımlıyor |
| CLEANANERCorp | ANERcorp, düzeltilmiş | Özgün sette bulunan etiketleme hatalarını, eksik etiketleri ve tutarsızlıkları düzeltiyor |
| AQMAR | Arapça Vikipedi | 28 makaleden 74.000 token |
| Wojood | MSA ve lehçe | Yaklaşık 550.000 token, 21 varlık türü, iç içe; WojoodNER 2023 ortak görevinde kullanıldı |
| CANERCorpus | Klasik Arapça hadis | 7.000’den fazla hadis, İslami konularda 20 tür |
Bunları bir istemi sağlamaya almak için kullanın, kabul testiniz olarak değil. Sizin varlık türleriniz (müşteri, ürün, şube, sözleşme numarası) onlarınkinden farklı olacak, lisansları da farklı. Ticari kullanımdan önce her birini kontrol edin.
İstem ne istemeli?
Üç kural çıktıyı denetlenebilir kılar:
- Aralığı aynen kopyalayın. Çeviri yok, harf aktarımı yok, bir ilk adı tam ada “tamamlamak” yok. İngilizce bir yazım gerekiyorsa onu ayrı bir alanda isteyin ve doğrulanmamış kabul edin.
- Kapalı bir tür listesi. PERSON, ORG, LOCATION, DATE ya da kendi setiniz. Serbest biçimli türler puanlanamaz.
- Tarihler dönüştürülmüş değil, parçalar hâlinde. Yazıldığı gibi yıl, ay ve günü ve takvimi isteyin. Sondaki هـ Hicri bir tarihi, م Miladi bir tarihi gösterir.
Talimatları İngilizce ya da Arapça yazın; Arapça istem mühendisliği bu tercihi ele alıyor. JSON yapısını sistem istemine koyun ve önbelleğe alınabilmesi için istekler arasında aynı tutun.
Varlıkları kaynağa karşı nasıl denetlersiniz?
Model metnin hiç geçmediği bir adı döndürebilir ya da bir adı doğru ama harekesiz kopyalayabilir. Düz bir alt dize testi bu ikisini ayırt edemez. Önce iki tarafı da normalleştirin: teşkil ve tatvili silin, elif biçimlerini birleştirin ve عبد ال’ı birleştirin ki عبد الله ile عبدالله eşleşsin. Kurallar arama için Arapça metin normalleştirme yazısındakilerle aynı, yalnızca eşleştirmeye uygulanıyor. Gösterim için özgün aralığı tutun.
import json, os, re
from hijridate import Hijri
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
"dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""
DIACRITICS = re.compile(r"[ً-ٰٟـ]") # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
s = DIACRITICS.sub("", s)
s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
return " ".join(s.split())
def validate(source: str, data: dict) -> tuple[list, list]:
"""Keep entities that really occur in the source; report everything else."""
src, kept, problems = norm(source), [], []
for e in data.get("entities", []):
if e.get("type") not in TYPES:
problems.append(f"unknown type: {e}")
elif norm(e.get("text", "")) not in src:
problems.append(f"not in source: {e['text']}")
else:
kept.append(e)
for d in data.get("dates", []):
if d.get("calendar") == "hijri":
try:
d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
except (ValueError, OverflowError) as err:
problems.append(f"bad Hijri date {d['text']}: {err}")
return kept, problems
def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
r = client.chat.completions.create(
model=model, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
data = json.loads(r.choices[0].message.content)
data["entities"], data["problems"] = validate(text, data)
return data
text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))
Bunu yerel bir sahte sunucuya karşı çalıştırdık (canlı API çağrısı yok); hazır yanıtı uydurma bir kişi ve imkânsız bir tarih (13. ay) ekliyordu. Çıktı خالد بن سعيد (yanıt harekeleri atmıştı; normalleştirilmiş eşleştirme yine de buldu), شركة النخيل للتقنية ve جدة’yi tuttu. ١٥ جمادى الآخرة ١٤٤٥هـ tarihini 2023-12-28’e dönüştürdü ve iki sorun listeledi: uydurma ad “not in source” (kaynakta yok) olarak işaretlendi, 13. ay ise “month must be in 1-12” hatasını verdi. Adlar ve şirket kurgusal.
Kodla ilgili notlar:
max_tokens=2000akıl yürütmeye yer bırakır. BroadNet’in belgelerine göre DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür ve bu akıl yürütmemax_tokenssınırına sayılır. Bkz. akıl yürüten modellerden boş yanıtlar.json.loadsbaşarısız olabilir. Onu sarın ve başarısızlıkta, onarım döngüsündeki gibi hatayla birlikte bir kez yeniden gönderin. BroadNet’in yapılandırılmış çıktıyla belgelediği GLM 5.3 ve Qwen3.8 27B’de birresponse_formatşeması da ekleyin. Doğrulama her iki durumda da kalır.- Alt dize eşleştirmesi bilerek gevşek. Aralığın var olduğunu doğrular; türü doğrulamaz. Türleri aşağıdaki puanlama adımı ölçer.
Hicri tarihleri nasıl ele alırsınız?
Arapça metin tarihleri pek çok şekilde yazar: ١٥/٦/١٤٤٥هـ, ١٥ جمادى الآخرة ١٤٤٥ ya da ay adları bölgeye göre değişen bir Miladi tarih (Mısır ve Körfez’de نوفمبر, Levant’ta تشرين الثاني). Bir model bunları genellikle parçalara ayırabilir, kod da parçaları denetler. Takvimler arası dönüştürme yayımlanmış bir tablo üzerinde aritmetiktir ve modelin bunu doğru yapması için bir neden yoktur.
Eski adıyla hijri-converter olan hijridate, Ümmü’l-Kurâ takvimini kullanarak dönüştürür. Belgelenmiş aralığı 1343–1500 Hicri’dir (1 Ağustos 1924 – 16 Kasım 2077 Miladi). Aralık dışında OverflowError, geçersiz bir ay ya da gün için ValueError verir; kodun ikisini de yakalamasının nedeni bu. Belgelerine göre hilal gözleminin tercih edildiği dinî amaçlar için tasarlanmamıştır; bu yüzden gözlemle belirlenen bir tarih dönüştürülen değerden farklı olabilir. Tarihi, dönüştürülmüş hâlinin yanında yazıldığı gibi saklayın.
Doğu Arap rakamları burada özel bir işlem gerektirmez: model tam sayı döndürür. Tarihleri kendiniz ayrıştırıyorsanız önce ٠١٢٣٤٥٦٧٨٩ (ve Farsça ۰–۹) rakamlarını 0–9’a eşleyin.
Arabizi ve karışık metindeki adlar ne olacak?
Müşteri mesajları adları çoğu zaman Latin harfleriyle yazar: “ana 7a2ool la Mo7ammad bokra”. Aynen aralık kuralı yine çalışır: varlık metni “Mo7ammad”dır ve alt dize denetimi geçer. Başarısız olan, bu kaydı CRM’inizdeki محمد ile eşleştirmektir. Bunu ikinci bir adımda yapın: aralığı Arabizi’yi ele alma yazısındaki gibi Arap yazısına dönüştürün, sonra aynı normalleştirmeyle kayıtlarınızla eşleştirin. Bir dönüştürmeden geçen her kayda bir güven işareti koyun.
Aynısı Arapça cümlelerin içindeki İngilizce şirket adları ve Arapça adların Latin yazımları (Mohammed, Muhammad, Mohamed) için de geçerli. Çıkarım adımından tek bir yazım seçmesini istemeyin.
Çıkarıcıyı nasıl puanlarsınız?
Aynı tür listesiyle 100 ila 200 gerçek örneği elle etiketleyin. Sonra tahminleri, normalleştirilmiş metin ve tür üzerinde varlık düzeyinde tam eşleşmeyle karşılaştırın ve tür başına kesinlik, duyarlılık ve F1 raporlayın:
from collections import Counter
def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
"""Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
tp, fp, fn = Counter(), Counter(), Counter()
for g, p in zip(gold, pred):
G = Counter((norm(e["text"]), e["type"]) for e in g)
P = Counter((norm(e["text"]), e["type"]) for e in p)
for (t, ty), n in (G | P).items():
hit = min(G[(t, ty)], P[(t, ty)])
tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
def prf(a, b, c):
p = a / (a + b) if a + b else 0.0
r = a / (a + c) if a + c else 0.0
return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
return out
İki cümlelik bir oyuncak sette (üç altın varlık; tahmin جدة’yi LOCATION yerine ORG olarak işaretledi ve fazladan bir yer ekledi), mikro kesinlik 0,5, duyarlılık 0,667 ve F1 0,571, LOCATION F1 ise 0 çıktı. Tür bazlı görünüm emeği nereye harcamanız gerektiğini gösterir: zayıf bir ORG puanı genellikle daha büyük bir model değil, tür tanımlarınız için örnek gerektiğini gösterir.
Neyin eşleşme sayılacağına önceden karar verin. Tam eşleşme katıdır: altın “شركة النخيل للتقنية” karşısında “شركة النخيل” bir yanlış pozitif ve bir yanlış negatif sayılır. Kullanımınız için kısmi aralıklar kabul edilebilirse, örtüşmeye dayalı ikinci bir puan raporlayın, ama ana başlık olarak katı olanı tutun.
Hangi BroadNet modelini kullanmalısınız?
Tüm fiyatlar 1M token başına, BroadNet’in fiyatlar sayfasından.
| Model | Neden | Girdi / çıktı |
|---|---|---|
| Qwen3.8 27B | Yapılandırılmış çıktı belgelenmiş; BroadNet, Körfez ve Mısır lehçesi anlama dahil Arapçada test edildiğini bildiriyor; görsel okur | $0.175 / $2.17 |
| GLM 5.3 | Yapılandırılmış çıktı belgelenmiş; çok uzun belgeler için 1.048.576 token bağlam | $0.78 / $3.46 |
| Gemma 4 VL 26B | $5 başlangıç kredisiyle çalışır; yapılandırılmış çıktı belgelenmemiş, bu yüzden yalnızca istemle üretilen JSON’u doğrulayın; 32.768 token bağlam | $0.10 / $0.22 |
Puanlama betiğini örnekleminizde her adayla çalıştırın ve satıcının tanımına göre değil, tür başına F1 ve maliyete göre seçin. Arapça aynı içerik için genellikle İngilizceden fazla token alır; ölçülmüş oranlar Arapçada kelime başına token yazısında. Taranmış formlar ya da fotoğraflar içindeki varlıklar için, görü ile Arapça fatura okuma rehberindeki gibi doğrudan görselden çıkarın.
BroadNet Inference nereye oturuyor?
BroadRouter, BroadNet’in kendi sitesidir. BroadNet Inference yukarıdaki modellere tek bir anahtarla OpenAI uyumlu erişim verir; bu yüzden kod, temel URL’yi değiştirdikten sonra OpenAI Python SDK ile çalışır. Belgelerine göre istemler ve yanıtlar istekten sonra saklanmaz; metin insanların adlarıyla doluysa bu önemlidir. Ayrı bir NER uç noktası yok ve kendine ait bir Arapça NER benchmark’ı yayımlamıyor; bu yüzden kendi verinizde ölçün. Yüksek hacim için kendi barındırdığınız bir etiketleyiciye ihtiyacınız varsa, Wojood ya da kendi etiketlerinizle eğitilmiş ince ayarlı bir model herhangi bir LLM’den daha ucuz ve tutarlı olabilir; yukarıdaki yayımlanmış fark, bunu kontrol etmeniz için bir neden.
