Named Entity Extraction macht aus einem Absatz Datensätze, mit denen Ihr Code arbeiten kann: wer, welche Organisation, wo und wann. Arabisch bringt vier Probleme mit, auf die englische Pipelines selten stoßen: optionale Diakritika, mehrere Schreibungen desselben Buchstabens, in lateinischen Buchstaben geschriebene Namen (Arabizi) und Daten in zwei Kalendern. Dieser Beitrag baut einen Extraktionsschritt auf einem OpenAI-kompatiblen LLM, der jedes davon im Code behandelt, sowie ein Bewertungsskript, das Ihnen sagt, ob es mit Ihrem Text funktioniert.
Wenn Sie ganze Nachrichten klassifizieren wollen, statt Spans herauszuziehen, siehe arabische Textklassifikation. Zu den JSON-Optionen der Anfrage selbst siehe JSON Mode vs. json_schema.
Wie gut sind LLMs bei arabischer NER?
Die relevanteste öffentliche Messung, die wir gefunden haben, ist LAraBench (Abdelali et al., EACL 2024). Die Studie ließ GPT-3.5 und GPT-4 arabische NER-Datensätze als Tagging Token für Token bearbeiten. Macro-F1, höher ist besser:
| Datensatz | GPT-3.5 zero-shot | GPT-4 zero-shot | GPT-4 3-shot | Zitiertes feinabgestimmtes System |
|---|---|---|---|---|
| ANERcorp (Nachrichten) | 0,210 | 0,355 | 0,420 | 0,886 |
| AQMAR (Wikipedia) | 0,230 | 0,365 | 0,390 | 0,690 |
| QASR (Transkripte) | 0,208 | 0,504 | k. A. | 0,698 |
Mehr Beispiele halfen: GPT-4 stieg auf ANERcorp von 0,355 ohne Beispiele auf 0,451 mit zehn. Die Autoren mussten außerdem Tags umschreiben, die das Modell in einem eigenen Format ausgab, etwa PER-B statt B-PER.
Lesen Sie das mit Vorsicht. Das sind Modelle von 2023 bei einer strengen Tagging-Aufgabe auf Benchmark-Labelsets. Ein aktuelles Modell, das in einem Support-Ticket eine kurze Liste von Personen und Firmen finden soll, schneidet womöglich viel besser ab, oder eben nicht. Zwei Aussagen der Tabelle gelten weiterhin: Ein LLM ist nicht automatisch ein gutes NER-System, und Sie brauchen Ihre eigene Messung.
Welche arabischen NER-Datensätze gibt es?
| Datensatz | Text | Umfang und Labels |
|---|---|---|
| ANERcorp | Nachrichten | Etwa 150.000 Tokens; Person, Ort, Organisation, Sonstiges. CAMeL Lab veröffentlicht einen Standard-Split für Training und Test |
| CLEANANERCorp | ANERcorp, korrigiert | Behebt Annotationsfehler, fehlende Labels und Inkonsistenzen aus dem Original |
| AQMAR | Arabische Wikipedia | 74.000 Tokens aus 28 Artikeln |
| Wojood | MSA und Dialekt | Etwa 550.000 Tokens, 21 Entitätstypen, verschachtelt; verwendet im Shared Task WojoodNER 2023 |
| CANERCorpus | Hadithe in klassischem Arabisch | Mehr als 7.000 Hadithe, 20 Typen zu islamischen Themen |
Nutzen Sie sie, um einen Prompt auf Plausibilität zu prüfen, nicht als Abnahmetest. Ihre Entitätstypen (Kunde, Produkt, Filiale, Vertragsnummer) werden sich von deren unterscheiden, und auch die Lizenzen unterscheiden sich. Prüfen Sie jede vor kommerzieller Nutzung.
Was sollte der Prompt verlangen?
Drei Regeln machen die Ausgabe prüfbar:
- Den Span exakt kopieren. Keine Übersetzung, keine Transliteration, kein „Vervollständigen“ eines Vornamens zum vollen Namen. Brauchen Sie eine englische Schreibung, fordern Sie sie in einem separaten Feld an und behandeln Sie sie als ungeprüft.
- Eine geschlossene Typliste. PERSON, ORG, LOCATION, DATE oder Ihr eigenes Set. Freie Typen lassen sich nicht bewerten.
- Daten als Bestandteile, nicht als Umrechnung. Fordern Sie Jahr, Monat und Tag wie geschrieben an, plus den Kalender. Ein nachgestelltes هـ kennzeichnet ein Hidschri-Datum; م kennzeichnet ein gregorianisches.
Schreiben Sie die Anweisungen auf Englisch oder Arabisch; Prompt Engineering für Arabisch behandelt die Abwägung. Legen Sie die JSON-Form in den System-Prompt und halten Sie sie über alle Anfragen identisch, damit sie gecacht werden kann.
Wie prüft man Entitäten gegen die Quelle?
Das Modell gibt womöglich einen Namen zurück, den der Text nie erwähnt, oder kopiert einen Namen korrekt, aber ohne seine Diakritika. Ein einfacher Substring-Test kann das nicht unterscheiden. Normalisieren Sie zuerst beide Seiten: Taschkil und Tatweel entfernen, Alef-Formen vereinheitlichen und عبد ال zusammenziehen, damit عبد الله auf عبدالله passt. Die Regeln sind dieselben wie bei der Normalisierung arabischer Texte für die Suche, nur auf den Abgleich angewendet. Behalten Sie den Original-Span für die Anzeige.
import json, os, re
from hijridate import Hijri
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
"dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""
DIACRITICS = re.compile(r"[ً-ٰٟـ]") # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
s = DIACRITICS.sub("", s)
s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
return " ".join(s.split())
def validate(source: str, data: dict) -> tuple[list, list]:
"""Keep entities that really occur in the source; report everything else."""
src, kept, problems = norm(source), [], []
for e in data.get("entities", []):
if e.get("type") not in TYPES:
problems.append(f"unknown type: {e}")
elif norm(e.get("text", "")) not in src:
problems.append(f"not in source: {e['text']}")
else:
kept.append(e)
for d in data.get("dates", []):
if d.get("calendar") == "hijri":
try:
d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
except (ValueError, OverflowError) as err:
problems.append(f"bad Hijri date {d['text']}: {err}")
return kept, problems
def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
r = client.chat.completions.create(
model=model, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
data = json.loads(r.choices[0].message.content)
data["entities"], data["problems"] = validate(text, data)
return data
text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))
Wir haben das gegen einen lokalen Mock-Server laufen lassen (kein Aufruf der echten API), dessen vorgefertigte Antwort eine erfundene Person und ein unmögliches Datum (Monat 13) enthielt. Die Ausgabe behielt خالد بن سعيد (die Antwort ließ die Diakritika weg; der normalisierte Abgleich fand den Namen trotzdem), شركة النخيل للتقنية und جدة. Sie rechnete ١٥ جمادى الآخرة ١٤٤٥هـ in 2023-12-28 um und listete zwei Probleme: Der erfundene Name war „not in source“, und Monat 13 löste „month must be in 1-12“ aus. Namen und Firma sind fiktiv.
Hinweise zum Code:
max_tokens=2000lässt Raum für Reasoning. Laut den Docs von BroadNet denken DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B vor der Antwort nach, und dieses Reasoning zählt zumax_tokens. Siehe leere Antworten von Reasoning-Modellen.json.loadskann fehlschlagen. Fangen Sie das ab und senden Sie bei einem Fehler einmal erneut mit der Fehlermeldung, wie in der Reparaturschleife. Bei GLM 5.3 und Qwen3.8 27B, für die BroadNet strukturierte Ausgabe dokumentiert, fügen Sie zusätzlich einresponse_format-Schema hinzu. Die Validierung bleibt in jedem Fall.- Der Substring-Abgleich ist bewusst locker. Er bestätigt, dass der Span existiert, nicht den Typ. Die Typen misst der Bewertungsschritt weiter unten.
Wie geht man mit Hidschri-Daten um?
Arabischer Text schreibt Daten auf viele Arten: ١٥/٦/١٤٤٥هـ, ١٥ جمادى الآخرة ١٤٤٥ oder ein gregorianisches Datum mit Monatsnamen, die je nach Region variieren (نوفمبر in Ägypten und am Golf, تشرين الثاني in der Levante). Ein Modell kann diese meist in Bestandteile zerlegen, und der Code prüft die Bestandteile. Die Umrechnung zwischen Kalendern ist Arithmetik auf einer veröffentlichten Tabelle, und es gibt keinen Grund, warum ein Modell sie richtig machen sollte.
hijridate, früher hijri-converter, rechnet mit dem Umm-al-Qura-Kalender um. Der dokumentierte Bereich ist 1343 bis 1500 AH (1. August 1924 bis 16. November 2077 n. Chr.). Außerhalb des Bereichs löst die Bibliothek OverflowError aus; ein ungültiger Monat oder Tag löst ValueError aus, weshalb der Code beides abfängt. Laut ihren Docs ist sie nicht für religiöse Zwecke gedacht, bei denen die Sichtung der Mondsichel bevorzugt wird; ein durch Sichtung festgelegtes Datum kann also vom umgerechneten Wert abweichen. Speichern Sie das Datum wie geschrieben neben dem umgerechneten.
Ostarabische Ziffern brauchen hier keine Sonderbehandlung: Das Modell gibt Ganzzahlen zurück. Wenn Sie Daten selbst parsen, bilden Sie ٠١٢٣٤٥٦٧٨٩ (und die persischen ۰–۹) zuerst auf 0–9 ab.
Was ist mit Namen in Arabizi und gemischtem Text?
Kundennachrichten schreiben Namen oft in lateinischen Buchstaben: „ana 7a2ool la Mo7ammad bokra“. Die Regel des exakten Spans funktioniert weiterhin: Der Entitätstext ist „Mo7ammad“, und die Substring-Prüfung besteht. Was scheitert, ist der Abgleich dieses Datensatzes mit محمد in Ihrem CRM. Erledigen Sie das in einem zweiten Schritt: Wandeln Sie den Span in arabische Schrift um, wie unter Umgang mit Arabizi beschrieben, und gleichen Sie ihn dann mit derselben Normalisierung gegen Ihre Datensätze ab. Versehen Sie jeden Datensatz, der durch eine Umwandlung gelaufen ist, mit einem Konfidenz-Flag.
Dasselbe gilt für englische Firmennamen in arabischen Sätzen und für lateinische Schreibungen arabischer Namen (Mohammed, Muhammad, Mohamed). Verlangen Sie vom Extraktionsschritt nicht, sich für eine Schreibung zu entscheiden.
Wie bewertet man den Extraktor?
Labeln Sie 100 bis 200 echte Beispiele von Hand, mit derselben Typliste. Vergleichen Sie dann die Vorhersagen per exakter Übereinstimmung auf Entitätsebene bei normalisiertem Text und Typ, und geben Sie Precision, Recall und F1 pro Typ an:
from collections import Counter
def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
"""Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
tp, fp, fn = Counter(), Counter(), Counter()
for g, p in zip(gold, pred):
G = Counter((norm(e["text"]), e["type"]) for e in g)
P = Counter((norm(e["text"]), e["type"]) for e in p)
for (t, ty), n in (G | P).items():
hit = min(G[(t, ty)], P[(t, ty)])
tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
def prf(a, b, c):
p = a / (a + b) if a + b else 0.0
r = a / (a + c) if a + c else 0.0
return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
return out
Auf einem Spielzeug-Set aus zwei Sätzen (drei Gold-Entitäten; die Vorhersage typisierte جدة als ORG statt LOCATION und fügte einen zusätzlichen Ort hinzu) gab das Skript Micro-Precision 0,5, Recall 0,667 und F1 0,571 aus, dazu LOCATION-F1 0. Die Sicht pro Typ zeigt, wo sich Aufwand lohnt: Ein schwacher ORG-Wert bedeutet meist, dass Ihre Typdefinitionen Beispiele brauchen, nicht ein größeres Modell.
Legen Sie vorab fest, was als Treffer zählt. Exakte Übereinstimmung ist streng: „شركة النخيل“ gegenüber einem Gold-Wert „شركة النخيل للتقنية“ zählt als ein falsch Positiver und ein falsch Negativer. Sind Teil-Spans für Ihren Zweck akzeptabel, geben Sie einen zweiten, überlappungsbasierten Wert an, behalten aber den strengen als Hauptwert.
Welches BroadNet-Modell sollten Sie verwenden?
Alle Preise pro 1 Mio. Tokens, von der Preisseite von BroadNet.
| Modell | Warum | Input / Output |
|---|---|---|
| Qwen3.8 27B | Strukturierte Ausgabe dokumentiert; laut BroadNet auf Arabisch getestet, einschließlich des Verständnisses von Golf- und ägyptischem Dialekt; liest Bilder | $0.175 / $2.17 |
| GLM 5.3 | Strukturierte Ausgabe dokumentiert; Kontext von 1.048.576 Tokens für sehr lange Dokumente | $0.78 / $3.46 |
| Gemma 4 VL 26B | Läuft mit dem Startguthaben von $5; keine strukturierte Ausgabe dokumentiert, JSON nur per Prompt also validieren; Kontext von 32.768 Tokens | $0.10 / $0.22 |
Lassen Sie das Bewertungsskript mit jedem Kandidaten über Ihre Stichprobe laufen und entscheiden Sie nach F1 pro Typ und Kosten, nicht nach der Beschreibung des Anbieters. Arabisch braucht für denselben Inhalt meist mehr Tokens als Englisch; Tokens pro Wort auf Arabisch enthält gemessene Verhältnisse. Für Entitäten in gescannten Formularen oder Fotos extrahieren Sie direkt aus dem Bild, wie beim Lesen arabischer Rechnungen mit Vision.
Wo BroadNet Inference einzuordnen ist
BroadRouter ist die eigene Website von BroadNet. BroadNet Inference bietet OpenAI-kompatiblen Zugang zu den Modellen oben mit einem Schlüssel; der Code läuft also mit dem OpenAI Python SDK, nachdem Sie die Base URL geändert haben. Laut seinen Docs werden Prompts und Antworten nach der Anfrage nicht gespeichert, was zählt, wenn der Text voller Personennamen ist. Es hat keinen eigenen NER-Endpoint und veröffentlicht keinen eigenen arabischen NER-Benchmark; messen Sie also an Ihren Daten. Brauchen Sie einen selbst gehosteten Tagger für hohes Volumen, kann ein auf Wojood oder Ihren eigenen Labels feinabgestimmtes Modell günstiger und konsistenter sein als jedes LLM; der veröffentlichte Abstand oben ist der Grund, das zu prüfen.
