Jede Person, jedes Unternehmen und jeden Ort aus einem Vertrag oder einer Nachrichtenmeldung herausziehen, jeweils mit Typ. Das ist NER, und es ist eine der häufigsten Aufgaben, die man einem LLM gibt.
So funktioniert es
Der klassische Benchmark ist der Shared Task CoNLL-2003. Er nutzte englische Reuters-Nachrichten und deutsche Texte der Frankfurter Rundschau, vier Typen (PER für Personen, ORG, LOC und MISC für „names of miscellaneous entities that do not belong to the previous three groups“ (Übersetzung: „Namen sonstiger Entitäten, die zu keiner der drei vorigen Gruppen gehören“)) und IOB-Tags: Jedes Wort ist B- oder I- eines Typs oder O für außerhalb. Bewertet wird mit F1 über Entitäten, und eine Entität zählt nur, wenn sie exakt mit der Referenz übereinstimmt.
Ein arabisches Beispiel in IOB-Form:
| Token | Tag |
|---|---|
| زار | O |
| خالد | B-PER |
| العتيبي | I-PER |
| مدينة | O |
| الرياض | B-LOC |
(„Khalid Al-Otaibi besuchte die Stadt Riad.“)
Für Arabisch gibt es eigene Datensätze. ANERcorp, erstellt von Yassine Benajiba und seit 2008 eine Standardreferenz, besteht aus Nachrichtentexten; der vereinbarte Split des CAMeL Lab hat 125.102 Trainings- und 25.008 Testwörter unter CC BY-SA 4.0. Wojood (Jarrar et al., 2022) umfasst etwa 550K Tokens Text in MSA und Dialekt, 21 Entitätstypen und etwa 75K Entitäten, davon 22,5 % verschachtelt. Sein Modell auf Basis von AraBERT erreichte 0,884 Micro-F1.
Mit einem LLM ist die übliche Formulierung eine andere: Man bittet um eine Liste, nicht um ein Tag pro Token.
{"entities": [
{"text": "خالد العتيبي", "type": "PERSON"},
{"text": "الرياض", "type": "LOCATION"}
]}
Warum es wichtig ist
NER speist Suchfilter, CRM-Datensätze, das Schwärzen von PII und Knowledge Graphs. Mit einem LLM sind die Hauptrisiken:
- Erfundene oder veränderte Entitäten. Ein Modell kann einen Namen liefern, der nicht im Text steht, oder seine Schreibweise „korrigieren“. Prüfen Sie, dass jede Entität im Ausgangstext vorkommt, nach Normalisierung des arabischen Texts auf beiden Seiten. Das ist eine Form der Prüfung auf Halluzination.
- Abdriftende Labels. Legen Sie die Typliste in einem Schema fest, damit das Modell keinen neuen Typ erfinden kann.
- Benchmarks sind nicht Ihre Daten. Öffentliche Labels passen selten zu Ihren. Annotieren Sie eine Stichprobe von Hand und messen Sie Precision, Recall und F1, wie bei jedem Eval.
Bei BroadNet Inference
BroadNet hat keinen NER-Endpoint; Sie bauen es auf POST /v1/chat/completions. Die API-Referenz von BroadNet dokumentiert Structured Output für GLM 5.3 und Qwen3.8 27B; damit halten Sie das Modell an eine Entitätenliste und einen festen Satz von Typen. Für Dokumente, die als Bilder ankommen, nimmt Qwen3.8 27B auch Bildeingaben an.
BroadNet veröffentlicht keinen NER-Benchmark für seine Modelle. Der Beitrag zur Extraktion arabischer Named Entities enthält einen Prompt, Span-Prüfungen, die Diakritika ignorieren, den Umgang mit Hidschri-Datumsangaben und ein Bewertungsskript für Ihre eigene Stichprobe.