Извлечение именованных сущностей превращает абзац в записи, с которыми может работать код: кто, какая организация, где и когда. Арабский добавляет четыре проблемы, с которыми англоязычные пайплайны почти не сталкиваются: необязательные огласовки, несколько написаний одной и той же буквы, имена латиницей (арабизи) и даты в двух календарях. В этой статье мы строим шаг извлечения на OpenAI-совместимой LLM, который решает каждую из них в коде, и скрипт оценки, который покажет, работает ли это на вашем тексте.
Если нужно классифицировать сообщения целиком, а не вытаскивать из них фрагменты, см. статью о классификации арабского текста. О самих параметрах запроса JSON — в статье JSON mode или json_schema.
Насколько хорошо LLM справляются с арабским NER?
Самое релевантное открытое измерение, которое мы нашли, — LAraBench (Abdelali et al., EACL 2024): там GPT-3.5 и GPT-4 прогоняли на арабских NER-наборах в режиме потокенной разметки. Macro-F1, чем выше, тем лучше:
| Датасет | GPT-3.5 без примеров | GPT-4 без примеров | GPT-4, 3 примера | Приведённая дообученная система |
|---|---|---|---|---|
| ANERcorp (новости) | 0,210 | 0,355 | 0,420 | 0,886 |
| AQMAR (Википедия) | 0,230 | 0,365 | 0,390 | 0,690 |
| QASR (расшифровки) | 0,208 | 0,504 | н/д | 0,698 |
Больше примеров помогало: GPT-4 на ANERcorp выросла с 0,355 без примеров до 0,451 с десятью. Авторам также пришлось переназначать метки, которые модель писала в собственном формате, например PER-B вместо B-PER.
Читайте это осторожно. Это модели 2023 года на строгой задаче разметки с наборами меток бенчмарков. Современная модель, которую просят дать короткий список людей и компаний из тикета поддержки, может справиться гораздо лучше — а может и нет. Таблица говорит о двух вещах, которые остаются верными: LLM не становится хорошей NER-системой автоматически, и вам нужно собственное измерение.
Какие есть арабские NER-датасеты?
| Датасет | Тексты | Размер и метки |
|---|---|---|
| ANERcorp | Новости | Около 150 000 токенов; персона, место, организация, прочее. CAMeL Lab публикует стандартное разбиение на train/test |
| CLEANANERCorp | Исправленный ANERcorp | Исправляет ошибки разметки, пропущенные метки и несогласованности, найденные в оригинале |
| AQMAR | Арабская Википедия | 74 000 токенов из 28 статей |
| Wojood | MSA и диалекты | Около 550 000 токенов, 21 тип сущностей, вложенные; использовался в соревновании WojoodNER 2023 |
| CANERCorpus | Хадисы на классическом арабском | Более 7 000 хадисов, 20 типов на исламские темы |
Используйте их для быстрой проверки промпта, а не как приёмочный тест. Ваши типы сущностей (клиент, товар, филиал, номер договора) будут отличаться от их типов, и лицензии у них тоже разные. Проверьте каждую перед коммерческим использованием.
Что должно быть в промпте?
Три правила делают вывод проверяемым:
- Копировать фрагмент точно. Без перевода, без транслитерации, без «достраивания» имени до полного. Если нужно английское написание, просите его в отдельном поле и считайте непроверенным.
- Закрытый список типов. PERSON, ORG, LOCATION, DATE или ваш собственный набор. Произвольные типы невозможно оценить.
- Даты по частям, без пересчёта. Просите год, месяц и день как написано, плюс календарь. Конечное هـ обозначает дату по хиджре, م — григорианскую.
Инструкции пишите по-английски или по-арабски; компромисс разобран в статье о промпт-инжиниринге для арабского. Поместите форму JSON в системный промпт и держите её одинаковой во всех запросах, чтобы она могла кэшироваться.
Как проверять сущности по исходнику?
Модель может вернуть имя, которого в тексте нет, или правильно скопировать имя, но без огласовок. Простая проверка подстроки эти случаи не различит. Сначала нормализуйте обе стороны: удалите ташкиль и татвиль, унифицируйте формы алифа и слейте عبد ال, чтобы عبد الله совпадало с عبدالله. Правила те же, что в статье о нормализации арабского текста для поиска, только применяются лишь для сопоставления. Для показа храните исходный фрагмент.
import json, os, re
from hijridate import Hijri
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
"dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""
DIACRITICS = re.compile(r"[ً-ٰٟـ]") # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
s = DIACRITICS.sub("", s)
s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
return " ".join(s.split())
def validate(source: str, data: dict) -> tuple[list, list]:
"""Keep entities that really occur in the source; report everything else."""
src, kept, problems = norm(source), [], []
for e in data.get("entities", []):
if e.get("type") not in TYPES:
problems.append(f"unknown type: {e}")
elif norm(e.get("text", "")) not in src:
problems.append(f"not in source: {e['text']}")
else:
kept.append(e)
for d in data.get("dates", []):
if d.get("calendar") == "hijri":
try:
d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
except (ValueError, OverflowError) as err:
problems.append(f"bad Hijri date {d['text']}: {err}")
return kept, problems
def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
r = client.chat.completions.create(
model=model, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
data = json.loads(r.choices[0].message.content)
data["entities"], data["problems"] = validate(text, data)
return data
text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))
Мы прогнали это на локальном mock-сервере (без реального вызова API), чей заготовленный ответ добавлял одну выдуманную персону и одну невозможную дату (месяц 13). В выводе остались خالد بن سعيد (ответ потерял огласовки, но нормализованное сопоставление всё равно его нашло), شركة النخيل للتقنية и جدة. Дату ١٥ جمادى الآخرة ١٤٤٥هـ код перевёл в 2023-12-28 и перечислил две проблемы: выдуманное имя получило “not in source”, а месяц 13 вызвал “month must be in 1-12”. Имена и компания вымышлены.
Замечания к коду:
max_tokens=2000оставляет место для рассуждений. В документации BroadNet сказано, что DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом и эти рассуждения входят вmax_tokens. См. руководство о пустых ответах моделей с рассуждениями.json.loadsможет упасть. Оберните его и при ошибке отправьте запрос ещё раз с текстом ошибки, как в цикле исправления. На GLM 5.3 и Qwen3.8 27B, для которых BroadNet документирует структурированный вывод, добавьте ещё и схемуresponse_format. Проверка в любом случае остаётся.- Сопоставление по подстроке намеренно нестрогое. Оно подтверждает, что фрагмент существует, но не подтверждает тип. Типы измеряет шаг оценки ниже.
Как работать с датами по хиджре?
В арабском тексте даты пишут по-разному: ١٥/٦/١٤٤٥هـ, ١٥ جمادى الآخرة ١٤٤٥ или григорианская дата с названиями месяцев, которые зависят от региона (نوفمبر в Египте и Заливе, تشرين الثاني в Леванте). Обычно модель может разбить их на части, а код проверяет части. Перевод между календарями — это арифметика по опубликованной таблице, и у модели нет причин делать её правильно.
hijridate, ранее hijri-converter, переводит даты по календарю Умм аль-Кура. Документированный диапазон — 1343–1500 г. х. (с 1 августа 1924 по 16 ноября 2077 г. н. э.). Вне диапазона она выбрасывает OverflowError, неверный месяц или день вызывает ValueError, поэтому код ловит оба исключения. В документации сказано, что библиотека не предназначена для религиозных целей, где предпочтительно наблюдение молодого месяца, поэтому дата, установленная по наблюдению, может отличаться от вычисленной. Храните дату в исходном написании рядом с переведённой.
Восточноарабские цифры здесь особой обработки не требуют: модель возвращает целые числа. Если разбираете даты сами, сначала замените ٠١٢٣٤٥٦٧٨٩ (и персидские ۰–۹) на 0–9.
Что делать с именами на арабизи и смешанным текстом?
В сообщениях клиентов имена часто пишут латиницей: “ana 7a2ool la Mo7ammad bokra”. Правило точного фрагмента по-прежнему работает: текст сущности — “Mo7ammad”, и проверка подстроки проходит. Не получается другое — сопоставить эту запись с محمد в вашей CRM. Делайте это вторым шагом: переведите фрагмент в арабскую графику, как в статье об обработке арабизи, затем сопоставляйте с записями с той же нормализацией. Ставьте флаг уверенности на каждую запись, прошедшую через преобразование.
То же относится к английским названиям компаний внутри арабских предложений и к латинским написаниям арабских имён (Mohammed, Muhammad, Mohamed). Не просите шаг извлечения выбирать одно написание.
Как оценить экстрактор?
Разметьте вручную 100–200 реальных примеров с тем же списком типов. Затем сравните предсказания с разметкой по точному совпадению сущностей (нормализованный текст и тип) и укажите точность, полноту и F1 по каждому типу:
from collections import Counter
def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
"""Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
tp, fp, fn = Counter(), Counter(), Counter()
for g, p in zip(gold, pred):
G = Counter((norm(e["text"]), e["type"]) for e in g)
P = Counter((norm(e["text"]), e["type"]) for e in p)
for (t, ty), n in (G | P).items():
hit = min(G[(t, ty)], P[(t, ty)])
tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
def prf(a, b, c):
p = a / (a + b) if a + b else 0.0
r = a / (a + c) if a + c else 0.0
return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
return out
На игрушечном наборе из двух предложений (три эталонные сущности; предсказание пометило جدة как ORG вместо LOCATION и добавило одно лишнее место) функция вывела микроусреднённые точность 0,5, полноту 0,667 и F1 0,571, а F1 для LOCATION — 0. Разбивка по типам показывает, куда тратить усилия: слабый результат по ORG обычно означает, что определениям типов нужны примеры, а не модель покрупнее.
Заранее решите, что считается совпадением. Точное совпадение строгое: “شركة النخيل” против эталонного “شركة النخيل للتقنية” даёт один ложноположительный и один ложноотрицательный результат. Если для вашей задачи частичные фрагменты допустимы, указывайте вторую оценку, основанную на перекрытии, но главной оставляйте строгую.
Какую модель BroadNet выбрать?
Все цены — за 1 млн токенов, со страницы цен BroadNet.
| Модель | Почему | Вход / выход |
|---|---|---|
| Qwen3.8 27B | Структурированный вывод документирован; по данным BroadNet, протестирована на арабском, включая понимание диалектов Залива и египетского; читает изображения | $0.175 / $2.17 |
| GLM 5.3 | Структурированный вывод документирован; контекст 1 048 576 токенов для очень длинных документов | $0.78 / $3.46 |
| Gemma 4 VL 26B | Работает на стартовом кредите $5; структурированный вывод не документирован, поэтому проверяйте JSON, полученный только через промпт; контекст 32 768 токенов | $0.10 / $0.22 |
Прогоните скрипт оценки на своей выборке с каждым кандидатом и выбирайте по F1 по типам и по цене, а не по описанию поставщика. Арабский обычно занимает больше токенов, чем английский, при том же содержании; измеренные соотношения — в статье о числе токенов на слово в арабском. Для сущностей в отсканированных формах или на фотографиях извлекайте прямо из изображения, как в руководстве о чтении арабских счетов с помощью vision-модели.
Место BroadNet Inference
BroadRouter — собственный сайт BroadNet. BroadNet Inference даёт OpenAI-совместимый доступ к перечисленным моделям по одному ключу, так что код работает с OpenAI Python SDK после смены базового URL. В её документации сказано, что промпты и ответы не хранятся после запроса, а это важно, когда текст полон имён людей. Отдельного NER-эндпоинта у неё нет, собственного бенчмарка арабского NER она не публикует, так что измеряйте на своих данных. Если вам нужен разметчик на своих серверах для больших объёмов, модель, дообученная на Wojood или ваших метках, может оказаться дешевле и стабильнее любой LLM; опубликованный разрыв выше — повод это проверить.
