Корректура арабского текста выглядит как промпт в одну строку: «исправь этот текст». На практике модель заодно перефразирует, добавляет огласовки, меняет диалектное слово на литературное и объясняет свои изменения, и вы не можете понять, какие правки были нужны. В этой статье мы строим корректор на OpenAI-совместимой LLM, который делает минимум правок, проверяет ответ в коде, помечает каждую правку типом ошибки и оценивает всё так же, как это делают исследовательские бенчмарки.
Насколько хорошо LLM исправляют арабскую грамматику?
Стандартные бенчмарки — соревнования QALB. QALB-2014 использовал комментарии на современном литературном арабском с сайта Al Jazeera: более миллиона слов обучающего текста с примерно 306 000 исправлений и тестовые наборы примерно по 50 000 слов. QALB-2015 добавил второй трек — сочинения изучающих арабский как иностранный (L2). Оба соревнования оценивали системы по правкам с помощью M2 scorer. Лучшие результаты, F1 (чем больше, тем лучше):
| Тестовый набор | F1 лучшей системы | Текст |
|---|---|---|
| QALB-2014 test | 67,91 | Комментарии носителей к новостям |
| QALB-2015 native test | 72,87 | Комментарии носителей к новостям |
| QALB-2015 L2 test | 41,20 | Сочинения учащихся |
Строка L2 — полезное предупреждение. В текстах учащихся больше ошибок в выборе слов и пропущенных слов, и лучшая система набрала гораздо меньше. Если ваши пользователи — учащиеся, ждите цифр ближе к этой строке.
Затем Kwon, Bhatia, Nagoudi и Abdul-Mageed (ArabicNLP 2023) прогнали ChatGPT и GPT-4 на тестовом наборе QALB-2014. С тем же скорером:
| Система | F1 |
|---|---|
| ChatGPT, 1 пример | 53,59 |
| ChatGPT, 5 примеров | 63,98 |
| GPT-4, 5 примеров | 65,49 |
| AraT5v2, дообученная | 67,70 |
Для вашего промпта важны две детали. Больше примеров сильно помогло. А промпты без примеров (zero-shot) и промпты на арабском давали ответы, полные объяснений, которые авторы не смогли оценить автоматически. Корректору нужен вывод, который программа может сравнить с входом.
Почему бы просто не нормализовать текст?
Нормализатор арабского текста на этом сайте удаляет ташкиль и татвиль, сводит أ إ آ к ا и, по желанию, ى к ي и ة к ه. Для поиска это правильный шаг: пользователь, набравший احمد, должен найти أحمد. Перед исправлением это неправильный шаг, потому что он стирает различие, которое корректор должен восстановить. После нормализации انا и أنا — одна и та же строка, поэтому ошибка в хамзе исчезает, а вместе с ней и исправление.
Если нужно и то и другое, храните три копии: исходный текст, исправленный текст, который вы показываете пользователям, и нормализованную копию исправленного текста для поискового индекса. Индексацию разбирает статья нормализация арабского текста для поиска. Один шаг нормализации перед исправлением всё же нужен: Unicode NFC, который объединяет разложенный алиф плюс комбинируемую хамзу в один символ, чтобы сравнение не показывало несуществующее изменение.
Что писать в промпте?
Просите минимальные правки, назовите типы ошибок, которые вам важны, запретите нежелательные изменения и просите только исправленный текст. Писать инструкции на английском или на арабском — решать вам; компромиссы разбирает статья промпт-инжиниринг для арабского. Kwon et al. получили пригодный вывод от английских инструкций с примерами. Добавить три–пять пар исправленных предложений из ваших данных (few-shot) — самое дешёвое улучшение, с которого стоит начать.
Ставьте temperature 0. Вам нужно одно и то же исправление каждый раз. Если текст на диалекте, например египетском или арабском Залива, укажите, сохранять ли диалект. Промпт ниже рассчитан на современный литературный арабский (MSA) и запрещает модели менять стиль, что покрывает и диалект.
Как проверять ответ модели?
Код делает один запрос, измеряет, насколько ответ отличается от входа, извлекает правки на уровне слов и помечает каждую.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""
def tokens(s: str) -> list[str]:
s = unicodedata.normalize("NFC", s) # composed hamza forms, so أ is one character
return re.findall(r"\w+|[^\w\s]", s) # Arabic letters are \w; ، ؟ ؛ become tokens
def edits(src: str, hyp: str) -> list[tuple]:
"""Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
a, b = tokens(src), tokens(hyp)
out = []
for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
i, j = i1, j1
while op != "equal" and (i < i2 or j < j2): # split the block into one-word edits
if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]: # و قابلت -> وقابلت
out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]: # عبدالله -> عبد الله
out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
elif i < i2 and j < j2:
out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
elif i < i2: # deleted word
out.append((i, i + 1, "", a[i])); i += 1
else: # inserted word
out.append((i, i, b[j], "")); j += 1
return out
HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
("taa marbuta", lambda w: w.replace("ة", "ه")),
("alef maqsura", lambda w: w.replace("ى", "ي"))]
def error_class(orig: str, corr: str) -> str:
if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
return "punctuation"
if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
return "merge" if " " in orig else "split"
for name, f in RULES:
if orig != corr and f(orig) == f(corr):
return name
both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
if both(orig) == both(corr):
return "mixed orthography"
return "other"
def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
r = client.chat.completions.create(
model=model, temperature=0, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = r.choices[0].message.content.strip()
sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
if sim < min_similarity: # a rewrite, not a correction: keep the original
return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
return {"text": out, "similarity": round(sim, 2),
"edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}
Мы запускали это на локальном mock-сервере с заготовленными ответами (без реального вызова API: mock возвращает то, что мы написали). Для ذهبت الى المدرسه و قابلت المعلمه في الصباح ответ ذهبت إلى المدرسة وقابلت المعلمة في الصباح дал четыре правки: الى в إلى (хамза), المدرسه в المدرسة (та марбута), و قابلت в وقابلت (слияние) и المعلمه в المعلمة (та марбута). Для مشي الي код перечислил مشي в مشى (алиф максура) и الي в إلى (смешанная орфография, потому что исправлены сразу хамза и алиф максура). Заготовленный ответ, который превратил الطقس جميل اليوم в предложение вдвое длиннее, получил сходство 0,52, поэтому код оставил оригинал и записал ответ в лог.
Замечания к коду:
- Порог сходства — грубый инструмент. Предложение с множеством опечаток может законно оказаться около 0,8. Настройте порог на своих данных и отправляйте отклонённые ответы человеку, а не в корзину.
max_tokens=2000оставляет место для рассуждений. Документация BroadNet говорит, что DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом и рассуждения учитываются вmax_tokens; можно также задатьreasoning_effortlow. См. пустые ответы от моделей с рассуждениями.- Метки классов — это правила, а не парсер. В «other» попадают пропущенные буквы (مسؤل в مسؤول), согласование и выбор слов. Для полной таксономии прогоните ARETA (ниже) на тех же парах.
Какие классы ошибок отслеживать?
Организаторы QALB называют самыми частыми ошибками в арабской орфографии алиф с хамзой и путаницу алиф максуры с йа. ARETA, аннотатор типов ошибок от CAMeL Lab (Belkebir и Habash, CoNLL 2021), использует набор тегов на основе Arabic Learner Corpus. Среди его орфографических тегов — OH (хамза), OT (ха и та марбута) и OA (алиф и йа), а рядом морфологические, синтаксические, семантические, пунктуационные теги и теги слияния (MG) и разделения (SP). Статья сообщает 85,8% micro-average F1 против вручную размеченного текста учащихся.
| Класс | Неверно | Верно | Что не так |
|---|---|---|---|
| Хамза | انا، الى، مسأله | أنا، إلى، مسألة | Хамза пропущена, стоит не на той подставке или не с той стороны алифа |
| Та марбута | المدرسه | المدرسة | Конечная ة написана как ه или наоборот |
| Алиф максура | مشي، علي (предлог) | مشى، على | Конечная ى написана как ي; علي — ещё и имя, так что решает контекст |
| Слияние или разделение | و قابلت، عبدالله | وقابلت، عبد الله | Пробелы вокруг و и ال, составные имена |
| Пунктуация | пропущены ، или ؟ | добавлены | В пунктуации аннотаторы QALB соглашались реже всего |
Отслеживайте полноту по каждому классу. Модели, которая исправляет та марбуту, но пропускает хамзу после предлога, нужны примеры этого шаблона, а не другая модель.
Как оценивать корректор?
Исправление грамматических ошибок (GEC) оценивают по правкам. Сравните правки, которые превращают источник в эталонное предложение, исправленное вручную, с правками, которые превращают его в вывод модели. Точность — доля правок модели, совпавших с эталоном. Полнота — доля эталонных правок, которые сделала модель. QALB приводил F1; более поздние работы, включая Kwon et al., приводят и F0.5, где точность весит вдвое больше полноты, потому что неверное «исправление» раздражает пользователей сильнее, чем пропущенное.
from collections import Counter
def score(sources, golds, hyps, beta=0.5):
"""Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
tp = fp = fn = 0
by_class = Counter()
for s, g, h in zip(sources, golds, hyps):
G = {e[:3] for e in edits(s, g)}
H = {e[:3] for e in edits(s, h)}
tp += len(G & H); fp += len(H - G); fn += len(G - H)
for e in edits(s, g):
by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
p = tp / (tp + fp) if tp + fp else 1.0
r = tp / (tp + fn) if tp + fn else 1.0
f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
for c in sorted({c for c, _ in by_class})}
return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}
На игрушечном наборе из двух предложений с семью эталонными правками, где вывод пропустил слияние и одну та марбуту и добавил точку, код вывел P 0,833, R 0,714 и F0.5 0,806 с полнотой по классам: хамза 2/2, та марбута 2/3, слияние 0/1.
Это упрощённая идея M2. Официальный M2 scorer ищет такое выравнивание правок системы, которое лучше всего совпадает с эталоном, поэтому верное исправление, разбитое на правки иначе, чем в эталоне, не штрафуется. Наше точное совпадение строже. Используйте официальный скорер, когда сравниваете с опубликованными цифрами (его версия для разработчиков по-прежнему требует Python 2). ERRANT делает такое же извлечение правок, но только для английского.
Эталонный набор собирайте из реального пользовательского текста, 100–200 предложений, исправленных одним внимательным аннотатором по тем же правилам минимальных правок, что вы дали модели. Прогоните на нём каждую модель и каждый промпт и сравните F0.5 и полноту по классам. Как провести такое сравнение честно, описывает статья как оценить LLM перед переходом.
А что с Tibyan и синтетическими данными?
Размеченных данных для исправления арабского мало. Alrehili и Alhothali отмечают, что QALB-14 и QALB-15 вместе содержат около 20 500 параллельных примеров. Их корпус Tibyan (arXiv 2024, позже в PeerJ Computer Science) создан с помощью ChatGPT: пары «ошибка — верное предложение» сгенерированы по книгам о типичных ошибках в арабском и проверены лингвистами. В нём около 600 000 токенов и семь типов ошибок: орфография, морфология, синтаксис, семантика, пунктуация, слияние и разделение. Авторы пишут, что корпус открыт; ссылку на скачивание, чтобы проверить лицензию, мы не нашли. Он полезен для примеров few-shot и стресс-тестов, но он синтетический, поэтому не используйте его как приёмочный тест.
Если нужна базовая система без LLM, репозиторий arabic-gec от CAMeL Lab публикует код и модели из Alhafni et al. (EMNLP 2023). Только для орфографии пакет ar-corrector предлагает словарные слова на расстоянии одной-двух правок; грамматику он не обрабатывает, а его последний релиз вышел в 2021 году.
Какую модель BroadNet использовать?
Цены указаны за 1 млн токенов по странице цен BroadNet. Исправленный текст примерно такой же длины, как вход, поэтому цена выхода важна.
| Модель | Почему | Вход / выход |
|---|---|---|
| Qwen3.8 27B | Рассуждения задокументированы; BroadNet сообщает о тестах на арабском, включая понимание диалектов Залива и Египта | $0.175 / $2.17 |
| GLM 5.3 | Рассуждения задокументированы; длинный контекст для целых документов | $0.78 / $3.46 |
| DeepSeek V4.1 Flash | Самая низкая цена выхода среди моделей с рассуждениями здесь; есть и на тарифах с фиксированной ценой за сессию | $0.175 / $0.52 |
| Gemma 4 VL 26B | Работает на стартовом гранте $5, так что конвейер можно собрать до пополнения баланса | $0.10 / $0.22 |
Прогоните скорер с каждой моделью на своём эталонном наборе и выбирайте по F0.5 и цене. Арабский обычно занимает больше токенов на слово, чем английский; вставьте образец в счётчик токенов для арабского и оцените счёт в калькуляторе стоимости LLM API. Чтобы вычитать большой архив: у BroadNet нет Batch API; статья пакетная обработка без Batch API показывает, как запустить её с ограниченным параллелизмом или на сессии DeepSeek за $15 в неделю (один запрос за раз на сессию).
Где здесь BroadNet Inference
BroadRouter — собственный сайт BroadNet. BroadNet Inference даёт OpenAI-совместимый доступ к моделям выше, поэтому код работает с OpenAI Python SDK после смены базового URL. Эндпоинта корректуры у неё нет, и собственного бенчмарка исправления арабского она не публикует, так что измеряйте на своём тексте. В её заявлении о конфиденциальности сказано, что содержимое запросов инференса не хранится, — это важно, когда вы вычитываете сообщения клиентов. Если нужен корректор на своём сервере для очень больших объёмов, дообученная модель, например от CAMeL Lab, может оказаться дешевле и стабильнее; опубликованные результаты выше — повод проверить оба варианта.
