Арабский обычно пишут без кратких гласных. Читатель восстанавливает их по контексту, программа — часто нет. Их восстановление, огласовка или ташкиль, превращает كتب в كَتَبَ (он написал), كُتُبٌ (книги) или كُتِبَ (было написано) — в зависимости от предложения. В этой статье показано, как делать это с LLM через OpenAI-совместимый API, как не дать модели незаметно менять ваш текст и как сравнить результат со специализированным инструментом огласовки.
Когда нужны огласовки?
- Синтез речи. Голосу нужны гласные, чтобы произнести слово. Статья CATT называет синтез речи и машинный перевод задачами, которые выигрывают от огласовок. У BroadNet Inference нет эндпоинта синтеза речи, поэтому в конвейере TTS огласованный текст уходит в отдельный сервис синтеза.
- Учащиеся и детские материалы. Тем, кто ещё учится читать, нужны эти знаки.
- Неоднозначные имена и термины. Имена собственные, редкие слова и технические термины, где неверная гласная меняет смысл.
- Религиозные и классические тексты. Здесь знаки — часть текста, и автоматический инструмент должен только заполнять пропуски под контролем человека.
Для поиска и извлечения огласовки обычно не нужны. Там их удаляют, как описано в статье нормализация арабского текста для поиска. Бесплатный нормализатор арабского текста делает это удаление прямо в браузере. Огласовка — обратная операция и гораздо более сложная: удалить знаки можно по таблице, а чтобы их добавить, нужны грамматика и контекст.
Насколько хорошо LLM расставляют огласовки?
Два опубликованных результата, которые нужно читать внимательно:
| Система | Бенчмарк CATT, DER с флективными окончаниями | DER без них | WER с флективными окончаниями | WER без них |
|---|---|---|---|---|
| CATT encoder-decoder | 8,624% | 6,989% | 34,191% | 28,477% |
| CATT encoder-only | 8,762% | 7,088% | 35,508% | 29,714% |
| GPT-4 (по тексту статьи — GPT-4-turbo) | 9,515% | 8,113% | 38,311% | 33,505% |
| Command R+ | 13,169% | 11,329% | 48,518% | 44,158% |
| Shakkala | 13,494% | 10,386% | 50,387% | 40,643% |
| Mishkal | 16,482% | 10,796% | 60,844% | 40,215% |
Источник: таблица 4 статьи CATT (2024). Чем меньше, тем лучше. Бенчмарк — 742 новостных предложения, собранных в 2023 году; огласовку расставили два эксперта — носители языка, а третий её проверил.
На втором тестовом наборе статьи, WikiNews (400 предложений), GPT-4 оказался намного лучше всех остальных: DER 0,551%. Авторы отмечают эту строку и предполагают, что модель могла видеть WikiNews при обучении. Это общее предупреждение для бенчмарков LLM: публичный тестовый текст может быть в обучающих данных. Авторы CATT высказывают то же опасение насчёт Tashkeela, в книгах которой много цитат из Корана и хадисов.
Отдельная статья 2024 года, Skiredj и Berrada, сообщает для GPT-4 около 20% DER и 30% WER на бенчмарке Fadel et al., но без деталей, которые позволили бы сравнить это с таблицей выше.
Итак, модели класса GPT-4 могут почти догнать специализированный инструмент огласовки, а могут и заметно отстать. Обе статьи вышли раньше открытых моделей, доступных сегодня. Измеряйте на своём тексте.
Какие тестовые наборы существуют?
| Датасет | Что это |
|---|---|
| Tashkeela | 75 629 921 полностью огласованное слово из 97 книг; 98,85% — классический арабский из библиотеки Shamela, 1,15% — современный литературный арабский |
| Бенчмарк Fadel et al. | Около 2,3 млн слов, извлечённых из Tashkeela; 50 000 строк для обучения, 2500 для валидации и 2500 для теста |
| Бенчмарк CATT | 742 новостных предложения с ручной огласовкой, опубликованы вместе с моделями CATT |
| WikiNews | 400 новостных предложений на MSA с ручной огласовкой |
Tashkeela и набор Fadel в основном классические. Если ваш текст — современный деловой или новостной арабский, ближе наборы CATT и WikiNews, а ближе всего — выборка вашего собственного текста.
Какой промпт сохраняет буквы нетронутыми?
Задача модели — добавить знаки и больше ничего не трогать. LLM любят помогать: они исправят الى на إلى, заменят конечную ى на ي или добавят пропущенную хамзу. Каждое из этих изменений может быть правильным арабским, но это исправление орфографии, а не огласовка. Оно меняет ваш текст без предупреждения.
Поэтому промпт формулирует правило, а код его обеспечивает: удалите огласовки из ответа и сравните с входом, из которого они тоже удалены. Если отличается хоть одна буква, пробел или знак препинания, ответ отклоняется.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MARKS = re.compile("[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""
def skeleton(s: str) -> str:
"""The text with every diacritic removed: what the model is not allowed to change."""
return MARKS.sub("", unicodedata.normalize("NFC", s))
def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
for attempt in range(tries):
r = client.chat.completions.create(
model=model, max_tokens=4000, temperature=0,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
if skeleton(out) == skeleton(text):
return out
diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
print(f"attempt {attempt + 1}: letters changed {diff}")
return None # keep the undiacritized text; never ship a changed sentence
for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
print(diacritize(line))
Мы запускали это на локальном mock-сервере, а не на реальном API. Его заготовленный ответ на первое предложение оба раза «исправлял» الى на إلى, а ответ на второе был чистым. Вывод:
attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ
Замечания к коду:
- Сначала Unicode NFC. Хамза может прийти как один составной символ (أ) или как буква плюс комбинируемый знак. NFC приводит обе стороны к одному виду до сравнения. Статья о нормализации подробно разбирает эту ловушку.
max_tokens=4000. Документация BroadNet говорит, что DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом и рассуждения учитываются вmax_tokens. Слишком маленький лимит даёт пустой ответ, который проверка отклонит. Оставляйте запас или задайтеreasoning_effortlow; см. пустые ответы от моделей с рассуждениями и калькулятор бюджета токенов рассуждений.- Проверка не тестирует правило «сохраняй существующие огласовки». Если вход частично огласован, сравнивайте и эти знаки.
- Орфография — отдельное решение. Если вы хотите исправить الى, сначала запустите шаг исправления, затем расставляйте огласовки в исправленном тексте. Если смешать эти шаги, проверить нельзя будет ни один из них.
- Делите длинный текст на части. Отправляйте одно предложение или абзац на запрос. Сам CATT ограничивает вход 1024 символами и режет длинные предложения по знакам препинания; та же привычка делает ответы LLM короткими, а повторы — дешёвыми.
Общие советы по арабским промптам, в том числе когда запрещать модели добавлять огласовки, — в статье промпт-инжиниринг для арабского.
Как оценивать огласовку: DER и WER?
Доля ошибок в огласовках (DER) — доля букв, огласовки которых отличаются от эталона. Доля ошибочных слов (WER) здесь — доля слов, в которых хотя бы одна неверная огласовка. Это не WER из распознавания речи, о котором наша статья про ASR: здесь считаются слова с неверным знаком, а не вставленные или удалённые слова.
Две настройки сильно меняют цифры:
- С флективными окончаниями или без них. Последняя буква слова несёт его падеж (и’раб), который зависит от синтаксиса. Статьи приводят оба варианта, потому что на флективные окончания приходится много ошибок.
- Учитываются ли буквы без огласовки. Одни скрипты считают голую букву (например, алиф в الطالب) верным предсказанием «без огласовки», другие её пропускают. В скрипте оценки Fadel для этого есть флаг.
Опубликованные скрипты делают этот выбор по-разному, поэтому сравнивайте только цифры, полученные одним и тем же скриптом. Этот достаточно короткий, чтобы его прочитать:
import re, unicodedata
MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")
def letters(word: str) -> list[tuple[str, str]]:
"""(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
out = []
for ch in unicodedata.normalize("NFC", word):
if LETTER.match(ch):
out.append([ch, ""])
elif MARK.match(ch) and out:
out[-1][1] += ch
return [(c, "".join(sorted(d))) for c, d in out]
def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
"""DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
errs = total = werr = words = 0
for g_line, p_line in zip(gold, pred):
for g, p in zip(g_line.split(), p_line.split()):
G, P = letters(g), letters(p)
if [c for c, _ in G] != [c for c, _ in P]:
raise ValueError(f"letters differ: {g} / {p}") # score only same-skeleton output
scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
if (case_ending or i < len(G) - 1) and (count_bare or gd)]
if not scored:
continue
bad = sum(gd != pd for gd, pd in scored)
errs += bad; total += len(scored); werr += bad > 0; words += 1
return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}
gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))
В игрушечном предсказании два неверных флективных окончания и одна неверная внутренняя гласная на 32 буквы и 7 слов. Скрипт выводит DER 9,38 и WER 42,86 с флективными окончаниями и DER 4,0 и WER 14,29 без них. Обратите внимание, как WER раздувает несколько ошибок: один неверный знак портит целое слово.
Скрипт отказывается оценивать слово, в котором изменились буквы. Это сделано намеренно. Инструмент огласовки, который правит буквы, провалил задачу, и его DER ничего бы не значил.
Для второй проверки мы прогнали Mishkal 0.4.1, огласовщик на правилах, на одном предложении из 16 слов, которое огласовали вручную. Все четыре его ошибки пришлись на флективные окончания, например مُحَمَّدُ вместо مُحَمَّدٌ. Результат — DER 5,88 с флективными окончаниями и 0,0 без них. Одно предложение ничего не доказывает про Mishkal; оно показывает, зачем приводить оба варианта.
Чтобы собрать тестовый набор, возьмите от 100 до 200 предложений своего текста, попросите носителя языка расставить огласовки, удалите знаки и прогоните каждого кандидата. Человеческую версию сохраните как эталон.
Когда специализированный инструмент лучше LLM?
| Выбирайте | Когда |
|---|---|
| Специализированную модель (CATT, libtashkeel, Mishkal) | Большой объём, однотипные тексты, жёсткие требования к задержке, работа офлайн или на устройстве, либо нужен вывод, который по устройству не меняет буквы |
| LLM через API | Небольшой или неравномерный объём, смешанный или грязный ввод, команда без ML-инфраструктуры или конвейер, который уже вызывает LLM на других шагах |
Специализированные модели предсказывают знак для каждой буквы, поэтому переписать ваш текст они не могут. CATT распространяется под Apache 2.0 и ставится командой pip install catt-tashkeel; README советует модель encoder-only для скорости и encoder-decoder для точности. libtashkeel — под MIT, обучена в основном на MSA. Mishkal работает на правилах и распространяется под GPL, что важно, если вы встраиваете его в продукт.
С LLM быстрее начать, и она справляется с вводом, которого обученная модель никогда не видела: диалект, смесь арабского и английского, странная пунктуация. Но ей нужна проверка скелета, описанная выше, на каждом ответе, и она стоит денег за каждый токен.
Сколько стоит огласовка через LLM?
Огласовки — это дополнительные символы, и токенизаторы режут их на дополнительные токены. Мы посчитали тестовый набор Fadel из 2500 строк (125 098 слов) собственным токенизатором каждой модели, голый текст против полностью огласованного:
| Токенизатор | Голый текст | С огласовками | Соотношение |
|---|---|---|---|
| Qwen3.8 27B | 196 987 | 407 144 | 2,07× |
| DeepSeek V4.1 Flash | 222 555 | 540 454 | 2,43× |
| Gemma 4 VL 26B | 208 769 | 508 758 | 2,44× |
| GLM 5.3 | 239 753 | 770 361 | 3,21× |
Вы платите за входные токены голого текста и за выходные токены огласованного ответа, плюс за рассуждения. Дороже выход: $2.17 за 1 млн токенов у Qwen3.8 27B, $0.52 у DeepSeek V4.1 Flash, $3.46 у GLM 5.3 и $0.22 у Gemma 4 VL 26B, по странице цен BroadNet. Повторы после проваленной проверки добавляют ещё. Вставьте свой текст в счётчик токенов для арабского, чтобы проверить соотношение на своих данных, а почему арабский вообще стоит больше токенов, объясняет статья токены на слово в арабском и английском.
Для разовой обработки большого архива тарифы DeepSeek V4.1 Flash заменяют счётчик фиксированной ценой за сессию ($15 в неделю или $1 в час); каждая сессия выполняет один запрос за раз, поэтому планируйте прогон, как в статье пакетная обработка без Batch API.
Где здесь BroadNet Inference
BroadRouter — собственный сайт BroadNet. BroadNet Inference обслуживает четыре чат-модели, упомянутые выше, через один OpenAI-совместимый эндпоинт, поэтому код работает с OpenAI Python SDK, как только заданы базовый URL и ключ. Gemma 4 VL 26B работает на стартовом гранте $5; для DeepSeek, GLM и Qwen нужно пополнение баланса. У BroadNet нет эндпоинта огласовки, нет собственного опубликованного бенчмарка огласовки и нет синтеза речи. Какая из её моделей лучше всего огласует ваш текст, не измерялось: оцените их на своей выборке, прежде чем выбирать. Детали запросов — в справочнике API.
