BroadRouter

Арабско-английский перевод через LLM: промпты, глоссарии, оценка

Команда BroadNet Inference · 5 мин чтения · Опубликовано

Чтобы переводить между арабским и английским с LLM, сообщите модели аудиторию, регистр и глоссарий фиксированных терминов, попросите не менять числа и имена и переводите фрагментами размером с абзац. Оценивайте по chrF или COMET плюс проверка носителем языка. В тестах BroadNet модель Qwen3.8 27B точно переводила между арабским и английским.

Чтобы переводить между арабским и английским с LLM, сообщите модели направление, аудиторию и регистр, дайте ей глоссарий фиксированных терминов, сохраняйте числа и имена без изменений и отправляйте фрагменты размером с абзац. Затем проверяйте числа и отрицания в коде и оценивайте по chrF, COMET и мнению носителя языка.

В арабском такой контроль особенно важен: дословный перевод может быть правильным и всё равно звучать чужеродно.

Почему перевод между арабским и английским сложен для LLM?

  • Регистр. Литературный арабский (современный литературный арабский, фусха) и повседневная речь сильно различаются. Рекламная фраза, непринуждённая на английском, в дословном MSA может стать натянутой или смешной.
  • Порядок слов и длина. Арабские предложения часто начинаются с глагола, а арабский текст нередко отличается по длине от английского. Строки интерфейса, которые помещаются на английском, могут переноситься или вылезать за границы.
  • Род и число. Арабский выражает род в глаголах, прилагательных и местоимениях, а ещё в нём есть двойственное число. Английское «you» должно стать أنتَ, أنتِ, أنتما, أنتم или أنتنّ. Если читатель неизвестен, скажите модели, какую форму использовать по умолчанию.
  • Имена и транслитерация. У «محمد» много английских написаний (Mohammed, Muhammad, Mohamed). Выберите одно для каждого человека и придерживайтесь его.
  • Числа и даты. Восточноарабские цифры, даты по хиджре и форматирование справа налево требуют явных правил.

Какой промпт даёт хорошие арабские переводы?

Качество перевода зависит от инструкций гораздо больше, чем от удачных формулировок. Сообщите модели направление, аудиторию, регистр, глоссарий и формат вывода:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

GLOSSARY = """Invoice = فاتورة
VAT = ضريبة القيمة المضافة
Refund = استرداد المبلغ
Terms and Conditions = الشروط والأحكام
BroadPay = BroadPay (do not translate)"""

SYSTEM = f"""You translate customer-support articles from English to Arabic.
Audience: retail customers in Saudi Arabia and the UAE.
Register: clear, polite Modern Standard Arabic; short sentences; address the reader
in the masculine singular as a neutral default.
Rules:
- Use the glossary exactly. Never translate product names marked "do not translate".
- Keep every number, date, URL, email address and code snippet unchanged.
- Keep Markdown structure (headings, lists, links) unchanged.
- Output only the translation.
Glossary:
{GLOSSARY}"""

def translate(text: str) -> str:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=4000,  # the model reasons before answering
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}],
    )
    return r.choices[0].message.content

Для направления арабский → английский поменяйте направление и добавьте то, что нужно английскому читателю: «американский английский, простой стиль, арабские личные имена писать так, как указано в глоссарии». Если источник может быть на диалекте, скажите это: «Источник может быть на арабском Залива или египетском; переводи смысл, а не слово в слово».

Почему глоссарий так важен?

Без глоссария модель может перевести «refund» как استرجاع в одном абзаце и как استرداد в следующем. Оба варианта — нормальный арабский, но вместе они выглядят небрежно и ломают поиск. Глоссарий это исправляет:

  1. Начните с существующих переводов. Извлеките термины из справочного центра, договоров и строк интерфейса, которые у вас уже есть на обоих языках.
  2. Держите его коротким. От пятидесяти до двухсот терминов покрывают большинство продуктов. Включайте только термины, которые не должны меняться.
  3. Добавьте то, что не переводится. Бренды, названия продуктов, тарифов и идентификаторы в коде.
  4. Помещайте его в системный промпт, перед текстом. Так он остаётся и в кэшируемом префиксе, что снижает стоимость входа при повторных вызовах; см. кэшированные входные токены.
  5. Проверяйте его в коде. После перевода убедитесь, что каждый термин глоссария, встретившийся в источнике, стоит в переводе в своей фиксированной форме.

Как делить длинные документы?

Переводите фрагментами по абзацу или разделу, а не по предложению. Вызовы на уровне предложений теряют контекст (кто такой «он», к какому продукту относится «оно»). Вызовы на весь документ работают на моделях с длинным контекстом, но одну ошибку в них труднее найти и перезапросить. Раздел в несколько сотен слов — хороший баланс. Если важна согласованность, передавайте перевод предыдущего раздела как контекст.

У Qwen3.8 27B контекст 262 144 токена; DeepSeek V4.1 Flash и GLM 5.3 принимают до 1 048 576 токенов — этого хватает, чтобы вместе с переводимым текстом передать длинный справочный документ.

Как ловить опасные ошибки?

Гладкий вывод скрывает ошибки. Проверяйте автоматически:

  • Числа: извлеките все числа из источника и перевода (после конвертации восточноарабских цифр) и сравните наборы.
  • Отрицания: потерянное «не» (لا, لم, لن, ليس, ما) переворачивает смысл. Помечайте предложения, где в источнике есть отрицание, а в переводе нет.
  • Имена и термины глоссария: убедитесь, что они дошли без изменений.
  • Соотношение длины: перевод заметно короче ожидаемого обычно означает, что что-то пропущено.
import re
EASTERN = str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789")

def numbers(s: str) -> list[str]:
    return sorted(re.findall(r"\d+(?:[.,]\d+)?", s.translate(EASTERN)))

def check(src: str, tgt: str) -> list[str]:
    issues = []
    if numbers(src) != numbers(tgt):
        issues.append(f"numbers differ: {numbers(src)} vs {numbers(tgt)}")
    return issues

Десятичный разделитель в разных локалях может отличаться (в арабском тексте иногда используется ٫), поэтому нормализуйте и его, если он встречается в ваших документах.

Как оценивать качество перевода?

Автоматические метрики показывают, стало ли изменение промпта или модели в среднем лучше или хуже:

Метрика Что измеряет Заметки для арабского
BLEU Совпадение словесных n-грамм с эталоном Сурова к арабскому, где клитики и варианты написания меняют формы слов
chrF Совпадение символьных n-грамм Снисходительнее к арабской морфологии; лучший вариант по умолчанию
COMET Оценка качества нейросетевой моделью Лучше коррелирует с оценками людей; нужен GPU или хостинговый сервис оценки

Из публичных бенчмарков есть FLORES-200, который использует проект No Language Left Behind: по его списку языков, в нём наряду с английским есть современный литературный арабский и египетский, наджди, северо- и южнолевантийский, месопотамский, марокканский, тунисский и таиззи-адени арабский. Но настоящий тест — ваш собственный контент:

  1. Возьмите от 100 до 200 типичных сегментов, для которых уже есть профессиональные переводы.
  2. Переведите их каждой моделью и каждой версией промпта.
  3. Посчитайте chrF (и COMET, если можете), предварительно одинаково нормализовав арабское написание для всех систем.
  4. Попросите носителя языка оценить по 30 сегментов на систему по точности и естественности, не зная, какая система их выдала.
  5. Отдельно считайте срабатывания проверок на опасные ошибки, описанных выше.

Какую модель использовать и сколько это будет стоить?

BroadNet сообщает, что в её тестах Qwen3.8 27B точно переводила между арабским и английским, писала беглый арабский и понимала диалекты Залива и Египта. Поэтому на BroadNet Inference она естественный первый кандидат. Стоит протестировать и DeepSeek V4.1 Flash: её выходные токены дешевле, и именно она доступна на безлимитных тарифах с фиксированной ценой. Сравнение DeepSeek V4.1 Flash и Qwen3.8 27B ставит их рядом.

За 1 млн токенов:

Модель Вход Выход
Qwen3.8 27B $0.175 $2.17
DeepSeek V4.1 Flash $0.175 $0.52
GLM 5.3 $0.78 $3.46

Перевод примерно такой же длины, как вход, а все три модели рассуждают перед ответом, поэтому счёт обычно определяют выходные токены. К тому же арабскому, как правило, нужно больше токенов на слово, чем английскому; см. токены на слово в арабском и английском. Вставьте образец в бесплатный счётчик токенов для арабского, сверьтесь с usage реального запроса и спрогнозируйте месячные расходы в калькуляторе стоимости LLM API. Для большого разового проекта локализации на DeepSeek V4.1 Flash недельный тариф за $15 полностью убирает счётчик токенов.

Можно ли отправлять в API договоры и тикеты?

Договоры, медицинские письма и обращения в поддержку часто содержат персональные данные. BroadNet Inference не хранит промпты и ответы после запроса; см. нулевое хранение данных. Убедитесь, что ваша память переводов и логи следуют тем же правилам.

Вопросы и ответы

LLM переводит арабский лучше, чем специализированный API перевода?

На коротком типовом тексте разница может быть небольшой. LLM выигрывают, когда нужен контроль над тоном, терминами глоссария, форматированием или диалектным вводом, потому что в промпте можно точно сказать, чего вы хотите.

Может ли модель перевести диалектный арабский на английский?

Часто да, потому что перевод зависит от понимания, а диалекты модели понимают лучше, чем пишут на них. BroadNet сообщает, что в её тестах Qwen3.8 27B понимала диалекты Залива и Египта. Проверьте выборку с носителями языка.

Можно ли переводить юридические документы машинным переводом?

Используйте LLM для черновика и для понимания текста, но всё, что имеет юридическую силу, должен проверить квалифицированный переводчик. Во многих юрисдикциях для официальных документов к тому же требуется заверенный перевод, выполненный человеком.

Почему мой арабский перевод занимает больше токенов, чем английский?

Токенизаторы часто делят арабский на больше токенов на слово, чем английский. Вставьте образец в счётчик токенов, а затем сверьтесь с usage.prompt_tokens и usage.completion_tokens реального запроса.

Какую метрику использовать для оценки машинного перевода арабского?

По умолчанию берите chrF: символьные n-граммы лучше, чем BLEU, справляются с арабскими клитиками и вариантами написания. Добавьте COMET, если можете его запустить, и попросите носителей вслепую оценить 30 или больше сегментов на каждую систему.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity