BroadRouter

Как спроектировать многоязычный ИИ-продукт

Команда BroadNet Inference · 7 мин чтения · Опубликовано

Храните две настройки — локаль интерфейса и язык контента — и никогда не выводите одну из другой. Направление задавайте по локали, текст пользователя и модели изолируйте через dir="auto" или bdi, числа и даты форматируйте по локали, цифры при вводе нормализуйте, определение языка считайте подсказкой, а качество и стоимость оценивайте по каждому языку.

ИИ-функция для пользователей на арабском, английском и испанском — это три продукта в одной кодовой базе. Для арабского экран должен зеркально развернуться. В одной строке сообщения смешиваются письменности. Числа и даты меняют вид от региона к региону. Модель может ответить не на том языке, а каждый язык стоит по-разному. Большинство этих проблем вырастает из одной ошибки проектирования: «язык» считают одной настройкой.

В этой статье речь о продукте и интерфейсе. Перевод строк самого приложения (плейсхолдеры, множественное число, ICU-сообщения) разобран в статье о переводе строк приложения на арабский с помощью LLM, формулировки промптов — в статье о промпт-инжиниринге на арабском.

Зачем разделять локаль интерфейса и язык модели?

Потому что они отвечают на разные вопросы. Локаль интерфейса (ar-SA, en-US, es-MX) определяет направление раскладки, язык ваших кнопок и то, как выглядят числа и даты. Язык контента — это язык конкретного сообщения, документа или записи; от него зависит, что вы просите сделать модель.

Они расходятся постоянно. Пользователь из Саудовской Аравии с арабским интерфейсом вставляет английский договор. Испаноязычный пользователь загружает фото арабского счёта. Двуязычный оператор меняет язык посреди разговора (переключение кодов). Если код отправляет «ответь по-арабски», потому что интерфейс арабский, английский договор получит арабское резюме, которого никто не просил.

Поэтому храните оба значения — для каждого пользователя и для каждого сообщения:

  • ui_locale: выбирает пользователь, по умолчанию — язык браузера.
  • answer_language: явный выбор пользователя, если он его сделал, иначе — определённый язык сообщения.
  • Для аудио — audio_language: то, что вы передаёте модели транскрибации. В справочнике API BroadNet сказано всегда передавать language в запросе на транскрибацию, иначе арабская речь может вернуться латиницей.

Как поддержать текст справа налево и смешанные направления?

Три уровня, по рекомендациям W3C:

  1. Направление страницы — из локали. Для арабского задайте dir="rtl" и lang="ar" на элементе html. W3C советует не задавать базовое направление через CSS, а для отступов, полей и выравнивания использовать логические значения (start и end) вместо left и right.
  2. Логический CSS. margin-inline-start вместо margin-left, text-align: start вместо left. MDN описывает логические свойства как управление раскладкой «through logical rather than physical direction» (перевод: «через логическое, а не физическое направление»). Тогда одна таблица стилей обслуживает оба направления.
  3. Изолируйте текст, который писали не вы. У сообщений пользователей, ответов модели, названий товаров и кодов заказов своё направление. Правило W3C: если направление текста, вставляемого во время выполнения, неизвестно, добавьте dir="auto" к оборачивающему элементу или оберните текст в элемент bdi. Без изоляции английский код заказа в конце арабского предложения может перескочить не на ту сторону, а знаки препинания окажутся в странных местах.

Для чат-интерфейса это значит dir="auto" на каждом пузыре сообщения — каждое сообщение берёт направление от своего первого сильного символа — и bdi вокруг имён и кодов внутри ваших собственных строк интерфейса. Там, где разметки нет (push-уведомления, SMS, выгрузки CSV), ту же работу делают изоляты двунаправленного алгоритма Unicode: U+2068 FIRST STRONG ISOLATE перед текстом и U+2069 POP DIRECTIONAL ISOLATE после него.

Ответы модели добавляют ещё один случай — Markdown. Модель, отвечающая по-арабски, может вставить английский код, URL или ячейки таблицы. Блоки кода явно рендерите с dir="ltr", а каждому абзацу и ячейке таблицы задавайте dir="auto".

Чем должны отличаться числа и даты в разных локалях?

Пусть их форматирует платформа, а вы проверяйте, что она на самом деле выдаёт. Мы прогнали Intl.NumberFormat и Intl.DateTimeFormat в Node 24.22.1 (ICU 78.3, CLDR 48) для числа 1234.5 и даты 15 ноября 2026 года:

Локаль Число Дата (длинная) Направление
en-US 1,234.5 November 15, 2026 ltr
ar-SA ١٬٢٣٤٫٥ ١٥ نوفمبر ٢٠٢٦ rtl
ar-SA-u-nu-latn 1,234.5 15 نوفمبر 2026 rtl
ar-AE 1,234.5 15 نوفمبر 2026 rtl
es-ES 1234,5 15 de noviembre de 2026 ltr
es-MX 1,234.5 15 de noviembre de 2026 ltr

Обратите внимание на четыре вещи. Арабские локали расходятся в цифрах: Саудовская Аравия по умолчанию использует арабско-индийские, ОАЭ — западные, а расширение -u-nu-latn (см. numberingSystem в MDN) переключает локаль на западные цифры. Испанский различается по регионам: в Испании десятичный разделитель — запятая, а у четырёхзначного числа нет разделителя тысяч; в Мексике — точка. Названия месяцев в арабском мире тоже разные: ar-MA вывел نونبر для ноября там, где ar-SA вывел نوفمبر. Наконец, браузеры поставляют собственные версии ICU, так что повторите те же проверки в целевых браузерах.

Множественное число подчиняется правилам CLDR: Intl.PluralRules для ar вернул шесть категорий для 0, 1, 2, 3, 11 и 100 (zero, one, two, few, many, other), а для английского и испанского на тех же числах — только one и other. Как это решается в строках, рассказано в статье о строках приложения.

При вводе принимайте обе формы цифр. Пользователь может набрать ١٢٣٤ в поле количества; нормализуйте цифры в ASCII перед разбором — и перед отправкой чисел модели, если ваши промпты их сравнивают.

Можно ли определять язык каждого сообщения?

Отчасти. Отличить арабскую письменность от латиницы легко и надёжно: посчитайте символы из арабского блока Unicode. Чтобы отличить английский от испанского или разобрать очень короткие сообщения, нужна обученная модель. fastText публикует две модели определения языка для 176 языков (lid.176.bin, 126 МБ, и сжатую lid.176.ftz, 917 кБ).

Ниже — небольшой вспомогательный модуль для решений, описанных выше. Детектор намеренно простой, чтобы показать, где простота подводит.

// UI locale and content language are separate values. Never derive one from the other silently.
const RTL = new Set(['ar', 'he', 'fa', 'ur']);

/** Rough script-based guess: enough to pick a direction and a prompt, not a language-ID model. */
export function guessLanguage(text) {
  const arabic = (text.match(/[؀-ۿݐ-ݿ]/g) || []).length;
  const latin = (text.match(/[A-Za-zÀ-ÿ]/g) || []).length;
  if (arabic + latin < 3) return 'und';
  if (arabic / (arabic + latin) > 0.6) return 'ar';
  if (arabic / (arabic + latin) > 0.2) return 'mixed';
  return /[ñ¿¡áéíóú]|\b(el|la|los|las|de|que|por|para|está|dónde)\b/i.test(text) ? 'es' : 'en';
}

/** Wrap user or model text for display inside UI text of either direction (W3C: bdi / dir="auto"). */
export const isolate = (s) => `<bdi>${s.replace(/[&<>"]/g, (c) => ({ '&': '&amp;', '<': '&lt;', '>': '&gt;', '"': '&quot;' })[c])}</bdi>`;

/** Plain-text equivalent for places with no markup (notifications, CSV, SMS): FSI ... PDI. */
export const isolateText = (s) => `⁨${s}⁩`;

export function formatters(uiLocale) {
  return {
    dir: RTL.has(new Intl.Locale(uiLocale).language) ? 'rtl' : 'ltr',
    number: new Intl.NumberFormat(uiLocale),
    date: new Intl.DateTimeFormat(uiLocale, { dateStyle: 'long', timeZone: 'UTC' }),
    plural: new Intl.PluralRules(uiLocale),
  };
}

/** Normalise digits a user typed before parsing: Arabic-Indic and Persian to ASCII. */
export const toAsciiDigits = (s) =>
  s.replace(/[٠-٩]/g, (d) => d.charCodeAt(0) - 0x0660).replace(/[۰-۹]/g, (d) => d.charCodeAt(0) - 0x06F0);

/** System prompt: the answer language comes from the content, or the user's explicit choice, not the UI. */
export function systemPrompt({ answerLanguage }) {
  const name = { ar: 'Arabic', en: 'English', es: 'Spanish' }[answerLanguage] ?? 'the language of the user\'s message';
  return `Answer in ${name}. Keep product names, code, URLs and numbers exactly as written.`;
}

Мы запустили его в Node 24. Он пометил وين طلبي؟ как ar, «¿Dónde está mi pedido?» как es, «Where is my order?» как en, а арабское предложение с кодом ORD-5521 — как ar. «ok» вернулся как und, и промпт корректно откатился к «языку сообщения пользователя». А «ana 3ayez a3raf el order fen» — египетский арабский латиницей (арабизи) — вернулся как es, потому что слово «el» похоже на испанское. Для эвристики это честный результат. Если ваши пользователи пишут на арабизи, распознавайте его явно и считайте арабским, как в статье об обработке арабизи, и дайте пользователям исправлять язык ответа одним нажатием.

Функция для цифр превратила ٢٠٢٦-١١-١٥ в 2026-11-15, а isolate() экранировал HTML перед оборачиванием, так что название компании вроде Acme <Ltd> не сможет внедрить разметку.

Что ещё меняется вместе с языком?

  • Длина текста. Переведённый текст интерфейса часто длиннее. W3C ссылается на рекомендации IBM: английские строки до 10 символов в европейских языках вырастают до 200–300% своей длины, а строки длиннее 70 символов — примерно до 130%. Проектируйте кнопки и подписи с переносом и тестируйте испанскую сборку на узких экранах.
  • Шрифты. Выбирайте семейство шрифтов с согласованным арабским начертанием и проверяйте межстрочный интервал в арабском: огласовкам нужно место сверху и снизу.
  • Поиск и сопоставление. Арабский текст перед сопоставлением нужно нормализовать (огласовки, формы алифа, татвиль). Нормализатор арабского текста показывает каждое правило.
  • Речь. Модель транскрибации выбирайте по языку аудио, а не интерфейса. У BroadNet есть одна арабская модель и одна модель на 14 языков, включая английский, испанский и арабский; на странице многоязычной модели сказано выбирать для арабского аудио арабскую модель. Варианты сравниваются в статье о многоязычном распознавании речи.
  • Диалект. «Арабский» — не одна цель. Пользователи в Эр-Рияде, Каире и Касабланке пишут по-разному; что тестировать, разобрано в статье о диалектах Персидского залива и Египта.

Как оценивать качество и планировать бюджет по языкам?

По отдельности. Один общий балл скрывает слабый язык, а один общий бюджет — дорогой.

Соберите небольшой оценочный набор для каждого языка из реальных сообщений, а ожидаемые ответы пусть размечают носители языка. Проверяйте, что ответ дан на запрошенном языке, что имена, числа и коды дошли без изменений и что качество держится для каждого диалекта, который вы обслуживаете. Прогоняйте тот же набор при смене модели или промпта; методика описана в статье об оценке LLM перед переходом.

Что касается стоимости, число токенов зависит от языка и токенизатора. В измеренном наборе данных BroadRouter одному и тому же тексту на литературном арабском требуется от 1.31× (Qwen3.8 27B) до 1.77× (GLM 5.3) от числа токенов его английского перевода. Реальная стоимость по языкам переводит эти подсчёты в деньги для каждой модели, включая испанский, а счётчик арабских токенов измеряет ваш собственный текст. Записывайте токены каждого запроса вместе с языком контента — и вы увидите стоимость по языкам для каждого пользователя, а не только за месяц.

И наконец, перед запуском получите вычитку носителей. И машинный перевод, и ответы модели дают арабский и испанский текст, который грамматически верен, но не подходит вашей аудитории. Рецензент, который пользуется продуктом на своём языке, поймает то, чего не поймает ни один тест.

Как сюда вписывается BroadNet Inference

BroadRouter — собственный сайт BroadNet. Модели BroadNet Inference вполне подходят для продукта на арабском, английском и испанском: BroadNet сообщает, что тестировала Qwen3.8 27B на арабском, включая понимание диалектов Персидского залива и Египта; Gemma 4 VL 26B работает на стартовом гранте $5; транскрибация покрывает арабский (BroadNet Transcribe Arabic, $0.0042 за минуту) и 14 языков, включая английский и испанский (BroadNet Transcribe, $0.002 за минуту). Содержимое запросов к инференсу не хранится; необходимые метаданные аккаунта, биллинга и безопасности хранятся так, как описано в заявлении BroadNet о конфиденциальности. Всё, что сказано в этой статье о раскладке, направлении, форматировании и определении языка, — задача вашего приложения, каким бы API вы ни пользовались.

Вопросы и ответы

На каком языке должен отвечать ИИ — на языке интерфейса или пользователя?

По умолчанию — на языке сообщения пользователя, с возможностью это переопределить. Локаль интерфейса говорит лишь о том, как раскладывать экран. Пользователь арабского интерфейса, который пишет по-английски, обычно ждёт ответа на английском.

Как показать английский текст внутри арабского пузыря чата?

Задайте каждому элементу сообщения dir="auto", чтобы браузер определял направление по первому сильному символу, а вставленные имена, коды и URL оборачивайте в элемент bdi. В обычном тексте оборачивайте их символами U+2068 FIRST STRONG ISOLATE и U+2069 POP DIRECTIONAL ISOLATE.

Нужно ли показывать арабским пользователям арабско-индийские цифры?

Зависит от региона и ваших пользователей. В нашем тесте на Node 24 по умолчанию ar-SA и ar-EG выводили арабско-индийские цифры, а ar-AE и ar-MA — западные. Выбирайте по локали, дайте настройку и принимайте при вводе обе формы, нормализуя цифры перед разбором.

Как определить язык сообщения в чате?

Чтобы отличить арабскую письменность от латиницы, достаточно посчитать символы из арабского блока Unicode. Чтобы отличить английский от испанского или справиться с короткими и смешанными сообщениями, нужна обученная модель определения языка, например lid.176 от fastText, — и её результат всё равно остаётся подсказкой.

Арабский в LLM API обходится дороже английского?

Часто — в пересчёте на сообщение, потому что многим токенизаторам на то же арабское содержание нужно больше токенов. Соотношение зависит от токенизатора модели. Измерьте его на своём тексте и планируйте бюджет для каждого языка отдельно.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity

Источники