BroadRouter

Перевод арабского аудио в английский текст по API: рабочий пайплайн

Команда BroadNet Inference · 8 мин чтения · Опубликовано · Обновлено

Делайте это в два шага. Расшифруйте арабское аудио через API распознавания речи с параметром language=ar, затем переведите расшифровку LLM, которой велено сохранять имена и числа. Длинные файлы сначала нарежьте, числа проверяйте в коде, а небольшую выборку оцените по chrF, чтобы увидеть, сколько качества отнимает шаг распознавания.

Большинство страниц, которые выдаются по запросу «перевести арабское аудио на английский», — это веб-инструменты в духе «загрузил — скачал». Для одного файла они подходят. Если перевод нужен внутри вашего продукта (звонки в поддержку, интервью, голосовые сообщения, лекции), понадобятся два вызова API и несколько проверок вокруг них. В этой статье мы строим такой пайплайн на одном OpenAI-совместимом ключе, тестируем его и показываем, как измерить, достаточно ли он хорош.

Если нужно перевести уже имеющийся арабский текст, см. статью о переводе с арабского на английский с помощью LLM. Если из записи встречи нужен протокол, а не полный перевод, см. статью о протоколах арабских встреч по записям.

Один вызов или два?

Получить английский текст из арабской речи можно двумя способами:

Подход Как работает Подходит для
Перевод речи (один шаг) Один запрос; сервис возвращает английский Живого аудио, субтитров, самого простого кода
Расшифровка, затем перевод (два шага) Вызов распознавания речи возвращает арабский текст; LLM его переводит Файлов, когда нужен и арабский, глоссариев и проверок

Самый известный одношаговый эндпоинт для файлов меняется. В руководстве OpenAI по распознаванию речи сказано, что /v1/audio/translations “uses whisper-1 to translate a completed audio recording into English” (перевод: «использует whisper-1, чтобы перевести готовую аудиозапись на английский»). На странице устаревших функций, проверенной 2026-11-15, указаны дата уведомления 26 августа 2026 г. и дата отключения 26 февраля 2027 г. Указанная замена — /v1/realtime/translations, а это API реального времени, а не загрузка файлов. Если ваш код вызывает старый эндпоинт, переделывать его придётся в любом случае.

Один из актуальных одношаговых вариантов — Soniox: на его странице перевода с арабского на английский показан запрос по WebSocket с блоком translation, где source — ar, а target — en. Такой потоковый продукт лучше всего подходит для живого аудио.

Для файлов у двухшагового пайплайна три практических преимущества:

  1. Арабская расшифровка остаётся у вас. По ней можно искать, показывать её рядом с английским и позже перевести заново моделью получше, не платя повторно за расшифровку.
  2. Перевод под вашим контролем. Вы выбираете модель, даёте ей глоссарий имён и продуктовых терминов и проверяете её вывод в коде.
  3. Видно, откуда берутся ошибки. Неверное английское предложение — это либо ошибка распознавания, либо ошибка перевода. Имея расшифровку, вы понимаете, какая именно.

Цена — второй запрос и больше кода. Вся остальная статья — этот код.

Как выглядит пайплайн?

recording (.m4a, .mp4, .ogg, .wav)
  → ffmpeg: 16 kHz mono WAV, parts of 10 minutes or less
  → transcribe each part (language=ar)        → Arabic text
  → translate each part, with glossary and the end of the previous part as context
  → check numbers and empty or cut-off replies → English text

Шаг 1: как подготовить и нарезать аудио?

Эндпоинт расшифровки BroadNet принимает WAV (audio/wav) или MP3 (audio/mpeg) размером до 26 214 400 байт на файл. Телефонные записи (.m4a), голосовые сообщения WhatsApp (.ogg) и видео всё равно нужно конвертировать, поэтому меняйте частоту дискретизации и нарезайте в том же шаге ffmpeg:

ffmpeg -i interview.m4a -ar 16000 -ac 1 -c:a pcm_s16le \
  -f segment -segment_time 600 chunks/part_%03d.wav

16-битное аудио 16 кГц моно — это 32 000 байт в секунду, поэтому 10-минутная часть весит около 19,2 МБ, меньше лимита. Мы запустили это на 25-минутном тестовом файле: получились две части по 19 200 162 и 19 200 194 байта и 5-минутная часть на 9 599 878 байт.

Нарезка фиксированной длины может разрезать слово. Для реальной речи режьте по паузам: в статье о расшифровке длинных аудиофайлов есть нарезчик по тишине, а инструмент нарезки аудио составит команду ffmpeg за вас. Что такое частота дискретизации и почему для речи хватает 16 кГц, объяснено в глоссарии.

Шаги 2 и 3: как расшифровать и перевести?

Скрипт ниже отправляет каждую часть в арабскую модель расшифровки, затем в чат-модель с промптом для перевода. Он работает с OpenAI Python SDK.

import os, re, glob
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

GLOSSARY = {"شركة النخيل": "Al Nakheel Company", "مازن": "Mazen"}  # your fixed terms
SYSTEM = """You translate transcripts of spoken Arabic into clear English.
The Arabic comes from speech recognition: it may be dialect, have no punctuation,
mix in English words, and contain recognition errors.
Rules:
- Translate the meaning faithfully. Do not summarise, add or drop content.
- Keep every number, date, amount and name. Write numbers as digits.
- Use the glossary spellings exactly.
- Keep English words that the speaker used as they are.
- If a phrase makes no sense, translate it literally and add [unclear] after it.
- Reply with the English translation only."""

def glossary_block(text: str) -> str:
    hits = [f"{ar} = {en}" for ar, en in GLOSSARY.items() if ar in text]
    return "Glossary:\n" + "\n".join(hits) + "\n\n" if hits else ""

def transcribe(path: str) -> str:
    with open(path, "rb") as audio:
        return client.audio.transcriptions.create(
            model="broadnet/cohere-transcribe-arabic", file=audio, language="ar").text

def translate(arabic: str, previous: str = "") -> str:
    context = f"Previous part, for context only, do not translate:\n{previous}\n\n" if previous else ""
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b", max_tokens=4000, reasoning_effort="low",
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": glossary_block(arabic) + context + "Translate:\n" + arabic}])
    choice = r.choices[0]
    if choice.finish_reason == "length" or not choice.message.content:
        raise RuntimeError("cut off: raise max_tokens or send a shorter part")
    return choice.message.content.strip()

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def missing_numbers(arabic: str, english: str) -> list[str]:
    nums = re.findall(r"\d+", arabic.translate(DIGITS))
    return [x for x in nums if x not in re.findall(r"\d+", english)]

previous = ""
for chunk in sorted(glob.glob("chunks/part_*.wav")):
    arabic = transcribe(chunk)
    english = translate(arabic, previous)
    print(f"--- {chunk}\nAR: {arabic}\nEN: {english}")
    if gaps := missing_numbers(arabic, english):
        print(f"CHECK: numbers {gaps} missing from the translation")
    previous = arabic[-500:]

Зачем нужна каждая часть:

  • language="ar". Документация BroadNet велит всегда передавать language в запросе на расшифровку. Подробно запрос разобран в руководстве по распознаванию арабской речи.
  • Промпт сообщает, откуда текст. В расшифровке нет пунктуации, она может быть на диалекте и содержать ошибки распознавания. Если сказать об этом модели, она не будет считать странные фразы намеренными, а метка [unclear] даёт проверяющим, что искать.
  • Английские слова остаются. Арабоязычные собеседники часто переходят на английский посреди фразы (“الـ deadline”, “فريق الـ QA”). Это переключение кодов, и модель должна оставлять такие слова как есть, а не переводить их туда-обратно.
  • Глоссарий для каждой части. Отправляются только те записи глоссария, которые встречаются в части, — так промпты остаются короткими. Сопоставление точное, поэтому если написание в расшифровках гуляет (أ против ا, ة против ه), сначала нормализуйте обе стороны; обычные правила показывает нормализатор арабского текста.
  • Предыдущая часть как контекст. Последние 500 символов предыдущей арабской части помогают с местоимениями и предложениями, разрезанными на границе частей. Промпт велит её не переводить, поэтому она не появляется дважды.
  • max_tokens=4000 и reasoning_effort="low". В документации BroadNet сказано, что DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом и рассуждения входят в max_tokens. При маленьком лимите ответ может оказаться пустым; см. руководство о токенах рассуждений и пустых ответах. При пустом или обрезанном ответе код выбрасывает ошибку, а не сохраняет половину перевода.
  • Проверка чисел. Именно в числах неверный перевод наносит больше всего вреда. Проверка переводит арабско-индийские цифры (٠-٩) и персидские цифры (۰-۹) в 0-9 и убеждается, что каждое число есть в английском тексте. Числа, произнесённые словами (“خمسة عشر”), она не поймает, так что всё важное по-прежнему читает человек.

Что показал тест?

Мы прогнали скрипт на локальном mock-сервере, реализующем оба эндпоинта (без реального вызова API). Три части 25-минутного тестового файла отправлялись с model=broadnet/cohere-transcribe-arabic и language=ar, и каждый запрос к чату нёс строки глоссария для своей части и предыдущую арабскую часть как контекст. Третий перевод mock-сервера намеренно терял число, и скрипт вывел:

--- chunks/part_002.wav
AR: اتفقنا مع شركة النخيل على تسليم ٢٤٠ وحدة قبل نهاية الشهر
EN: We agreed with Al Nakheel to deliver the units before month end.
CHECK: numbers ['240'] missing from the translation

Арабские предложения и компания выдуманы для теста. Прогон показывает, что код работает, а не насколько хорошо переводит какая-либо модель; для этого используйте шаг оценки ниже.

Как ошибки распознавания влияют на перевод?

Они проходят насквозь. Если в расшифровке ٢١٤, а говорящий сказал ٢٤٠, перевод добросовестно напишет 214. Если диалектное слово распознано как похожее по звучанию литературное, перевод будет гладким и неверным. Гладкий английский текст делает такие ошибки малозаметными, и это главный риск любой системы перевода речи.

Можно измерить, какая доля ошибок приходится на каждый шаг. Соберите 30 и более клипов и для каждого получите:

  1. арабскую расшифровку, сделанную человеком;
  2. английский перевод, сделанный человеком (эталон).

Затем переведите своим пайплайном и человеческую расшифровку, и расшифровку ASR и оцените обе относительно эталона. chrF, метрика по символьным n-граммам, лучше BLEU справляется с именами и формами слов и обычно используется по умолчанию для пары арабский–английский; SacreBLEU считает обе:

from sacrebleu.metrics import BLEU, CHRF

# One English reference per clip, written by a human translator.
refs = ["We agreed with Al Nakheel Company to deliver 240 units before the end of the month.",
        "The deadline is December 15, and Mazen is following up with the QA team."]
# Your pipeline's English, from the human Arabic transcript (MT only)...
from_gold = ["We agreed with Al Nakheel Company to deliver 240 units before the end of the month.",
             "The deadline is 15 December, and Mazen is following up with the QA team."]
# ...and from the ASR transcript (the full pipeline).
from_asr = ["We agreed with Al Nakheel Company to deliver 214 units before the end of the month.",
            "The deadline is 15 December, and Mazen is following up with the key team."]

chrf, bleu = CHRF(), BLEU()
for name, hyp in [("MT on human transcript", from_gold), ("ASR + MT", from_asr)]:
    print(f"{name:24} chrF {chrf.corpus_score(hyp, [refs]).score:5.1f}   BLEU {bleu.corpus_score(hyp, [refs]).score:5.1f}")

На этих двух игрушечных предложениях (SacreBLEU 2.6.0) скрипт вывел chrF 94,6 и BLEU 89,2 для пути с человеческой расшифровкой и chrF 87,1 и BLEU 71,7 для полного пайплайна. Два игрушечных предложения ничего не доказывают о модели. На ваших клипах большой разрыв означает, что нужно улучшать распознавание: качество аудио, тестовый набор по диалектам, как в статье о распознавании арабских диалектов, или другого провайдера. Маленький разрыв при общих низких оценках означает, что доработки требует шаг перевода: лучший промпт, глоссарий или другая модель. Чтобы оценить отдельно шаг расшифровки, используйте долю ошибок в словах.

Автоматические оценки ранжируют системы, но не утверждают перевод. Пусть двуязычный проверяющий прочитает выборку, особенно числа, имена и отрицания.

Какие модели использовать?

Шаг Модель BroadNet Цена Примечания
Расшифровка BroadNet Transcribe Arabic $0.0042 за минуту ($0.25 за час) Только арабский; работает на стартовом кредите $5
Перевод Qwen3.8 27B $0.175 за вход, $2.17 за выход на 1 млн токенов Модель с рассуждениями; контекст 262 144 токена; нужно пополнение
Перевод Gemma 4 VL 26B $0.10 за вход, $0.22 за выход на 1 млн токенов На стартовом кредите; контекст 32 768 токенов, обычно хватает для 10-минутной части; проверьте выборку в счётчике токенов. Уберите reasoning_effort: BroadNet документирует его только для моделей с рассуждениями
Перевод DeepSeek V4.1 Flash $0.175 за вход, $0.52 за выход на 1 млн токенов или сессия по фиксированной цене Модель с рассуждениями; размещена у партнёра; нужно пополнение или тариф

Прогоните скрипт оценки на одних и тех же клипах с каждой моделью перевода и выбирайте по оценкам и заметкам проверяющего, а не по нашей таблице. Более широкие компромиссы разобраны в статье о выборе LLM для арабского.

Сколько стоит час аудио?

Есть две составляющие:

  • Расшифровка оплачивается за минуту аудио: $0.25 за час в BroadNet Transcribe Arabic.
  • Перевод оплачивается за токены: prompt_tokens × input price + completion_tokens × output price, делённое на 1 000 000. Промпт включает системный промпт, строки глоссария, контекст предыдущей части и расшифровку. Ответ включает английский текст и, у моделей с рассуждениями, токены рассуждений.

Единой цифры стоимости перевода за час мы не публикуем: она зависит от темпа речи, диалекта и того, сколько рассуждает модель. Измерьте её: прогоните один типичный час, сложите usage.prompt_tokens и usage.completion_tokens из ответов и введите их в калькулятор стоимости LLM API. Пока аудио нет, можно вставить пример расшифровки в счётчик арабских токенов; арабский обычно занимает больше токенов на слово, чем английский, как показывает статья о числе токенов на слово в арабском и английском. Аудиочасть посчитает калькулятор стоимости распознавания речи.

Для большого бэклога сессия DeepSeek V4.1 Flash по фиксированной цене убирает счётчик токенов на шаге перевода: $1 в час, $15 в неделю или $60 в месяц за сессию. Одна сессия выполняет один запрос за раз, поэтому параллельным воркерам нужно больше сессий. Расшифровка по-прежнему оплачивается поминутно.

Когда этот пайплайн — неверный выбор?

  • Живое аудио. Звонкам, субтитрам в реальном времени и голосовым агентам нужны потоковые результаты за секунды. Потоковый API перевода речи или эндпоинт реального времени подходят лучше загрузки файлов.
  • Субтитры. Ответ расшифровки BroadNet содержит только текст, без временных меток. Статья об арабских субтитрах из API, возвращающего только текст, показывает, как далеко можно зайти со смещениями фрагментов; для разметки по словам берите провайдера, который возвращает временные метки.
  • Языки, которые BroadNet не расшифровывает. Арабская модель работает с арабским. Для других исходных языков сначала проверьте список из 14 языков у многоязычной модели.
  • Юридические или медицинские документы. Используйте пайплайн для черновика, а для официального документа — переводчика-человека.

Место BroadNet Inference

BroadRouter — собственный сайт BroadNet. BroadNet Inference предлагает оба шага этого пайплайна по одному OpenAI-совместимому ключу: арабскую расшифровку на /v1/audio/transcriptions и перевод на /v1/chat/completions. Одношагового эндпоинта перевода речи и потоковой расшифровки у неё нет, поэтому для живого аудио используйте другого провайдера. В её политике конфиденциальности сказано, что содержимое инференса, включая аудио, расшифровки и ответы, не хранится; необходимые метаданные аккаунта, биллинга и безопасности хранятся. Начните со страницы арабской расшифровки или справочника API и протестируйте на своих записях, прежде чем полагаться на результат.

Вопросы и ответы

Можно ли перевести арабское аудио на английский одним вызовом API?

Да, через API перевода речи вроде Soniox, где к запросу распознавания добавляется настройка перевода. Эндпоинт OpenAI /v1/audio/translations делает то же для файлов, но он устарел, отключение назначено на 26 февраля 2027 г. Двухшаговый пайплайн требует двух вызовов, зато даёт ещё и арабскую расшифровку.

Что лучше — прямой перевод речи или расшифровка с последующим переводом?

Проверьте оба варианта на своём аудио. Расшифровка с переводом позволяет выбрать модель перевода, добавить глоссарий, проверить числа и сохранить арабский текст. Одношаговый API проще и обычно лучше для живого аудио. Прежде чем выбирать, оцените 30 и более клипов по chrF относительно переводов, сделанных людьми.

Справляется ли пайплайн с египетским, заливским или левантийским арабским?

Большую часть решает шаг расшифровки, поэтому тестируйте записи на диалектах, с которыми работаете. Затем скажите модели перевода, что расшифровка может быть на диалекте и содержать английские слова. Главный источник ошибок — диалектные слова, которые модель распознавания встречала редко.

Как перевести арабский аудиофайл больше 25 МБ?

Конвертируйте его в WAV 16 кГц моно и нарежьте ffmpeg на части не длиннее 10 минут; каждая часть — около 19,2 МБ. Расшифруйте каждую часть, затем переводите части по порядку, передавая конец предыдущей части как контекст.

Можно ли так получить английские субтитры с таймкодами?

Напрямую от BroadNet — нет: её ответ на расшифровку содержит только текст, без временных меток. Субтитры можно разметить по смещениям фрагментов, как в нашей статье об арабских субтитрах, или взять провайдера, который возвращает временные метки слов или сегментов.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity