BroadRouter

Запись аудио в браузере и отправка в API распознавания речи

Команда BroadNet Inference · 6 мин чтения · Опубликовано

Записывайте через getUserMedia и MediaRecorder, выбирая формат с помощью isTypeSupported, и отбрасывайте пустые фрагменты. Если API принимает только WAV или MP3, декодируйте запись в браузере и закодируйте WAV 16 кГц моно — или загрузите её на сервер и конвертируйте через ffmpeg. В обоих случаях отправляйте аудио через свой бэкенд, чтобы API-ключ никогда не попал в браузер.

Запись голосового сообщения в веб-приложении — это примерно тридцать строк JavaScript. Проблемы начинаются при отправке файла: браузер записал WebM или MP4, API ждёт другой формат, iPhone возвращает «Thank you» на тихий клип, а скопированный туториал кладёт API-ключ прямо в страницу. В этой статье мы строим весь путь и проверяем каждый его участок: запись, конвертация в WAV, проверка размера и пересылка через небольшой сервер.

Примеры рассчитаны на API, который принимает только WAV или MP3. Таков, например, BroadNet Inference: в его документации указаны WAV (audio/wav) или MP3 (audio/mpeg) до 26 214 400 байт на файл. Если ваш API принимает WebM, пропустите конвертацию и оставьте всё остальное. Руководство OpenAI по распознаванию речи перечисляет flac, mp3, mp4, mpeg, mpga, m4a, ogg, wav и webm, до 25 МБ.

В каком формате записывает браузер?

MediaRecorder записывает в сжатый формат, который выбирает браузер, если вы не попросите другой из поддерживаемых. Спросите через MediaRecorder.isTypeSupported() и возьмите первое совпадение:

Строка типа Типичный браузер
audio/webm;codecs=opus Chrome, Edge, Firefox
audio/mp4 Safari (WebKit документирует MP4 с AAC); в нашем тесте его заявил и Chromium
audio/ogg;codecs=opus Firefox

В headless Chromium 2026-11-15 isTypeSupported вернул true для WebM/Opus и MP4 и false для Ogg/Opus. Считайте таблицу отправной точкой, а не обещанием. MDN отмечает, что true означает лишь принципиальную возможность записать этот тип; запись всё равно может не удаться, если не хватит ресурсов. Всегда читайте recorder.mimeType после создания рекордера и подписывайте загрузку им, а не тем, что вы запрашивали.

Как записать звук с микрофона?

Код определяют два правила браузера. Во-первых, getUserMedia существует только в безопасном контексте: HTTPS, localhost или URL file:. По обычному HTTP с другого хоста navigator.mediaDevices равен undefined, и вызов бросает TypeError вместо запроса разрешения. Во-вторых, доступ должен разрешить пользователь, а отказ вызывает NotAllowedError. Обработайте оба случая сообщением, по которому пользователь поймёт, что делать.

// record.js: record from the microphone, return a 16 kHz mono WAV Blob.
const TYPES = ["audio/webm;codecs=opus", "audio/mp4", "audio/ogg;codecs=opus"];

export async function startRecording() {
  if (!navigator.mediaDevices?.getUserMedia) {
    throw new Error("Microphone access needs HTTPS (or localhost).");
  }
  const stream = await navigator.mediaDevices.getUserMedia({ audio: true });
  const mimeType = TYPES.find((t) => MediaRecorder.isTypeSupported(t));
  const rec = new MediaRecorder(stream, mimeType ? { mimeType } : {});
  const chunks = [];
  rec.ondataavailable = (e) => { if (e.data.size > 0) chunks.push(e.data); };
  rec.start(1000); // a chunk every second, so a crash loses at most one second
  return () => new Promise((resolve) => {
    rec.onstop = () => {
      stream.getTracks().forEach((t) => t.stop()); // turn the mic indicator off
      resolve(new Blob(chunks, { type: rec.mimeType }));
    };
    rec.stop();
  });
}

Три детали в этом коде взяты из реальных баг-репортов:

  • Отбрасывайте пустые фрагменты. В ветке форума OpenAI про MediaRecorder на iPhone один разработчик обнаружил, что на iOS dataavailable срабатывает с пустыми данными, и фильтрация таких фрагментов решила проблему. Другой исправил тот же симптом, запуская запись с timeslice: start(1000).
  • Останавливайте треки. Остановка рекордера не освобождает микрофон. Без getTracks().forEach(t => t.stop()) браузер продолжает показывать индикатор записи.
  • Не измеряйте длительность записи подсчётом фрагментов. MDN предупреждает, что интервалы timeslice неточны и могут растягиваться, когда Safari приостанавливает микрофон или Chrome на Android блокирует экран. Если вы показываете длительность или ограничиваете её, ведите собственный таймер.

Как конвертировать запись в WAV прямо в браузере?

Web Audio API умеет декодировать всё, что записал браузер. Два факта из MDN делают код коротким: decodeAudioData работает только с целым файлом, а не с фрагментами, поэтому декодируйте после stop(); и он передискретизирует декодированный звук в частоту дискретизации своего контекста. Значит, OfflineAudioContext, созданный на 16 000 Гц, сразу вернёт отсчёты 16 кГц без дополнительного кода передискретизации. Его конструктор принимает любую частоту от 3000 до 768 000 Гц.

export async function toWav16k(blob) {
  // decodeAudioData needs the whole file and resamples to the context's rate.
  const ctx = new OfflineAudioContext(1, 1, 16000);
  const audio = await ctx.decodeAudioData(await blob.arrayBuffer());
  return encodeWav(mixDown(audio), 16000);
}

export function mixDown(audio) {
  const out = new Float32Array(audio.length);
  for (let c = 0; c < audio.numberOfChannels; c++) {
    const ch = audio.getChannelData(c);
    for (let i = 0; i < out.length; i++) out[i] += ch[i] / audio.numberOfChannels;
  }
  return out;
}

export function encodeWav(samples, rate) {
  const buf = new ArrayBuffer(44 + samples.length * 2);
  const v = new DataView(buf);
  const str = (o, s) => [...s].forEach((ch, i) => v.setUint8(o + i, ch.charCodeAt(0)));
  str(0, "RIFF"); v.setUint32(4, 36 + samples.length * 2, true); str(8, "WAVE");
  str(12, "fmt "); v.setUint32(16, 16, true); v.setUint16(20, 1, true); // PCM
  v.setUint16(22, 1, true); v.setUint32(24, rate, true);                // mono
  v.setUint32(28, rate * 2, true); v.setUint16(32, 2, true); v.setUint16(34, 16, true);
  str(36, "data"); v.setUint32(40, samples.length * 2, true);
  for (let i = 0; i < samples.length; i++) {
    const s = Math.max(-1, Math.min(1, samples[i]));
    v.setInt16(44 + i * 2, s < 0 ? s * 0x8000 : s * 0x7fff, true);
  }
  return new Blob([buf], { type: "audio/wav" });
}

Почему 16 кГц моно: именно эти параметры использует собственный пример ffmpeg от BroadNet (-ar 16000 -ac 1), они сохраняют речевую полосу и дают втрое меньше байт, чем 48 кГц. Стерео удваивает размер без всякой пользы для одного голоса. Компромиссы разобраны в статье о частоте дискретизации.

Арифметика размера важна, потому что WAV не сжат. 16 000 отсчётов в секунду по 2 байта — это 32 000 байт в секунду. С заголовком в 44 байта лимит BroadNet в 26 214 400 байт вмещает 819 секунд, то есть около 13 минут 39 секунд. Если нужно дольше, останавливайте запись по лимиту или режьте её на сервере, как в статье о транскрибации длинных аудиофайлов. Команды ffmpeg напишет инструмент для нарезки аудио.

Конвертация в браузере расходует процессор и память пользователя, а весь декодированный клип лежит в памяти в виде 32-битных float. Для голосовых сообщений на несколько минут это нормально. Длинные записи лучше загружать в сжатом виде и конвертировать на сервере.

Как конвертировать на сервере?

Отправьте сжатую запись как есть и поручите работу ffmpeg. Кода на странице меньше, загрузка легче, результат тот же:

ffmpeg -i in.webm -ar 16000 -ac 1 out.wav

Сохраняйте загрузку во временный файл, а не передавайте её в ffmpeg через pipe. MP4 может хранить индекс в конце файла, и ffmpeg не всегда способен прочитать такой файл из канала. В руководстве по голосовым сообщениям WhatsApp та же команда применяется к файлам .ogg.

Как не допустить API-ключ в браузер?

Поставьте между страницей и API небольшой эндпоинт. Он принимает запись, при необходимости конвертирует её, проверяет размер, добавляет ключ из переменной окружения и пересылает запрос. В Node 18 и новее fetch, FormData и Blob встроены, так что пакеты не нужны:

// server.mjs: POST /transcribe with the recording as the body. The key stays here.
import http from "node:http";
import { execFile } from "node:child_process";
import { mkdtemp, writeFile, readFile, rm } from "node:fs/promises";
import { tmpdir } from "node:os";
import { join } from "node:path";
import { promisify } from "node:util";

const API = process.env.BROADNET_BASE_URL ?? "https://inference.broadnet.ai/v1";
const KEY = process.env.BROADNET_API_KEY;
const FFMPEG = process.env.FFMPEG ?? "ffmpeg";
const MAX = 26_214_400; // BroadNet's per-file cap in bytes
const run = promisify(execFile);

async function readBody(req, limit) {
  const parts = []; let n = 0;
  for await (const c of req) { n += c.length; if (n > limit) throw Object.assign(new Error("too large"), { code: 413 }); parts.push(c); }
  return Buffer.concat(parts);
}

async function toWav(bytes) {
  // Temp files, not pipes: an MP4 from Safari can keep its index at the end.
  const dir = await mkdtemp(join(tmpdir(), "rec-"));
  try {
    await writeFile(join(dir, "in"), bytes);
    await run(FFMPEG, ["-v", "error", "-i", join(dir, "in"), "-ar", "16000", "-ac", "1", join(dir, "out.wav")]);
    return await readFile(join(dir, "out.wav"));
  } finally { await rm(dir, { recursive: true, force: true }); }
}

http.createServer(async (req, res) => {
  const reply = (code, obj) => { res.writeHead(code, { "content-type": "application/json" }); res.end(JSON.stringify(obj)); };
  if (req.method !== "POST" || req.url !== "/transcribe") return reply(404, { error: "not found" });
  try {
    const type = (req.headers["content-type"] ?? "").split(";")[0];
    let body = await readBody(req, 4 * MAX);
    if (type !== "audio/wav" && type !== "audio/mpeg") {
      try { body = await toWav(body); }
      catch { return reply(400, { error: "Could not read the recording." }); }
    }
    if (body.length > MAX) return reply(413, { error: "Recording too long; split it first." });
    const form = new FormData();
    form.append("model", "broadnet/cohere-transcribe-arabic");
    form.append("language", "ar");
    form.append("file", new Blob([body], { type: type === "audio/mpeg" ? "audio/mpeg" : "audio/wav" }),
      type === "audio/mpeg" ? "audio.mp3" : "audio.wav");
    const r = await fetch(`${API}/audio/transcriptions`, {
      method: "POST", headers: { Authorization: `Bearer ${KEY}` }, body: form,
    });
    const data = await r.json();
    return r.ok ? reply(200, { text: data.text }) : reply(r.status, { error: data });
  } catch (e) {
    return reply(e.code === 413 ? 413 : 500, { error: String(e.message ?? e) });
  }
}).listen(process.env.PORT ?? 8787);

Страница затем отправляет либо WAV, либо исходную запись:

const stop = await startRecording();
// ...later, when the user taps Stop:
const raw = await stop();
const wav = await toWav16k(raw);          // or send `raw` and let the server convert
const r = await fetch("/transcribe", { method: "POST", headers: { "content-type": wav.type }, body: wav });
const { text } = await r.json();

Что стоит сохранить, адаптируя этот код:

  • Всегда передавайте language. Документация BroadNet предупреждает, что иначе арабский текст может вернуться транслитерированным латиницей. Используйте ar с арабской моделью или переключитесь на broadnet/cohere-transcribe и укажите код одного из её 14 языков.
  • Возвращайте обезличенные ошибки. Первая версия нашего тестового прокси пересылала ошибку ffmpeg, в которой был путь к файлу на сервере. Код выше вместо этого возвращает «Could not read the recording.».
  • Добавьте аутентификацию и ограничение частоты запросов до развёртывания. Иначе любой, кто найдёт /transcribe, потратит ваш баланс. Остальное описано в статье о безопасности ключей LLM API, а ключи BroadNet можно ограничить белыми списками IP.
  • Отклоняйте почти тихие клипы. Сообщения на форуме о выдуманных расшифровках «Thank you» или «Bye» касаются тихих или сломанных записей. Проверяйте длительность (байты WAV ÷ 32 000) и, если получится, уровень сигнала до того, как платить за распознавание.

Как мы это тестировали?

Ключ BroadNet не использовался. 2026-11-15 мы прогнали код выше на локальном моке /v1/audio/transcriptions:

  1. Кодировщик в Node. encodeWav на одной секунде тона 440 Гц с двумя обрезанными отсчётами выдал 32 044 байта. Модуль wave в Python прочитал его как 1 канал, 16 000 Гц, 2-байтовые отсчёты, 16 000 кадров, а ffmpeg — как pcm_s16le, 16000 Hz, mono. Обрезанные отсчёты получились равными 32767 и −32768.
  2. Браузерный путь в Chromium. Playwright запустил headless Chromium с виртуальным микрофоном. startRecording записал 3 секунды как audio/webm;codecs=opus (40 563 байта), а toWav16k превратил их в WAV на 96 044 байта: 3,0 секунды, 16 кГц, моно.
  3. Прокси. И WAV, и исходный WebM вернули 200. Мок каждый раз видел авторизацию Bearer, ID арабской модели, language=ar и файл audio/wav 16 кГц моно; WebM ffmpeg сконвертировал на сервере. WAV на 26 214 401 байт получил 413 без обращения к вышестоящему API. Тело, не являющееся аудио, получило 400.
  4. Небезопасный источник. Открытая по LAN-адресу машины через обычный HTTP, страница сообщила isSecureContext false, а startRecording бросил наше сообщение про HTTPS вместо TypeError.

Safari, Firefox и реальную транскрибацию мы не тестировали. Перед выпуском проверьте на настоящем iPhone.

Сколько это стоит?

BroadNet тарифицирует транскрибацию за минуту аудио: $0.0042 для Transcribe Arabic и $0.002 для многоязычной модели. Час арабских голосовых сообщений стоит $0.25. Обе модели доступны на стартовом гранте $5, которого хватает примерно на 1,190 минут арабской речи. Для своих объёмов воспользуйтесь калькулятором стоимости распознавания речи. Провайдеров сравнивает руководство покупателя API распознавания арабской речи.

Где здесь BroadNet Inference

BroadRouter — собственный сайт BroadNet. BroadNet Inference транскрибирует загруженные файлы: WAV или MP3, один запрос на файл, JSON-ответ с текстом. Распознавание в реальном времени или стриминг, временные метки и разметка говорящих в документации не описаны. Если в вашем приложении слова должны появляться, пока пользователь говорит, возьмите провайдера со стриминговым API распознавания речи. Для голосовых сообщений, заметок и форм, где пользователь сначала записывает, а потом отправляет, описанной выше схемы с загрузкой достаточно. Настройка описана в руководстве по API распознавания арабской речи, а поля перечислены в справочнике API. В заявлении о конфиденциальности сказано, что аудио и расшифровки не хранятся.

Вопросы и ответы

Можно ли отправить WebM из MediaRecorder прямо в API распознавания речи?

Только если API принимает WebM. Эндпоинт транскрибации OpenAI перечисляет webm и mp4 среди своих форматов. BroadNet принимает только WAV и MP3, поэтому сначала конвертируйте: в браузере через Web Audio API или на сервере командой ffmpeg -i in.webm -ar 16000 -ac 1 out.wav.

Почему getUserMedia пишет, что navigator.mediaDevices равен undefined?

Страница открыта не в безопасном контексте. По данным MDN, getUserMedia работает только по HTTPS, на localhost или из file-URL. По обычному HTTP с другого хоста navigator.mediaDevices не существует. Отдавайте страницу по HTTPS; для разработки подойдёт localhost.

Запись какой длины в WAV помещается в загрузку на 25 МБ?

WAV 16 кГц моно 16 бит — это 32 000 байт в секунду плюс заголовок в 44 байта. В лимит BroadNet в 26 214 400 байт помещается около 819 секунд, то есть 13 минут 39 секунд. MP3 или более низкая частота дискретизации вмещают больше; более длинное аудио режьте на части.

Почему на iPhone пустая запись превращается в «Thank you» или «Bye»?

Разработчики на форуме OpenAI сообщают о коротких выдуманных фразах на тихих или сломанных записях и связали случаи на iOS с пустыми фрагментами dataavailable; у них помогли фильтрация фрагментов с размером 0 и запуск записи с timeslice. Проверяйте длительность перед загрузкой.

Стоит ли вызывать API транскрибации прямо из браузера?

Нет. Всё, что есть во фронтенд-коде, включая API-ключ, пользователь может прочитать. Отправляйте аудио на собственный эндпоинт: он проверит размер и тип, добавит ключ из переменной окружения и перешлёт запрос дальше.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity

Источники