Распознавание речи слушает. Синтез речи отвечает. Голосовым ассистентам нужно и то и другое.
Как это работает
API TTS принимает три вещи: текст, голос и аудиоформат. Так выглядит пример на Python из руководства OpenAI:
from openai import OpenAI
client = OpenAI()
with client.audio.speech.with_streaming_response.create(
model="gpt-4o-mini-tts",
voice="coral",
input="Today is a wonderful day to build something people love!",
instructions="Speak in a cheerful and positive tone.",
) as response:
response.stream_to_file("speech.mp3")
Руководство описывает эндпоинт /v1/audio/speech, 13 встроенных голосов и форматы вывода MP3 (по умолчанию), Opus, AAC, FLAC, WAV и PCM, где PCM — сырые 24 кГц 16-битные отсчёты без заголовка. Поддерживается стриминг с chunked transfer encoding, так что воспроизведение может начаться до того, как файл готов, а для самых быстрых ответов рекомендуются WAV или PCM. Там же tts-1, tts-1-hd и gpt-4o-mini-tts помечены как устаревшие с отключением 6 января 2027 г. Прежде чем строить продукт на какой-то модели, проверьте актуальный список.
Многие движки также принимают SSML — XML-разметку W3C для синтеза. Корневой элемент <speak> объявляет version="1.1" и xml:lang. Среди других элементов — <break> для пауз, <say-as> для разметки дат и чисел, <phoneme> для точного произношения (например, в IPA) и <lang> для фразы на другом языке:
<speak version="1.1" xml:lang="en-US">
Pasta should be cooked <lang xml:lang="it">al dente</lang>.
<break/> Enjoy your meal.
</speak>
Почему это важно
- Голосовые продукты — это конвейеры. Голосовой бот — это распознавание речи, затем чат-модель, затем TTS. Каждый шаг добавляет задержку и стоимость, и каждый может быть у своего провайдера.
- Выбор формата. Формат вывода определяет размер и поддержку воспроизведения. Например, WhatsApp воспроизводит голосовые сообщения в Ogg Opus.
- Раскрытие. OpenAI требует сообщать конечным пользователям, что голос TTS сгенерирован ИИ.
В BroadNet Inference
Синтеза речи у BroadNet нет. Её справочник API документирует только POST /v1/chat/completions и POST /v1/audio/transcriptions. Обратное направление есть: BroadNet Transcribe Arabic и BroadNet Transcribe превращают аудио WAV или MP3 в текст по цене $0.0042 и $0.002 за минуту. Голосовых функций в живом режиме или в реальном времени BroadNet тоже не предлагает.
Если ваш продукт должен говорить, объедините транскрибацию и чат BroadNet с отдельным провайдером TTS. Статья текст, речь и зрение показывает, какие задачи закрывает BroadNet и где нужен другой сервис, а статья об архитектуре чат-бота для WhatsApp — голосовую часть конвейера.
Частые ошибки
- Путать TTS и STT. API распознавания речи не генерируют аудио. Смотрите на список эндпоинтов, а не только на слово «speech».
- Считать, что SSML работает везде. Многие API принимают только простой текст или подмножество SSML.