Диаризация превращает сплошной блок расшифровки в диалог: оператор, затем клиент, затем снова оператор.
Как это работает
Конвейер диаризации обычно состоит из трёх этапов:
- Поиск речи. Детектор голосовой активности (VAD) отмечает, где кто-либо говорит.
- Эмбеддинги коротких окон. Модель эмбеддингов дикторов превращает каждый отрезок в вектор, который отражает голос.
- Кластеризация. Отрезки с похожими векторами получают одну метку, а перекрывающаяся речь обрабатывается там, где модель это поддерживает.
Открытый конвейер pyannote speaker-diarization-3.1 на Hugging Face принимает моноаудио с частотой 16 кГц (стерео он сводит в моно, а другие частоты передискретизирует) и пишет результаты в RTTM — текстовый формат, где каждая реплика диктора занимает одну строку. Строка RTTM содержит файл, канал, время начала, длительность и метку диктора:
SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>
Карточка модели приводит долю ошибок диаризации (DER) по бенчмаркам: от 7,8% на REPERE до 50,0% на AVA-AVD, а на VoxConverse — 11,3%. Разброс показывает, насколько результат зависит от аудио: совещания, телепередачи и телефонные звонки ведут себя по-разному.
Некоторые облачные API делают это за вас. Руководство OpenAI по распознаванию речи описывает модель диаризации gpt-4o-transcribe-diarize с ответом diarized_json, сегменты которого содержат поля speaker, start и end, а также необязательные эталонные фрагменты длиной от 2 до 10 секунд для четырёх известных дикторов максимум. OpenAI помечает эту модель как устаревшую, с отключением 26 февраля 2027 года, и её руководство (дата обращения 2026-11-15) не описывает метки дикторов ни для одной другой модели.
Почему это важно
- Колл-центры и интервью. Контролю качества, комплаенсу и резюме разговоров нужно знать, кто что сказал.
- Дальнейшая работа с LLM. Промпт для резюме с репликами «Оператор:» и «Клиент:» даёт лучшие ответы, чем сплошная стена текста.
- Стоимость. Диаризация — это дополнительные вычисления, которые в зависимости от провайдера тарифицируются отдельно или входят в цену. В индексе цен на API распознавания речи отмечено, какие провайдеры берут за неё доплату.
В BroadNet Inference
В документации BroadNet диаризация не указана. Эндпоинт транскрибации возвращает только {"text": "..."}, без меток дикторов и временных меток. Практичный вариант — запустить локально открытый диаризатор, например pyannote, нарезать аудио по репликам дикторов с помощью ffmpeg и отправить каждый фрагмент в BroadNet Transcribe Arabic или BroadNet Transcribe с заданным language. Если собеседники записаны на разных стереоканалах, просто разделите каналы: модель для этого вообще не нужна. Общий процесс описан в статье о транскрибации записей колл-центра.