BroadRouter
Начать

Диаризация дикторов (speaker diarization)

Обновлено

Диаризация дикторов — это задача разбиения аудиозаписи на сегменты по говорящим, то есть ответ на вопрос «кто и когда говорил». Каждый отрезок речи получает анонимную метку диктора, например SPEAKER_00, и обычно её совмещают с расшифровкой, чтобы показать, кто произнёс каждую реплику.

Также называют: диаризация, диаризация дикторов, диаризация спикеров, разметка дикторов, разделение по спикерам, кто когда говорил, speaker diarization, speaker diarisation, speaker labels, who spoke when, speaker separation, speaker segmentation

Диаризация превращает сплошной блок расшифровки в диалог: оператор, затем клиент, затем снова оператор.

Как это работает

Конвейер диаризации обычно состоит из трёх этапов:

  1. Поиск речи. Детектор голосовой активности (VAD) отмечает, где кто-либо говорит.
  2. Эмбеддинги коротких окон. Модель эмбеддингов дикторов превращает каждый отрезок в вектор, который отражает голос.
  3. Кластеризация. Отрезки с похожими векторами получают одну метку, а перекрывающаяся речь обрабатывается там, где модель это поддерживает.

Открытый конвейер pyannote speaker-diarization-3.1 на Hugging Face принимает моноаудио с частотой 16 кГц (стерео он сводит в моно, а другие частоты передискретизирует) и пишет результаты в RTTM — текстовый формат, где каждая реплика диктора занимает одну строку. Строка RTTM содержит файл, канал, время начала, длительность и метку диктора:

SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>

Карточка модели приводит долю ошибок диаризации (DER) по бенчмаркам: от 7,8% на REPERE до 50,0% на AVA-AVD, а на VoxConverse — 11,3%. Разброс показывает, насколько результат зависит от аудио: совещания, телепередачи и телефонные звонки ведут себя по-разному.

Некоторые облачные API делают это за вас. Руководство OpenAI по распознаванию речи описывает модель диаризации gpt-4o-transcribe-diarize с ответом diarized_json, сегменты которого содержат поля speaker, start и end, а также необязательные эталонные фрагменты длиной от 2 до 10 секунд для четырёх известных дикторов максимум. OpenAI помечает эту модель как устаревшую, с отключением 26 февраля 2027 года, и её руководство (дата обращения 2026-11-15) не описывает метки дикторов ни для одной другой модели.

Почему это важно

  • Колл-центры и интервью. Контролю качества, комплаенсу и резюме разговоров нужно знать, кто что сказал.
  • Дальнейшая работа с LLM. Промпт для резюме с репликами «Оператор:» и «Клиент:» даёт лучшие ответы, чем сплошная стена текста.
  • Стоимость. Диаризация — это дополнительные вычисления, которые в зависимости от провайдера тарифицируются отдельно или входят в цену. В индексе цен на API распознавания речи отмечено, какие провайдеры берут за неё доплату.

В BroadNet Inference

В документации BroadNet диаризация не указана. Эндпоинт транскрибации возвращает только {"text": "..."}, без меток дикторов и временных меток. Практичный вариант — запустить локально открытый диаризатор, например pyannote, нарезать аудио по репликам дикторов с помощью ffmpeg и отправить каждый фрагмент в BroadNet Transcribe Arabic или BroadNet Transcribe с заданным language. Если собеседники записаны на разных стереоканалах, просто разделите каналы: модель для этого вообще не нужна. Общий процесс описан в статье о транскрибации записей колл-центра.

Вопросы и ответы

Сообщает ли диаризация имя говорящего?

Нет. Она возвращает анонимные метки вроде SPEAKER_00 и SPEAKER_01. Некоторые API, например gpt-4o-transcribe-diarize от OpenAI (устаревшая, отключается 26 февраля 2027 года), могут сопоставить до четырёх дикторов с короткими эталонными фрагментами, которые вы передаёте.

Есть ли диаризация в API транскрибации BroadNet?

В документации BroadNet диаризация не указана. Эндпоинт возвращает расшифровку в виде {"text": ...}, поэтому, если вам нужны реплики по дикторам, запускайте отдельную модель диаризации.

Как измеряют точность диаризации?

Долей ошибок диаризации (DER): складывают время ложных срабатываний, пропущенной речи и перепутанных дикторов и делят на общее время речи в эталонной разметке. Чем ниже, тем лучше.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity