BroadRouter

Транскрибация записей колл-центра: конвейер с поддержкой арабского

Команда BroadNet Inference · 4 мин чтения · Опубликовано

Чтобы транскрибировать записи колл-центра, разделите стереофайлы на каналы оператора и клиента, нарежьте каждый канал на реплики, распознайте каждую реплику с правильным кодом языка и объедините реплики по времени начала. Перед тем как LLM сделает сводку звонка, замаскируйте в расшифровке номера карт и телефонов. Для моно-записей нужна отдельная диаризация.

A support agent with a headset beside a screen showing a call transcript, with the text "Every call becomes insight."
Illustration of an app you could build; not a BroadNet product screenshot.

Колл-центр производит тысячи часов аудио в месяц, и почти ничего из этого никто не слушает. Расшифровки делают звонки доступными для поиска. Сводки делают их пригодными для разбора. В этой статье мы строим конвейер от начала до конца с арабской спецификой: диалекты, смесь арабского и английского и восточноарабские цифры.

Шаги:

  1. Изучить запись: стерео или моно?
  2. Разделить стерео на каналы оператора и клиента.
  3. Нарезать каждый канал на реплики.
  4. Распознать каждую реплику с правильным языком.
  5. Объединить реплики в диалог по времени начала.
  6. Замаскировать ПДн в тексте.
  7. Сделать сводку в LLM по структурированным полям.

Шаг 1: запись стерео или моно?

ffprobe -v error -show_entries stream=channels,sample_rate,duration -of csv=p=0 call.wav
# 2,8000,412.6   -> stereo, 8 kHz telephone audio, 6.9 minutes

Многие системы записи в контакт-центрах хранят оператора в одном канале, а клиента в другом. Руководство AssemblyAI для контакт-центров говорит о том же: с раздельными каналами вы получаете разделение говорящих без диаризации. Проверьте на нескольких звонках, где какая сторона: оператор не всегда в левом канале.

Шаг 2: как разделить стереоканалы с помощью ffmpeg?

ffmpeg -i call.wav -af "pan=mono|c0=c0" -ar 16000 agent.wav
ffmpeg -i call.wav -af "pan=mono|c0=c1" -ar 16000 customer.wav

Фильтр pan оставляет один канал, а -ar 16000 передискретизирует звук в 16 кГц — формат, который документация BroadNet использует для телефонных записей.

Шаг 3: как нарезать каждый канал на реплики?

Это простая форма детекции голосовой активности. Можно отправлять каждый канал целиком, но тогда вы платите за каждую секунду тишины, пока говорит другая сторона, а на стереозвонке это примерно удваивает счёт. К тому же теряется порядок реплик. Нарезка по паузам решает обе проблемы:

import re, subprocess

def speech_turns(wav, noise="-35dB", min_silence=0.6):
    """Return (start, end) seconds of speech, using ffmpeg silencedetect."""
    log = subprocess.run(
        ["ffmpeg", "-i", wav, "-af", f"silencedetect=noise={noise}:d={min_silence}", "-f", "null", "-"],
        capture_output=True, text=True).stderr
    dur = float(subprocess.run(
        ["ffprobe", "-v", "error", "-show_entries", "format=duration", "-of", "csv=p=0", wav],
        capture_output=True, text=True).stdout)
    starts = [float(x) for x in re.findall(r"silence_start: ([\d.]+)", log)]
    ends = [float(x) for x in re.findall(r"silence_end: ([\d.]+)", log)]
    turns, cursor = [], 0.0
    for s, e in zip(starts, ends + [dur]):
        if s - cursor > 0.4:
            turns.append((cursor, s))
        cursor = e
    if dur - cursor > 0.4:
        turns.append((cursor, dur))
    return turns

Подберите noise на своих записях: для зашумлённых линий нужен более высокий порог, например -30dB.

Шаг 4: как распознать каждую реплику?

import os, tempfile
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def transcribe_turns(wav, speaker, language="ar"):
    out = []
    for start, end in speech_turns(wav):
        with tempfile.NamedTemporaryFile(suffix=".wav") as seg:
            subprocess.run(["ffmpeg", "-y", "-loglevel", "error", "-i", wav,
                            "-ss", f"{start:.2f}", "-to", f"{end:.2f}", seg.name], check=True)
            with open(seg.name, "rb") as audio:
                text = client.audio.transcriptions.create(
                    model="broadnet/cohere-transcribe-arabic", file=audio, language=language).text
        out.append({"start": start, "speaker": speaker, "text": text.strip()})
    return out

Всегда передавайте language. Без него арабский может вернуться латиницей. Для англоязычных очередей используйте broadnet/cohere-transcribe с language="en". Держите небольшой пул воркеров: ключи с оплатой по факту допускают 4 одновременных запросов и 30 в минуту, а руководство по ошибкам и повторам показывает, как отступать при 429.

Один файл должен быть меньше 25 МиБ. Длинный монолог в WAV 16 кГц моно (около 32 КБ в секунду) превышает этот лимит примерно на 13-й минуте; разрежьте его с -f segment -segment_time 600.

Шаг 5: как объединить реплики в диалог?

turns = transcribe_turns("agent.wav", "Agent") + transcribe_turns("customer.wav", "Customer")
dialogue = "\n".join(f'{t["speaker"]}: {t["text"]}' for t in sorted(turns, key=lambda t: t["start"]))

Одновременная речь выглядит как две реплики с близким временем начала — именно этого и ожидает человек, который проверяет расшифровку.

А что с моно-записями?

Без каналов нужна диаризация говорящих: определение, кто и когда говорил. Варианты:

Вариант Как Компромисс
Диаризация с открытым исходным кодом Запустить pyannote.audio на своих серверах, затем распознать сегмент каждого говорящего Модель хостите вы; аудио остаётся у вас
Провайдер со встроенной диаризацией Несколько STT API возвращают метки говорящих; стоимость доплат — в сравнении цен Ещё один поставщик на пути данных
Разметка ролей через LLM Распознать реплики, затем попросить LLM пометить каждую как Agent или Customer по контексту Дёшево; ошибается на коротких или неоднозначных репликах
Исправить на источнике Переключить систему записи на двухканальный режим Лучшее решение в долгосрочной перспективе

Диаризации в списке BroadNet нет, так что для моно-аудио сочетайте её с одним из первых трёх вариантов.

Шаг 6: как замаскировать ПДн, включая арабские цифры?

Звонящие диктуют номера карт, IBAN и телефонов. В расшифровках они могут быть записаны западными (0-9) или восточноарабскими цифрами (٠-٩). Сначала нормализуйте, потом маскируйте:

EASTERN = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")

def redact(text):
    text = text.translate(EASTERN)
    text = re.sub(r"\b(?:\d[ -]?){13,19}\b", "[CARD]", text)
    text = re.sub(r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b", "[IBAN]", text)
    text = re.sub(r"\+?\d[\d -]{7,}\d", "[PHONE]", text)
    return text

Числа можно произнести и словами («خمسة أربعة…»), а регулярные выражения их пропустят. Просматривайте выборку расшифровок вручную и добавляйте правила для того, что найдёте. Общий подход описан в статье как отправлять чувствительные данные в LLM API.

Шаг 7: как сделать сводку звонка в LLM?

import json
summary = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Summarise this call centre dialogue. Reply in English JSON with keys: "
                                      "reason, resolution, resolved (true/false), customer_sentiment, follow_up."},
        {"role": "user", "content": redact(dialogue)},
    ],
).choices[0].message.content
print(json.loads(summary))

Qwen3.8 27B поддерживает структурированный вывод; всегда разбирайте и валидируйте ответ (как это сделать). Собственный тест BroadNet также показал, что модель понимает диалекты Залива и египетский. Если ваши дашборды на английском, просите JSON на английском, даже когда звонок на арабском.

Какие проверки качества нужны до аналитики?

Дашборды на плохих расшифровках выглядят так же уверенно, как и на хороших. Добавьте в конвейер такие проверки:

  • Перепутанные каналы. Если на какой-то системе записи или очереди метки оператора и клиента перепутаны, все метрики «оператор сказал» неверны. Проверяйте первую реплику: операторы обычно начинают с приветствия и названия компании.
  • Пустые или крошечные расшифровки. Реплика без текста или звонок короче 20 слов обычно означают тишину, музыку на удержании или битый файл. Помечайте их, а не делайте по ним сводку.
  • Несовпадение языка. Англоязычная очередь, которая вдруг выдаёт арабский текст, или арабский, вернувшийся латиницей, указывают на неверное значение language.
  • Дрейф сводок. Каждую неделю пусть супервайзер сравнивает 20 сводок с полными расшифровками. Отслеживайте, как часто ошибочно поле resolved.

Храните расшифровки по репликам, а не только сводку. Когда сводку оспаривают, реплики — ваше доказательство.

Сколько стоит транскрибация звонков?

С нарезкой по репликам оплачиваемое аудио близко к времени разговора. Для 1000 часов арабской речи:

Где здесь BroadNet Inference

BroadNet закрывает шаги 4 и 7 одним ключом и одним базовым URL: арабский и ещё 13 языков для транскрибации и проверенные на арабском чат-модели для сводки. Аудио, расшифровки и промпты не хранятся (нулевое хранение данных), а BroadNet сообщает, что её арабская модель занимает позицию № 2 из 37 (данные за сентябрь 2026 г.; в живом рейтинге на 15 ноября 2026 г. — № 4 из 39) в Open Universal Arabic ASR Leaderboard.

Диаризацию, распознавание в реальном времени и маскирование BroadNet за вас не делает — они остаются в вашем конвейере. Прежде чем принимать решение, проверьте свои диалекты по методу из статьи распознавание речи на арабских диалектах.

Вопросы и ответы

Как разделить оператора и клиента в записи звонка?

Если запись стерео, оператор и клиент обычно в разных каналах. Разделите их с помощью ffmpeg и распознавайте каждый канал отдельно. Если запись моно, нужна диаризация говорящих.

Придётся ли платить дважды, если распознавать оба стереоканала?

Если отправлять каждый канал целиком — да, потому что каждый канал длится столько же, сколько звонок. Если нарезать каждый канал на реплики и отправлять только их, оплачиваемое аудио приближается к реальному времени разговора.

Можно ли транскрибировать арабские звонки с вкраплениями английских слов?

Да, но проверьте. Операторы из стран Залива и Леванта часто переходят на английский для названий продуктов и чисел. Посмотрите, как эти слова распознаются на 20 реальных звонках, прежде чем полагаться на поиск по ключевым словам или аналитику.

Что маскировать — аудио или текст?

Маскируйте текстовую расшифровку до того, как она попадёт в LLM, аналитику или поиск. Если вы храните аудио, в нём по-прежнему есть произнесённые номера, так что ограничьте доступ к аудио и задайте срок его хранения.

Какой длины может быть один аудиофайл?

BroadNet принимает WAV или MP3 до 26 214 400 байт (25 МиБ) на запрос. WAV 16 кГц моно — это около 32 КБ в секунду, так что держите сегменты короче примерно 13 минут или используйте MP3.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity