Колл-центр производит тысячи часов аудио в месяц, и почти ничего из этого никто не слушает. Расшифровки делают звонки доступными для поиска. Сводки делают их пригодными для разбора. В этой статье мы строим конвейер от начала до конца с арабской спецификой: диалекты, смесь арабского и английского и восточноарабские цифры.
Шаги:
- Изучить запись: стерео или моно?
- Разделить стерео на каналы оператора и клиента.
- Нарезать каждый канал на реплики.
- Распознать каждую реплику с правильным языком.
- Объединить реплики в диалог по времени начала.
- Замаскировать ПДн в тексте.
- Сделать сводку в LLM по структурированным полям.
Шаг 1: запись стерео или моно?
ffprobe -v error -show_entries stream=channels,sample_rate,duration -of csv=p=0 call.wav
# 2,8000,412.6 -> stereo, 8 kHz telephone audio, 6.9 minutes
Многие системы записи в контакт-центрах хранят оператора в одном канале, а клиента в другом. Руководство AssemblyAI для контакт-центров говорит о том же: с раздельными каналами вы получаете разделение говорящих без диаризации. Проверьте на нескольких звонках, где какая сторона: оператор не всегда в левом канале.
Шаг 2: как разделить стереоканалы с помощью ffmpeg?
ffmpeg -i call.wav -af "pan=mono|c0=c0" -ar 16000 agent.wav
ffmpeg -i call.wav -af "pan=mono|c0=c1" -ar 16000 customer.wav
Фильтр pan оставляет один канал, а -ar 16000 передискретизирует звук в 16 кГц — формат, который документация BroadNet использует для телефонных записей.
Шаг 3: как нарезать каждый канал на реплики?
Это простая форма детекции голосовой активности. Можно отправлять каждый канал целиком, но тогда вы платите за каждую секунду тишины, пока говорит другая сторона, а на стереозвонке это примерно удваивает счёт. К тому же теряется порядок реплик. Нарезка по паузам решает обе проблемы:
import re, subprocess
def speech_turns(wav, noise="-35dB", min_silence=0.6):
"""Return (start, end) seconds of speech, using ffmpeg silencedetect."""
log = subprocess.run(
["ffmpeg", "-i", wav, "-af", f"silencedetect=noise={noise}:d={min_silence}", "-f", "null", "-"],
capture_output=True, text=True).stderr
dur = float(subprocess.run(
["ffprobe", "-v", "error", "-show_entries", "format=duration", "-of", "csv=p=0", wav],
capture_output=True, text=True).stdout)
starts = [float(x) for x in re.findall(r"silence_start: ([\d.]+)", log)]
ends = [float(x) for x in re.findall(r"silence_end: ([\d.]+)", log)]
turns, cursor = [], 0.0
for s, e in zip(starts, ends + [dur]):
if s - cursor > 0.4:
turns.append((cursor, s))
cursor = e
if dur - cursor > 0.4:
turns.append((cursor, dur))
return turns
Подберите noise на своих записях: для зашумлённых линий нужен более высокий порог, например -30dB.
Шаг 4: как распознать каждую реплику?
import os, tempfile
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def transcribe_turns(wav, speaker, language="ar"):
out = []
for start, end in speech_turns(wav):
with tempfile.NamedTemporaryFile(suffix=".wav") as seg:
subprocess.run(["ffmpeg", "-y", "-loglevel", "error", "-i", wav,
"-ss", f"{start:.2f}", "-to", f"{end:.2f}", seg.name], check=True)
with open(seg.name, "rb") as audio:
text = client.audio.transcriptions.create(
model="broadnet/cohere-transcribe-arabic", file=audio, language=language).text
out.append({"start": start, "speaker": speaker, "text": text.strip()})
return out
Всегда передавайте language. Без него арабский может вернуться латиницей. Для англоязычных очередей используйте broadnet/cohere-transcribe с language="en". Держите небольшой пул воркеров: ключи с оплатой по факту допускают 4 одновременных запросов и 30 в минуту, а руководство по ошибкам и повторам показывает, как отступать при 429.
Один файл должен быть меньше 25 МиБ. Длинный монолог в WAV 16 кГц моно (около 32 КБ в секунду) превышает этот лимит примерно на 13-й минуте; разрежьте его с -f segment -segment_time 600.
Шаг 5: как объединить реплики в диалог?
turns = transcribe_turns("agent.wav", "Agent") + transcribe_turns("customer.wav", "Customer")
dialogue = "\n".join(f'{t["speaker"]}: {t["text"]}' for t in sorted(turns, key=lambda t: t["start"]))
Одновременная речь выглядит как две реплики с близким временем начала — именно этого и ожидает человек, который проверяет расшифровку.
А что с моно-записями?
Без каналов нужна диаризация говорящих: определение, кто и когда говорил. Варианты:
| Вариант | Как | Компромисс |
|---|---|---|
| Диаризация с открытым исходным кодом | Запустить pyannote.audio на своих серверах, затем распознать сегмент каждого говорящего | Модель хостите вы; аудио остаётся у вас |
| Провайдер со встроенной диаризацией | Несколько STT API возвращают метки говорящих; стоимость доплат — в сравнении цен | Ещё один поставщик на пути данных |
| Разметка ролей через LLM | Распознать реплики, затем попросить LLM пометить каждую как Agent или Customer по контексту | Дёшево; ошибается на коротких или неоднозначных репликах |
| Исправить на источнике | Переключить систему записи на двухканальный режим | Лучшее решение в долгосрочной перспективе |
Диаризации в списке BroadNet нет, так что для моно-аудио сочетайте её с одним из первых трёх вариантов.
Шаг 6: как замаскировать ПДн, включая арабские цифры?
Звонящие диктуют номера карт, IBAN и телефонов. В расшифровках они могут быть записаны западными (0-9) или восточноарабскими цифрами (٠-٩). Сначала нормализуйте, потом маскируйте:
EASTERN = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def redact(text):
text = text.translate(EASTERN)
text = re.sub(r"\b(?:\d[ -]?){13,19}\b", "[CARD]", text)
text = re.sub(r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b", "[IBAN]", text)
text = re.sub(r"\+?\d[\d -]{7,}\d", "[PHONE]", text)
return text
Числа можно произнести и словами («خمسة أربعة…»), а регулярные выражения их пропустят. Просматривайте выборку расшифровок вручную и добавляйте правила для того, что найдёте. Общий подход описан в статье как отправлять чувствительные данные в LLM API.
Шаг 7: как сделать сводку звонка в LLM?
import json
summary = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Summarise this call centre dialogue. Reply in English JSON with keys: "
"reason, resolution, resolved (true/false), customer_sentiment, follow_up."},
{"role": "user", "content": redact(dialogue)},
],
).choices[0].message.content
print(json.loads(summary))
Qwen3.8 27B поддерживает структурированный вывод; всегда разбирайте и валидируйте ответ (как это сделать). Собственный тест BroadNet также показал, что модель понимает диалекты Залива и египетский. Если ваши дашборды на английском, просите JSON на английском, даже когда звонок на арабском.
Какие проверки качества нужны до аналитики?
Дашборды на плохих расшифровках выглядят так же уверенно, как и на хороших. Добавьте в конвейер такие проверки:
- Перепутанные каналы. Если на какой-то системе записи или очереди метки оператора и клиента перепутаны, все метрики «оператор сказал» неверны. Проверяйте первую реплику: операторы обычно начинают с приветствия и названия компании.
- Пустые или крошечные расшифровки. Реплика без текста или звонок короче 20 слов обычно означают тишину, музыку на удержании или битый файл. Помечайте их, а не делайте по ним сводку.
- Несовпадение языка. Англоязычная очередь, которая вдруг выдаёт арабский текст, или арабский, вернувшийся латиницей, указывают на неверное значение
language. - Дрейф сводок. Каждую неделю пусть супервайзер сравнивает 20 сводок с полными расшифровками. Отслеживайте, как часто ошибочно поле
resolved.
Храните расшифровки по репликам, а не только сводку. Когда сводку оспаривают, реплики — ваше доказательство.
Сколько стоит транскрибация звонков?
С нарезкой по репликам оплачиваемое аудио близко к времени разговора. Для 1000 часов арабской речи:
- Распознавание: $252.00 при цене $0.0042 за минуту на BroadNet Transcribe Arabic или $120.00 на BroadNet Transcribe с 14 языками для англоязычных очередей.
- Сводки: 7-минутный звонок часто занимает несколько тысяч токенов. Посчитайте стоимость в калькуляторе стоимости LLM API с реальной длиной ваших расшифровок, а аудио — в калькуляторе стоимости распознавания речи.
Где здесь BroadNet Inference
BroadNet закрывает шаги 4 и 7 одним ключом и одним базовым URL: арабский и ещё 13 языков для транскрибации и проверенные на арабском чат-модели для сводки. Аудио, расшифровки и промпты не хранятся (нулевое хранение данных), а BroadNet сообщает, что её арабская модель занимает позицию № 2 из 37 (данные за сентябрь 2026 г.; в живом рейтинге на 15 ноября 2026 г. — № 4 из 39) в Open Universal Arabic ASR Leaderboard.
Диаризацию, распознавание в реальном времени и маскирование BroadNet за вас не делает — они остаются в вашем конвейере. Прежде чем принимать решение, проверьте свои диалекты по методу из статьи распознавание речи на арабских диалектах.

