BroadRouter

Cara mentranskripsi rakaman pusat panggilan: saluran sedia bahasa Arab

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan

Untuk mentranskripsi rakaman pusat panggilan, pisahkan fail stereo kepada saluran ejen dan pelanggan, potong setiap saluran kepada giliran ucapan, transkripsi setiap giliran dengan kod bahasa yang betul, kemudian gabungkan giliran mengikut masa mula. Sunting nombor kad dan nombor telefon daripada transkrip sebelum LLM meringkaskan panggilan. Rakaman mono memerlukan langkah diarization berasingan.

A support agent with a headset beside a screen showing a call transcript, with the text "Every call becomes insight."
Illustration of an app you could build; not a BroadNet product screenshot.

Pusat panggilan menghasilkan beribu-ribu jam audio sebulan, dan hampir semuanya tidak dibaca. Transkrip menjadikan panggilan boleh dicari. Ringkasan menjadikannya boleh disemak. Catatan ini membina saluran itu dari hujung ke hujung, dengan sudut bahasa Arab: dialek, campuran bahasa Arab dan Inggeris, dan digit Arab Timur.

Langkah-langkahnya:

  1. Periksa rakaman: stereo atau mono?
  2. Pisahkan stereo kepada saluran ejen dan pelanggan.
  3. Potong setiap saluran kepada giliran ucapan.
  4. Transkripsi setiap giliran dengan bahasa yang betul.
  5. Gabungkan giliran menjadi dialog mengikut masa mula.
  6. Sunting PII daripada teks.
  7. Ringkaskan dengan LLM kepada medan berstruktur.

Langkah 1: adakah rakaman itu stereo atau mono?

ffprobe -v error -show_entries stream=channels,sample_rate,duration -of csv=p=0 call.wav
# 2,8000,412.6   -> stereo, 8 kHz telephone audio, 6.9 minutes

Banyak perakam pusat hubungan menyimpan ejen pada satu saluran dan pelanggan pada saluran lain. Panduan pusat hubungan AssemblyAI menyatakan perkara yang sama: dengan saluran berasingan, anda mendapat pemisahan penutur tanpa diarization. Semak sebelah mana milik siapa pada beberapa panggilan; ejen tidak selalu di sebelah kiri.

Langkah 2: bagaimanakah anda memisahkan saluran stereo dengan ffmpeg?

ffmpeg -i call.wav -af "pan=mono|c0=c0" -ar 16000 agent.wav
ffmpeg -i call.wav -af "pan=mono|c0=c1" -ar 16000 customer.wav

Penapis pan mengekalkan satu saluran, dan -ar 16000 mensampel semula kepada 16 kHz, format yang digunakan dokumentasi BroadNet untuk rakaman telefon.

Langkah 3: bagaimanakah anda memotong setiap saluran kepada giliran ucapan?

Ini bentuk ringkas pengesanan aktiviti suara. Menghantar setiap saluran penuh berfungsi, tetapi anda membayar setiap saat senyap semasa pihak lain bercakap, yang lebih kurang menggandakan bil panggilan stereo. Ia juga kehilangan susunan giliran. Memotong pada senyap membaiki kedua-duanya:

import re, subprocess

def speech_turns(wav, noise="-35dB", min_silence=0.6):
    """Return (start, end) seconds of speech, using ffmpeg silencedetect."""
    log = subprocess.run(
        ["ffmpeg", "-i", wav, "-af", f"silencedetect=noise={noise}:d={min_silence}", "-f", "null", "-"],
        capture_output=True, text=True).stderr
    dur = float(subprocess.run(
        ["ffprobe", "-v", "error", "-show_entries", "format=duration", "-of", "csv=p=0", wav],
        capture_output=True, text=True).stdout)
    starts = [float(x) for x in re.findall(r"silence_start: ([\d.]+)", log)]
    ends = [float(x) for x in re.findall(r"silence_end: ([\d.]+)", log)]
    turns, cursor = [], 0.0
    for s, e in zip(starts, ends + [dur]):
        if s - cursor > 0.4:
            turns.append((cursor, s))
        cursor = e
    if dur - cursor > 0.4:
        turns.append((cursor, dur))
    return turns

Laraskan noise pada rakaman anda sendiri: talian yang bising memerlukan ambang lebih tinggi seperti -30dB.

Langkah 4: bagaimanakah anda mentranskripsi setiap giliran?

import os, tempfile
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def transcribe_turns(wav, speaker, language="ar"):
    out = []
    for start, end in speech_turns(wav):
        with tempfile.NamedTemporaryFile(suffix=".wav") as seg:
            subprocess.run(["ffmpeg", "-y", "-loglevel", "error", "-i", wav,
                            "-ss", f"{start:.2f}", "-to", f"{end:.2f}", seg.name], check=True)
            with open(seg.name, "rb") as audio:
                text = client.audio.transcriptions.create(
                    model="broadnet/cohere-transcribe-arabic", file=audio, language=language).text
        out.append({"start": start, "speaker": speaker, "text": text.strip()})
    return out

Sentiasa hantar language. Tanpanya, bahasa Arab boleh dipulangkan dalam huruf Rumi. Untuk baris gilir bahasa Inggeris, gunakan broadnet/cohere-transcribe dengan language="en". Kekalkan kumpulan pekerja yang kecil: kunci bayar ikut guna membenarkan 4 permintaan serentak dan 30 seminit, dan panduan ralat dan cubaan semula menunjukkan cara backoff pada 429.

Fail tunggal mesti kekal di bawah 25 MiB. Monolog panjang dalam WAV mono 16 kHz (kira-kira 32 KB sesaat) melepasi had itu pada sekitar 13 minit; pecahkannya dengan -f segment -segment_time 600.

Langkah 5: bagaimanakah anda menggabungkan giliran menjadi dialog?

turns = transcribe_turns("agent.wav", "Agent") + transcribe_turns("customer.wav", "Customer")
dialogue = "\n".join(f'{t["speaker"]}: {t["text"]}' for t in sorted(turns, key=lambda t: t["start"]))

Ucapan bertindih muncul sebagai dua giliran dengan masa mula yang hampir, iaitu apa yang dijangka oleh penyemak manusia.

Bagaimana pula dengan rakaman mono?

Tanpa saluran, anda memerlukan diarization penutur: menentukan siapa bercakap bila. Pilihan:

Pilihan Cara Pertukaran
Diarization sumber terbuka Jalankan pyannote.audio pada pelayan anda, kemudian transkripsi setiap segmen penutur Anda mengehos model; audio kekal dengan anda
Penyedia dengan diarization terbina dalam Beberapa API STT memulangkan label penutur; lihat perbandingan harga untuk kos tambahan Satu lagi vendor dalam laluan data
Pelabelan peranan dengan LLM Transkripsi giliran, kemudian minta LLM melabel setiap giliran Agent atau Customer berdasarkan konteks Murah; salah pada giliran pendek atau samar
Baiki di sumber Tukar perakam kepada dwi-saluran Jawapan jangka panjang terbaik

BroadNet tidak menyenaraikan diarization, jadi pada audio mono, gandingkannya dengan salah satu daripada tiga pilihan pertama.

Langkah 6: bagaimanakah anda menyunting PII, termasuk digit Arab?

Pemanggil membaca nombor kad, IBAN dan nombor telefon dengan kuat. Transkrip mungkin menulisnya dalam digit Barat (0-9) atau digit Arab Timur (٠-٩). Normalkan dahulu, kemudian sunting:

EASTERN = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")

def redact(text):
    text = text.translate(EASTERN)
    text = re.sub(r"\b(?:\d[ -]?){13,19}\b", "[CARD]", text)
    text = re.sub(r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b", "[IBAN]", text)
    text = re.sub(r"\+?\d[\d -]{7,}\d", "[PHONE]", text)
    return text

Nombor juga boleh disebut sebagai perkataan (“خمسة أربعة…”), yang akan terlepas daripada regex. Ambil sampel transkrip secara manual dan tambah peraturan untuk apa yang anda temui. Pendekatan yang lebih luas ada dalam menghantar data sensitif ke API LLM.

Langkah 7: bagaimanakah anda meringkaskan setiap panggilan dengan LLM?

import json
summary = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Summarise this call centre dialogue. Reply in English JSON with keys: "
                                      "reason, resolution, resolved (true/false), customer_sentiment, follow_up."},
        {"role": "user", "content": redact(dialogue)},
    ],
).choices[0].message.content
print(json.loads(summary))

Qwen3.8 27B menyokong output berstruktur; sentiasa huraikan dan sahkan jawapannya (caranya). Ujian BroadNet sendiri juga mendapati ia memahami dialek Teluk dan Mesir. Minta JSON bahasa Inggeris jika papan pemuka anda dalam bahasa Inggeris, walaupun panggilan itu dalam bahasa Arab.

Semakan kualiti manakah yang perlu didahulukan sebelum analitik?

Papan pemuka yang dibina atas transkrip buruk kelihatan sama yakin dengan yang dibina atas transkrip baik. Tambah semakan ini ke dalam saluran:

  • Saluran tertukar. Jika label ejen dan pelanggan terbalik pada sesetengah perakam atau baris gilir, setiap metrik “kata ejen” salah. Semak giliran pertama: ejen biasanya membuka dengan ucapan salam dan nama syarikat.
  • Transkrip kosong atau terlalu kecil. Giliran yang tidak memulangkan teks, atau panggilan dengan kurang daripada 20 perkataan, biasanya bermaksud senyap, muzik menunggu atau fail rosak. Tandakannya dan bukannya meringkaskannya.
  • Bahasa tidak sepadan. Baris gilir bahasa Inggeris yang tiba-tiba menghasilkan teks Arab, atau bahasa Arab yang dipulangkan dalam huruf Rumi, menunjukkan nilai language yang salah.
  • Ringkasan tersasar. Setiap minggu, minta penyelia membandingkan 20 ringkasan dengan transkrip penuh. Pantau sekerap mana resolved salah.

Simpan transkrip setiap giliran, bukan hanya ringkasan. Apabila ringkasan dipertikaikan, giliran itulah bukti anda.

Berapakah kos transkripsi panggilan?

Dengan pemotongan giliran, audio yang dibilkan hampir sama dengan masa bercakap. Untuk 1,000 jam ucapan bahasa Arab:

Di manakah BroadNet Inference sesuai

BroadNet meliputi langkah 4 dan 7 dengan satu kunci dan satu base URL: bahasa Arab dan 13 bahasa lain untuk transkripsi, dan model chat yang diuji dalam bahasa Arab untuk ringkasan. Audio, transkrip dan prompt tidak disimpan (tanpa penyimpanan data), dan BroadNet melaporkan model bahasa Arabnya #2 daripada 37 (angka September 2026; papan kedudukan langsung menyenaraikannya di #4 daripada 39 pada 15 November 2026) di Open Universal Arabic ASR Leaderboard.

Ia tidak melakukan diarization, transkripsi masa nyata atau penyuntingan untuk anda; semua itu kekal dalam saluran anda. Sebelum komited, uji dialek anda menggunakan kaedah dalam pengecaman ucapan dialek Arab.

Soalan lazim

Bagaimanakah saya memisahkan ejen dan pelanggan dalam rakaman panggilan?

Jika rakaman itu stereo, ejen dan pelanggan biasanya berada pada saluran berbeza. Pisahkan dengan ffmpeg dan transkripsi setiap saluran secara berasingan. Jika mono, anda memerlukan diarization penutur.

Adakah saya membayar dua kali apabila mentranskripsi kedua-dua saluran stereo?

Jika anda menghantar setiap saluran penuh, ya, kerana setiap saluran sama panjang dengan panggilan. Memotong setiap saluran kepada giliran ucapan dan hanya menghantar giliran itu menjadikan audio yang dibilkan hampir sama dengan masa bercakap sebenar.

Bolehkah saya mentranskripsi panggilan bahasa Arab yang bercampur perkataan Inggeris?

Ya, tetapi ujilah. Ejen di Teluk dan Levant kerap beralih ke bahasa Inggeris untuk nama produk dan nombor. Semak bagaimana perkataan itu keluar pada 20 panggilan sebenar sebelum bergantung pada carian kata kunci atau analitik.

Patutkah saya menyunting audio atau teks?

Sunting transkrip teks sebelum ia pergi ke LLM, analitik atau carian. Jika anda menyimpan audio, ia masih mengandungi nombor yang disebut, jadi hadkan akses dan tetapkan tempoh luput audio juga.

Berapa panjangkah setiap fail audio boleh?

BroadNet menerima WAV atau MP3 sehingga 26,214,400 bait (25 MiB) bagi setiap permintaan. WAV mono 16 kHz ialah kira-kira 32 KB sesaat, jadi pastikan segmen di bawah kira-kira 13 minit, atau gunakan MP3.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity