BroadRouter

Cara transkripsi rekaman call center: pipeline siap bahasa Arab

Oleh tim BroadNet Inference · 4 menit baca · Dipublikasikan

Untuk mentranskripsi rekaman call center, pisahkan file stereo menjadi kanal agen dan pelanggan, potong setiap kanal menjadi giliran bicara, transkripsikan setiap giliran dengan kode bahasa yang tepat, lalu gabungkan giliran berdasarkan waktu mulai. Samarkan nomor kartu dan nomor telepon dari transkrip sebelum LLM meringkas panggilan. Rekaman mono memerlukan langkah diarization terpisah.

A support agent with a headset beside a screen showing a call transcript, with the text "Every call becomes insight."
Illustration of an app you could build; not a BroadNet product screenshot.

Sebuah call center menghasilkan ribuan jam audio setiap bulan, dan hampir tidak ada yang dibaca. Transkrip membuat panggilan bisa dicari. Ringkasan membuatnya bisa ditinjau. Artikel ini membangun pipeline-nya dari awal sampai akhir, dengan sudut pandang bahasa Arab: dialek, campuran bahasa Arab dan Inggris, serta digit Arab Timur.

Langkah-langkahnya:

  1. Periksa rekaman: stereo atau mono?
  2. Pisahkan stereo menjadi kanal agen dan pelanggan.
  3. Potong setiap kanal menjadi giliran bicara.
  4. Transkripsikan setiap giliran dengan bahasa yang tepat.
  5. Gabungkan giliran menjadi dialog berdasarkan waktu mulai.
  6. Samarkan PII dari teks.
  7. Ringkas dengan LLM menjadi field terstruktur.

Langkah 1: rekamannya stereo atau mono?

ffprobe -v error -show_entries stream=channels,sample_rate,duration -of csv=p=0 call.wav
# 2,8000,412.6   -> stereo, 8 kHz telephone audio, 6.9 minutes

Banyak perekam contact center menyimpan agen di satu kanal dan pelanggan di kanal lainnya. Panduan contact center AssemblyAI menyampaikan hal yang sama: dengan kanal terpisah, Anda mendapat pemisahan pembicara tanpa diarization. Cek sisi mana milik siapa pada beberapa panggilan; agen tidak selalu di kanal kiri.

Langkah 2: bagaimana memisahkan kanal stereo dengan ffmpeg?

ffmpeg -i call.wav -af "pan=mono|c0=c0" -ar 16000 agent.wav
ffmpeg -i call.wav -af "pan=mono|c0=c1" -ar 16000 customer.wav

Filter pan mempertahankan satu kanal, dan -ar 16000 melakukan resample ke 16 kHz, format yang dipakai dokumentasi BroadNet untuk rekaman telepon.

Langkah 3: bagaimana memotong setiap kanal menjadi giliran bicara?

Ini bentuk sederhana dari voice activity detection (VAD). Mengirim setiap kanal secara utuh memang bisa, tetapi Anda membayar setiap detik keheningan selama pihak lain berbicara, yang kira-kira melipatgandakan tagihan pada panggilan stereo. Urutan giliran juga hilang. Memotong di titik hening menyelesaikan keduanya:

import re, subprocess

def speech_turns(wav, noise="-35dB", min_silence=0.6):
    """Return (start, end) seconds of speech, using ffmpeg silencedetect."""
    log = subprocess.run(
        ["ffmpeg", "-i", wav, "-af", f"silencedetect=noise={noise}:d={min_silence}", "-f", "null", "-"],
        capture_output=True, text=True).stderr
    dur = float(subprocess.run(
        ["ffprobe", "-v", "error", "-show_entries", "format=duration", "-of", "csv=p=0", wav],
        capture_output=True, text=True).stdout)
    starts = [float(x) for x in re.findall(r"silence_start: ([\d.]+)", log)]
    ends = [float(x) for x in re.findall(r"silence_end: ([\d.]+)", log)]
    turns, cursor = [], 0.0
    for s, e in zip(starts, ends + [dur]):
        if s - cursor > 0.4:
            turns.append((cursor, s))
        cursor = e
    if dur - cursor > 0.4:
        turns.append((cursor, dur))
    return turns

Sesuaikan noise dengan rekaman Anda sendiri: saluran yang berisik butuh ambang lebih tinggi seperti -30dB.

Langkah 4: bagaimana mentranskripsi setiap giliran?

import os, tempfile
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def transcribe_turns(wav, speaker, language="ar"):
    out = []
    for start, end in speech_turns(wav):
        with tempfile.NamedTemporaryFile(suffix=".wav") as seg:
            subprocess.run(["ffmpeg", "-y", "-loglevel", "error", "-i", wav,
                            "-ss", f"{start:.2f}", "-to", f"{end:.2f}", seg.name], check=True)
            with open(seg.name, "rb") as audio:
                text = client.audio.transcriptions.create(
                    model="broadnet/cohere-transcribe-arabic", file=audio, language=language).text
        out.append({"start": start, "speaker": speaker, "text": text.strip()})
    return out

Selalu kirim language. Tanpa itu, bahasa Arab bisa kembali dalam huruf Latin. Untuk antrean berbahasa Inggris, pakai broadnet/cohere-transcribe dengan language="en". Jaga worker pool tetap kecil: kunci bayar sesuai pemakaian mengizinkan 4 permintaan bersamaan dan 30 per menit, dan panduan error dan retry menunjukkan cara melakukan backoff saat menerima 429.

Setiap file harus di bawah 25 MiB. Monolog panjang dalam WAV mono 16 kHz (sekitar 32 KB per detik) melewati batas itu di sekitar 13 menit; pisahkan dengan -f segment -segment_time 600.

Langkah 5: bagaimana menggabungkan giliran menjadi dialog?

turns = transcribe_turns("agent.wav", "Agent") + transcribe_turns("customer.wav", "Customer")
dialogue = "\n".join(f'{t["speaker"]}: {t["text"]}' for t in sorted(turns, key=lambda t: t["start"]))

Ucapan yang tumpang tindih muncul sebagai dua giliran dengan waktu mulai yang berdekatan, dan itulah yang diharapkan peninjau manusia.

Bagaimana dengan rekaman mono?

Tanpa kanal terpisah, Anda memerlukan speaker diarization: menentukan siapa berbicara kapan. Pilihannya:

Pilihan Caranya Trade-off
Diarization open source Jalankan pyannote.audio di server Anda, lalu transkripsikan setiap segmen pembicara Anda meng-host model sendiri; audio tetap di tangan Anda
Provider dengan diarization bawaan Beberapa API STT mengembalikan label pembicara; lihat perbandingan harga untuk biaya tambahannya Satu vendor lagi di jalur data
Pelabelan peran dengan LLM Transkripsikan giliran, lalu minta LLM melabeli setiap giliran sebagai Agen atau Pelanggan berdasarkan konteks Murah; salah pada giliran yang pendek atau ambigu
Perbaiki di sumbernya Ubah perekam menjadi dual-channel Jawaban terbaik untuk jangka panjang

BroadNet tidak mencantumkan diarization, jadi untuk audio mono, padukan dengan salah satu dari tiga pilihan pertama.

Langkah 6: bagaimana menyamarkan PII, termasuk digit Arab?

Penelepon membacakan nomor kartu, IBAN, dan nomor telepon. Transkrip bisa menuliskannya dengan digit Barat (0-9) atau digit Arab Timur (٠-٩). Normalkan dulu, lalu samarkan:

EASTERN = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")

def redact(text):
    text = text.translate(EASTERN)
    text = re.sub(r"\b(?:\d[ -]?){13,19}\b", "[CARD]", text)
    text = re.sub(r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b", "[IBAN]", text)
    text = re.sub(r"\+?\d[\d -]{7,}\d", "[PHONE]", text)
    return text

Angka juga bisa diucapkan sebagai kata (“خمسة أربعة…”), yang akan terlewat oleh regex. Ambil sampel transkrip secara manual dan tambahkan aturan untuk apa yang Anda temukan. Pendekatan yang lebih luas ada di mengirim data sensitif ke API LLM.

Langkah 7: bagaimana meringkas setiap panggilan dengan LLM?

import json
summary = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Summarise this call centre dialogue. Reply in English JSON with keys: "
                                      "reason, resolution, resolved (true/false), customer_sentiment, follow_up."},
        {"role": "user", "content": redact(dialogue)},
    ],
).choices[0].message.content
print(json.loads(summary))

Qwen3.8 27B mendukung output terstruktur; selalu parse dan validasi balasannya (caranya). Pengujian BroadNet sendiri juga menemukan model ini memahami dialek Teluk dan Mesir. Minta JSON berbahasa Inggris jika dashboard Anda berbahasa Inggris, meskipun panggilannya dalam bahasa Arab.

Pengecekan kualitas apa yang perlu dilakukan sebelum analitik?

Dashboard yang dibangun di atas transkrip buruk terlihat sama meyakinkannya dengan dashboard yang dibangun di atas transkrip bagus. Tambahkan pengecekan berikut ke pipeline:

  • Kanal tertukar. Jika label agen dan pelanggan terbalik di perekam atau antrean tertentu, setiap metrik “agen mengatakan” jadi salah. Cek giliran pertama: agen biasanya membuka dengan salam dan nama perusahaan.
  • Transkrip kosong atau sangat pendek. Giliran yang tidak menghasilkan teks, atau panggilan dengan kurang dari 20 kata, biasanya berarti keheningan, musik tunggu, atau file rusak. Tandai, jangan diringkas.
  • Bahasa tidak cocok. Antrean berbahasa Inggris yang tiba-tiba menghasilkan teks Arab, atau bahasa Arab yang kembali dalam huruf Latin, menandakan nilai language yang salah.
  • Ringkasan melenceng. Setiap minggu, minta supervisor membandingkan 20 ringkasan dengan transkrip lengkapnya. Pantau seberapa sering resolved salah.

Simpan transkrip per giliran, bukan hanya ringkasannya. Saat sebuah ringkasan dipersoalkan, giliran-giliran itulah bukti Anda.

Berapa biaya transkripsi panggilan?

Dengan pemotongan giliran, audio yang ditagih mendekati durasi bicara. Untuk 1.000 jam percakapan bahasa Arab:

Posisi BroadNet Inference

BroadNet menangani langkah 4 dan 7 dengan satu kunci dan satu base URL: bahasa Arab dan 13 bahasa lain untuk transkripsi, serta model chat yang sudah diuji untuk bahasa Arab untuk ringkasannya. Audio, transkrip, dan prompt tidak disimpan (zero data retention), dan BroadNet melaporkan model bahasa Arab-nya #2 dari 37 (angka September 2026; papan peringkat langsung mencantumkannya di #4 dari 39 pada 15 November 2026) di Open Universal Arabic ASR Leaderboard.

BroadNet tidak melakukan diarization, transkripsi real-time, atau penyamaran untuk Anda; semua itu tetap ada di pipeline Anda. Sebelum memutuskan, uji dialek Anda dengan metode di pengenalan ucapan dialek Arab.

Pertanyaan umum

Bagaimana memisahkan agen dan pelanggan dalam rekaman panggilan?

Jika rekamannya stereo, agen dan pelanggan biasanya berada di kanal berbeda. Pisahkan dengan ffmpeg dan transkripsikan setiap kanal secara terpisah. Jika mono, Anda memerlukan speaker diarization.

Apakah saya membayar dua kali jika mentranskripsi kedua kanal stereo?

Jika Anda mengirim setiap kanal secara utuh, ya, karena setiap kanal sama panjangnya dengan panggilan. Memotong setiap kanal menjadi giliran bicara dan hanya mengirim gilirannya membuat audio yang ditagih mendekati durasi bicara yang sebenarnya.

Bisakah saya mentranskripsi panggilan bahasa Arab yang bercampur kata bahasa Inggris?

Bisa, tetapi uji dulu. Agen di kawasan Teluk dan Levant sering beralih ke bahasa Inggris untuk nama produk dan angka. Cek bagaimana kata-kata itu muncul di 20 panggilan nyata sebelum Anda mengandalkan pencarian kata kunci atau analitik.

Sebaiknya saya menyamarkan audio atau teks?

Samarkan transkrip teks sebelum masuk ke LLM, analitik, atau pencarian. Jika Anda menyimpan audionya, audio itu tetap berisi angka yang diucapkan, jadi batasi akses dan masa simpan audio juga.

Berapa panjang maksimal setiap file audio?

BroadNet menerima WAV atau MP3 hingga 26.214.400 byte (25 MiB) per permintaan. WAV mono 16 kHz sekitar 32 KB per detik, jadi jaga setiap segmen di bawah sekitar 13 menit, atau pakai MP3.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity