BroadRouter

Paano i-transcribe ang call center recording: pipeline para sa Arabic

Ng BroadNet Inference team · 4 minutong basa · Nailathala

Para i-transcribe ang mga call center recording, hatiin ang mga stereo file sa channel ng agent at ng customer, putulin ang bawat channel sa mga speech turn, i-transcribe ang bawat turn gamit ang tamang language code, saka pagsamahin ang mga turn ayon sa oras ng simula. I-redact ang card number at phone number sa transcript bago ito ibuod ng LLM. Kailangan ng hiwalay na diarization step ang mga mono recording.

A support agent with a headset beside a screen showing a call transcript, with the text "Every call becomes insight."
Illustration of an app you could build; not a BroadNet product screenshot.

Libu-libong oras ng audio kada buwan ang nagagawa ng isang call centre, at halos wala rito ang nababasa. Ginagawang searchable ng transcript ang mga tawag. Ginagawang reviewable ng buod ang mga ito. Binubuo ng post na ito ang pipeline mula umpisa hanggang dulo, na may anggulong Arabic: mga dialect, halong Arabic at English, at Eastern Arabic na digit.

Ang mga step:

  1. Suriin ang recording: stereo o mono?
  2. Hatiin ang stereo sa channel ng agent at ng customer.
  3. Putulin ang bawat channel sa mga speech turn.
  4. I-transcribe ang bawat turn gamit ang tamang wika.
  5. Pagsamahin ang mga turn sa isang dialogue ayon sa oras ng simula.
  6. I-redact ang PII sa text.
  7. Ibuod gamit ang LLM sa mga structured field.

Step 1: stereo ba o mono ang recording?

ffprobe -v error -show_entries stream=channels,sample_rate,duration -of csv=p=0 call.wav
# 2,8000,412.6   -> stereo, 8 kHz telephone audio, 6.9 minutes

Maraming contact-centre recorder ang nag-i-store ng agent sa isang channel at ng customer sa kabila. Ganito rin ang sinasabi ng contact-centre guide ng AssemblyAI: kapag magkahiwalay ang channel, may speaker separation ka nang walang diarization. Tingnan sa ilang tawag kung aling panig ang alin; hindi laging nasa kaliwa ang agent.

Step 2: paano hatiin ang mga stereo channel gamit ang ffmpeg?

ffmpeg -i call.wav -af "pan=mono|c0=c0" -ar 16000 agent.wav
ffmpeg -i call.wav -af "pan=mono|c0=c1" -ar 16000 customer.wav

Isang channel lang ang itinatago ng filter na pan, at nire-resample ng -ar 16000 sa 16 kHz, ang format na ginagamit ng docs ng BroadNet para sa mga phone recording.

Step 3: paano putulin ang bawat channel sa mga speech turn?

Simpleng anyo ito ng voice activity detection. Gumagana ang pagpapadala ng buong channel, pero nagbabayad ka para sa bawat segundo ng katahimikan habang nagsasalita ang kabilang panig, na halos dumodoble sa bill ng stereo na tawag. Nawawala rin ang pagkakasunod ng mga turn. Inaayos ng pagputol sa mga katahimikan ang dalawa:

import re, subprocess

def speech_turns(wav, noise="-35dB", min_silence=0.6):
    """Return (start, end) seconds of speech, using ffmpeg silencedetect."""
    log = subprocess.run(
        ["ffmpeg", "-i", wav, "-af", f"silencedetect=noise={noise}:d={min_silence}", "-f", "null", "-"],
        capture_output=True, text=True).stderr
    dur = float(subprocess.run(
        ["ffprobe", "-v", "error", "-show_entries", "format=duration", "-of", "csv=p=0", wav],
        capture_output=True, text=True).stdout)
    starts = [float(x) for x in re.findall(r"silence_start: ([\d.]+)", log)]
    ends = [float(x) for x in re.findall(r"silence_end: ([\d.]+)", log)]
    turns, cursor = [], 0.0
    for s, e in zip(starts, ends + [dur]):
        if s - cursor > 0.4:
            turns.append((cursor, s))
        cursor = e
    if dur - cursor > 0.4:
        turns.append((cursor, dur))
    return turns

I-tune ang noise sa sarili mong mga recording: kailangan ng mas mataas na threshold gaya ng -30dB ang maiingay na linya.

Step 4: paano i-transcribe ang bawat turn?

import os, tempfile
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def transcribe_turns(wav, speaker, language="ar"):
    out = []
    for start, end in speech_turns(wav):
        with tempfile.NamedTemporaryFile(suffix=".wav") as seg:
            subprocess.run(["ffmpeg", "-y", "-loglevel", "error", "-i", wav,
                            "-ss", f"{start:.2f}", "-to", f"{end:.2f}", seg.name], check=True)
            with open(seg.name, "rb") as audio:
                text = client.audio.transcriptions.create(
                    model="broadnet/cohere-transcribe-arabic", file=audio, language=language).text
        out.append({"start": start, "speaker": speaker, "text": text.strip()})
    return out

Laging ipadala ang language. Kung wala ito, puwedeng bumalik ang Arabic sa Latin na letra. Para sa mga English na queue, gamitin ang broadnet/cohere-transcribe na may language="en". Panatilihing maliit ang worker pool: pinapayagan ng pay-as-you-go na key ang 4 request nang sabay at 30 kada minuto, at ipinapakita ng gabay sa mga error at retry kung paano mag-back off sa 429.

Dapat mas maliit sa 25 MiB ang bawat file. Lalampas dito ang mahabang monologue sa 16 kHz mono WAV (mga 32 KB kada segundo) sa bandang 13 minuto; hatiin ito gamit ang -f segment -segment_time 600.

Step 5: paano pagsamahin ang mga turn sa isang dialogue?

turns = transcribe_turns("agent.wav", "Agent") + transcribe_turns("customer.wav", "Customer")
dialogue = "\n".join(f'{t["speaker"]}: {t["text"]}' for t in sorted(turns, key=lambda t: t["start"]))

Lumalabas ang nagsasabay na pananalita bilang dalawang turn na magkalapit ang oras ng simula, na siyang inaasahan ng taong reviewer.

Paano naman ang mga mono recording?

Kung walang channel, kailangan mo ng speaker diarization: pagpapasya kung sino ang nagsalita at kailan. Mga opsyon:

Opsyon Paano Kapalit
Open-source na diarization Patakbuhin ang pyannote.audio sa mga server mo, saka i-transcribe ang bawat speaker segment Ikaw ang magho-host ng model; nasa iyo ang audio
Provider na may built-in na diarization May ilang STT API na nagbabalik ng speaker label; tingnan ang paghahambing ng presyo para sa gastos ng add-on Isa pang vendor sa daanan ng data
Paglalagay ng role gamit ang LLM I-transcribe ang mga turn, saka ipalagay sa LLM kung Agent o Customer ang bawat turn batay sa context Mura; nagkakamali sa maiikli o malabong turn
Ayusin sa pinagmulan Ilipat ang recorder sa dual-channel Pinakamagandang pangmatagalang sagot

Hindi naglilista ang BroadNet ng diarization, kaya sa mono audio, ipares ito sa isa sa unang tatlong opsyon.

Step 6: paano i-redact ang PII, kasama ang Arabic na digit?

Binabasa nang malakas ng mga tumatawag ang card number, IBAN at phone number. Puwedeng isulat ang mga ito ng transcript sa Western na digit (0-9) o Eastern Arabic na digit (٠-٩). I-normalize muna, saka mag-redact:

EASTERN = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")

def redact(text):
    text = text.translate(EASTERN)
    text = re.sub(r"\b(?:\d[ -]?){13,19}\b", "[CARD]", text)
    text = re.sub(r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b", "[IBAN]", text)
    text = re.sub(r"\+?\d[\d -]{7,}\d", "[PHONE]", text)
    return text

Puwede ring bigkasin bilang salita ang mga numero (“خمسة أربعة…”), na hindi mahuhuli ng regex. Mag-sample ng mga transcript nang mano-mano at magdagdag ng rule para sa makikita mo. Nasa pagpapadala ng sensitibong data sa LLM API ang mas malawak na approach.

Step 7: paano ibuod ang bawat tawag gamit ang LLM?

import json
summary = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Summarise this call centre dialogue. Reply in English JSON with keys: "
                                      "reason, resolution, resolved (true/false), customer_sentiment, follow_up."},
        {"role": "user", "content": redact(dialogue)},
    ],
).choices[0].message.content
print(json.loads(summary))

Sinusuportahan ng Qwen3.8 27B ang structured output; laging i-parse at i-validate ang sagot (paano). Nakita rin ng sariling test ng BroadNet na naiintindihan nito ang mga dialect ng Gulf at Egypt. Humingi ng English na JSON kung naka-English ang mga dashboard mo, kahit Arabic ang tawag.

Aling mga quality check ang nauuna bago ang analytics?

Kasing-kumpiyansa ang itsura ng mga dashboard na nakabatay sa masasamang transcript gaya ng mga nakabatay sa maayos. Idagdag ang mga check na ito sa pipeline:

  • Napagpalit na channel. Kung baligtad ang label ng agent at customer sa ilang recorder o queue, mali ang bawat “sinabi ng agent” na metric. Tingnan ang unang turn: kadalasang nagsisimula ang mga agent sa pagbati at pangalan ng kumpanya.
  • Walang laman o napakaliit na transcript. Ang turn na walang ibinalik na text, o tawag na wala pang 20 salita, ay kadalasang katahimikan, hold music o sirang file. I-flag ito sa halip na ibuod.
  • Hindi tugmang wika. Ang English na queue na biglang naglalabas ng Arabic na text, o Arabic na bumalik sa Latin na letra, ay tanda ng maling value ng language.
  • Paglihis ng buod. Linggo-linggo, ipakumpara sa isang supervisor ang 20 buod sa buong transcript. Bantayan kung gaano kadalas mali ang resolved.

I-store ang transcript kada turn, hindi lang ang buod. Kapag may tumutol sa isang buod, ang mga turn ang ebidensya mo.

Magkano ang call transcription?

Sa pagputol ng mga turn, halos kasinghaba ng pag-uusap ang sinisingil na audio. Para sa 1,000 oras ng Arabic na pananalita:

Saan pumapasok ang BroadNet Inference

Sakop ng BroadNet ang step 4 at 7 gamit ang isang key at isang base URL: Arabic at 13 iba pang wika para sa transcription, at mga chat model na nasubukan sa Arabic para sa buod. Hindi itinatago ang audio, transcript at prompt (zero data retention), at iniulat ng BroadNet na ika-2 sa 37 (datos noong Setyembre 2026; sa live na ranggo noong Nobyembre 15, 2026, ika-4 sa 39 ito) ang Arabic model nito sa Open Universal Arabic ASR Leaderboard.

Hindi nito ginagawa para sa iyo ang diarization, real-time na transcription o redaction; nananatili ang mga iyon sa pipeline mo. Bago mag-commit, subukan ang mga dialect mo gamit ang paraan sa Arabic dialect speech recognition.

Mga tanong

Paano ko paghihiwalayin ang agent at customer sa isang call recording?

Kung stereo ang recording, kadalasang nasa magkaibang channel ang agent at customer. Hatiin ang mga ito gamit ang ffmpeg at i-transcribe nang hiwalay ang bawat channel. Kung mono, kailangan mo ng speaker diarization.

Dalawang beses ba akong magbabayad kapag tina-transcribe ko ang dalawang stereo channel?

Oo, kung ipapadala mo ang buong channel, dahil kasinghaba ng tawag ang bawat channel. Kapag pinutol mo ang bawat channel sa mga speech turn at ang mga turn lang ang ipinadala, halos kasinghaba na lang ng aktuwal na pag-uusap ang sisingilin na audio.

Puwede ko bang i-transcribe ang mga Arabic na tawag na may halong English na salita?

Oo, pero subukan muna. Madalas lumipat sa English ang mga agent sa Gulf at Levant para sa pangalan ng produkto at mga numero. Tingnan kung paano lumalabas ang mga salitang iyon sa 20 totoong tawag bago umasa sa keyword search o analytics.

Audio ba o text ang dapat i-redact?

I-redact ang text transcript bago ito mapunta sa LLM, analytics o search. Kung itinatago mo ang audio, nandoon pa rin ang mga binigkas na numero, kaya limitahan din ang access at itakda ang expiry ng audio.

Gaano kahaba ang puwedeng bawat audio file?

Tumatanggap ang BroadNet ng WAV o MP3 hanggang 26,214,400 byte (25 MiB) kada request. Mga 32 KB kada segundo ang 16 kHz mono WAV, kaya panatilihing mas maikli sa mga 13 minuto ang bawat segment, o gumamit ng MP3.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity