एक कॉल सेंटर हर महीने हज़ारों घंटे का ऑडियो बनाता है, और उसमें से लगभग कुछ भी पढ़ा नहीं जाता। ट्रांसक्रिप्ट कॉल को searchable बनाते हैं। सारांश उन्हें रिव्यू करने लायक बनाते हैं। यह पोस्ट शुरू से आख़िर तक पाइपलाइन बनाती है, अरबी के नज़रिए से: बोलियाँ, अरबी और अंग्रेज़ी का मिश्रण, और Eastern Arabic अंक।
चरण:
- रिकॉर्डिंग जाँचें: स्टीरियो है या मोनो?
- स्टीरियो को एजेंट और ग्राहक चैनल में बाँटें।
- हर चैनल को बोलने के turns में काटें।
- हर turn को सही भाषा के साथ ट्रांसक्राइब करें।
- turns को शुरुआती समय के हिसाब से संवाद में जोड़ें।
- टेक्स्ट से PII redact करें।
- LLM से structured फ़ील्ड में सारांश बनवाएँ।
चरण 1: रिकॉर्डिंग स्टीरियो है या मोनो?
ffprobe -v error -show_entries stream=channels,sample_rate,duration -of csv=p=0 call.wav
# 2,8000,412.6 -> stereo, 8 kHz telephone audio, 6.9 minutes
कई कॉन्टैक्ट-सेंटर रिकॉर्डर एजेंट को एक चैनल पर और ग्राहक को दूसरे पर रखते हैं। AssemblyAI की कॉन्टैक्ट-सेंटर गाइड भी यही कहती है: अलग चैनल हों, तो diarization के बिना स्पीकर अलग हो जाते हैं। कुछ कॉल पर जाँचें कि कौन-सी तरफ़ कौन है; एजेंट हमेशा left पर नहीं होता।
चरण 2: ffmpeg से स्टीरियो चैनल कैसे बाँटें?
ffmpeg -i call.wav -af "pan=mono|c0=c0" -ar 16000 agent.wav
ffmpeg -i call.wav -af "pan=mono|c0=c1" -ar 16000 customer.wav
pan फ़िल्टर एक चैनल रखता है, और -ar 16000 उसे 16 kHz पर resample करता है, वही फ़ॉर्मैट जो BroadNet के docs फ़ोन रिकॉर्डिंग के लिए इस्तेमाल करते हैं।
चरण 3: हर चैनल को बोलने के turns में कैसे काटें?
यह voice activity detection का एक सरल रूप है। हर पूरा चैनल भेजना काम करता है, लेकिन तब आप उस हर सेकंड की चुप्पी का भुगतान करते हैं जब दूसरी तरफ़ बोल रही होती है, जिससे स्टीरियो कॉल का बिल लगभग दोगुना हो जाता है। इसमें turns का क्रम भी खो जाता है। चुप्पी पर काटने से दोनों ठीक हो जाते हैं:
import re, subprocess
def speech_turns(wav, noise="-35dB", min_silence=0.6):
"""Return (start, end) seconds of speech, using ffmpeg silencedetect."""
log = subprocess.run(
["ffmpeg", "-i", wav, "-af", f"silencedetect=noise={noise}:d={min_silence}", "-f", "null", "-"],
capture_output=True, text=True).stderr
dur = float(subprocess.run(
["ffprobe", "-v", "error", "-show_entries", "format=duration", "-of", "csv=p=0", wav],
capture_output=True, text=True).stdout)
starts = [float(x) for x in re.findall(r"silence_start: ([\d.]+)", log)]
ends = [float(x) for x in re.findall(r"silence_end: ([\d.]+)", log)]
turns, cursor = [], 0.0
for s, e in zip(starts, ends + [dur]):
if s - cursor > 0.4:
turns.append((cursor, s))
cursor = e
if dur - cursor > 0.4:
turns.append((cursor, dur))
return turns
noise को अपनी रिकॉर्डिंग पर ट्यून करें: शोर वाली लाइनों को ऊँची threshold चाहिए, जैसे -30dB।
चरण 4: हर turn को ट्रांसक्राइब कैसे करें?
import os, tempfile
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def transcribe_turns(wav, speaker, language="ar"):
out = []
for start, end in speech_turns(wav):
with tempfile.NamedTemporaryFile(suffix=".wav") as seg:
subprocess.run(["ffmpeg", "-y", "-loglevel", "error", "-i", wav,
"-ss", f"{start:.2f}", "-to", f"{end:.2f}", seg.name], check=True)
with open(seg.name, "rb") as audio:
text = client.audio.transcriptions.create(
model="broadnet/cohere-transcribe-arabic", file=audio, language=language).text
out.append({"start": start, "speaker": speaker, "text": text.strip()})
return out
हमेशा language भेजें। इसके बिना अरबी लैटिन अक्षरों में लौट सकती है। अंग्रेज़ी queues के लिए broadnet/cohere-transcribe को language="en" के साथ इस्तेमाल करें। worker pool छोटा रखें: उपयोग के अनुसार भुगतान वाली keys एक साथ 4 अनुरोध और प्रति मिनट 30 अनुरोध की अनुमति देती हैं, और एरर और retry गाइड दिखाती है कि 429 पर backoff कैसे करें।
एक फ़ाइल 25 MiB से छोटी होनी चाहिए। 16 kHz मोनो WAV (लगभग 32 KB प्रति सेकंड) में लंबा एकालाप लगभग 13 मिनट पर यह सीमा पार कर जाता है; उसे -f segment -segment_time 600 से बाँटें।
चरण 5: turns को संवाद में कैसे जोड़ें?
turns = transcribe_turns("agent.wav", "Agent") + transcribe_turns("customer.wav", "Customer")
dialogue = "\n".join(f'{t["speaker"]}: {t["text"]}' for t in sorted(turns, key=lambda t: t["start"]))
एक साथ बोली गई बात क़रीबी शुरुआती समय वाले दो turns के रूप में दिखती है, जो एक इंसानी रिव्यूअर उम्मीद भी करता है।
मोनो रिकॉर्डिंग का क्या?
चैनल के बिना आपको speaker diarization चाहिए: यह तय करना कि कौन कब बोला। विकल्प:
| विकल्प | कैसे | समझौता |
|---|---|---|
| ओपन-सोर्स diarization | अपने सर्वर पर pyannote.audio चलाएँ, फिर हर स्पीकर segment ट्रांसक्राइब करें | मॉडल आप होस्ट करते हैं; ऑडियो आपके पास रहता है |
| बिल्ट-इन diarization वाला प्रोवाइडर | कई STT API स्पीकर लेबल लौटाते हैं; add-on लागत के लिए कीमतों की तुलना देखें | डेटा के रास्ते में एक और वेंडर |
| LLM से भूमिका लेबल | turns ट्रांसक्राइब करें, फिर LLM से संदर्भ के आधार पर हर turn को Agent या Customer लेबल करवाएँ | सस्ता; छोटे या अस्पष्ट turns पर ग़लत |
| जड़ से ठीक करें | रिकॉर्डर को dual-channel पर बदलें | लंबे समय के लिए सबसे अच्छा जवाब |
BroadNet diarization सूचीबद्ध नहीं करता, इसलिए मोनो ऑडियो पर इसे पहले तीन विकल्पों में से किसी एक के साथ जोड़ें।
चरण 6: अरबी अंकों समेत PII कैसे redact करें?
कॉल करने वाले कार्ड नंबर, IBAN और फ़ोन नंबर बोलकर बताते हैं। ट्रांसक्रिप्ट उन्हें Western अंकों (0-9) या Eastern Arabic अंकों (٠-٩) में लिख सकते हैं। पहले normalise करें, फिर redact करें:
EASTERN = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def redact(text):
text = text.translate(EASTERN)
text = re.sub(r"\b(?:\d[ -]?){13,19}\b", "[CARD]", text)
text = re.sub(r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b", "[IBAN]", text)
text = re.sub(r"\+?\d[\d -]{7,}\d", "[PHONE]", text)
return text
नंबर शब्दों में भी बोले जा सकते हैं (“خمسة أربعة…”), जो regex से छूट जाएँगे। ट्रांसक्रिप्ट का हाथ से सैंपल देखें और जो मिले उसके लिए नियम जोड़ें। बड़ा तरीक़ा LLM API को संवेदनशील डेटा भेजना में है।
चरण 7: LLM से हर कॉल का सारांश कैसे बनाएँ?
import json
summary = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Summarise this call centre dialogue. Reply in English JSON with keys: "
"reason, resolution, resolved (true/false), customer_sentiment, follow_up."},
{"role": "user", "content": redact(dialogue)},
],
).choices[0].message.content
print(json.loads(summary))
Qwen3.8 27B structured output सपोर्ट करता है; जवाब को हमेशा पार्स और validate करें (कैसे)। BroadNet के अपने टेस्ट में यह भी पाया गया कि यह खाड़ी और मिस्री बोलियाँ समझता है। अगर आपके डैशबोर्ड अंग्रेज़ी में हैं, तो अंग्रेज़ी JSON माँगें, भले कॉल अरबी में हो।
analytics से पहले कौन-सी क्वालिटी जाँचें?
ख़राब ट्रांसक्रिप्ट पर बने डैशबोर्ड उतने ही आत्मविश्वासी दिखते हैं जितने अच्छे ट्रांसक्रिप्ट पर बने। पाइपलाइन में ये जाँचें जोड़ें:
- चैनल की अदला-बदली। अगर किसी रिकॉर्डर या queue पर एजेंट और ग्राहक के लेबल उलटे हैं, तो “एजेंट ने कहा” वाला हर metric ग़लत है। पहला turn जाँचें: एजेंट आम तौर पर अभिवादन और कंपनी के नाम से शुरू करते हैं।
- ख़ाली या बहुत छोटे ट्रांसक्रिप्ट। कोई turn जो कोई टेक्स्ट न लौटाए, या 20 शब्दों से कम वाली कॉल, आम तौर पर चुप्पी, होल्ड म्यूज़िक या ख़राब फ़ाइल होती है। उसका सारांश बनाने के बजाय उसे फ़्लैग करें।
- भाषा का बेमेल। कोई अंग्रेज़ी queue जो अचानक अरबी टेक्स्ट देने लगे, या लैटिन अक्षरों में लौटी अरबी, ग़लत
languageवैल्यू की ओर इशारा करती है। - सारांश का भटकना। हर हफ़्ते एक सुपरवाइज़र 20 सारांशों की पूरे ट्रांसक्रिप्ट से तुलना करे। ट्रैक करें कि
resolvedकितनी बार ग़लत है।
सिर्फ़ सारांश नहीं, हर turn के ट्रांसक्रिप्ट स्टोर करें। जब किसी सारांश पर विवाद हो, तो turns ही आपका सबूत हैं।
कॉल ट्रांसक्रिप्शन का ख़र्च कितना है?
turns काटने से बिल होने वाला ऑडियो बातचीत के समय के क़रीब रहता है। 1,000 घंटे की अरबी आवाज़ के लिए:
- ट्रांसक्रिप्शन: BroadNet Transcribe Arabic पर $0.0042 प्रति मिनट के हिसाब से $252.00, या अंग्रेज़ी queues के लिए 14 भाषाओं वाले BroadNet Transcribe पर $120.00।
- सारांश: 7 मिनट की कॉल अक्सर कुछ हज़ार टोकन की होती है। अपनी असली ट्रांसक्रिप्ट लंबाई के साथ इसकी क़ीमत LLM API कॉस्ट कैलकुलेटर में देखें, और ऑडियो वाला हिस्सा speech-to-text कॉस्ट कैलकुलेटर में।
BroadNet Inference कहाँ फ़िट होता है
BroadNet चरण 4 और 7 को एक key और एक base URL से कवर करता है: ट्रांसक्रिप्शन के लिए अरबी और 13 अन्य भाषाएँ, और सारांश के लिए अरबी पर टेस्ट किए गए चैट मॉडल। ऑडियो, ट्रांसक्रिप्ट और प्रॉम्प्ट नहीं रखे जाते (ज़ीरो डेटा रिटेंशन), और BroadNet अपने अरबी मॉडल को Open Universal Arabic ASR Leaderboard पर 37 में से #2 (यह सितंबर 2026 का आंकड़ा है; 15 नवंबर 2026 को लाइव लीडरबोर्ड पर यह 39 में से #4 था) बताता है।
यह आपके लिए diarization, रियल-टाइम ट्रांसक्रिप्शन या redaction नहीं करता; वे आपकी पाइपलाइन में रहते हैं। फ़ैसला करने से पहले अरबी बोलियों की speech recognition वाली विधि से अपनी बोलियाँ टेस्ट करें।

