डायराइज़ेशन ट्रांसक्रिप्ट के एक बड़े ब्लॉक को बातचीत में बदल देता है: एजेंट, फिर ग्राहक, फिर दोबारा एजेंट।
यह कैसे काम करता है
डायराइज़ेशन पाइपलाइन आम तौर पर तीन चरणों में चलती है:
- स्पीच ढूँढना. वॉइस एक्टिविटी डिटेक्शन बताता है कि कहाँ कोई बोल रहा है।
- छोटे हिस्सों का एम्बेडिंग. स्पीकर-एम्बेडिंग मॉडल हर टुकड़े को एक वेक्टर में बदलता है जो आवाज़ की पहचान पकड़ता है।
- क्लस्टर बनाना. मिलते-जुलते वेक्टर वाले टुकड़ों को एक ही लेबल मिलता है, और जहाँ मॉडल सपोर्ट करे वहाँ एक साथ बोली गई स्पीच भी सँभाली जाती है।
Hugging Face पर ओपन pyannote speaker-diarization-3.1 पाइपलाइन 16 kHz का मोनो ऑडियो लेती है (स्टीरियो को मोनो में मिलाती है और दूसरे रेट को रीसैंपल करती है) और नतीजे RTTM में लिखती है, जो हर स्पीकर की बारी के लिए एक लाइन वाला सादा टेक्स्ट फ़ॉर्मैट है। RTTM की एक लाइन फ़ाइल, चैनल, शुरू होने का समय, अवधि और स्पीकर लेबल देती है:
SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>
इसका मॉडल कार्ड हर बेंचमार्क के लिए डायराइज़ेशन एरर रेट (DER) बताता है, REPERE पर 7.8% से AVA-AVD पर 50.0% तक, और VoxConverse पर 11.3%। यह फैलाव दिखाता है कि नतीजे ऑडियो पर कितना निर्भर करते हैं: मीटिंग, TV और फ़ोन कॉल अलग-अलग व्यवहार करते हैं।
कुछ होस्टेड API यह काम आपके लिए करते हैं। OpenAI की स्पीच-टू-टेक्स्ट गाइड एक डायराइज़ेशन मॉडल, gpt-4o-transcribe-diarize, का वर्णन करती है, जिसका diarized_json रिस्पॉन्स ऐसे सेगमेंट देता है जिनमें speaker, start और end फ़ील्ड होते हैं, और अधिकतम चार पहचाने हुए स्पीकर के लिए 2 से 10 सेकंड के वैकल्पिक रेफ़रंस क्लिप दिए जा सकते हैं। OpenAI इस मॉडल को डिप्रिकेटेड बताता है, जो 26 फ़रवरी 2027 को बंद होगा, और उसकी गाइड (2026-11-15 को जाँची गई) किसी दूसरे मॉडल पर स्पीकर लेबल का ज़िक्र नहीं करती।
यह क्यों मायने रखता है
- कॉल सेंटर और इंटरव्यू. क्वालिटी रिव्यू, कंप्लायंस और सारांश, सबके लिए जानना ज़रूरी है कि किसने क्या कहा।
- आगे का LLM काम. “Agent:” और “Customer:” वाली बारियों वाला सारांश प्रॉम्प्ट, टेक्स्ट की एक लंबी दीवार से बेहतर जवाब देता है।
- लागत. डायराइज़ेशन अतिरिक्त कंप्यूट है, जिसकी कीमत प्रोवाइडर के हिसाब से अलग लगती है या पैकेज में शामिल होती है। स्पीच-टू-टेक्स्ट API प्राइस इंडेक्स बताता है कि कौन-से प्रोवाइडर इसके लिए अलग पैसे लेते हैं।
BroadNet Inference पर
BroadNet के डॉक्स में डायराइज़ेशन का ज़िक्र नहीं है। ट्रांसक्रिप्शन एंडपॉइंट सिर्फ़ {"text": "..."} लौटाता है, बिना स्पीकर लेबल या टाइमस्टैम्प के। एक व्यावहारिक तरीक़ा है: pyannote जैसा ओपन डायराइज़र लोकल चलाएँ, ffmpeg से हर स्पीकर की बारी पर ऑडियो काटें, और हर क्लिप language सेट करके BroadNet Transcribe Arabic या BroadNet Transcribe को भेजें। अगर दोनों पक्ष अलग स्टीरियो चैनल पर हैं, तो बस चैनल अलग कर दें; इसके लिए किसी मॉडल की ज़रूरत ही नहीं। पूरे वर्कफ़्लो के लिए कॉल सेंटर रिकॉर्डिंग ट्रांसक्राइब करना देखें।