Diarization mengubah satu blok transkrip menjadi percakapan: agen, lalu pelanggan, lalu agen lagi.
Cara kerjanya
Pipeline diarization biasanya berjalan dalam tiga tahap:
- Temukan ucapan. Voice activity detection menandai bagian ketika ada orang yang berbicara.
- Buat embedding untuk jendela pendek. Model speaker embedding mengubah setiap potongan menjadi vektor yang menangkap ciri suara.
- Klasterkan. Potongan dengan vektor yang mirip mendapat label yang sama, dan ucapan yang tumpang tindih ditangani jika modelnya mendukung.
Pipeline open-source pyannote speaker-diarization-3.1 di Hugging Face menerima audio mono 16 kHz (stereo di-downmix dan sample rate lain di-resample) dan menulis hasilnya dalam RTTM, format teks biasa dengan satu baris per giliran bicara. Satu baris RTTM berisi file, kanal, waktu mulai, durasi, dan label pembicara:
SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>
Kartu modelnya melaporkan diarization error rate (DER) per benchmark, dari 7,8% pada REPERE hingga 50,0% pada AVA-AVD, dengan 11,3% pada VoxConverse. Rentang ini menunjukkan betapa hasilnya bergantung pada audio: rapat, siaran TV, dan panggilan telepon berperilaku berbeda.
Beberapa API terkelola melakukannya untuk Anda. Panduan speech-to-text OpenAI mendokumentasikan model diarization, gpt-4o-transcribe-diarize, dengan respons diarized_json yang segmennya membawa field speaker, start, dan end, serta klip referensi opsional berdurasi 2 hingga 10 detik untuk hingga empat pembicara yang dikenal. OpenAI mencantumkan model itu sebagai deprecated, dimatikan pada 26 Februari 2027, dan panduannya (diperiksa 2026-11-15) tidak mendokumentasikan label pembicara pada model lain.
Mengapa penting
- Call center dan wawancara. Peninjauan kualitas, kepatuhan, dan ringkasan semuanya perlu tahu siapa mengatakan apa.
- Pekerjaan LLM berikutnya. Prompt ringkasan dengan giliran “Agent:” dan “Customer:” memberi jawaban lebih baik daripada satu tembok teks.
- Biaya. Diarization adalah komputasi tambahan, dihargai terpisah atau dibundel, tergantung penyedianya. Indeks harga API speech-to-text mencatat penyedia mana yang mengenakan biaya tambahan untuk fitur ini.
Di BroadNet Inference
Dokumentasi BroadNet tidak mencantumkan diarization. Endpoint transkripsi hanya mengembalikan {"text": "..."}, tanpa label pembicara atau timestamp. Pola praktisnya adalah menjalankan diarizer open-source seperti pyannote secara lokal, memotong audio di setiap giliran bicara dengan ffmpeg, lalu mengirim setiap klip ke BroadNet Transcribe Arabic atau BroadNet Transcribe dengan language diisi. Jika kedua pihak berada di kanal stereo yang terpisah, pisahkan kanalnya saja; cara itu sama sekali tidak memerlukan model. Lihat mentranskripsi rekaman call center untuk alur kerja yang lebih luas.