BroadRouter
Mulakan

Diarisasi penutur (speaker diarization)

Dikemas kini

Diarisasi penutur ialah tugas membahagikan rakaman audio kepada segmen mengikut penutur, menjawab soalan "siapa bercakap dan bila". Ia melabelkan setiap bahagian pertuturan dengan ID penutur tanpa nama seperti SPEAKER_00, dan biasanya digabungkan dengan transkrip untuk menunjukkan siapa yang menyebut setiap baris.

Juga dikenali sebagai: diarisasi, speaker diarization, speaker diarisation, label penutur, speaker labels, who spoke when, speaker separation, speaker segmentation

Diarisasi mengubah satu blok transkrip menjadi perbualan: ejen, kemudian pelanggan, kemudian ejen semula.

Cara ia berfungsi

Saluran paip diarisasi biasanya menjalankan tiga peringkat:

  1. Cari pertuturan. Pengesanan aktiviti suara menandakan bila ada orang bercakap.
  2. Benamkan tetingkap pendek. Model pembenaman penutur (speaker embedding) menukar setiap hirisan kepada vektor yang menangkap ciri suara.
  3. Kelompokkan. Hirisan dengan vektor yang serupa mendapat label yang sama, dan pertuturan bertindih dikendalikan jika model menyokongnya.

Saluran paip terbuka pyannote speaker-diarization-3.1 di Hugging Face menerima audio mono pada 16 kHz (ia menukar stereo kepada mono dan mensampel semula kadar lain) dan menulis hasil dalam RTTM, format teks biasa dengan satu baris bagi setiap giliran penutur. Satu baris RTTM memberikan fail, saluran, masa mula, tempoh dan label penutur:

SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>

Kad modelnya melaporkan diarization error rate (DER) bagi setiap penanda aras, daripada 7.8% pada REPERE hingga 50.0% pada AVA-AVD, dengan 11.3% pada VoxConverse. Julat ini menunjukkan betapa hasil bergantung pada audio: mesyuarat, TV dan panggilan telefon berkelakuan berbeza.

Sesetengah API yang dihoskan melakukannya untuk anda. Panduan speech-to-text OpenAI mendokumenkan model diarisasi, gpt-4o-transcribe-diarize, dengan respons diarized_json yang segmennya membawa medan speaker, start dan end, serta klip rujukan pilihan selama 2 hingga 10 saat untuk sehingga empat penutur yang dikenali. OpenAI menyenaraikan model itu sebagai ditamatkan (deprecated), akan ditutup pada 26 Februari 2027, dan panduannya (disemak 2026-11-15) tidak mendokumenkan label penutur pada model lain.

Mengapa ia penting

  • Pusat panggilan dan temu bual. Semakan kualiti, pematuhan dan ringkasan semuanya perlu tahu siapa berkata apa.
  • Kerja LLM seterusnya. Prompt ringkasan dengan giliran “Agent:” dan “Customer:” memberi jawapan yang lebih baik daripada satu dinding teks.
  • Kos. Diarisasi ialah pengiraan tambahan, dihargakan berasingan atau digabungkan, bergantung pada penyedia. Indeks harga API speech-to-text mencatat penyedia yang mengenakan caj tambahan untuknya.

Di BroadNet Inference

Dokumentasi BroadNet tidak menyenaraikan diarisasi. Endpoint transkripsi hanya memulangkan {"text": "..."}, tanpa label penutur atau cap masa. Corak yang praktikal ialah menjalankan diarizer terbuka seperti pyannote secara setempat, memotong audio pada setiap giliran penutur dengan ffmpeg, dan menghantar setiap klip kepada BroadNet Transcribe Arabic atau BroadNet Transcribe dengan language ditetapkan. Jika kedua-dua pihak berada pada saluran stereo yang berasingan, pisahkan sahaja salurannya; itu tidak memerlukan model langsung. Lihat mentranskripsi rakaman pusat panggilan untuk aliran kerja yang lebih luas.

Soalan lazim

Adakah diarisasi memberitahu nama penutur?

Tidak. Ia memulangkan label tanpa nama seperti SPEAKER_00 dan SPEAKER_01. Sesetengah API, seperti gpt-4o-transcribe-diarize daripada OpenAI (ditamatkan, akan ditutup pada 26 Februari 2027), boleh memadankan sehingga empat penutur dengan klip rujukan pendek yang anda bekalkan.

Adakah API transkripsi BroadNet melakukan diarisasi?

Dokumentasi BroadNet tidak menyenaraikan diarisasi. Endpoint memulangkan transkrip sebagai {"text": ...}, jadi jalankan model diarisasi berasingan jika anda memerlukan giliran penutur.

Bagaimanakah ketepatan diarisasi diukur?

Dengan diarization error rate (DER), yang menjumlahkan masa penggera palsu, pertuturan terlepas dan kekeliruan penutur, kemudian membahagikannya dengan jumlah masa pertuturan rujukan. Lebih rendah lebih baik.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity