BroadRouter
Mulakan

Pengesanan aktiviti suara (VAD)

Dikemas kini

Pengesanan aktiviti suara (VAD) ialah langkah pemprosesan isyarat yang mengelaskan bingkai audio pendek sebagai pertuturan atau bukan pertuturan. Sistem pertuturan menggunakannya untuk melangkau senyap, memecahkan rakaman panjang pada jeda, mengesan bila penutur selesai bercakap, dan mengelak daripada mentranskripsi bunyi latar.

Juga dikenali sebagai: VAD, voice activity detection, pengesanan suara, pengesanan pertuturan, speech activity detection, speech detection, silence detection, buang senyap audio

VAD menjawab satu soalan berulang kali setiap saat: adakah seseorang sedang bercakap dalam hirisan audio ini?

Cara ia berfungsi

Audio dipotong kepada bingkai pendek dan setiap bingkai diberi label pertuturan atau bukan pertuturan. Dua pengesan terbuka yang paling banyak digunakan menunjukkan parameter biasa:

WebRTC VAD Silero VAD
Jenis pengesan klasik daripada projek WebRTC Google model neural pra-latih, lesen MIT
Kadar sampel 8, 16, 32 atau 48 kHz 8 atau 16 kHz
Bingkai atau cebisan 10, 20 atau 30 ms 30+ ms
Format audio PCM mono 16-bit sahaja seperti didokumenkan dalam repo
Penalaan keagresifan 0 (paling sedikit penapisan) hingga 3 (paling banyak) lihat contoh dalam repo
Kelajuan kod C yang kecil kurang daripada 1 ms setiap cebisan pada satu thread CPU; model kira-kira 2 MB

Saiz bingkai dan kadar sampel berkait. Pada 16,000 sampel sesaat, bingkai 30 ms ialah 16,000 x 0.030 = 480 sampel, atau 960 bait audio 16-bit. Label mentah setiap bingkai berkelip-kelip, jadi alat melicinkannya: perlukan beberapa ratus milisaat pertuturan sebelum membuka segmen, dan sedikit senyap sebelum menutupnya.

API yang dihoskan menggunakan idea yang sama. Panduan speech-to-text OpenAI membolehkan anda menetapkan chunking_strategy kepada auto atau konfigurasi VAD untuk audio melebihi 30 saat bagi model diarisasinya, yang disenaraikan oleh panduan itu sebagai ditamatkan (deprecated).

Mengapa ia penting

  • Kos. API speech-to-text biasanya mengenakan caj setiap minit audio. Membuang senyap panjang sebelum muat naik mengurangkan minit yang dibilkan.
  • Kependaman. Kurang audio dimuat naik bermakna permintaan lebih kecil dan kurang untuk diproses.
  • Had fail. Memecahkan pada jeda, bukan pada masa tetap, mengelak perkataan terpotong dua apabila fail terlalu besar untuk satu permintaan.
  • Bot suara. Mengesan penghujung giliran menentukan seberapa cepat bot membalas.

VAD juga peringkat pertama dalam diarisasi penutur.

Di BroadNet Inference

Dokumentasi BroadNet tidak mendokumenkan tetapan VAD atau pilihan memotong senyap untuk /v1/audio/transcriptions. Anda memuat naik WAV atau MP3 sehingga 26,214,400 bait dan menerima {"text": ...}. Jika audio anda ada jurang panjang, seperti yang kerap berlaku pada nota suara dan rakaman panggilan, jalankan WebRTC VAD atau Silero VAD secara setempat, simpan bahagian pertuturan, dan hantar bahagian itu. Panduan nota suara WhatsApp menerangkan penukaran ffmpeg kepada 16 kHz mono yang diterima oleh kedua-dua pengesan. Transkripsi dihargakan seminit, $0.0042 pada BroadNet Transcribe Arabic; kalkulator kos speech-to-text menunjukkan penjimatan daripada minit yang dipotong.

Soalan lazim

Apakah VAD sumber terbuka yang bagus?

Dua pilihan biasa ialah WebRTC VAD, pengesan klasik yang kecil dengan mod keagresifan 0 hingga 3, dan Silero VAD, model neural berlesen MIT sebesar kira-kira 2 MB yang memproses cebisan 30+ ms dalam masa kurang daripada 1 ms pada satu thread CPU.

Adakah BroadNet menggunakan VAD pada audio saya?

Dokumentasi BroadNet tidak mendokumenkan tetapan VAD. Potong senyap atau pecahkan audio pada jeda di pihak anda sebelum muat naik jika anda mahu mengawalnya.

Bagaimanakah VAD mengurangkan kos speech-to-text?

API yang mengenakan caj seminit membilkan audio yang anda hantar. Jika 40% rakaman ialah senyap dan anda hanya menghantar bahagian pertuturan, anda membayar kira-kira 60% daripada minit itu. Kekalkan jeda pendek supaya perkataan tidak terpotong.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity