VAD menjawab satu soalan berulang kali setiap saat: adakah seseorang sedang bercakap dalam hirisan audio ini?
Cara ia berfungsi
Audio dipotong kepada bingkai pendek dan setiap bingkai diberi label pertuturan atau bukan pertuturan. Dua pengesan terbuka yang paling banyak digunakan menunjukkan parameter biasa:
| WebRTC VAD | Silero VAD | |
|---|---|---|
| Jenis | pengesan klasik daripada projek WebRTC Google | model neural pra-latih, lesen MIT |
| Kadar sampel | 8, 16, 32 atau 48 kHz | 8 atau 16 kHz |
| Bingkai atau cebisan | 10, 20 atau 30 ms | 30+ ms |
| Format audio | PCM mono 16-bit sahaja | seperti didokumenkan dalam repo |
| Penalaan | keagresifan 0 (paling sedikit penapisan) hingga 3 (paling banyak) | lihat contoh dalam repo |
| Kelajuan | kod C yang kecil | kurang daripada 1 ms setiap cebisan pada satu thread CPU; model kira-kira 2 MB |
Saiz bingkai dan kadar sampel berkait. Pada 16,000 sampel sesaat, bingkai 30 ms ialah 16,000 x 0.030 = 480 sampel, atau 960 bait audio 16-bit. Label mentah setiap bingkai berkelip-kelip, jadi alat melicinkannya: perlukan beberapa ratus milisaat pertuturan sebelum membuka segmen, dan sedikit senyap sebelum menutupnya.
API yang dihoskan menggunakan idea yang sama. Panduan speech-to-text OpenAI membolehkan anda menetapkan chunking_strategy kepada auto atau konfigurasi VAD untuk audio melebihi 30 saat bagi model diarisasinya, yang disenaraikan oleh panduan itu sebagai ditamatkan (deprecated).
Mengapa ia penting
- Kos. API speech-to-text biasanya mengenakan caj setiap minit audio. Membuang senyap panjang sebelum muat naik mengurangkan minit yang dibilkan.
- Kependaman. Kurang audio dimuat naik bermakna permintaan lebih kecil dan kurang untuk diproses.
- Had fail. Memecahkan pada jeda, bukan pada masa tetap, mengelak perkataan terpotong dua apabila fail terlalu besar untuk satu permintaan.
- Bot suara. Mengesan penghujung giliran menentukan seberapa cepat bot membalas.
VAD juga peringkat pertama dalam diarisasi penutur.
Di BroadNet Inference
Dokumentasi BroadNet tidak mendokumenkan tetapan VAD atau pilihan memotong senyap untuk /v1/audio/transcriptions. Anda memuat naik WAV atau MP3 sehingga 26,214,400 bait dan menerima {"text": ...}. Jika audio anda ada jurang panjang, seperti yang kerap berlaku pada nota suara dan rakaman panggilan, jalankan WebRTC VAD atau Silero VAD secara setempat, simpan bahagian pertuturan, dan hantar bahagian itu. Panduan nota suara WhatsApp menerangkan penukaran ffmpeg kepada 16 kHz mono yang diterima oleh kedua-dua pengesan. Transkripsi dihargakan seminit, $0.0042 pada BroadNet Transcribe Arabic; kalkulator kos speech-to-text menunjukkan penjimatan daripada minit yang dipotong.