Isang tanong ang paulit-ulit na sinasagot ng VAD, maraming beses bawat segundo: may nagsasalita ba sa hiwang ito ng audio?
Paano ito gumagana
Hinahati ang audio sa maiikling frame at nilalagyan ang bawat frame ng label na speech o non-speech. Makikita sa dalawang pinakaginagamit na open detector ang karaniwang mga parameter:
| WebRTC VAD | Silero VAD | |
|---|---|---|
| Uri | classic detector mula sa WebRTC project ng Google | pre-trained na neural model, MIT licence |
| Sample rate | 8, 16, 32 o 48 kHz | 8 o 16 kHz |
| Frame o chunk | 10, 20 o 30 ms | 30+ ms |
| Audio format | 16-bit mono PCM lang | ayon sa dokumentasyon sa repo |
| Tuning | aggressiveness 0 (pinakakaunting filter) hanggang 3 (pinakamarami) | tingnan ang mga halimbawa sa repo |
| Bilis | maliit na C code | wala pang 1 ms bawat chunk sa isang CPU thread; mga 2 MB ang model |
Magkaugnay ang laki ng frame at ang sample rate. Sa 16,000 sample bawat segundo, ang 30 ms na frame ay 16,000 x 0.030 = 480 sample, o 960 byte ng 16-bit na audio. Pabago-bago ang hilaw na label ng bawat frame, kaya pinapakinis ito ng mga tool: kailangan muna ng ilang daang millisecond ng pananalita bago magbukas ng segment, at ng kaunting katahimikan bago ito isara.
Ganito rin ang ideya sa mga hosted API. Sa speech-to-text guide ng OpenAI, puwedeng itakda ang chunking_strategy sa auto o sa isang VAD configuration para sa audio na lampas 30 segundo sa diarization model nito, na nakalista sa guide bilang deprecated.
Bakit ito mahalaga
- Gastos. Karaniwang per audio minute ang singil ng mga speech-to-text API. Kapag tinanggal mo ang mahahabang katahimikan bago mag-upload, nababawasan ang siningil na minuto.
- Latency. Mas kaunting audio na ia-upload, mas maliit ang request at mas kaunti ang ipo-process.
- Limit sa file. Kapag sa mga pause ka naghati sa halip na sa fixed na oras, hindi mahahati sa gitna ang isang salita kapag masyadong malaki ang file para sa isang request.
- Mga voice bot. Ang pag-detect ng dulo ng turn ang nagtatakda kung gaano kabilis sumagot ang bot.
Ang VAD din ang unang yugto ng speaker diarization.
Sa BroadNet Inference
Walang dokumentadong VAD setting o opsyon sa pag-trim ng katahimikan para sa /v1/audio/transcriptions sa docs ng BroadNet. Mag-a-upload ka ng WAV o MP3 hanggang 26,214,400 byte at {"text": ...} ang ibabalik. Kung may mahahabang puwang ang audio mo, gaya ng madalas sa mga voice note at call recording, patakbuhin nang lokal ang WebRTC VAD o Silero VAD, kunin ang mga bahaging may pananalita, at iyon ang ipadala. Ipinapakita ng gabay sa WhatsApp voice notes ang ffmpeg conversion sa 16 kHz mono na tinatanggap ng dalawang detector. Per minute ang presyo ng transcription, $0.0042 sa BroadNet Transcribe Arabic; ipinapakita ng speech-to-text cost calculator kung magkano ang natitipid ng na-trim na minuto.