BroadRouter

Voice activity detection (VAD)

Na-update

Ang voice activity detection (VAD) ay isang signal-processing step na nag-uuri sa maiikling frame ng audio bilang speech o non-speech. Ginagamit ito ng mga speech system para laktawan ang katahimikan, hatiin ang mahahabang recording sa mga pause, malaman kung tapos nang magsalita ang speaker, at iwasang i-transcribe ang ingay sa background.

Tinatawag ding: voice activity detection, VAD, speech activity detection, speech detection, silence detection, pag-detect ng boses, pagtanggal ng katahimikan sa audio

Isang tanong ang paulit-ulit na sinasagot ng VAD, maraming beses bawat segundo: may nagsasalita ba sa hiwang ito ng audio?

Paano ito gumagana

Hinahati ang audio sa maiikling frame at nilalagyan ang bawat frame ng label na speech o non-speech. Makikita sa dalawang pinakaginagamit na open detector ang karaniwang mga parameter:

WebRTC VAD Silero VAD
Uri classic detector mula sa WebRTC project ng Google pre-trained na neural model, MIT licence
Sample rate 8, 16, 32 o 48 kHz 8 o 16 kHz
Frame o chunk 10, 20 o 30 ms 30+ ms
Audio format 16-bit mono PCM lang ayon sa dokumentasyon sa repo
Tuning aggressiveness 0 (pinakakaunting filter) hanggang 3 (pinakamarami) tingnan ang mga halimbawa sa repo
Bilis maliit na C code wala pang 1 ms bawat chunk sa isang CPU thread; mga 2 MB ang model

Magkaugnay ang laki ng frame at ang sample rate. Sa 16,000 sample bawat segundo, ang 30 ms na frame ay 16,000 x 0.030 = 480 sample, o 960 byte ng 16-bit na audio. Pabago-bago ang hilaw na label ng bawat frame, kaya pinapakinis ito ng mga tool: kailangan muna ng ilang daang millisecond ng pananalita bago magbukas ng segment, at ng kaunting katahimikan bago ito isara.

Ganito rin ang ideya sa mga hosted API. Sa speech-to-text guide ng OpenAI, puwedeng itakda ang chunking_strategy sa auto o sa isang VAD configuration para sa audio na lampas 30 segundo sa diarization model nito, na nakalista sa guide bilang deprecated.

Bakit ito mahalaga

  • Gastos. Karaniwang per audio minute ang singil ng mga speech-to-text API. Kapag tinanggal mo ang mahahabang katahimikan bago mag-upload, nababawasan ang siningil na minuto.
  • Latency. Mas kaunting audio na ia-upload, mas maliit ang request at mas kaunti ang ipo-process.
  • Limit sa file. Kapag sa mga pause ka naghati sa halip na sa fixed na oras, hindi mahahati sa gitna ang isang salita kapag masyadong malaki ang file para sa isang request.
  • Mga voice bot. Ang pag-detect ng dulo ng turn ang nagtatakda kung gaano kabilis sumagot ang bot.

Ang VAD din ang unang yugto ng speaker diarization.

Sa BroadNet Inference

Walang dokumentadong VAD setting o opsyon sa pag-trim ng katahimikan para sa /v1/audio/transcriptions sa docs ng BroadNet. Mag-a-upload ka ng WAV o MP3 hanggang 26,214,400 byte at {"text": ...} ang ibabalik. Kung may mahahabang puwang ang audio mo, gaya ng madalas sa mga voice note at call recording, patakbuhin nang lokal ang WebRTC VAD o Silero VAD, kunin ang mga bahaging may pananalita, at iyon ang ipadala. Ipinapakita ng gabay sa WhatsApp voice notes ang ffmpeg conversion sa 16 kHz mono na tinatanggap ng dalawang detector. Per minute ang presyo ng transcription, $0.0042 sa BroadNet Transcribe Arabic; ipinapakita ng speech-to-text cost calculator kung magkano ang natitipid ng na-trim na minuto.

Mga tanong

Ano ang magandang open-source na VAD?

Dalawang karaniwang pinipili ang WebRTC VAD, isang maliit na classic detector na may aggressiveness mode 0 hanggang 3, at ang Silero VAD, isang MIT-licensed na neural model na mga 2 MB na nagpo-process ng 30+ ms na chunk sa wala pang 1 ms sa isang CPU thread.

Naglalapat ba ang BroadNet ng VAD sa audio ko?

Walang dokumentadong VAD setting sa docs ng BroadNet. Kung gusto mong kontrolado ito, ikaw na ang mag-trim ng katahimikan o maghati sa mga pause bago mag-upload.

Paano nakakabawas ang VAD sa gastos ng speech-to-text?

Sinisingil ng mga per-minute na API ang audio na ipinapadala mo. Kung 40% ng recording ay katahimikan at ang mga bahaging may pananalita lang ang ipinadala mo, mga 60% ng minuto ang babayaran mo. Mag-iwan ng maiikling pause para hindi maputol ang mga salita.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity