BroadRouter
Başlayın

Ses etkinliği algılama (VAD)

Güncellendi

Ses etkinliği algılama (voice activity detection, VAD), sesin kısa karelerini konuşma veya konuşma dışı olarak sınıflandıran bir sinyal işleme adımıdır. Konuşma sistemleri bunu sessizliği atlamak, uzun kayıtları duraklamalardan bölmek, konuşmacının sözünü bitirdiğini anlamak ve arka plan gürültüsünü yazıya dökmemek için kullanır.

Diğer adları: ses etkinliği algılama, ses aktivitesi algılama, konuşma algılama, sessizlik algılama, sessizlik kırpma, VAD, voice activity detection, speech activity detection, speech detection, silence detection

VAD, saniyede defalarca tek bir soruyu yanıtlar: sesin bu diliminde biri konuşuyor mu?

Nasıl çalışır

Ses kısa karelere bölünür ve her kare “konuşma” ya da “konuşma değil” diye etiketlenir. En çok kullanılan iki açık algılayıcı, tipik parametreleri gösteriyor:

WebRTC VAD Silero VAD
Tür Google’ın WebRTC projesinden klasik algılayıcı önceden eğitilmiş nöral model, MIT lisansı
Örnekleme hızları 8, 16, 32 veya 48 kHz 8 veya 16 kHz
Kare veya parça 10, 20 veya 30 ms 30+ ms
Ses formatı yalnızca 16 bit mono PCM depoda belgelendiği gibi
Ayar agresiflik 0 (en az filtreleme) ile 3 (en çok) arası depodaki örneklere bakın
Hız küçük C kodu tek CPU iş parçacığında parça başına 1 ms’nin altında; yaklaşık 2 MB model

Kare boyutu ile örnekleme hızı birbirine bağlıdır. Saniyede 16.000 örnekte 30 ms’lik bir kare 16.000 x 0,030 = 480 örnek, yani 16 bit seste 960 bayttır. Ham kare etiketleri sürekli titreşir; bu yüzden araçlar onları yumuşatır: bir segmenti açmadan önce birkaç yüz milisaniyelik konuşma, kapatmadan önce de bir miktar sessizlik ister.

Barındırılan API’ler de aynı fikri kullanır. OpenAI’nin konuşmadan metne rehberi, 30 saniyeden uzun seslerde diarization modeli için chunking_strategy değerini auto veya bir VAD yapılandırması olarak ayarlamanıza izin verir; rehber bu modeli kullanımdan kaldırılmış (deprecated) olarak listeliyor.

Neden önemli

  • Maliyet. Konuşmadan metne API’leri genellikle ses dakikası başına faturalandırır. Yüklemeden önce uzun sessizlikleri kesmek faturalanan dakikaları azaltır.
  • Gecikme. Daha az ses yüklemek daha küçük bir istek ve işlenecek daha az veri demektir.
  • Dosya sınırları. Bir dosya tek istek için fazla büyükse sabit sürelerden değil duraklamalardan bölmek, kelimelerin ortadan ikiye bölünmesini önler.
  • Sesli botlar. Konuşma sırasının bittiğini algılamak, botun ne kadar hızlı yanıt vereceğini belirler.

VAD aynı zamanda konuşmacı ayrımının (diarization) ilk aşamasıdır.

BroadNet Inference’ta

BroadNet’in belgeleri /v1/audio/transcriptions için VAD ayarlarını veya bir sessizlik kırpma seçeneğini belgelemiyor. 26.214.400 bayta kadar WAV veya MP3 yüklersiniz ve {"text": ...} geri alırsınız. Sesli notlarda ve çağrı kayıtlarında sık görüldüğü gibi sesinizde uzun boşluklar varsa WebRTC VAD veya Silero VAD’i yerelde çalıştırın, konuşma bölgelerini tutun ve onları gönderin. WhatsApp sesli not rehberi, iki algılayıcının da kabul ettiği 16 kHz mono formata ffmpeg ile dönüştürmeyi anlatıyor. Transkripsiyon dakika başına fiyatlandırılır: BroadNet Transcribe Arabic için $0.0042. Kırpılan dakikaların ne kazandırdığını konuşmadan metne maliyet hesaplayıcısı gösteriyor.

Sık sorulan sorular

İyi bir açık kaynak VAD hangisi?

Yaygın iki seçenek var: 0'dan 3'e agresiflik modları olan küçük, klasik bir algılayıcı olan WebRTC VAD ve MIT lisanslı, yaklaşık 2 MB'lık nöral model Silero VAD. Silero, 30 ms ve üzeri bir parçayı tek CPU iş parçacığında 1 ms'nin altında işler.

BroadNet sesime VAD uyguluyor mu?

BroadNet'in belgelerinde VAD ayarları yer almıyor. Bunu kontrol etmeniz gerekiyorsa yüklemeden önce sessizliği kendi tarafınızda kırpın veya sesi duraklamalardan bölün.

VAD, konuşmadan metne maliyetini nasıl düşürür?

Dakika başına ücretlendiren API'ler gönderdiğiniz sesi faturalar. Bir kaydın %40'ı sessizlikse ve yalnızca konuşma bölgelerini gönderirseniz dakikaların yaklaşık %60'ını ödersiniz. Kelimeler kesilmesin diye kısa duraklamaları bırakın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor