BroadRouter
Inizia

Voice activity detection (VAD)

Aggiornato

La voice activity detection (VAD, rilevamento dell’attività vocale) è un passaggio di elaborazione del segnale che classifica brevi frame audio come parlato o non parlato. I sistemi vocali la usano per saltare i silenzi, dividere registrazioni lunghe nelle pause, capire quando chi parla ha finito ed evitare di trascrivere il rumore di fondo.

Detto anche: rilevamento dell’attività vocale, rilevamento del parlato, rilevamento dei silenzi, rimozione dei silenzi, VAD, voice activity detection, speech activity detection, speech detection, silence detection

La VAD risponde a una sola domanda, molte volte al secondo: in questo pezzetto di audio c’è qualcuno che parla?

Come funziona

L’audio viene tagliato in frame brevi e ogni frame riceve un’etichetta di parlato o non parlato. I due rilevatori open più usati mostrano i parametri tipici:

WebRTC VAD Silero VAD
Tipo rilevatore classico del progetto WebRTC di Google modello neurale pre-addestrato, licenza MIT
Frequenze di campionamento 8, 16, 32 o 48 kHz 8 o 16 kHz
Frame o chunk 10, 20 o 30 ms 30+ ms
Formato audio solo PCM mono a 16 bit come documentato nel repository
Regolazione aggressività da 0 (filtra meno) a 3 (filtra di più) vedi gli esempi del repository
Velocità piccolo codice C meno di 1 ms per chunk su un thread di CPU; modello di circa 2 MB

Dimensione del frame e frequenza di campionamento sono legate. A 16.000 campioni al secondo, un frame da 30 ms è 16.000 x 0,030 = 480 campioni, cioè 960 byte di audio a 16 bit. Le etichette grezze dei frame sfarfallano, quindi gli strumenti le smussano: chiedono qualche centinaio di millisecondi di parlato prima di aprire un segmento, e un po’ di silenzio prima di chiuderlo.

Le API ospitate usano la stessa idea. La guida allo speech-to-text di OpenAI ti permette di impostare chunking_strategy su auto o su una configurazione VAD per audio più lunghi di 30 secondi con il suo modello di diarizzazione, che la guida indica come deprecato.

Perché è importante

  • Costo. Le API speech-to-text di solito fatturano a minuto di audio. Tagliare i silenzi lunghi prima dell’upload riduce i minuti fatturati.
  • Latenza. Meno audio caricato significa una richiesta più piccola e meno da elaborare.
  • Limiti sui file. Dividere nelle pause, anziché a intervalli fissi, evita di spezzare una parola a metà quando un file è troppo grande per una sola richiesta.
  • Voice bot. Rilevare la fine di un turno decide quanto velocemente risponde un bot.

La VAD è anche il primo stadio della diarizzazione dei parlanti.

Su BroadNet Inference

La documentazione di BroadNet non descrive impostazioni di VAD né un’opzione per tagliare i silenzi su /v1/audio/transcriptions. Carichi WAV o MP3 fino a 26.214.400 byte e ricevi {"text": ...}. Se il tuo audio ha pause lunghe, come capita spesso con vocali e registrazioni di chiamate, esegui WebRTC VAD o Silero VAD in locale, tieni le parti parlate e invia quelle. La guida ai vocali WhatsApp spiega la conversione con ffmpeg in 16 kHz mono, accettata da entrambi i rilevatori. La trascrizione ha un prezzo al minuto, $0.0042 su BroadNet Transcribe Arabic; il calcolatore dei costi speech-to-text mostra quanto fanno risparmiare i minuti tagliati.

Domande frequenti

Qual è un buon VAD open source?

Due scelte comuni sono WebRTC VAD, un piccolo rilevatore classico con modalità di aggressività da 0 a 3, e Silero VAD, un modello neurale con licenza MIT di circa 2 MB che elabora un chunk da 30+ ms in meno di 1 ms su un solo thread di CPU.

BroadNet applica la VAD al mio audio?

La documentazione di BroadNet non descrive impostazioni di VAD. Se ti serve controllarla, taglia i silenzi o dividi nelle pause dal tuo lato prima dell’upload.

Come fa la VAD a ridurre il costo dello speech-to-text?

Le API a minuto fatturano l’audio che invii. Se una registrazione è silenzio per il 40% e invii solo le parti parlate, paghi circa il 60% dei minuti. Lascia le pause brevi, così le parole non vengono tagliate.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity