BroadRouter
Loslegen

Sprachaktivitätserkennung (Voice Activity Detection, VAD)

Aktualisiert

Voice Activity Detection (VAD, Sprachaktivitätserkennung) ist ein Schritt der Signalverarbeitung, der kurze Audio-Frames als Sprache oder Nicht-Sprache einstuft. Sprachsysteme nutzen sie, um Stille zu überspringen, lange Aufnahmen an Pausen zu teilen, das Ende eines Redebeitrags zu erkennen und Hintergrundgeräusche nicht zu transkribieren.

Auch genannt: Sprachaktivitätserkennung, Stilleerkennung, Sprachdetektion, voice activity detection, speech activity detection, speech detection, silence detection

VAD beantwortet viele Male pro Sekunde eine einzige Frage: Spricht in diesem Audioabschnitt gerade jemand?

So funktioniert es

Das Audio wird in kurze Frames zerlegt, und jeder Frame bekommt das Label Sprache oder Nicht-Sprache. Die beiden meistgenutzten offenen Detektoren zeigen die typischen Parameter:

WebRTC VAD Silero VAD
Typ klassischer Detektor aus Googles WebRTC-Projekt vortrainiertes neuronales Modell, MIT-Lizenz
Abtastraten 8, 16, 32 oder 48 kHz 8 oder 16 kHz
Frame oder Chunk 10, 20 oder 30 ms ab 30 ms
Audioformat nur 16-Bit-Mono-PCM wie im Repo dokumentiert
Einstellung Aggressivität 0 (am wenigsten Filterung) bis 3 (am meisten) siehe Beispiele im Repo
Geschwindigkeit kleiner C-Code unter 1 ms pro Chunk auf einem CPU-Thread; Modell von etwa 2 MB

Frame-Größe und Abtastrate hängen zusammen. Bei 16.000 Samples pro Sekunde umfasst ein Frame von 30 ms 16.000 x 0,030 = 480 Samples, also 960 Bytes 16-Bit-Audio. Die rohen Frame-Labels flackern, deshalb glätten Tools sie: Ein Segment wird erst nach einigen hundert Millisekunden Sprache geöffnet und erst nach etwas Stille geschlossen.

Gehostete APIs nutzen dieselbe Idee. Im Speech-to-Text-Leitfaden von OpenAI können Sie chunking_strategy bei Audio über 30 Sekunden für das Diarisierungsmodell auf auto oder eine VAD-Konfiguration setzen; der Leitfaden führt dieses Modell als veraltet (deprecated).

Warum es wichtig ist

  • Kosten. Speech-to-Text-APIs rechnen meist pro Audiominute ab. Wer lange Stille vor dem Upload entfernt, senkt die abgerechneten Minuten.
  • Latenz. Weniger hochgeladenes Audio bedeutet einen kleineren Request und weniger Verarbeitung.
  • Dateilimits. Ist eine Datei zu groß für einen Request, verhindert das Teilen an Pausen statt nach festen Zeiten, dass ein Wort mittendurch geschnitten wird.
  • Voicebots. Wie schnell ein Bot antwortet, hängt davon ab, wann er das Ende eines Redebeitrags erkennt.

VAD ist außerdem die erste Stufe der Sprecher-Diarisierung.

Bei BroadNet Inference

Die Dokumentation von BroadNet beschreibt für /v1/audio/transcriptions weder VAD-Einstellungen noch eine Option zum Kürzen von Stille. Sie laden WAV oder MP3 bis 26.214.400 Bytes hoch und erhalten {"text": ...} zurück. Hat Ihr Audio lange Lücken, wie Sprachnachrichten und Anrufaufzeichnungen oft, lassen Sie WebRTC VAD oder Silero VAD lokal laufen, behalten die Sprachabschnitte und senden diese. Die Anleitung zu WhatsApp-Sprachnachrichten zeigt die Umwandlung mit ffmpeg in 16 kHz Mono, die beide Detektoren akzeptieren. Transkription wird pro Minute abgerechnet, $0.0042 bei BroadNet Transcribe Arabic; der Kostenrechner für Speech-to-Text zeigt, was gekürzte Minuten sparen.

Häufige Fragen

Welche Open-Source-VAD ist gut?

Zwei gängige Optionen sind WebRTC VAD, ein kleiner klassischer Detektor mit den Aggressivitätsstufen 0 bis 3, und Silero VAD, ein MIT-lizenziertes neuronales Modell von etwa 2 MB, das einen Chunk ab 30 ms in unter 1 ms auf einem CPU-Thread verarbeitet.

Wendet BroadNet VAD auf mein Audio an?

Die Dokumentation von BroadNet beschreibt keine VAD-Einstellungen. Wenn Sie das steuern wollen, kürzen Sie Stille oder teilen Sie an Pausen selbst, bevor Sie hochladen.

Wie senkt VAD die Kosten für Speech-to-Text?

APIs mit Minutenabrechnung berechnen das Audio, das Sie senden. Besteht eine Aufnahme zu 40 % aus Stille und Sie senden nur die Sprachabschnitte, zahlen Sie für etwa 60 % der Minuten. Lassen Sie kurze Pausen stehen, damit keine Wörter abgeschnitten werden.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen