BroadRouter
Loslegen

Sprecherdiarisierung (Speaker Diarization)

Aktualisiert

Sprecherdiarisierung ist die Aufgabe, eine Audioaufnahme nach Sprechern in Segmente zu teilen, also die Frage „Wer hat wann gesprochen?“ zu beantworten. Jeder Sprachabschnitt erhält eine anonyme Sprecher-ID wie SPEAKER_00; kombiniert mit einem Transkript zeigt das, welche Person welche Zeile gesagt hat.

Auch genannt: Sprecherdiarisierung, Diarisierung, Sprechererkennung im Transkript, Sprecherzuordnung, Sprechertrennung, Sprecherlabels, speaker diarization, speaker diarisation, speaker labels, who spoke when, speaker separation, speaker segmentation

Diarisierung macht aus einem Transkriptblock ein Gespräch: Agent, dann Kunde, dann wieder Agent.

So funktioniert es

Eine Diarisierungs-Pipeline durchläuft meist drei Stufen:

  1. Sprache finden. Voice Activity Detection markiert, wo überhaupt jemand spricht.
  2. Kurze Fenster einbetten. Ein Speaker-Embedding-Modell wandelt jeden Abschnitt in einen Vektor um, der die Stimme erfasst.
  3. Clustern. Abschnitte mit ähnlichen Vektoren erhalten dasselbe Label; überlappende Sprache wird behandelt, wo das Modell es unterstützt.

Die offene Pipeline speaker-diarization-3.1 von pyannote auf Hugging Face nimmt Mono-Audio mit 16 kHz an (Stereo wird heruntergemischt, andere Abtastraten werden umgerechnet) und schreibt die Ergebnisse in RTTM, einem Textformat mit einer Zeile pro Sprecherbeitrag. Eine RTTM-Zeile enthält Datei, Kanal, Startzeit, Dauer und Sprecherlabel:

SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>

Die Model Card nennt die Diarization Error Rate (DER) pro Benchmark, von 7,8 % auf REPERE bis 50,0 % auf AVA-AVD, mit 11,3 % auf VoxConverse. Die Spanne zeigt, wie stark die Ergebnisse vom Audio abhängen: Meetings, Fernsehen und Telefonate verhalten sich unterschiedlich.

Manche gehosteten APIs erledigen das für Sie. Der Speech-to-Text-Leitfaden von OpenAI dokumentiert ein Diarisierungsmodell, gpt-4o-transcribe-diarize, mit einer diarized_json-Antwort, deren Segmente die Felder speaker, start und end tragen, und optionalen Referenzclips von 2 bis 10 Sekunden für bis zu vier bekannte Sprecher. OpenAI führt dieses Modell als abgekündigt, mit Abschaltung am 26. Februar 2027, und sein Leitfaden (geprüft am 2026-11-15) dokumentiert Sprecherlabels bei keinem anderen Modell.

Warum es wichtig ist

  • Callcenter und Interviews. Qualitätsprüfung, Compliance und Zusammenfassungen müssen wissen, wer was gesagt hat.
  • Weitere Verarbeitung mit LLMs. Ein Zusammenfassungs-Prompt mit Beiträgen nach „Agent:“ und „Kunde:“ liefert bessere Antworten als eine Textwand.
  • Kosten. Diarisierung ist zusätzliche Rechenleistung, je nach Anbieter separat berechnet oder inklusive. Der Preisindex für Speech-to-Text-APIs vermerkt, welche Anbieter dafür extra berechnen.

Bei BroadNet Inference

Die Dokumentation von BroadNet nennt keine Diarisierung. Der Transkriptions-Endpunkt liefert nur {"text": "..."}, ohne Sprecherlabels oder Zeitstempel. Ein praktikables Muster: Lassen Sie lokal einen offenen Diarisierer wie pyannote laufen, schneiden Sie das Audio mit ffmpeg an jedem Sprecherwechsel und senden Sie jeden Clip mit gesetztem language an BroadNet Transcribe Arabic oder BroadNet Transcribe. Liegen beide Seiten auf getrennten Stereokanälen, trennen Sie stattdessen die Kanäle; dafür braucht es gar kein Modell. Den gesamten Ablauf zeigt Callcenter-Aufnahmen transkribieren.

Häufige Fragen

Verrät mir die Diarisierung den Namen des Sprechers?

Nein. Sie liefert anonyme Labels wie SPEAKER_00 und SPEAKER_01. Manche APIs, etwa gpt-4o-transcribe-diarize von OpenAI (abgekündigt, Abschaltung am 26. Februar 2027), können bis zu vier Sprecher kurzen Referenzclips zuordnen, die Sie mitliefern.

Beherrscht die Transkriptions-API von BroadNet Diarisierung?

Die Dokumentation von BroadNet nennt keine Diarisierung. Der Endpunkt liefert das Transkript als {"text": ...}; wenn Sie Sprecherwechsel brauchen, lassen Sie ein separates Diarisierungsmodell laufen.

Wie wird die Genauigkeit der Diarisierung gemessen?

Mit der Diarization Error Rate (DER). Sie addiert die Zeit für Fehlalarme, verpasste Sprache und Sprecherverwechslungen und teilt die Summe durch die gesamte Sprechzeit der Referenz. Niedriger ist besser.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen