Diarisierung macht aus einem Transkriptblock ein Gespräch: Agent, dann Kunde, dann wieder Agent.
So funktioniert es
Eine Diarisierungs-Pipeline durchläuft meist drei Stufen:
- Sprache finden. Voice Activity Detection markiert, wo überhaupt jemand spricht.
- Kurze Fenster einbetten. Ein Speaker-Embedding-Modell wandelt jeden Abschnitt in einen Vektor um, der die Stimme erfasst.
- Clustern. Abschnitte mit ähnlichen Vektoren erhalten dasselbe Label; überlappende Sprache wird behandelt, wo das Modell es unterstützt.
Die offene Pipeline speaker-diarization-3.1 von pyannote auf Hugging Face nimmt Mono-Audio mit 16 kHz an (Stereo wird heruntergemischt, andere Abtastraten werden umgerechnet) und schreibt die Ergebnisse in RTTM, einem Textformat mit einer Zeile pro Sprecherbeitrag. Eine RTTM-Zeile enthält Datei, Kanal, Startzeit, Dauer und Sprecherlabel:
SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>
Die Model Card nennt die Diarization Error Rate (DER) pro Benchmark, von 7,8 % auf REPERE bis 50,0 % auf AVA-AVD, mit 11,3 % auf VoxConverse. Die Spanne zeigt, wie stark die Ergebnisse vom Audio abhängen: Meetings, Fernsehen und Telefonate verhalten sich unterschiedlich.
Manche gehosteten APIs erledigen das für Sie. Der Speech-to-Text-Leitfaden von OpenAI dokumentiert ein Diarisierungsmodell, gpt-4o-transcribe-diarize, mit einer diarized_json-Antwort, deren Segmente die Felder speaker, start und end tragen, und optionalen Referenzclips von 2 bis 10 Sekunden für bis zu vier bekannte Sprecher. OpenAI führt dieses Modell als abgekündigt, mit Abschaltung am 26. Februar 2027, und sein Leitfaden (geprüft am 2026-11-15) dokumentiert Sprecherlabels bei keinem anderen Modell.
Warum es wichtig ist
- Callcenter und Interviews. Qualitätsprüfung, Compliance und Zusammenfassungen müssen wissen, wer was gesagt hat.
- Weitere Verarbeitung mit LLMs. Ein Zusammenfassungs-Prompt mit Beiträgen nach „Agent:“ und „Kunde:“ liefert bessere Antworten als eine Textwand.
- Kosten. Diarisierung ist zusätzliche Rechenleistung, je nach Anbieter separat berechnet oder inklusive. Der Preisindex für Speech-to-Text-APIs vermerkt, welche Anbieter dafür extra berechnen.
Bei BroadNet Inference
Die Dokumentation von BroadNet nennt keine Diarisierung. Der Transkriptions-Endpunkt liefert nur {"text": "..."}, ohne Sprecherlabels oder Zeitstempel. Ein praktikables Muster: Lassen Sie lokal einen offenen Diarisierer wie pyannote laufen, schneiden Sie das Audio mit ffmpeg an jedem Sprecherwechsel und senden Sie jeden Clip mit gesetztem language an BroadNet Transcribe Arabic oder BroadNet Transcribe. Liegen beide Seiten auf getrennten Stereokanälen, trennen Sie stattdessen die Kanäle; dafür braucht es gar kein Modell. Den gesamten Ablauf zeigt Callcenter-Aufnahmen transkribieren.