BroadRouter

Callcenter-Aufzeichnungen transkribieren: Pipeline, auch für Arabisch

Vom Team von BroadNet Inference · 4 Min. Lesezeit · Veröffentlicht

Um Callcenter-Aufzeichnungen zu transkribieren, trennen Sie Stereo-Dateien in Agenten- und Kundenkanal, schneiden jeden Kanal in Sprechbeiträge, transkribieren jeden Beitrag mit dem richtigen Sprachcode und fügen die Beiträge nach Startzeit zusammen. Schwärzen Sie Kartennummern und Telefonnummern im Transkript, bevor ein LLM den Anruf zusammenfasst. Mono-Aufnahmen brauchen einen separaten Diarisierungsschritt.

A support agent with a headset beside a screen showing a call transcript, with the text "Every call becomes insight."
Illustration of an app you could build; not a BroadNet product screenshot.

Ein Callcenter erzeugt jeden Monat Tausende Stunden Audio, und fast nichts davon wird gelesen. Transkripte machen Anrufe durchsuchbar. Zusammenfassungen machen sie überprüfbar. Dieser Beitrag baut die Pipeline von Anfang bis Ende, mit arabischem Schwerpunkt: Dialekte, gemischtes Arabisch und Englisch und ostarabische Ziffern.

Die Schritte:

  1. Aufnahme untersuchen: stereo oder mono?
  2. Stereo in Agenten- und Kundenkanal trennen.
  3. Jeden Kanal in Sprechbeiträge schneiden.
  4. Jeden Beitrag mit der richtigen Sprache transkribieren.
  5. Beiträge nach Startzeit zu einem Dialog zusammenfügen.
  6. PII im Text schwärzen.
  7. Mit einem LLM in strukturierte Felder zusammenfassen.

Schritt 1: Ist die Aufnahme stereo oder mono?

ffprobe -v error -show_entries stream=channels,sample_rate,duration -of csv=p=0 call.wav
# 2,8000,412.6   -> stereo, 8 kHz telephone audio, 6.9 minutes

Viele Contact-Center-Rekorder speichern den Agenten auf einem Kanal und den Kunden auf dem anderen. Der Contact-Center-Leitfaden von AssemblyAI sagt dasselbe: Mit getrennten Kanälen erhalten Sie die Sprechertrennung ohne Diarisierung. Prüfen Sie an einigen Anrufen, welche Seite welche ist; der Agent liegt nicht immer links.

Schritt 2: Wie trennen Sie Stereokanäle mit ffmpeg?

ffmpeg -i call.wav -af "pan=mono|c0=c0" -ar 16000 agent.wav
ffmpeg -i call.wav -af "pan=mono|c0=c1" -ar 16000 customer.wav

Der Filter pan behält einen Kanal, und -ar 16000 resampelt auf 16 kHz, das Format, das die Dokumentation von BroadNet für Telefonaufnahmen verwendet.

Schritt 3: Wie schneiden Sie jeden Kanal in Sprechbeiträge?

Das ist eine einfache Form der Sprachaktivitätserkennung. Jeden Kanal vollständig zu senden funktioniert, aber Sie bezahlen jede Sekunde Stille, während die andere Seite spricht, was die Rechnung bei einem Stereo-Anruf ungefähr verdoppelt. Außerdem geht die Reihenfolge der Beiträge verloren. Schneiden an Pausen löst beides:

import re, subprocess

def speech_turns(wav, noise="-35dB", min_silence=0.6):
    """Return (start, end) seconds of speech, using ffmpeg silencedetect."""
    log = subprocess.run(
        ["ffmpeg", "-i", wav, "-af", f"silencedetect=noise={noise}:d={min_silence}", "-f", "null", "-"],
        capture_output=True, text=True).stderr
    dur = float(subprocess.run(
        ["ffprobe", "-v", "error", "-show_entries", "format=duration", "-of", "csv=p=0", wav],
        capture_output=True, text=True).stdout)
    starts = [float(x) for x in re.findall(r"silence_start: ([\d.]+)", log)]
    ends = [float(x) for x in re.findall(r"silence_end: ([\d.]+)", log)]
    turns, cursor = [], 0.0
    for s, e in zip(starts, ends + [dur]):
        if s - cursor > 0.4:
            turns.append((cursor, s))
        cursor = e
    if dur - cursor > 0.4:
        turns.append((cursor, dur))
    return turns

Stimmen Sie noise an Ihren eigenen Aufnahmen ab: Verrauschte Leitungen brauchen einen höheren Schwellenwert wie -30dB.

Schritt 4: Wie transkribieren Sie jeden Beitrag?

import os, tempfile
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def transcribe_turns(wav, speaker, language="ar"):
    out = []
    for start, end in speech_turns(wav):
        with tempfile.NamedTemporaryFile(suffix=".wav") as seg:
            subprocess.run(["ffmpeg", "-y", "-loglevel", "error", "-i", wav,
                            "-ss", f"{start:.2f}", "-to", f"{end:.2f}", seg.name], check=True)
            with open(seg.name, "rb") as audio:
                text = client.audio.transcriptions.create(
                    model="broadnet/cohere-transcribe-arabic", file=audio, language=language).text
        out.append({"start": start, "speaker": speaker, "text": text.strip()})
    return out

Senden Sie immer language. Ohne diesen Parameter kann Arabisch in lateinischen Buchstaben zurückkommen. Für englischsprachige Queues verwenden Sie broadnet/cohere-transcribe mit language="en". Halten Sie den Worker-Pool klein: Pay-as-you-go-Schlüssel erlauben 4 gleichzeitige Anfragen und 30 pro Minute, und die Anleitung zu Fehlern und Retries zeigt, wie Sie bei 429 zurückweichen.

Einzelne Dateien müssen unter 25 MiB bleiben. Ein langer Monolog als 16-kHz-Mono-WAV (etwa 32 KB pro Sekunde) überschreitet das bei rund 13 Minuten; teilen Sie ihn mit -f segment -segment_time 600.

Schritt 5: Wie fügen Sie Beiträge zu einem Dialog zusammen?

turns = transcribe_turns("agent.wav", "Agent") + transcribe_turns("customer.wav", "Customer")
dialogue = "\n".join(f'{t["speaker"]}: {t["text"]}' for t in sorted(turns, key=lambda t: t["start"]))

Überlappende Sprache erscheint als zwei Beiträge mit nahe beieinanderliegenden Startzeiten, und genau das erwartet ein menschlicher Prüfer.

Was ist mit Mono-Aufnahmen?

Ohne Kanäle brauchen Sie Sprecherdiarisierung: die Entscheidung, wer wann gesprochen hat. Optionen:

Option Wie Abwägung
Open-Source-Diarisierung pyannote.audio auf eigenen Servern laufen lassen, dann jedes Sprechersegment transkribieren Sie betreiben ein Modell; das Audio bleibt bei Ihnen
Ein Anbieter mit eingebauter Diarisierung Mehrere STT-APIs liefern Sprecherlabels; Zusatzkosten im Preisvergleich Ein weiterer Anbieter im Datenpfad
Rollenzuordnung per LLM Beiträge transkribieren, dann ein LLM jeden Beitrag aus dem Kontext als Agent oder Kunde einordnen lassen Günstig; falsch bei kurzen oder mehrdeutigen Beiträgen
An der Quelle beheben Den Rekorder auf Zweikanal umstellen Die beste langfristige Lösung

BroadNet führt keine Diarisierung; kombinieren Sie es bei Mono-Audio also mit einer der ersten drei Optionen.

Schritt 6: Wie schwärzen Sie PII, einschließlich arabischer Ziffern?

Anrufer lesen Kartennummern, IBANs und Telefonnummern laut vor. Transkripte schreiben sie womöglich in westlichen Ziffern (0-9) oder in ostarabischen Ziffern (٠-٩). Erst normalisieren, dann schwärzen:

EASTERN = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")

def redact(text):
    text = text.translate(EASTERN)
    text = re.sub(r"\b(?:\d[ -]?){13,19}\b", "[CARD]", text)
    text = re.sub(r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b", "[IBAN]", text)
    text = re.sub(r"\+?\d[\d -]{7,}\d", "[PHONE]", text)
    return text

Zahlen können auch als Wörter gesprochen werden („خمسة أربعة…“), was ein regulärer Ausdruck übersieht. Prüfen Sie Stichproben von Transkripten von Hand und ergänzen Sie Regeln für das, was Sie finden. Den umfassenderen Ansatz beschreibt sensible Daten an eine LLM-API senden.

Schritt 7: Wie fassen Sie jeden Anruf mit einem LLM zusammen?

import json
summary = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Summarise this call centre dialogue. Reply in English JSON with keys: "
                                      "reason, resolution, resolved (true/false), customer_sentiment, follow_up."},
        {"role": "user", "content": redact(dialogue)},
    ],
).choices[0].message.content
print(json.loads(summary))

Qwen3.8 27B unterstützt strukturierte Ausgabe; parsen und validieren Sie die Antwort immer (wie das geht). Der eigene Test von BroadNet ergab außerdem, dass es Golf- und ägyptische Dialekte versteht. Fordern Sie englisches JSON an, wenn Ihre Dashboards englisch sind, auch wenn der Anruf auf Arabisch geführt wurde.

Welche Qualitätsprüfungen gehören vor die Analytics?

Dashboards auf Basis schlechter Transkripte wirken genauso überzeugend wie solche auf Basis guter. Bauen Sie diese Prüfungen in die Pipeline ein:

  • Vertauschte Kanäle. Sind die Labels für Agent und Kunde bei einem Rekorder oder einer Queue vertauscht, ist jede „Agent sagte“-Metrik falsch. Prüfen Sie den ersten Beitrag: Agenten eröffnen meist mit einer Begrüßung und einem Firmennamen.
  • Leere oder winzige Transkripte. Ein Beitrag ohne Text oder ein Anruf mit weniger als 20 Wörtern bedeutet meist Stille, Wartemusik oder eine defekte Datei. Markieren Sie ihn, statt ihn zusammenzufassen.
  • Falsche Sprache. Eine englische Queue, die plötzlich arabischen Text liefert, oder Arabisch in lateinischen Buchstaben deutet auf einen falschen Wert für language hin.
  • Abweichende Zusammenfassungen. Lassen Sie jede Woche eine Teamleitung 20 Zusammenfassungen mit dem vollständigen Transkript vergleichen. Verfolgen Sie, wie oft resolved falsch ist.

Speichern Sie die Transkripte pro Beitrag, nicht nur die Zusammenfassung. Wird eine Zusammenfassung angezweifelt, sind die Beiträge Ihr Beleg.

Was kostet die Transkription von Anrufen?

Mit dem Schneiden in Beiträge liegt die abgerechnete Audiodauer nahe an der Sprechzeit. Für 1.000 Stunden arabischer Sprache:

Wo BroadNet Inference ins Bild passt

BroadNet deckt die Schritte 4 und 7 mit einem Schlüssel und einer Basis-URL ab: Arabisch und 13 weitere Sprachen für die Transkription sowie auf Arabisch getestete Chat-Modelle für die Zusammenfassung. Audio, Transkripte und Prompts werden nicht gespeichert (Zero Data Retention), und BroadNet meldet für sein arabisches Modell #2 von 37 (Angabe für September 2026; die Live-Rangliste führte das Modell am 15. November 2026 auf #4 von 39) im Open Universal Arabic ASR Leaderboard.

Diarisierung, Echtzeit-Transkription und Schwärzung übernimmt es nicht; diese bleiben in Ihrer Pipeline. Bevor Sie sich festlegen, testen Sie Ihre Dialekte mit der Methode aus Spracherkennung für arabische Dialekte.

Häufige Fragen

Wie trenne ich Agent und Kunde in einer Anrufaufzeichnung?

Ist die Aufnahme stereo, liegen Agent und Kunde meist auf verschiedenen Kanälen. Trennen Sie sie mit ffmpeg und transkribieren Sie jeden Kanal einzeln. Ist sie mono, brauchen Sie Sprecherdiarisierung.

Zahle ich doppelt, wenn ich beide Stereokanäle transkribiere?

Wenn Sie jeden Kanal vollständig senden, ja, denn jeder Kanal ist so lang wie der Anruf. Schneiden Sie jeden Kanal in Sprechbeiträge und senden Sie nur diese, liegt die abgerechnete Audiodauer nahe an der tatsächlichen Sprechzeit.

Kann ich arabische Anrufe mit eingestreuten englischen Wörtern transkribieren?

Ja, aber testen Sie es. Agenten am Golf und in der Levante wechseln bei Produktnamen und Zahlen oft ins Englische. Prüfen Sie an 20 echten Anrufen, wie diese Wörter herauskommen, bevor Sie sich auf Stichwortsuche oder Analytics verlassen.

Sollte ich Audio oder Text schwärzen?

Schwärzen Sie das Texttranskript, bevor es an ein LLM, an Analytics oder an die Suche geht. Wenn Sie das Audio aufbewahren, enthält es weiterhin die gesprochenen Nummern; beschränken Sie also auch den Zugriff auf das Audio und löschen Sie es nach Frist.

Wie lang darf jede Audiodatei sein?

BroadNet akzeptiert WAV oder MP3 bis 26.214.400 Byte (25 MiB) pro Anfrage. 16-kHz-Mono-WAV hat etwa 32 KB pro Sekunde; halten Sie Segmente also unter etwa 13 Minuten oder nutzen Sie MP3.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen