Konuşmacı ayrımı, tek bir transkript bloğunu bir konuşmaya dönüştürür: temsilci, sonra müşteri, sonra yine temsilci.
Nasıl çalışır
Bir diarization hattı genellikle üç aşamada çalışır:
- Konuşmayı bul. Ses etkinliği algılama birinin konuştuğu yerleri işaretler.
- Kısa pencereleri vektöre dönüştür. Bir konuşmacı gömme (speaker embedding) modeli her dilimi sesi yakalayan bir vektöre çevirir.
- Kümele. Benzer vektörlere sahip dilimler aynı etiketi alır; model destekliyorsa üst üste binen konuşma da ele alınır.
Hugging Face’teki açık pyannote speaker-diarization-3.1 hattı 16 kHz mono ses alır (stereoyu monoya indirger, diğer örnekleme hızlarını yeniden örnekler) ve sonuçları, her konuşmacı sırası için bir satır içeren düz metin bir biçim olan RTTM’ye yazar. Bir RTTM satırı dosyayı, kanalı, başlangıç zamanını, süreyi ve konuşmacı etiketini verir:
SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>
Model kartı, benchmark başına diarization error rate (DER) bildirir: REPERE’de %7,8’den AVA-AVD’de %50,0’a, VoxConverse’te ise %11,3. Bu yayılım, sonuçların sese ne kadar bağlı olduğunu gösterir: toplantılar, TV ve telefon görüşmeleri farklı davranır.
Bazı barındırılan API’ler bunu sizin yerinize yapar. OpenAI’ın konuşmadan metne rehberi, bir diarization modeli olan gpt-4o-transcribe-diarize modelini belgeler; bu modelin diarized_json yanıtındaki bölümler speaker, start ve end alanları taşır ve en fazla dört bilinen konuşmacı için 2 ila 10 saniyelik isteğe bağlı referans klipler kabul edilir. OpenAI bu modeli kullanımdan kaldırılmış olarak listeler, 26 Şubat 2027’de kapanacaktır; rehberi (kontrol tarihi 2026-11-15) başka hiçbir modelde konuşmacı etiketi belgelemez.
Neden önemli
- Çağrı merkezleri ve röportajlar. Kalite incelemesi, uyumluluk ve özetlerin hepsi kimin ne söylediğini bilmeyi gerektirir.
- Sonraki LLM işleri. “Temsilci:” ve “Müşteri:” sıraları olan bir özet istemi, tek bir metin duvarından daha iyi yanıtlar verir.
- Maliyet. Konuşmacı ayrımı ek hesaplamadır; sağlayıcıya göre ayrı fiyatlandırılır veya pakete dahildir. Konuşmadan metne API fiyat endeksi, hangi sağlayıcıların bunun için ek ücret aldığını belirtir.
BroadNet Inference’ta
BroadNet’in belgeleri konuşmacı ayrımını listelemez. Transkripsiyon uç noktası yalnızca {"text": "..."} döndürür; konuşmacı etiketi veya zaman damgası yoktur. Pratik bir kalıp, pyannote gibi açık bir diarization aracını yerelde çalıştırmak, sesi ffmpeg ile her konuşmacı sırasında kesmek ve her klibi language ayarlı olarak BroadNet Transcribe Arabic veya BroadNet Transcribe modeline göndermektir. İki taraf ayrı stereo kanallardaysa bunun yerine kanalları ayırın; bunun için hiç model gerekmez. Daha geniş iş akışı için çağrı merkezi kayıtlarını transkribe etme yazısına bakın.