BroadRouter
Başlayın

Konuşmacı ayrımı (speaker diarization)

Güncellendi

Konuşmacı ayrımı (speaker diarization), bir ses kaydını konuşmacılara göre bölümlere ayırma ve "kim ne zaman konuştu" sorusunu yanıtlama görevidir. Her konuşma bölümünü SPEAKER_00 gibi anonim bir konuşmacı kimliğiyle etiketler ve genellikle her satırı kimin söylediğini göstermek için transkriptle birleştirilir.

Diğer adları: konuşmacı ayrımı, konuşmacı ayrıştırma, diarizasyon, konuşmacı etiketleri, kim ne zaman konuştu, speaker diarization, speaker diarisation, speaker labels, who spoke when, speaker separation, speaker segmentation

Konuşmacı ayrımı, tek bir transkript bloğunu bir konuşmaya dönüştürür: temsilci, sonra müşteri, sonra yine temsilci.

Nasıl çalışır

Bir diarization hattı genellikle üç aşamada çalışır:

  1. Konuşmayı bul. Ses etkinliği algılama birinin konuştuğu yerleri işaretler.
  2. Kısa pencereleri vektöre dönüştür. Bir konuşmacı gömme (speaker embedding) modeli her dilimi sesi yakalayan bir vektöre çevirir.
  3. Kümele. Benzer vektörlere sahip dilimler aynı etiketi alır; model destekliyorsa üst üste binen konuşma da ele alınır.

Hugging Face’teki açık pyannote speaker-diarization-3.1 hattı 16 kHz mono ses alır (stereoyu monoya indirger, diğer örnekleme hızlarını yeniden örnekler) ve sonuçları, her konuşmacı sırası için bir satır içeren düz metin bir biçim olan RTTM’ye yazar. Bir RTTM satırı dosyayı, kanalı, başlangıç zamanını, süreyi ve konuşmacı etiketini verir:

SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>

Model kartı, benchmark başına diarization error rate (DER) bildirir: REPERE’de %7,8’den AVA-AVD’de %50,0’a, VoxConverse’te ise %11,3. Bu yayılım, sonuçların sese ne kadar bağlı olduğunu gösterir: toplantılar, TV ve telefon görüşmeleri farklı davranır.

Bazı barındırılan API’ler bunu sizin yerinize yapar. OpenAI’ın konuşmadan metne rehberi, bir diarization modeli olan gpt-4o-transcribe-diarize modelini belgeler; bu modelin diarized_json yanıtındaki bölümler speaker, start ve end alanları taşır ve en fazla dört bilinen konuşmacı için 2 ila 10 saniyelik isteğe bağlı referans klipler kabul edilir. OpenAI bu modeli kullanımdan kaldırılmış olarak listeler, 26 Şubat 2027’de kapanacaktır; rehberi (kontrol tarihi 2026-11-15) başka hiçbir modelde konuşmacı etiketi belgelemez.

Neden önemli

  • Çağrı merkezleri ve röportajlar. Kalite incelemesi, uyumluluk ve özetlerin hepsi kimin ne söylediğini bilmeyi gerektirir.
  • Sonraki LLM işleri. “Temsilci:” ve “Müşteri:” sıraları olan bir özet istemi, tek bir metin duvarından daha iyi yanıtlar verir.
  • Maliyet. Konuşmacı ayrımı ek hesaplamadır; sağlayıcıya göre ayrı fiyatlandırılır veya pakete dahildir. Konuşmadan metne API fiyat endeksi, hangi sağlayıcıların bunun için ek ücret aldığını belirtir.

BroadNet Inference’ta

BroadNet’in belgeleri konuşmacı ayrımını listelemez. Transkripsiyon uç noktası yalnızca {"text": "..."} döndürür; konuşmacı etiketi veya zaman damgası yoktur. Pratik bir kalıp, pyannote gibi açık bir diarization aracını yerelde çalıştırmak, sesi ffmpeg ile her konuşmacı sırasında kesmek ve her klibi language ayarlı olarak BroadNet Transcribe Arabic veya BroadNet Transcribe modeline göndermektir. İki taraf ayrı stereo kanallardaysa bunun yerine kanalları ayırın; bunun için hiç model gerekmez. Daha geniş iş akışı için çağrı merkezi kayıtlarını transkribe etme yazısına bakın.

Sık sorulan sorular

Konuşmacı ayrımı bana konuşmacının adını söyler mi?

Hayır. SPEAKER_00 ve SPEAKER_01 gibi anonim etiketler döndürür. OpenAI'ın gpt-4o-transcribe-diarize modeli (kullanımdan kaldırıldı, 26 Şubat 2027'de kapanıyor) gibi bazı API'ler, sağladığınız kısa referans kliplerle en fazla dört konuşmacıyı eşleştirebilir.

BroadNet'in transkripsiyon API'si konuşmacı ayrımı yapıyor mu?

BroadNet'in belgeleri konuşmacı ayrımını listelemez. Uç nokta transkripti {"text": ...} olarak döndürür; konuşmacı sıralarına ihtiyacınız varsa ayrı bir diarization modeli çalıştırın.

Konuşmacı ayrımının doğruluğu nasıl ölçülür?

Diarization error rate (DER) ile; yanlış alarm, kaçırılan konuşma ve konuşmacı karışıklığı sürelerini toplayıp toplam referans konuşma süresine böler. Düşük olan daha iyidir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor