BroadRouter
시작하기

화자 분리(speaker diarization)

업데이트

화자 분리(speaker diarization)는 오디오 녹음을 화자별 구간으로 나눠 "누가 언제 말했는가"에 답하는 작업입니다. 각 발화 구간에 SPEAKER_00 같은 익명 화자 ID를 붙이며, 보통 전사본과 결합해 각 줄을 누가 말했는지 보여 줍니다.

다른 이름: 화자 분리, 화자 구분, 화자 다이어라이제이션, 다이어라이제이션, 화자 라벨, speaker diarisation, speaker labels, who spoke when, speaker separation, speaker segmentation

화자 분리는 한 덩어리의 전사본을 대화로 바꿉니다. 상담원, 고객, 다시 상담원 순으로요.

작동 방식

화자 분리 파이프라인은 보통 세 단계로 실행됩니다.

  1. 발화 찾기. 음성 활동 감지(VAD)가 누군가 말하는 구간을 표시합니다.
  2. 짧은 구간 임베딩. 화자 임베딩 모델이 각 조각을 목소리 특징을 담은 벡터로 바꿉니다.
  3. 클러스터링. 벡터가 비슷한 조각에 같은 라벨을 붙이고, 모델이 지원하면 겹치는 발화도 처리합니다.

Hugging Face의 오픈 pyannote speaker-diarization-3.1 파이프라인은 16kHz 모노 오디오를 받으며(스테레오는 다운믹스하고 다른 샘플레이트는 리샘플링합니다), 결과를 화자 턴마다 한 줄인 텍스트 형식 RTTM으로 씁니다. RTTM 한 줄에는 파일, 채널, 시작 시각, 길이, 화자 라벨이 들어갑니다.

SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>

모델 카드는 벤치마크별 화자 분리 오류율(DER)을 보고하는데, REPERE의 7.8%에서 AVA-AVD의 50.0%까지 이르며 VoxConverse에서는 11.3%입니다. 이 편차는 결과가 오디오에 얼마나 좌우되는지 보여 줍니다. 회의, TV, 전화 통화는 서로 다르게 동작합니다.

일부 호스팅 API는 이 작업을 대신해 줍니다. OpenAI의 음성 인식 가이드는 화자 분리 모델 gpt-4o-transcribe-diarize를 문서화하고 있습니다. 이 모델은 세그먼트에 speaker, start, end 필드가 들어 있는 diarized_json 응답을 돌려주고, 최대 4명의 알려진 화자에 대해 2~10초 길이의 참조 클립을 선택적으로 받습니다. OpenAI는 이 모델을 지원 중단(2027년 2월 26일 종료) 목록에 올렸고, 가이드(2026-11-15 확인)에는 다른 모델의 화자 라벨이 문서화되어 있지 않습니다.

왜 중요한가

  • 콜센터와 인터뷰. 품질 검토, 컴플라이언스, 요약 모두 누가 무엇을 말했는지 알아야 합니다.
  • 후속 LLM 작업. “Agent:“와 “Customer:” 턴으로 나뉜 요약 프롬프트가 통짜 텍스트보다 나은 답을 냅니다.
  • 비용. 화자 분리는 추가 연산이며, 제공업체에 따라 별도 요금이 붙거나 기본 포함됩니다. 음성 인식 API 가격 지수에 어떤 제공업체가 추가 요금을 받는지 나와 있습니다.

BroadNet Inference에서는

BroadNet 문서에는 화자 분리가 없습니다. 전사 엔드포인트는 {"text": "..."}만 돌려주며, 화자 라벨이나 타임스탬프는 없습니다. 실용적인 방법은 pyannote 같은 오픈 화자 분리 모델을 로컬에서 실행하고, ffmpeg로 화자 턴마다 오디오를 자른 뒤, 각 클립을 language를 지정해 BroadNet Transcribe Arabic이나 BroadNet Transcribe로 보내는 것입니다. 양쪽 화자가 스테레오 채널로 나뉘어 있다면 채널을 분리하면 됩니다. 이 경우 모델이 전혀 필요 없습니다. 전체 워크플로는 콜센터 녹음 전사하기를 참고하세요.

자주 묻는 질문

화자 분리로 화자의 이름까지 알 수 있나요?

아닙니다. SPEAKER_00, SPEAKER_01 같은 익명 라벨을 돌려줍니다. OpenAI의 gpt-4o-transcribe-diarize(지원 중단, 2027년 2월 26일 종료) 같은 일부 API는 사용자가 제공한 짧은 참조 클립에 최대 4명의 화자를 대응시킬 수 있습니다.

BroadNet 전사 API는 화자 분리를 지원하나요?

BroadNet 문서에는 화자 분리가 없습니다. 엔드포인트는 전사본을 {"text": ...} 형태로 돌려주므로, 화자 턴이 필요하면 별도의 화자 분리 모델을 실행하세요.

화자 분리 정확도는 어떻게 측정하나요?

화자 분리 오류율(DER)로 측정합니다. 오탐(false alarm), 놓친 발화, 화자 혼동 시간을 더한 다음 전체 기준 발화 시간으로 나눕니다. 낮을수록 좋습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기