화자 분리는 한 덩어리의 전사본을 대화로 바꿉니다. 상담원, 고객, 다시 상담원 순으로요.
작동 방식
화자 분리 파이프라인은 보통 세 단계로 실행됩니다.
- 발화 찾기. 음성 활동 감지(VAD)가 누군가 말하는 구간을 표시합니다.
- 짧은 구간 임베딩. 화자 임베딩 모델이 각 조각을 목소리 특징을 담은 벡터로 바꿉니다.
- 클러스터링. 벡터가 비슷한 조각에 같은 라벨을 붙이고, 모델이 지원하면 겹치는 발화도 처리합니다.
Hugging Face의 오픈 pyannote speaker-diarization-3.1 파이프라인은 16kHz 모노 오디오를 받으며(스테레오는 다운믹스하고 다른 샘플레이트는 리샘플링합니다), 결과를 화자 턴마다 한 줄인 텍스트 형식 RTTM으로 씁니다. RTTM 한 줄에는 파일, 채널, 시작 시각, 길이, 화자 라벨이 들어갑니다.
SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>
모델 카드는 벤치마크별 화자 분리 오류율(DER)을 보고하는데, REPERE의 7.8%에서 AVA-AVD의 50.0%까지 이르며 VoxConverse에서는 11.3%입니다. 이 편차는 결과가 오디오에 얼마나 좌우되는지 보여 줍니다. 회의, TV, 전화 통화는 서로 다르게 동작합니다.
일부 호스팅 API는 이 작업을 대신해 줍니다. OpenAI의 음성 인식 가이드는 화자 분리 모델 gpt-4o-transcribe-diarize를 문서화하고 있습니다. 이 모델은 세그먼트에 speaker, start, end 필드가 들어 있는 diarized_json 응답을 돌려주고, 최대 4명의 알려진 화자에 대해 2~10초 길이의 참조 클립을 선택적으로 받습니다. OpenAI는 이 모델을 지원 중단(2027년 2월 26일 종료) 목록에 올렸고, 가이드(2026-11-15 확인)에는 다른 모델의 화자 라벨이 문서화되어 있지 않습니다.
왜 중요한가
- 콜센터와 인터뷰. 품질 검토, 컴플라이언스, 요약 모두 누가 무엇을 말했는지 알아야 합니다.
- 후속 LLM 작업. “Agent:“와 “Customer:” 턴으로 나뉜 요약 프롬프트가 통짜 텍스트보다 나은 답을 냅니다.
- 비용. 화자 분리는 추가 연산이며, 제공업체에 따라 별도 요금이 붙거나 기본 포함됩니다. 음성 인식 API 가격 지수에 어떤 제공업체가 추가 요금을 받는지 나와 있습니다.
BroadNet Inference에서는
BroadNet 문서에는 화자 분리가 없습니다. 전사 엔드포인트는 {"text": "..."}만 돌려주며, 화자 라벨이나 타임스탬프는 없습니다. 실용적인 방법은 pyannote 같은 오픈 화자 분리 모델을 로컬에서 실행하고, ffmpeg로 화자 턴마다 오디오를 자른 뒤, 각 클립을 language를 지정해 BroadNet Transcribe Arabic이나 BroadNet Transcribe로 보내는 것입니다. 양쪽 화자가 스테레오 채널로 나뉘어 있다면 채널을 분리하면 됩니다. 이 경우 모델이 전혀 필요 없습니다. 전체 워크플로는 콜센터 녹음 전사하기를 참고하세요.