BroadRouter
始める

話者ダイアライゼーション(speaker diarization)

更新日

話者ダイアライゼーションとは、録音を話者ごとの区間に分け、「誰がいつ話したか」に答えるタスクです。各発話区間に SPEAKER_00 のような匿名の話者 ID を付け、たいていは文字起こしと組み合わせて、各行を誰が話したかを示します。

別名: 話者分離、話者識別、話者ラベル、ダイアライゼーション、話者区間検出、speaker diarization、diarization、speaker diarisation、speaker labels、who spoke when、speaker separation、speaker segmentation

話者ダイアライゼーションは、ひとかたまりの文字起こしを会話に変えます。オペレーター、次にお客様、そしてまたオペレーター、という具合です。

仕組み

ダイアライゼーションのパイプラインは、ふつう 3 つの段階で動きます。

  1. 発話を見つける。 音声区間検出(VAD)で、誰かが話している箇所に印を付けます。
  2. 短い区間を埋め込みに変える。 話者埋め込みモデルが、各区間を声の特徴を捉えたベクトルに変換します。
  3. クラスタリングする。 ベクトルが似ている区間に同じラベルを付けます。モデルが対応していれば、重なった発話も処理します。

Hugging Face で公開されているオープンな pyannote speaker-diarization-3.1 パイプラインは、16 kHz のモノラル音声を受け取り(ステレオはダウンミックスし、ほかのサンプリングレートはリサンプリングします)、結果を RTTM で出力します。RTTM は話者の発話 1 回につき 1 行のプレーンテキスト形式で、各行にファイル、チャンネル、開始時刻、長さ、話者ラベルが入ります。

SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>

モデルカードではベンチマークごとのダイアライゼーション誤り率(DER)を報告しており、REPERE の 7.8% から AVA-AVD の 50.0% まで幅があり、VoxConverse では 11.3% です。この幅は、結果が音声にどれほど左右されるかを示しています。会議、テレビ、電話では傾向がそれぞれ異なります。

ホスト型 API の中には、これを代わりに行ってくれるものもあります。OpenAI の音声認識ガイドには、ダイアライゼーション用のモデル gpt-4o-transcribe-diarize が記載されています。diarized_json レスポンスの各セグメントには speaker、start、end のフィールドがあり、既知の話者最大 4 人について 2〜10 秒の参照音声を任意で渡せます。OpenAI はこのモデルを非推奨としており、2027 年 2 月 26 日に提供を終了します。また、ガイド(2026-11-15 確認)には、ほかのモデルで話者ラベルを出す方法は記載されていません。

なぜ重要か

  • コールセンターやインタビュー。 品質チェック、コンプライアンス、要約のどれにも、誰が何を言ったかの情報が必要です。
  • 後段の LLM 処理。 「Agent:」「Customer:」のターンに分かれた要約プロンプトのほうが、ひと続きの文章よりも良い回答が得られます。
  • コスト。 ダイアライゼーションには追加の計算が必要で、事業者によって別料金だったり料金に含まれていたりします。音声認識 API 料金一覧に、追加料金がかかる事業者を記載しています。

BroadNet Inference では

BroadNet のドキュメントには話者ダイアライゼーションの記載がありません。文字起こしエンドポイントが返すのは {"text": "..."} だけで、話者ラベルもタイムスタンプもありません。実用的なのは、pyannote などのオープンなダイアライザーを手元で実行し、ffmpeg で話者の交代ごとに音声を切り分け、各クリップを language を指定して BroadNet Transcribe Arabic または BroadNet Transcribe に送る方法です。双方の声がステレオの別チャンネルに分かれているなら、チャンネルを分割するだけで済み、モデルはまったく要りません。全体の流れはコールセンターの録音を文字起こしするを参照してください。

よくある質問

話者ダイアライゼーションで話者の名前はわかりますか?

いいえ。返されるのは SPEAKER_00 や SPEAKER_01 のような匿名ラベルです。OpenAI の gpt-4o-transcribe-diarize(非推奨、2027 年 2 月 26 日に提供終了)のように、ユーザーが用意した短い参照音声を使って最大 4 人の話者を対応付けられる API もあります。

BroadNet の文字起こし API は話者ダイアライゼーションに対応していますか?

BroadNet のドキュメントには話者ダイアライゼーションの記載がありません。エンドポイントは文字起こしを {"text": ...} の形で返すので、話者の交代が必要なら別のダイアライゼーションモデルを実行してください。

話者ダイアライゼーションの精度はどう測りますか?

ダイアライゼーション誤り率(DER)で測ります。誤検出、発話の見逃し、話者の取り違えの時間を合計し、参照音声の発話時間の合計で割ります。低いほど良い値です。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く