BroadRouter
Bắt đầu

Speaker diarization (phân tách người nói)

Cập nhật

Speaker diarization (phân tách người nói) là tác vụ chia một bản ghi âm thành các đoạn theo người nói, trả lời câu hỏi “ai nói lúc nào”. Mỗi đoạn lời nói được gắn một ID ẩn danh như SPEAKER_00, và thường được kết hợp với bản chép lời để cho thấy ai nói từng dòng.

Còn gọi là: diarization là gì, phân tách người nói, phân biệt người nói, nhận diện người nói theo đoạn, gắn nhãn người nói, speaker diarisation, speaker labels, who spoke when, speaker separation, speaker segmentation

Diarization biến một khối chép lời liền mạch thành một cuộc hội thoại: nhân viên, rồi khách hàng, rồi lại nhân viên.

Cách hoạt động

Một pipeline diarization thường chạy ba bước:

  1. Tìm lời nói. Phát hiện hoạt động giọng nói (VAD) đánh dấu chỗ có người đang nói.
  2. Embedding các cửa sổ ngắn. Một model speaker embedding biến mỗi lát cắt thành một vector mang đặc trưng giọng.
  3. Phân cụm. Các lát có vector giống nhau được gắn cùng nhãn, và lời nói chồng lấn được xử lý nếu model hỗ trợ.

Pipeline mã nguồn mở pyannote speaker-diarization-3.1 trên Hugging Face nhận audio mono 16 kHz (nó trộn stereo về mono và lấy mẫu lại các tần số khác) và ghi kết quả theo RTTM, một định dạng văn bản thuần với mỗi dòng là một lượt nói. Một dòng RTTM cho biết file, kênh, thời điểm bắt đầu, độ dài và nhãn người nói:

SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>

Model card của nó báo cáo diarization error rate (DER) theo từng benchmark, từ 7,8% trên REPERE đến 50,0% trên AVA-AVD, và 11,3% trên VoxConverse. Mức chênh này cho thấy kết quả phụ thuộc nhiều vào audio: cuộc họp, truyền hình và cuộc gọi điện thoại cho kết quả khác nhau.

Một số API được host sẵn làm việc này cho bạn. Hướng dẫn speech-to-text của OpenAI mô tả một model diarization, gpt-4o-transcribe-diarize, với phản hồi diarized_json mà các segment có trường speaker, start và end, cùng các đoạn audio tham chiếu tùy chọn dài 2 đến 10 giây cho tối đa bốn người nói đã biết. OpenAI liệt kê model đó là đã ngừng hỗ trợ, sẽ tắt vào ngày 26 tháng 2 năm 2027, và hướng dẫn của họ (kiểm tra ngày 2026-11-15) không mô tả nhãn người nói trên model nào khác.

Vì sao quan trọng

  • Tổng đài và phỏng vấn. Kiểm soát chất lượng, tuân thủ và tóm tắt đều cần biết ai nói gì.
  • Xử lý tiếp bằng LLM. Một prompt tóm tắt có các lượt “Agent:” và “Customer:” cho câu trả lời tốt hơn một khối chữ liền.
  • Chi phí. Diarization là phần tính toán thêm, tính giá riêng hoặc gộp sẵn tùy nhà cung cấp. Bảng chỉ số giá API speech-to-text ghi rõ nhà cung cấp nào tính thêm phí cho nó.

Trên BroadNet Inference

Tài liệu BroadNet không liệt kê diarization. Endpoint chép lời chỉ trả về {"text": "..."}, không có nhãn người nói hay timestamp. Một cách làm thực tế là chạy một bộ diarization mở như pyannote ở máy bạn, cắt audio tại mỗi lượt nói bằng ffmpeg, rồi gửi từng đoạn tới BroadNet Transcribe Arabic hoặc BroadNet Transcribe với language được đặt. Nếu hai bên nằm trên hai kênh stereo riêng, hãy tách kênh thay vào đó; cách này không cần model nào cả. Xem chép lời bản ghi âm tổng đài để biết toàn bộ quy trình.

Câu hỏi thường gặp

Diarization có cho biết tên người nói không?

Không. Nó trả về nhãn ẩn danh như SPEAKER_00 và SPEAKER_01. Một số API, như gpt-4o-transcribe-diarize của OpenAI (đã ngừng hỗ trợ, tắt vào ngày 26 tháng 2 năm 2027), có thể khớp tối đa bốn người nói với các đoạn audio tham chiếu ngắn bạn cung cấp.

API chép lời của BroadNet có hỗ trợ diarization không?

Tài liệu BroadNet không liệt kê diarization. Endpoint trả về bản chép lời dạng {"text": ...}, nên nếu cần lượt nói của từng người, hãy chạy một model diarization riêng.

Độ chính xác của diarization được đo thế nào?

Bằng diarization error rate (DER), cộng thời gian báo động giả (false alarm), lời nói bị bỏ sót và nhầm người nói, rồi chia cho tổng thời gian lời nói tham chiếu. Càng thấp càng tốt.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity