La diarización convierte un bloque de transcripción en una conversación: agente, luego cliente, luego agente otra vez.
Cómo funciona
Un pipeline de diarización suele tener tres etapas:
- Detectar el habla. La detección de actividad de voz marca dónde habla alguien.
- Generar embeddings de ventanas cortas. Un modelo de embeddings de hablante convierte cada fragmento en un vector que captura la voz.
- Agrupar. Los fragmentos con vectores parecidos reciben la misma etiqueta, y el habla superpuesta se trata cuando el modelo lo admite.
El pipeline abierto speaker-diarization-3.1 de pyannote en Hugging Face recibe audio mono a 16 kHz (mezcla el estéreo a mono y remuestrea otras frecuencias) y escribe los resultados en RTTM, un formato de texto plano con una línea por turno de hablante. Una línea RTTM indica el archivo, el canal, el inicio, la duración y la etiqueta del hablante:
SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>
Su ficha de modelo informa la tasa de error de diarización (DER) por benchmark, desde el 7.8% en REPERE hasta el 50.0% en AVA-AVD, con un 11.3% en VoxConverse. La dispersión muestra cuánto dependen los resultados del audio: reuniones, televisión y llamadas telefónicas se comportan de forma distinta.
Algunas API alojadas lo hacen por usted. La guía de voz a texto de OpenAI documenta un modelo de diarización, gpt-4o-transcribe-diarize, con una respuesta diarized_json cuyos segmentos llevan los campos speaker, start y end, y clips de referencia opcionales de 2 a 10 segundos para hasta cuatro hablantes conocidos. OpenAI marca ese modelo como obsoleto, con retirada el 26 de febrero de 2027, y su guía (consultada el 2026-11-15) no documenta etiquetas de hablante en ningún otro modelo.
Por qué importa
- Centros de llamadas y entrevistas. La revisión de calidad, el cumplimiento normativo y los resúmenes necesitan saber quién dijo qué.
- Trabajo posterior con LLM. Un prompt de resumen con turnos “Agent:” y “Customer:” da mejores respuestas que un bloque de texto continuo.
- Costo. La diarización es cómputo adicional, con precio aparte o incluido, según el proveedor. El índice de precios de API de voz a texto indica qué proveedores la cobran aparte.
En BroadNet Inference
La documentación de BroadNet no menciona la diarización. El endpoint de transcripción devuelve solo {"text": "..."}, sin etiquetas de hablante ni marcas de tiempo. Un patrón práctico es ejecutar en local un diarizador abierto como pyannote, cortar el audio en cada turno de hablante con ffmpeg y enviar cada clip a BroadNet Transcribe Arabic o a BroadNet Transcribe con language definido. Si las dos partes están en canales estéreo separados, divida los canales; eso no requiere ningún modelo. Consulte cómo transcribir grabaciones de un centro de llamadas para el flujo completo.