La diarization trasforma un blocco unico di trascrizione in una conversazione: operatore, poi cliente, poi di nuovo operatore.
Come funziona
Una pipeline di diarization di solito ha tre fasi:
- Trovare il parlato. La voice activity detection segna dove qualcuno sta parlando.
- Creare embedding di brevi finestre. Un modello di speaker embedding trasforma ogni frammento in un vettore che cattura la voce.
- Raggruppare (clustering). I frammenti con vettori simili ricevono la stessa etichetta, e il parlato sovrapposto viene gestito dove il modello lo supporta.
La pipeline open speaker-diarization-3.1 di pyannote su Hugging Face accetta audio mono a 16 kHz (fa il downmix dello stereo e ricampiona le altre frequenze) e scrive i risultati in RTTM, un formato di testo semplice con una riga per ogni turno di parola. Una riga RTTM indica file, canale, istante di inizio, durata ed etichetta del parlante:
SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>
La sua model card riporta il diarization error rate (DER) per benchmark, dal 7,8% su REPERE al 50,0% su AVA-AVD, con l’11,3% su VoxConverse. La forbice mostra quanto i risultati dipendano dall’audio: riunioni, TV e telefonate si comportano in modo diverso.
Alcune API ospitate lo fanno per te. La guida allo speech-to-text di OpenAI documenta un modello di diarization, gpt-4o-transcribe-diarize, con una risposta diarized_json i cui segmenti hanno i campi speaker, start e end, e clip di riferimento opzionali da 2 a 10 secondi per un massimo di quattro parlanti noti. OpenAI indica quel modello come deprecato, con dismissione il 26 febbraio 2027, e la sua guida (verificata il 2026-11-15) non documenta etichette dei parlanti su nessun altro modello.
Perché è importante
- Call center e interviste. Controllo qualità, compliance e riassunti hanno tutti bisogno di sapere chi ha detto cosa.
- Lavoro LLM a valle. Un prompt di riassunto con turni “Operatore:” e “Cliente:” dà risposte migliori di un unico muro di testo.
- Costo. La diarization è calcolo in più, con prezzo separato o incluso a seconda del provider. L’indice dei prezzi delle API speech-to-text indica quali provider la fanno pagare a parte.
Su BroadNet Inference
La documentazione di BroadNet non elenca la diarization. L’endpoint di trascrizione restituisce solo {"text": "..."}, senza etichette dei parlanti né timestamp. Uno schema pratico è eseguire in locale un diarizzatore open come pyannote, tagliare l’audio a ogni turno con ffmpeg e inviare ogni clip a BroadNet Transcribe Arabic o a BroadNet Transcribe con language impostato. Se le due parti sono su canali stereo separati, dividi invece i canali: non serve alcun modello. Vedi come trascrivere le registrazioni di un call center per il flusso completo.