O WER responde a uma pergunta: a cada 100 palavras que alguém disse, quantas a transcrição errou?
Como funciona
Alinhe a transcrição do modelo com uma referência humana correta e conte três tipos de erro:
- Substituições (S, substitutions): uma palavra errada no lugar da certa;
- Deleções (D, deletions): uma palavra que foi dita, mas está faltando;
- Inserções (I, insertions): uma palavra que não foi dita, mas aparece.
WER = (S + D + I) / N, em que N é o número de palavras da referência.
Exemplo. A referência é “please send the invoice to our office today” (8 palavras). A transcrição diz “please send an invoice to office today now”:
| Erro | Contagem |
|---|---|
| “the” → “an” | 1 substituição |
| “our” faltando | 1 deleção |
| “now” adicionado | 1 inserção |
WER = 3 / 8 = 0,375, ou 37,5%. A Wikipedia observa que o WER é uma distância de edição no nível de palavra e que, como as inserções não têm teto, ele “can be larger than 1.0” (tradução: pode ser maior que 1,0).
Ferramentas como o pacote Python jiwer fazem o cálculo. Normalize os dois textos antes: maiúsculas e minúsculas, pontuação, números escritos em algarismos ou por extenso e, no árabe, diacríticos e as formas de alef e yaa. Só as escolhas de normalização já podem mudar a pontuação de forma visível.
Por que isso importa
- Comparar modelos. O WER é a métrica comum em leaderboards e nas afirmações dos fornecedores, então é o primeiro filtro na escolha de uma API de speech-to-text.
- O seu áudio é diferente. O mesmo modelo pode ter resultados muito diferentes em fala lida e em ligações em dialeto. No árabe, áudio em árabe padrão moderno e em dialeto dá números diferentes. Teste com gravações parecidas com as suas.
- Nem todo erro pesa igual. O WER dá o mesmo peso a cada palavra. Um número de conta errado conta como um erro, igual a um “the” faltando. Leia as transcrições, não só as pontuações.
Na BroadNet Inference
A BroadNet publica as próprias medições de laboratório do BroadNet Transcribe Arabic:
| Conjunto de teste | O que é | WER (%) |
|---|---|---|
| FLEURS-ar | Frases lidas, áudio limpo | 3,8 |
| MASC-ar | Fala árabe real e variada | 21,1 |
| Conjunto de dialetos da BroadNet | Fala em dialeto | 23,4 |
A diferença entre 3,8 e 23,4 mostra por que o seu próprio teste importa. A BroadNet também informa que o modelo está na posição #2 de 37 (dado de setembro de 2026; o ranking ao vivo o listava em #4 de 39 em 15 de novembro de 2026) do Open Universal Arabic ASR Leaderboard. O crédito inicial de $5 cobre cerca de 1,190 minutos de áudio em árabe, o suficiente para um conjunto de teste. O guia de compra tem um plano de teste de uma hora, e o guia de árabe tem o código.