BroadRouter

Word error rate (WER)

Atualizado em

Word error rate (WER, taxa de erro de palavras) é a medida padrão de precisão do reconhecimento de fala: o número de substituições, deleções e inserções de palavras necessárias para transformar uma transcrição na referência correta, dividido pelo número de palavras da referência. Quanto menor, melhor.

Também chamado de: taxa de erro de palavras, taxa de erro por palavra, precisão da transcrição, precisão de ASR, métrica WER, WER, word error rate, ASR accuracy, transcription accuracy, word accuracy

O WER responde a uma pergunta: a cada 100 palavras que alguém disse, quantas a transcrição errou?

Como funciona

Alinhe a transcrição do modelo com uma referência humana correta e conte três tipos de erro:

  • Substituições (S, substitutions): uma palavra errada no lugar da certa;
  • Deleções (D, deletions): uma palavra que foi dita, mas está faltando;
  • Inserções (I, insertions): uma palavra que não foi dita, mas aparece.

WER = (S + D + I) / N, em que N é o número de palavras da referência.

Exemplo. A referência é “please send the invoice to our office today” (8 palavras). A transcrição diz “please send an invoice to office today now”:

Erro Contagem
“the” → “an” 1 substituição
“our” faltando 1 deleção
“now” adicionado 1 inserção

WER = 3 / 8 = 0,375, ou 37,5%. A Wikipedia observa que o WER é uma distância de edição no nível de palavra e que, como as inserções não têm teto, ele “can be larger than 1.0” (tradução: pode ser maior que 1,0).

Ferramentas como o pacote Python jiwer fazem o cálculo. Normalize os dois textos antes: maiúsculas e minúsculas, pontuação, números escritos em algarismos ou por extenso e, no árabe, diacríticos e as formas de alef e yaa. Só as escolhas de normalização já podem mudar a pontuação de forma visível.

Por que isso importa

  • Comparar modelos. O WER é a métrica comum em leaderboards e nas afirmações dos fornecedores, então é o primeiro filtro na escolha de uma API de speech-to-text.
  • O seu áudio é diferente. O mesmo modelo pode ter resultados muito diferentes em fala lida e em ligações em dialeto. No árabe, áudio em árabe padrão moderno e em dialeto dá números diferentes. Teste com gravações parecidas com as suas.
  • Nem todo erro pesa igual. O WER dá o mesmo peso a cada palavra. Um número de conta errado conta como um erro, igual a um “the” faltando. Leia as transcrições, não só as pontuações.

Na BroadNet Inference

A BroadNet publica as próprias medições de laboratório do BroadNet Transcribe Arabic:

Conjunto de teste O que é WER (%)
FLEURS-ar Frases lidas, áudio limpo 3,8
MASC-ar Fala árabe real e variada 21,1
Conjunto de dialetos da BroadNet Fala em dialeto 23,4

A diferença entre 3,8 e 23,4 mostra por que o seu próprio teste importa. A BroadNet também informa que o modelo está na posição #2 de 37 (dado de setembro de 2026; o ranking ao vivo o listava em #4 de 39 em 15 de novembro de 2026) do Open Universal Arabic ASR Leaderboard. O crédito inicial de $5 cobre cerca de 1,190 minutos de áudio em árabe, o suficiente para um conjunto de teste. O guia de compra tem um plano de teste de uma hora, e o guia de árabe tem o código.

Perguntas frequentes

Qual é um bom word error rate?

Depende do áudio. Fala lida e limpa pode ter WER de um dígito, enquanto áudio conversacional com ruído ou em dialeto costuma ficar bem mais alto no mesmo modelo. Compare modelos no mesmo conjunto de teste, de preferência com as suas próprias gravações.

O WER pode passar de 100%?

Sim. As inserções são contadas, mas o denominador é só o número de palavras da referência, então uma transcrição com muitas palavras a mais pode passar de 1,0.

O WER é escrito em porcentagem ou em decimal?

As duas formas são comuns. 0,211 e 21,1 em geral significam a mesma coisa, cerca de 21 erros a cada 100 palavras de referência. Confira qual delas a fonte usa.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity