O word error rate (WER) é o número de palavras substituídas, apagadas e inseridas dividido pelo número de palavras da transcrição correta. Quanto menor, melhor. O WER em árabe infla com facilidade: a mesma transcrição correta pode ser escrita de vários jeitos, e uma comparação ingênua conta como erro cada escolha de grafia, cada diacrítico e cada grafia dialetal.
Este post explica o que o WER mede, por que o árabe o torna escorregadio e como calculá-lo para que seus números signifiquem alguma coisa. Para montar o conjunto de teste, veja reconhecimento de fala em dialetos árabes; para escolher um fornecedor, veja o guia de compra de API de fala para texto em árabe.
O que é word error rate?
O word error rate compara uma transcrição da máquina (a hipótese) com uma transcrição humana correta (a referência). Ele encontra o número mínimo de edições de palavras que transformam uma na outra:
- S, substituições: uma palavra trocada por outra.
- D, exclusões: uma palavra da referência que falta na hipótese.
- I, inserções: uma palavra a mais na hipótese.
Então:
WER = (S + D + I) / N, em que N é o número de palavras da referência.
Um WER de 0,10 (muitas vezes escrito como 10) significa cerca de um erro a cada dez palavras da referência. Quanto menor, melhor. Como as inserções contam, o WER pode passar de 100% em uma transcrição cheia de palavras inventadas.
O character error rate (CER) é a mesma fórmula aplicada a caracteres. É útil para o árabe, em que uma única letra errada em um prefixo faz a palavra inteira contar como errada.
Por que o WER em árabe é difícil de comparar?
1. Diacríticos
As vogais curtas do árabe são escritas como sinais opcionais (tashkeel) acima e abaixo das letras: fatha, damma, kasra, sukun, shadda e tanween. O texto do dia a dia não os usa. Se sua referência tem “مَدْرَسَةٌ” e o modelo escreve “مدرسة”, uma comparação rígida conta uma substituição, mesmo que qualquer leitor de árabe veja a mesma palavra.
2. Variantes de grafia
Várias letras têm variantes comuns e aceitas:
| Variação | Exemplo | Normalização típica |
|---|---|---|
| Hamza sobre alef | أحمد / احمد, إلى / الى | Converter أ إ آ em ا |
| Ta marbuta ou ha | مدرسة / مدرسه | Converter ة em ه |
| Alef maqsura ou ya | على / علي (na escrita informal) | Converter ى em ي |
| Tanween com alef | صباحاً / صباحا | Tirar o diacrítico |
| Tatweel (alongamento) | جـمـيـل / جميل | Remover ـ |
3. Clíticos e limites de palavra
O árabe cola conjunções, preposições e pronomes às palavras: “وبمدرستهم” é “e na escola deles” em uma única palavra escrita. Se o modelo escreve “و بمدرستهم” com espaço, a contagem de palavras muda e o WER pune duas vezes. Algumas avaliações dividem as palavras em morfemas antes; a maioria não. Saiba qual você está lendo.
4. Dialetos
Diferente do árabe padrão moderno, a fala dialetal não tem grafia padrão. Um egípcio dizendo “eu quero” pode ser transcrito como “عايز” ou “عاوز”; o “o quê” de quem fala do Golfo pode virar “وش” ou “ويش”. Alguns transcritores também “corrigem” o dialeto para MSA. Cada um desses casos é um erro de WER mesmo quando o sentido está perfeito. Isso explica boa parte de por que o WER em dialeto é tão mais alto que em fala lida.
5. Números e code-switching
Quem fala muitas vezes muda para o inglês no meio da frase (code-switching). É “٢٥”, “25” ou “خمسة وعشرين”? Um nome de marca em inglês vai em alfabeto latino ou em letras árabes? Defina uma convenção, aplique-a à referência e normalize a hipótese para ela.
Quanto a normalização muda a pontuação?
Referência: ذهبت إلى المدرسة صباحاً (“Fui à escola de manhã”)
Hipótese: ذهبت الى المدرسه صباحا
Sem normalização, três de quatro palavras diferem (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75%. Depois de normalizar os dois textos, eles são idênticos: WER 0%. Mesma transcrição, mesma qualidade, e o número foi de péssimo a perfeito. É por isso que um WER sem as regras de normalização diz pouco.
Como calcular o WER em árabe com Python?
import re
import jiwer # pip install jiwer
DIACRITICS = re.compile(r"[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")
def normalise_ar(text: str) -> str:
text = DIACRITICS.sub("", text)
text = text.replace("ـ", "") # tatweel
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
text = PUNCT.sub(" ", text)
return " ".join(text.split())
refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]
print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
Aplique exatamente a mesma função a referências e hipóteses, para todos os modelos que você comparar. Publique-a ao lado dos seus números.
Que WER a BroadNet informa para árabe?
A BroadNet publica medições de laboratório do BroadNet Transcribe Arabic no seu catálogo de modelos:
| Conjunto de teste | O que é | WER informado pela BroadNet |
|---|---|---|
| FLEURS-ar | Frases lidas, áudio limpo | 3,8 |
| MASC-ar | Fala árabe real e variada | 21,1 |
| Conjunto dialetal da BroadNet | Fala em dialeto | 23,4 |
A BroadNet também informa o modelo em #2 de 37 (dado de setembro de 2026; o ranking ao vivo o listava em #4 de 39 em 15 de novembro de 2026) no Open Universal Arabic ASR Leaderboard, e em nº 1 entre os modelos cuja licença permite servi-los por API. São números da BroadNet, não auditorias independentes. O ranking aplica a mesma configuração de avaliação a todos os modelos, o que torna suas posições mais comparáveis que números de páginas de fornecedores diferentes.
Olhe a diferença, não só o melhor número. O salto de 3,8 para 23,4 é a distância entre fala lida e dialeto espontâneo para um mesmo modelo, então teste cada candidato nos dois tipos de áudio. Seu próprio áudio, sejam linhas de call center, áudios de WhatsApp ou reuniões, vai cair em algum ponto dessa faixa, e só um teste diz onde.
Como medir o WER no seu próprio áudio?
- Amostre por condição. Agrupe os clipes por dialeto e canal (telefone, áudio de mensagem, estúdio). O método do conjunto de teste dialetal trata de tamanho de amostra e convenções de grafia.
- Transcreva com cada candidato. Na BroadNet, envie
language=ar; sem isso, o árabe pode voltar transliterado em letras latinas. O guia de fala para texto em árabe tem o código, e o crédito inicial de $5 cobre cerca de 1,190 minutos de áudio. - Normalize e pontue. Use a função acima e informe WER e CER por grupo.
- Leia os erros. Ordene as substituições por frequência. Se os erros mais comuns forem nomes, valores ou códigos de produto, o impacto no negócio é maior do que a pontuação sugere.
O que medir além do WER?
O WER trata todas as palavras igualmente, mas seu produto não. Um bot de suporte se importa com a intenção; um fluxo de faturamento, com números; uma equipe de compliance, com frases específicas. Acrescente uma métrica da tarefa ao lado do WER: precisão de intenção depois que um LLM lê a transcrição, ou correspondência exata dos valores extraídos. Um modelo com WER um pouco maior ainda pode ganhar se os erros dele caírem em palavras que não importam.
Para o lado do custo, coloque suas horas mensais de áudio na calculadora gratuita de custo de fala para texto e veja como os modelos para árabe e de 14 idiomas diferem em BroadNet Transcribe vs Transcribe Arabic.
