BroadRouter

Word error rate (WER) no ASR em árabe: o que é e como calcular

Pela equipe da BroadNet Inference · 5 min de leitura · Publicado em

O word error rate (WER) é o número de palavras substituídas, apagadas e inseridas dividido pelas palavras da transcrição de referência. Quanto menor, melhor. O WER em árabe é difícil de comparar porque diacríticos, grafia de alef e ta marbuta e dialetos o inflam. A BroadNet informa WER de 3,8 no FLEURS-ar e de 23,4 em fala dialetal para o BroadNet Transcribe Arabic.

O word error rate (WER) é o número de palavras substituídas, apagadas e inseridas dividido pelo número de palavras da transcrição correta. Quanto menor, melhor. O WER em árabe infla com facilidade: a mesma transcrição correta pode ser escrita de vários jeitos, e uma comparação ingênua conta como erro cada escolha de grafia, cada diacrítico e cada grafia dialetal.

Este post explica o que o WER mede, por que o árabe o torna escorregadio e como calculá-lo para que seus números signifiquem alguma coisa. Para montar o conjunto de teste, veja reconhecimento de fala em dialetos árabes; para escolher um fornecedor, veja o guia de compra de API de fala para texto em árabe.

O que é word error rate?

O word error rate compara uma transcrição da máquina (a hipótese) com uma transcrição humana correta (a referência). Ele encontra o número mínimo de edições de palavras que transformam uma na outra:

  • S, substituições: uma palavra trocada por outra.
  • D, exclusões: uma palavra da referência que falta na hipótese.
  • I, inserções: uma palavra a mais na hipótese.

Então:

WER = (S + D + I) / N, em que N é o número de palavras da referência.

Um WER de 0,10 (muitas vezes escrito como 10) significa cerca de um erro a cada dez palavras da referência. Quanto menor, melhor. Como as inserções contam, o WER pode passar de 100% em uma transcrição cheia de palavras inventadas.

O character error rate (CER) é a mesma fórmula aplicada a caracteres. É útil para o árabe, em que uma única letra errada em um prefixo faz a palavra inteira contar como errada.

Por que o WER em árabe é difícil de comparar?

1. Diacríticos

As vogais curtas do árabe são escritas como sinais opcionais (tashkeel) acima e abaixo das letras: fatha, damma, kasra, sukun, shadda e tanween. O texto do dia a dia não os usa. Se sua referência tem “مَدْرَسَةٌ” e o modelo escreve “مدرسة”, uma comparação rígida conta uma substituição, mesmo que qualquer leitor de árabe veja a mesma palavra.

2. Variantes de grafia

Várias letras têm variantes comuns e aceitas:

Variação Exemplo Normalização típica
Hamza sobre alef أحمد / احمد, إلى / الى Converter أ إ آ em ا
Ta marbuta ou ha مدرسة / مدرسه Converter ة em ه
Alef maqsura ou ya على / علي (na escrita informal) Converter ى em ي
Tanween com alef صباحاً / صباحا Tirar o diacrítico
Tatweel (alongamento) جـمـيـل / جميل Remover ـ

3. Clíticos e limites de palavra

O árabe cola conjunções, preposições e pronomes às palavras: “وبمدرستهم” é “e na escola deles” em uma única palavra escrita. Se o modelo escreve “و بمدرستهم” com espaço, a contagem de palavras muda e o WER pune duas vezes. Algumas avaliações dividem as palavras em morfemas antes; a maioria não. Saiba qual você está lendo.

4. Dialetos

Diferente do árabe padrão moderno, a fala dialetal não tem grafia padrão. Um egípcio dizendo “eu quero” pode ser transcrito como “عايز” ou “عاوز”; o “o quê” de quem fala do Golfo pode virar “وش” ou “ويش”. Alguns transcritores também “corrigem” o dialeto para MSA. Cada um desses casos é um erro de WER mesmo quando o sentido está perfeito. Isso explica boa parte de por que o WER em dialeto é tão mais alto que em fala lida.

5. Números e code-switching

Quem fala muitas vezes muda para o inglês no meio da frase (code-switching). É “٢٥”, “25” ou “خمسة وعشرين”? Um nome de marca em inglês vai em alfabeto latino ou em letras árabes? Defina uma convenção, aplique-a à referência e normalize a hipótese para ela.

Quanto a normalização muda a pontuação?

Referência: ذهبت إلى المدرسة صباحاً (“Fui à escola de manhã”)

Hipótese: ذهبت الى المدرسه صباحا

Sem normalização, três de quatro palavras diferem (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75%. Depois de normalizar os dois textos, eles são idênticos: WER 0%. Mesma transcrição, mesma qualidade, e o número foi de péssimo a perfeito. É por isso que um WER sem as regras de normalização diz pouco.

Como calcular o WER em árabe com Python?

import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))

Aplique exatamente a mesma função a referências e hipóteses, para todos os modelos que você comparar. Publique-a ao lado dos seus números.

Que WER a BroadNet informa para árabe?

A BroadNet publica medições de laboratório do BroadNet Transcribe Arabic no seu catálogo de modelos:

Conjunto de teste O que é WER informado pela BroadNet
FLEURS-ar Frases lidas, áudio limpo 3,8
MASC-ar Fala árabe real e variada 21,1
Conjunto dialetal da BroadNet Fala em dialeto 23,4

A BroadNet também informa o modelo em #2 de 37 (dado de setembro de 2026; o ranking ao vivo o listava em #4 de 39 em 15 de novembro de 2026) no Open Universal Arabic ASR Leaderboard, e em nº 1 entre os modelos cuja licença permite servi-los por API. São números da BroadNet, não auditorias independentes. O ranking aplica a mesma configuração de avaliação a todos os modelos, o que torna suas posições mais comparáveis que números de páginas de fornecedores diferentes.

Olhe a diferença, não só o melhor número. O salto de 3,8 para 23,4 é a distância entre fala lida e dialeto espontâneo para um mesmo modelo, então teste cada candidato nos dois tipos de áudio. Seu próprio áudio, sejam linhas de call center, áudios de WhatsApp ou reuniões, vai cair em algum ponto dessa faixa, e só um teste diz onde.

Como medir o WER no seu próprio áudio?

  1. Amostre por condição. Agrupe os clipes por dialeto e canal (telefone, áudio de mensagem, estúdio). O método do conjunto de teste dialetal trata de tamanho de amostra e convenções de grafia.
  2. Transcreva com cada candidato. Na BroadNet, envie language=ar; sem isso, o árabe pode voltar transliterado em letras latinas. O guia de fala para texto em árabe tem o código, e o crédito inicial de $5 cobre cerca de 1,190 minutos de áudio.
  3. Normalize e pontue. Use a função acima e informe WER e CER por grupo.
  4. Leia os erros. Ordene as substituições por frequência. Se os erros mais comuns forem nomes, valores ou códigos de produto, o impacto no negócio é maior do que a pontuação sugere.

O que medir além do WER?

O WER trata todas as palavras igualmente, mas seu produto não. Um bot de suporte se importa com a intenção; um fluxo de faturamento, com números; uma equipe de compliance, com frases específicas. Acrescente uma métrica da tarefa ao lado do WER: precisão de intenção depois que um LLM lê a transcrição, ou correspondência exata dos valores extraídos. Um modelo com WER um pouco maior ainda pode ganhar se os erros dele caírem em palavras que não importam.

Para o lado do custo, coloque suas horas mensais de áudio na calculadora gratuita de custo de fala para texto e veja como os modelos para árabe e de 14 idiomas diferem em BroadNet Transcribe vs Transcribe Arabic.

Perguntas frequentes

Qual é um bom WER para árabe?

Em fala lida e limpa, dá para chegar a um dígito; a BroadNet informa 3,8 no FLEURS-ar. Em áudio do mundo real e em dialeto, espere números bem mais altos; a BroadNet informa 21,1 no MASC-ar e 23,4 no seu conjunto dialetal. Compare modelos no seu próprio áudio, com a mesma normalização.

Devo tirar os diacríticos antes de calcular o WER em árabe?

Normalmente sim. A maior parte do árabe é escrita sem os sinais de vogais curtas, e os modelos os acrescentam de forma inconsistente. Tire-os da referência e da hipótese, a menos que seu produto precise de texto vocalizado.

O que é CER e quando usar?

O character error rate é o mesmo cálculo feito sobre caracteres em vez de palavras. É menos severo com o árabe, em que uma letra errada em um prefixo torna a palavra inteira errada, e é útil junto com o WER.

O WER pode passar de 100%?

Sim. Inserções contam como erros, então um modelo que inventa muitas palavras extras pode cometer mais erros do que há palavras na referência.

Como calcular o WER para árabe em Python?

Instale o jiwer, normalize a referência e a saída do modelo com a mesma função (tire diacríticos e tatweel, unifique alef, yaa e ta marbuta, converta os dígitos arábicos orientais) e chame jiwer.wer(references, hypotheses). Informe a normalização ao lado da pontuação.

Por que o WER em árabe é mais alto que em inglês?

Em parte por dificuldade real (dialetos, clíticos, code-switching) e em parte pela forma de pontuar: o árabe tem variantes de grafia aceitas e diacríticos opcionais, e uma comparação rígida conta cada uma como erro. Normalizar os dois textos elimina a parte que vem da pontuação.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity