BroadRouter

Wortfehlerrate (WER) bei arabischer Spracherkennung erklärt

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht

Die Wortfehlerrate (WER) ist die Zahl der ersetzten, ausgelassenen und eingefügten Wörter geteilt durch die Wörter im Referenztranskript. Niedriger ist besser. Arabische WER ist schwer vergleichbar, weil Diakritika, die Schreibung von Alef und Ta marbuta sowie Dialekte sie aufblähen. BroadNet meldet für BroadNet Transcribe Arabic 3,8 WER auf FLEURS-ar und 23,4 bei Dialektsprache.

Die Wortfehlerrate (WER, Word Error Rate) ist die Zahl der ersetzten, ausgelassenen und eingefügten Wörter geteilt durch die Zahl der Wörter im korrekten Transkript. Niedriger ist besser. Arabische WER lässt sich leicht aufblähen: Dasselbe korrekte Transkript kann auf mehrere Arten geschrieben werden, und ein naiver Vergleich zählt jede Schreibentscheidung, jedes Diakritikum und jede Dialektschreibung als Fehler.

Dieser Beitrag erklärt, was die WER misst, warum sie bei Arabisch so rutschig ist und wie Sie sie berechnen, damit Ihre Zahlen etwas bedeuten. Wie Sie das Testset selbst aufbauen, steht unter Spracherkennung für arabische Dialekte; für die Wahl eines Anbieters siehe den Kaufratgeber für Speech-to-Text-APIs auf Arabisch.

Was ist die Wortfehlerrate?

Die Wortfehlerrate vergleicht ein maschinelles Transkript (die Hypothese) mit einem korrekten menschlichen Transkript (der Referenz). Sie ermittelt die minimale Zahl an Wortänderungen, die das eine in das andere überführen:

  • S, Ersetzungen (Substitutions): ein Wort, das durch ein anderes ersetzt wurde.
  • D, Auslassungen (Deletions): ein Referenzwort, das in der Hypothese fehlt.
  • I, Einfügungen (Insertions): ein zusätzliches Wort in der Hypothese.

Dann gilt:

WER = (S + D + I) / N, wobei N die Zahl der Wörter in der Referenz ist.

Eine WER von 0,10 (oft als 10 geschrieben) bedeutet etwa einen Fehler pro zehn Referenzwörter. Niedriger ist besser. Weil Einfügungen zählen, kann die WER bei einem Transkript voller erfundener Wörter über 100 % steigen.

Die Zeichenfehlerrate (CER, Character Error Rate) ist dieselbe Formel über Zeichen. Sie ist für Arabisch nützlich, wo ein einziger falscher Buchstabe in einem Präfix das ganze Wort als falsch zählen lässt.

Warum ist arabische WER schwer vergleichbar?

1. Diakritika

Arabische Kurzvokale werden als optionale Zeichen (Taschkil) über und unter den Buchstaben geschrieben: Fatha, Damma, Kasra, Sukun, Schadda und Tanwin. Alltagstext lässt sie weg. Steht in Ihrer Referenz „مَدْرَسَةٌ“ und schreibt das Modell „مدرسة“, zählt ein strikter Vergleich eine Ersetzung, obwohl jeder arabische Leser dasselbe Wort sieht.

2. Schreibvarianten

Mehrere Buchstaben haben verbreitete, anerkannte Varianten:

Variante Beispiel Übliche Normalisierung
Hamza auf Alef أحمد / احمد, إلى / الى أ إ آ auf ا abbilden
Ta marbuta vs. Ha مدرسة / مدرسه ة auf ه abbilden
Alef maqsura vs. Ya على / علي (in lockerer Schreibung) ى auf ي abbilden
Tanwin mit Alef صباحاً / صباحا Diakritikum entfernen
Tatweel (Dehnung) جـمـيـل / جميل ـ entfernen

3. Klitika und Wortgrenzen

Arabisch hängt Konjunktionen, Präpositionen und Pronomen an Wörter an: „وبمدرستهم“ bedeutet „und in ihrer Schule“, in einem einzigen geschriebenen Wort. Schreibt das Modell „و بمدرستهم“ mit Leerzeichen, ändert sich die Wortzahl, und die WER bestraft das doppelt. Manche Evaluationen zerlegen Wörter zuerst in Morpheme; die meisten nicht. Wissen Sie, welche Sie gerade lesen.

4. Dialekte

Anders als für modernes Hocharabisch gibt es für gesprochenen Dialekt keine Standardschreibung. Sagt ein ägyptischer Sprecher „ich will“, kann das als „عايز“ oder „عاوز“ transkribiert werden; das „was“ eines Sprechers vom Golf als „وش“ oder „ويش“. Manche Transkriptoren „korrigieren“ Dialekt außerdem zu MSA. Jedes davon ist ein WER-Fehler, auch wenn die Bedeutung perfekt ist. Das erklärt einen großen Teil, warum die WER bei Dialekt so viel höher liegt als bei vorgelesener Sprache.

5. Zahlen und Code-Switching

Sprecher wechseln oft mitten im Satz ins Englische (Code-Switching). Heißt es „٢٥“, „25“ oder „خمسة وعشرين“? Wird ein englischer Markenname in lateinischer Schrift oder in arabischen Buchstaben geschrieben? Legen Sie eine Konvention fest, wenden Sie sie auf die Referenz an und normalisieren Sie die Hypothese darauf.

Wie stark verändert die Normalisierung den Wert?

Referenz: ذهبت إلى المدرسة صباحاً („Ich ging morgens zur Schule“)

Hypothese: ذهبت الى المدرسه صباحا

Ohne Normalisierung unterscheiden sich drei von vier Wörtern (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75 %. Nach der Normalisierung beider Texte sind sie identisch: WER 0 %. Gleiches Transkript, gleiche Qualität, und der Wert springt von katastrophal zu perfekt. Deshalb sagt eine WER-Zahl ohne ihre Normalisierungsregeln wenig aus.

Wie berechnet man arabische WER in Python?

import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))

Wenden Sie genau dieselbe Funktion auf Referenzen und Hypothesen an, für jedes verglichene Modell. Veröffentlichen Sie sie neben Ihren Zahlen.

Welche WER meldet BroadNet für Arabisch?

BroadNet veröffentlicht Labormessungen für BroadNet Transcribe Arabic in seinem Modellkatalog:

Testset Was es ist WER laut BroadNet
FLEURS-ar Sauber vorgelesene Sätze 3,8
MASC-ar Gemischte arabische Sprache aus der Praxis 21,1
Dialekt-Set von BroadNet Dialektsprache 23,4

BroadNet meldet das Modell außerdem auf #2 von 37 (Angabe für September 2026; die Live-Rangliste führte das Modell am 15. November 2026 auf #4 von 39) im Open Universal Arabic ASR Leaderboard und auf Platz 1 unter den Modellen, deren Lizenzen den Betrieb über eine API erlauben. Das sind Zahlen von BroadNet, keine unabhängigen Prüfungen. Das Leaderboard wendet auf jedes Modell dasselbe Evaluations-Setup an, was seine Platzierungen vergleichbarer macht als Zahlen von getrennten Anbieterseiten.

Lesen Sie die Spannweite, nicht nur den besten Wert. Der Sprung von 3,8 auf 23,4 ist bei ein und demselben Modell der Abstand zwischen vorgelesener Sprache und spontanem Dialekt; testen Sie also jeden Kandidaten mit beiden Arten von Audio. Ihr eigenes Audio, ob Callcenter-Leitungen, WhatsApp-Sprachnachrichten oder Besprechungen, landet irgendwo in diesem Bereich, und nur ein Test zeigt, wo.

Wie misst man die WER mit eigenem Audio?

  1. Nach Bedingungen stichproben. Gruppieren Sie Clips nach Dialekt und Kanal (Telefon, Sprachnachricht, Studio). Die Methode für Dialekt-Testsets behandelt Stichprobengrößen und Schreibkonventionen.
  2. Mit jedem Kandidaten transkribieren. Senden Sie bei BroadNet language=ar; ohne diesen Parameter kann Arabisch in lateinische Buchstaben transliteriert zurückkommen. Der Leitfaden für Speech-to-Text auf Arabisch enthält den Code, und das Startguthaben von $5 deckt etwa 1,190 Minuten Audio ab.
  3. Normalisieren und bewerten. Verwenden Sie die Funktion oben und geben Sie WER und CER pro Gruppe an.
  4. Die Fehler lesen. Sortieren Sie Ersetzungen nach Häufigkeit. Sind die häufigsten Fehler Namen, Beträge oder Produktcodes, sind die geschäftlichen Folgen größer, als der Wert vermuten lässt.

Was sollten Sie neben der WER messen?

Die WER behandelt jedes Wort gleich, Ihr Produkt nicht. Ein Support-Bot braucht den Intent; ein Rechnungsworkflow braucht Zahlen; ein Compliance-Team braucht bestimmte Formulierungen. Ergänzen Sie neben der WER eine Aufgabenmetrik: Intent-Genauigkeit, nachdem ein LLM das Transkript gelesen hat, oder exakte Übereinstimmung bei extrahierten Beträgen. Ein Modell mit etwas höherer WER kann trotzdem gewinnen, wenn seine Fehler auf Wörter fallen, die keine Rolle spielen.

Für die Kostenseite tragen Sie Ihre monatlichen Audiostunden in den kostenlosen Speech-to-Text-Kostenrechner ein und sehen unter BroadNet Transcribe vs. Transcribe Arabic, wie sich das arabische Modell und das Modell für 14 Sprachen unterscheiden.

Häufige Fragen

Was ist eine gute WER für Arabisch?

Bei sauber vorgelesener Sprache sind einstellige Werte erreichbar; BroadNet meldet 3,8 auf FLEURS-ar. Bei realen Aufnahmen und Dialekt-Audio sind deutlich höhere Werte zu erwarten; BroadNet meldet 21,1 auf MASC-ar und 23,4 auf seinem Dialekt-Set. Vergleichen Sie Modelle mit Ihrem eigenen Audio und derselben Normalisierung.

Soll ich vor der Berechnung der arabischen WER die Diakritika entfernen?

Meist ja. Arabisch wird überwiegend ohne Kurzvokalzeichen geschrieben, und Modelle setzen sie uneinheitlich. Entfernen Sie sie aus Referenz und Hypothese, sofern Ihr Produkt keinen vokalisierten Text braucht.

Was ist die CER und wann sollte ich sie verwenden?

Die Zeichenfehlerrate ist dieselbe Berechnung über Zeichen statt Wörter. Sie ist bei Arabisch weniger streng, wo ein falscher Präfixbuchstabe ein ganzes Wort falsch macht, und ist als Ergänzung zur WER nützlich.

Kann die WER über 100 % liegen?

Ja. Einfügungen zählen als Fehler; ein Modell, das viele zusätzliche Wörter erfindet, kann also mehr Fehler machen, als die Referenz Wörter hat.

Wie berechne ich die WER für Arabisch in Python?

Installieren Sie jiwer, normalisieren Sie Referenz und Modellausgabe mit derselben Funktion (Diakritika und Tatweel entfernen, Alef, Ya und Ta marbuta vereinheitlichen, ostarabische Ziffern umwandeln) und rufen Sie dann jiwer.wer(references, hypotheses) auf. Geben Sie die Normalisierung neben dem Wert an.

Warum ist die arabische WER höher als die englische?

Teils echte Schwierigkeit (Dialekte, Klitika, Code-Switching), teils die Bewertung: Arabisch hat anerkannte Schreibvarianten und optionale Diakritika, und ein strikter Vergleich zählt jede davon als Fehler. Normalisiert man beide Texte, fällt der Bewertungsanteil weg.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen