BroadRouter

Wortfehlerrate (Word Error Rate, WER)

Aktualisiert

Die Wortfehlerrate (WER) ist das Standardmaß für die Genauigkeit der Spracherkennung: die Zahl der Wortersetzungen, -löschungen und -einfügungen, die nötig sind, um ein Transkript in die korrekte Referenz zu verwandeln, geteilt durch die Zahl der Wörter in der Referenz. Niedriger ist besser.

Auch genannt: WER, Wortfehlerrate, Wortfehlerquote, Genauigkeit der Spracherkennung, Transkriptionsgenauigkeit, word error rate, ASR accuracy, transcription accuracy, word accuracy

Die WER beantwortet eine Frage: Wie viele von je 100 gesprochenen Wörtern hat das Transkript falsch erfasst?

So funktioniert es

Richten Sie das Transkript des Modells an einer korrekten menschlichen Referenz aus und zählen Sie dann drei Fehlerarten:

  • Substitutionen (Ersetzungen): ein falsches Wort anstelle des richtigen;
  • Deletionen (Löschungen): ein Wort, das gesagt wurde, aber fehlt;
  • Insertionen (Einfügungen): ein Wort, das nicht gesagt wurde, aber auftaucht.

WER = (S + D + I) / N, wobei N die Zahl der Wörter in der Referenz ist.

Beispiel. Die Referenz lautet „please send the invoice to our office today“ (8 Wörter). Das Transkript lautet „please send an invoice to office today now“:

Fehler Anzahl
„the“ → „an“ 1 Ersetzung
„our“ fehlt 1 Löschung
„now“ hinzugefügt 1 Einfügung

WER = 3 / 8 = 0,375, also 37,5 %. Wikipedia merkt an, dass die WER eine Editierdistanz auf Wortebene ist und, weil Einfügungen nicht begrenzt sind, „can be larger than 1.0“ (Übersetzung: „größer als 1,0 sein kann“).

Tools wie das Python-Paket jiwer berechnen sie. Normalisieren Sie vorher beide Texte: Groß- und Kleinschreibung, Satzzeichen, Zahlen als Ziffern oder Wörter und bei Arabisch Diakritika sowie Alef- und Ya-Formen. Allein die Wahl der Normalisierung kann den Wert spürbar verändern.

Warum es wichtig ist

  • Modelle vergleichen. Die WER ist die übliche Kennzahl auf Leaderboards und in Herstellerangaben und damit der erste Filter bei der Wahl einer Speech-to-Text-API.
  • Ihr Audio ist anders. Dasselbe Modell kann bei vorgelesener Sprache und bei Telefonaten im Dialekt sehr unterschiedlich abschneiden. Bei Arabisch liefern Aufnahmen in modernem Hocharabisch und im Dialekt verschiedene Werte. Testen Sie mit Aufnahmen wie Ihren.
  • Nicht alle Fehler wiegen gleich. Die WER gewichtet jedes Wort gleich. Eine falsche Kontonummer zählt als ein Fehler, genau wie ein fehlendes „the“. Lesen Sie die Transkripte, nicht nur die Werte.

Bei BroadNet Inference

BroadNet veröffentlicht eigene Labormessungen für BroadNet Transcribe Arabic:

Testset Was es ist WER (%)
FLEURS-ar Saubere vorgelesene Sätze 3,8
MASC-ar Gemischte arabische Sprache aus dem Alltag 21,1
Dialekt-Set von BroadNet Dialektsprache 23,4

Der Abstand zwischen 3,8 und 23,4 zeigt, warum Ihr eigener Test zählt. BroadNet meldet für das Modell außerdem einen Rang von #2 von 37 (Angabe für September 2026; die Live-Rangliste führte das Modell am 15. November 2026 auf #4 von 39) im Open Universal Arabic ASR Leaderboard. Das Startguthaben von $5 reicht für etwa 1,190 Minuten arabisches Audio, genug für ein Testset. Der Ratgeber für Käufer enthält einen Testplan für eine Stunde, und die Anleitung für Arabisch liefert den Code.

Häufige Fragen

Was ist eine gute Wortfehlerrate?

Das hängt vom Audio ab. Saubere vorgelesene Sprache kann einstellige Werte erreichen, während verrauschte Gespräche oder Dialektaufnahmen beim selben Modell oft weit höher liegen. Vergleichen Sie Modelle auf demselben Testset, am besten mit Ihren eigenen Aufnahmen.

Kann die WER über 100 % liegen?

Ja. Einfügungen werden mitgezählt, der Nenner sind aber nur die Referenzwörter, daher kann ein Transkript mit vielen zusätzlichen Wörtern über 1,0 liegen.

Wird die WER als Prozentwert oder als Dezimalzahl angegeben?

Beides ist üblich. 0,211 und 21,1 meinen meist dasselbe, etwa 21 Fehler pro 100 Referenzwörter. Prüfen Sie, welche Form eine Quelle verwendet.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen