Wortfehlerrate (WER): Was Genauigkeitsangaben wirklich sagen

Was die Wortfehlerrate misst

Die Wortfehlerrate, englisch Word Error Rate (WER), ist das Standardmaß der Spracherkennungsforschung. Sie vergleicht den erkannten Text mit einem von Menschen erstellten Referenztranskript und zählt drei Arten von Abweichungen: Ersetzungen (ein falsches Wort statt des richtigen), Auslassungen (ein Wort fehlt) und Einfügungen (ein Wort steht da, das nicht gesprochen wurde). Die Summe wird durch die Zahl der Wörter in der Referenz geteilt.

Das Whisper-Paper beschreibt zugleich die Schwäche des Maßes: WER beruht auf der Editierdistanz zweier Zeichenketten und „bestraft alle Unterschiede zwischen Modellausgabe und Referenz, einschließlich harmloser Unterschiede im Stil des Transkripts“. Ob „10“ oder „zehn“, ob „z. B.“ oder „zum Beispiel“ geschrieben wird, zählt für die Formel genauso als Fehler wie ein wirklich falsch verstandenes Wort.

Rechenbeispiel: Ein Fehler je zwanzig Wörter

Eine WER von 5 Prozent heißt grob: In je 20 Wörtern steckt ein Fehler. Weil die Fehler nicht gleichmäßig verteilt sind, sagt der Durchschnitt wenig über den einzelnen Satz. Namen, Zahlen und Fachbegriffe sind überdurchschnittlich oft betroffen, Füllwörter fast nie. Die Tabelle übersetzt gängige Werte in greifbare Größen.

Tabelle seitlich scrollen, um alle Spalten zu sehen

Zuordnungen aus dem Whisper-Paper (Appendix D.2), dem Open ASR Leaderboard (v4) und Dolev et al. 2024; Fehlerzahlen gerundet. Ein Fehler ist jede Ersetzung, Auslassung oder Einfügung eines Wortes.

Normalisierung: Bis zu 50 Prozent Unterschied

Weil die rohe Formel Stilunterschiede als Fehler zählt, bereiten Forschende beide Texte vor dem Vergleich auf. Dieser Schritt heißt Normalisierung: Groß- und Kleinschreibung werden vereinheitlicht, Interpunktion entfernt, Zahlen in eine einheitliche Form gebracht, Abkürzungen aufgelöst. Das Whisper-Paper berichtet, dass allein durch seine „umfangreiche Standardisierung des Texts“ bei mehreren Datensätzen die WER um bis zu 50 Prozent sinkt.

Die Folge für jede Zahl, die du irgendwo liest: Zwei WER-Werte sind nur dann vergleichbar, wenn sie auf demselben Testset mit demselben Normalisierer gemessen wurden. Ein Wert von 6 Prozent nach Whisper-Normalisierer kann derselbe Erkenner sein wie 12 Prozent ohne Normalisierung. Eine Prozentzahl ohne diese beiden Angaben ist nicht falsch, aber bedeutungslos.

Warum „98 Prozent Genauigkeit“ nichts aussagt

Gerätehersteller werben mit Genauigkeitsprozenten. Mobvoi nennt für den TicNote „98 % accuracy“, Notta für den Notta Memo „98.86 %“, soundcore für den Work „bis zu 97 %“, Nuance für Dragon Legal eine „99%ige Erkennungsgenauigkeit“, Speechnotes „95 %“ und zwar nur für Englisch. Keine dieser Angaben nennt das Testmaterial, die Sprache, den Normalisierer, die Modellversion oder ob vorgelesen oder spontan gesprochen wurde. Sie sind Herstellerangaben und als solche zu lesen.

Tabelle seitlich scrollen, um alle Spalten zu sehen

Zusammenstellung dieser Redaktion nach den Anforderungen des Whisper-Papers (Abschnitt 3.2) und des Open ASR Leaderboards.

Der Satz „98 Prozent Genauigkeit“ klingt nach einem Fehler je 50 Wörter. Ob das stimmt, lässt sich ohne die fünf Angaben aus der Tabelle nicht sagen. Deshalb übernimmt dieser Vergleich Herstellerprozente nirgends als Fakt, sondern nennt sie, wenn überhaupt, als Behauptung mit dieser Einordnung; die Regel steht in der Methodik.

Gemessene Werte für Deutsch: Whisper

Das Whisper-Paper veröffentlicht in Appendix D.2 Fehlerraten je Sprache für vier Testdatensätze. Für Deutsch ergibt sich ein klares Bild: Auf vorgelesenem, sauber aufgenommenem Material liegt das große Modell bei 4,5 bis 6,4 Prozent, auf Parlamentsreden mit Raumakustik und spontanem Sprechen bei 11,2 Prozent.

Tabelle seitlich scrollen, um alle Spalten zu sehen

Whisper-Paper, Tabellen 10 bis 13. Kleinere Modelle auf Common Voice 9 Deutsch: tiny 34,5, base 24,5, small 13,0, medium 8,5.

Interessant ist der Vergleich mit Englisch: Auf zwei der vier Datensätze schneidet Deutsch sogar besser ab als Englisch, auf VoxPopuli deutlich schlechter. Das zeigt, wie sehr das Testmaterial den Wert bestimmt. Spontanes Sprechen im Plenarsaal mit Hall ist für den Erkenner schwerer als ein vorgelesener Satz im stillen Raum.

Aktuelle Benchmarks: Open ASR Leaderboard

Das Open ASR Leaderboard, betrieben auf Hugging Face und 2025 als Paper beschrieben, vergleicht laut Veröffentlichung 86 offene und proprietäre Systeme auf zwölf Datensätzen unter einheitlichem Normalisierer. Der mehrsprachige Track bewertet derzeit Deutsch, Französisch, Italienisch, Spanisch und Portugiesisch; Deutsch wird über FLEURS und CoVoST-2 gemessen, also wieder überwiegend vorgelesenes Material.

Tabelle seitlich scrollen, um alle Spalten zu sehen

Auswahl aus Table 4 des Leaderboard-Papers (arXiv:2510.06961v4). Verfügbarkeitsspalte nach Angaben der Anbieter; welches dieser Systeme in einem KI-Diktiergerät steckt, veröffentlichen die Gerätehersteller nicht.

Die Spanne zwischen Platz eins und Platz elf beträgt gut zwei Prozentpunkte. Auf sauberem Deutsch liegen aktuelle Systeme damit alle bei zwei bis vier Fehlern je 100 Wörter; die kommerziellen Dienste führen knapp. Ob ein Diktiergerät eines dieser Systeme verwendet, steht nirgends. Comulytic nennt Whisper, die übrigen Hersteller im Gerätevergleich nennen keinen Erkennungsanbieter.

Was die Zahlen nicht abdecken

Alle genannten Werte stammen von vorgelesenem oder zumindest formell gesprochenem Material in Standarddeutsch. Drei Situationen des Diktieralltags kommen darin nicht vor, und für keine davon gibt es eine belastbare deutsche Messung:

• Spontansprache mit Versprechern, Satzabbrüchen und Überlappungen in Besprechungen. Der einzige Hinweis im Paper ist VoxPopuli: freie Reden kosten gegenüber vorgelesenem Text etwa das Doppelte an Fehlern.
• Dialekt und Akzent. Für Schweizerdeutsch liegen Messungen vor (23 Prozent WER bei Whisper large-v3 ohne Anpassung), für andere deutsche Dialekte nicht. Details auf der Seite Deutsch, Dialekt, Fachsprache.
• Fachvokabular aus Medizin oder Recht. Dolev et al. nennen Zahlen, Eigennamen und Fachbegriffe als typische Fehlerstellen; eine Studie zu deutschem Fachvokabular wurde nicht gefunden. Zahlen dazu gibt es nicht.

Dazu kommt die Aufnahmequalität: Alle Benchmarks arbeiten mit sauberen Aufnahmen. Ein Rekorder, der drei Meter vom Sprecher entfernt auf dem Konferenztisch liegt, liefert dem Modell ein anderes Signal als ein Studiomikrofon.