KI-Halluzinationen in Transkripten: Wie oft sie vorkommen und wie du sie prüfst

Was eine Halluzination im Transkript ist

Ein klassischer Erkennungsfehler ersetzt ein Wort durch ein ähnlich klingendes oder lässt es weg. Eine Halluzination ist etwas anderes: Das Modell schreibt Text, dem im Audio nichts entspricht. Koenecke und Kolleginnen definieren in ihrer Studie für die ACM-Konferenz FAccT 2024 Halluzinationen als „entire hallucinated phrases or sentences which did not exist in any form in the underlying audio“, also ganze Satzteile oder Sätze, die in keiner Form gesprochen wurden.

OpenAI räumt das Phänomen für Whisper in der Model Card selbst ein: Die Vorhersagen „may include texts that are not actually spoken in the audio input (i.e. hallucination)“. Die Ursache liegt in der Architektur, die auf der Seite Wie Spracherkennung funktioniert erklärt ist: Der Decoder ist zugleich ein Sprachmodell. Er hat gelernt, wie plausibler Text weitergeht, und setzt ihn fort, auch wenn das Audio dafür keinen Anhalt bietet.

Drei Fehlermodi laut Whisper-Paper

Das Whisper-Paper beschreibt in Abschnitt 6 zur Transkription langer Aufnahmen, welche Fehler typischerweise auftreten. Sie seien eine Kombination aus Schwächen von Sequence-to-Sequence-Modellen, Sprachmodellen und der Zuordnung von Text zu Audio und umfassten Probleme wie „getting stuck in repeat loops, not transcribing the first or last few words of an audio segment, or complete hallucination where the model will output a transcript entirely unrelated to the actual audio“.

Tabelle seitlich scrollen, um alle Spalten zu sehen

Erste drei Zeilen nach Whisper-Paper, Abschnitt 6; vierte Zeile nach Dolev et al. 2024. Die Spalte „Wo du prüfst“ ist eine redaktionelle Empfehlung.

Wie oft es passiert: Koenecke et al. 2024

Die bislang gründlichste empirische Untersuchung stammt von Allison Koenecke und Kolleginnen und wurde im Juni 2024 auf der ACM FAccT in Rio de Janeiro vorgestellt. Die Forschenden ließen Whisper über die OpenAI-Schnittstelle mit Standardeinstellungen (Englisch, Temperature 0) 13.140 Audiosegmente aus der AphasiaBank transkribieren, einer Sammlung von Aufnahmen von 437 englischsprachigen Personen mit und ohne Aphasie, einer Sprachstörung nach Hirnschädigung. Die Läufe fanden im April und Mai 2023 statt, die Validierung im Dezember 2023.

Tabelle seitlich scrollen, um alle Spalten zu sehen

Alle Werte aus Koenecke et al., ACM FAccT ’24 (DOI 10.1145/3630106.3658996), gemessen an englischem Audio mit dem Whisper-Stand von 2023.

Der wichtigste Befund für den Alltag steckt in der letzten Zeile: Halluzinationen treten „disproportionately“ bei Menschen auf, die längere Anteile ohne Sprache produzieren. Wer langsam spricht, nachdenkt, zögert oder zwischen zwei Sätzen Unterlagen sortiert, liefert dem Modell Stille, und in Stille erfindet es am ehesten. Eine Cornell-Pressemitteilung vom Juni 2024 zitiert die Erstautorin mit dem Hinweis, OpenAI habe das Modell seither verbessert; die Zahlen gelten für den Stand 2023 und für Englisch. Vergleichbare deutsche Messungen gibt es nicht.

Deutschsprachiger Befund: Schweizerdeutsch

Für den deutschen Sprachraum liefert die Studie von Dolev, Lutz und Aepli zu Schweizerdeutsch (VarDial 2024) einen Hinweis. Die Forschenden ließen Whisper large-v3 unter anderem simulierte klinische Interviews transkribieren und werteten die Ausgaben qualitativ aus. In 4 von 16 Gesprächen fand sich je ein Satz, der nicht gesprochen worden war. Daneben beobachteten sie Wortersetzungen, weggelassene Modalpartikeln und falsch erkannte Zahlen, Eigennamen und Fachbegriffe. Die Messwerte stehen auf der Seite Deutsch, Dialekt, Fachsprache.

Was das für Protokolle und Arztbriefe bedeutet

Ein Prozent klingt wenig. In einem Besprechungsprotokoll von 60 Minuten mit Dutzenden Redebeiträgen bedeutet die Größenordnung der Koenecke-Studie, dass einzelne halluzinierte Sätze wahrscheinlich sind, nicht nur möglich. Und anders als ein vertauschtes Wort fällt ein halluzinierter Satz nicht auf, denn er ist grammatisch korrekt und klingt plausibel. Genau das macht ihn gefährlich.

Die Gefahr vervielfacht sich durch den zweiten Verarbeitungsschritt. Ein KI-Diktiergerät übergibt das Transkript an ein Sprachmodell, das daraus eine Zusammenfassung erzeugt. Dieses Modell kann nicht wissen, welcher Satz echt ist. Steht im Transkript eine erfundene Zusage, erscheint sie in der Zusammenfassung als Beschluss; steht im Arztdiktat eine erfundene Negation, kehrt sich eine Diagnose um. Wer Meeting-Protokolle oder Arztbriefe aus KI-Transkripten erstellt, trägt die Verantwortung für den Text, nicht das Modell; für Ärztinnen und Anwälte kommen die Pflichten aus dem Berufsgeheimnis hinzu.

Prüfroutine für KI-Transkripte

Eine vollständige Korrektur jedes Transkripts gegen das Audio ist aufwendig; noScribe schreibt in seiner Dokumentation, dass „review and correction are always necessary“. Wo die Zeit dafür fehlt, hilft eine gezielte Routine, die dort ansetzt, wo die Fehlermodi der Forschung liegen.

1. Stille und Pausen anhören. Suche im Transkript nach Stellen, an denen das Audio Pausen, Husten, Papierrascheln oder Musik enthält. Dort entstehen laut Koenecke et al. die meisten Halluzinationen.
2. Zahlen, Namen, Daten prüfen. Jede Zahl, jeder Eigenname, jedes Datum und jede Dosierung wird am Audio gegengehört. Dolev et al. nennen genau diese Kategorien als typische Fehlerstellen.
3. Negationen und Modalwörter prüfen. „nicht“, „kein“, „nie“ sowie „sollte“, „könnte“, „muss“ verändern den Sinn eines Satzes vollständig und sind kurz. Fehlt eines, kehrt sich die Aussage um.
4. Wiederholungen suchen. Mehrfach identische Sätze sind ein Hinweis auf eine Wiederholungsschleife; die Passage dazwischen fehlt dann oft.
5. Anfang und Ende jedes Abschnitts prüfen. Das Whisper-Paper nennt fehlende erste und letzte Wörter eines Segments als eigenen Fehlermodus.
6. Zusammenfassung gegen Transkript lesen, nicht gegen Erinnerung. Jede Aussage der Zusammenfassung muss sich im Transkript wiederfinden, und das Transkript muss sich im Audio wiederfinden. Nur diese Kette trägt.

Apps mit Editor, der Audio und Text synchron zeigt, erleichtern diese Arbeit; noScribe und MacWhisper bieten einen solchen Abgleich laut ihren Projektseiten, und die Geräte-Apps von PLAUD und anderen verknüpfen Transkriptzeilen mit Zeitmarken. Welche App das kann, steht im Vergleich der Transkriptionssoftware.