Korrekturprogramme im Blindtest: 67 versteckte Fehler

Was automatische Korrektur findet und wo sie geschlossen ausfällt

Für diesen Korrekturprogramme-Blindtest haben wir fünf sprachlich einwandfreie Texte geschrieben und darin anschließend 67 genau definierte Fehler versteckt: jeder mit festgelegter Position, Kategorie und korrekter Lösung. Erst danach haben die Werkzeuge die Texte gesehen, ohne Hinweis auf Anzahl oder Art der Fehler. Das Ergebnis fällt eindeutiger aus als erwartet, und zwar in beide Richtungen.

Der Aufbau: erst der saubere Text, dann der Fehler

Die übliche Schwäche solcher Tests ist der Maßstab. Wer einen fehlerhaften Text durch mehrere Korrekturprogramme schickt und die Meldungen zählt, weiß nie, wie viele Fehler tatsächlich drinsteckten. Wir haben deshalb umgekehrt gearbeitet: Zuerst entstanden fünf fehlerfreie Texte aus unterschiedlichen Textsorten, danach wurde jeder einzelne Fehler bewusst eingesetzt.

Damit steht die Bezugsgröße vorher fest. Zu jedem Fehler sind Position im Text, Kategorie und die korrekte Fassung dokumentiert. Ein Werkzeug gilt genau dann als erfolgreich, wenn seine Meldung die hinterlegte Fehlerstelle trifft. Jede Meldung, die auf keine dieser Stellen zeigt, zählt als Fehlalarm.

Der Korpus umfasst fünf Texte mit 7.815 Zeichen und 67 eingebauten Fehlern in acht Kategorien. Die Textsorten sind bewusst gemischt, weil Korrekturprogramme auf wissenschaftliche Prosa anders reagieren als auf einen Romananfang: Methodikkapitel einer Bachelorarbeit, Bewerbungsanschreiben, Kapitelanfang eines Romans, Abschnitt aus einem Geschäftsbericht und ein Ratgebertext.

Was geprüft wurde

Drei Zugänge standen im Test, alle in ihrer kostenlos zugänglichen Form:

• LanguageTool über die frei zugängliche Schnittstelle, also die Variante ohne Konto und ohne Bezahltarif
• Sprachmodell im Meldemodus: ein aktuelles GPT-5.6-Modell in mittlerer Leistungsstufe mit der Aufgabe, jeden Fehler zu benennen
• Sprachmodell im Korrekturmodus: dasselbe Modell mit der Aufgabe, den Text zu korrigieren und alles Richtige unverändert zu lassen

Die Trennung von Melde- und Korrekturmodus ist der interessanteste Teil des Aufbaus. Es ist dasselbe Modell mit demselben Text, unterschieden nur durch den Auftrag. Wer erwartet, dass dabei dasselbe herauskommt, liegt falsch.

Das Gesamtergebnis

Keines der drei Korrekturprogramme findet alles. Der Abstand zwischen dem schwächsten und dem stärksten Ergebnis beträgt 27 Prozentpunkte.

Bemerkenswert ist die Spalte ganz rechts. LanguageTool meldet sieben Stellen, an denen gar kein Fehler war. Im Korrekturmodus hat das Sprachmodell dagegen keine einzige korrekte Stelle eigenmächtig verändert: kein Umformulieren, kein Stilbessern, keine gestrichenen Sätze. Genau das ist die Sorge, die viele beim Einsatz von KI-Korrektur haben, und sie hat sich in diesem Durchgang nicht bestätigt.

Nach Fehlerarten aufgeschlüsselt

Der Gesamtwert verdeckt, dass Korrekturprogramme sehr unterschiedliche Stärken haben. Die Aufschlüsselung nach den acht Kategorien zeigt, wo die Unterschiede tatsächlich liegen.

Zwei Zeilen stechen heraus. Bei der reinen Rechtschreibung ist LanguageTool perfekt und schlägt beide KI-Durchläufe: 18 von 18, während das Sprachmodell im Meldemodus vier schlichte Buchstabendreher übersieht. Bei der Zeichensetzung kippt das Verhältnis vollständig: 3 von 10 gegen 10 von 10.

Das ist kein Zufall, sondern folgt aus der Bauweise. Ein regelbasiertes Werkzeug erkennt ein falsch geschriebenes Wort zuverlässig, weil es im Wörterbuch fehlt. Ob vor einem Nebensatz ein Komma stehen muss, ergibt sich dagegen aus dem Satzbau, und dort kommt ein Regelwerk schnell an seine Grenzen.

Die blinde Stelle, die allen gemeinsam ist

In der letzten Zeile der Tabelle steht das eigentliche Ergebnis dieser Studie. Fünf der 67 Fehler sind orthografisch vollkommen unauffällig: Jedes Wort ist richtig geschrieben, jeder Satz ist grammatisch korrekt. Falsch ist nur die Aussage. Von diesen fünf Fehlern findet LanguageTool null, das Sprachmodell im Korrekturmodus ebenfalls null, im Meldemodus genau einen.

Konkret waren das diese Stellen:

• Im Methodikkapitel werden im ersten Absatz zwölf Interviews genannt, im letzten Absatz sind es plötzlich vierzehn.
• Im Geschäftsbericht steigt die Zahl der Mitarbeitenden von 412 auf 448, im nächsten Satz ist von einem Anstieg um 46 Stellen die Rede. Es sind 36.
• Der Ratgebertext empfiehlt, ein Fünftel der Zeit für die Recherche einzuplanen, und rechnet bei vier Wochen dann zehn bis zwölf Tage vor. Ein Fünftel von vier Wochen sind knapp sechs.
• Im Romananfang nimmt die Figur die beiden Koffer vom Gepäckträger, zwei Sätze später passt ihr ganzer Besitz in ein einziges Gepäckstück.
• Das Bewerbungsschreiben beruft sich auf Erfahrung aus einer Werkstudentenstelle, obwohl es sich genau um die erste bewirbt.

Das sind die Fehler, die in einer Prüfungssituation wehtun. Eine falsch geschriebene Vokabel kostet Sympathie, eine Fallzahl, die sich zwischen Methodenteil und Auswertung ändert, kostet Punkte und wirft die Frage auf, ob die Daten überhaupt stimmen. Genau diese Klasse von Fehlern erkennt kein getestetes Werkzeug verlässlich, weil sie sich nur aus dem Verständnis des ganzen Textes ergibt.

Melden und korrigieren sind nicht dasselbe

Dasselbe Modell, derselbe Text, zwei Aufträge, zwei Ergebnisse: 56 gegen 60 Treffer. Aufschlussreich ist, wo die Differenz entsteht. Im Meldemodus übersieht das Modell vier einfache Rechtschreibfehler, die es im Korrekturmodus stillschweigend repariert.

Die plausible Erklärung: Wer eine Liste von Funden aufschreiben soll, priorisiert das Auffällige und Erklärungswürdige. Wer einen Text sauber ausgeben soll, bügelt Tippfehler nebenbei mit aus, ohne sie zu erwähnen. Für die Praxis heißt das: Eine KI-Fehlerliste ist nicht vollständig, auch wenn sie vollständig aussieht. Wer nur die gemeldeten Punkte abarbeitet, übernimmt die übersehenen Fehler ungeprüft in die Endfassung.

Umgekehrt hat der Korrekturmodus einen anderen Nachteil: Er liefert einen fertigen Text ohne Begründung. Was geändert wurde, muss man selbst herausfinden. Wer den Vergleich nicht macht, gibt am Ende einen Text ab, den er nicht mehr in allen Teilen kennt.

Was das für die Praxis bedeutet

Korrekturprogramme sind erheblich besser als ihr Ruf und erheblich schlechter als ihr Marketing. Die nüchterne Ableitung aus den Zahlen:

• Für die Rechtschreibung reicht ein kostenloses Werkzeug. 18 von 18 sind ein perfektes Ergebnis, dafür muss niemand zahlen.
• Bei Kommas verlass dich nicht auf ein Regelwerk. 3 von 10 bedeutet, dass sieben von zehn Kommafehlern stehen bleiben.
• Prüfe Zahlen und Bezüge selbst. Fallzahlen, Summen, Verweise auf Kapitel und Abbildungen: Kein Werkzeug im Test hat hier etwas gefunden.
• Zwei Durchläufe schlagen einen. Die Stärken sind komplementär: Das Regelwerk fängt die Rechtschreibung, das Sprachmodell die Zeichensetzung.

Der Punkt, an dem beide Ansätze gemeinsam aussteigen, ist zugleich der, an dem eine zweite lesende Person ansetzt: Widersprüche im Text fallen nur auf, wenn jemand den ganzen Text im Kopf behält. Wir haben in diesem Durchgang ausschließlich Werkzeuge getestet, keine menschliche Korrektur. Eine Aussage darüber, wie viele der 67 Fehler unsere Lektorinnen und Lektoren finden, wäre an dieser Stelle unbelegt. Der Vergleich ist für die nächste Ausgabe dieser Studie vorgesehen, mit demselben Korpus und derselben Auswertung.

Methodik und Nachprüfbarkeit

Damit die Zahlen überprüfbar bleiben, hier die Randbedingungen vollständig:

• Korpus: fünf selbst verfasste Texte, 7.815 Zeichen, keine fremden Inhalte, keine Kundendokumente
• Fehler: 67 Einsetzungen mit festgelegter Position, Kategorie und Sollfassung, dokumentiert vor dem Test
• Treffer: die Meldung eines Werkzeugs überlappt die hinterlegte Fehlerstelle; alles andere zählt als Fehlalarm
• Stilhinweise zählen nicht: Geschmacksfragen werden weder als Treffer noch als Fehlalarm gewertet
• Durchführung: ein Durchlauf je Werkzeug, ohne Nachbesserung und ohne Auswahl des besten Ergebnisses

Die Grenzen sind ebenso klar: Fünf Texte sind eine kleine Stichprobe, und die Auswahl der Fehler ist unsere. Ein anderer Korpus mit anderem Schwerpunkt käme auf andere Prozentwerte. Was sich dadurch nicht ändert, ist das Muster, weil es aus der Funktionsweise der Werkzeuge folgt: Regelwerke sind stark bei Wörtern, Sprachmodelle bei Sätzen, und den Textzusammenhang prüft keines von beiden.

Weiterführend: Rechtschreibprüfungen im Vergleich, LanguageTool im Test, warum menschliches Lektorat bleibt und Korrekturlesen und Lektorat.