Fehlerreport: 55 Abschlussarbeiten maschinell geprüft
Von 1.932 Meldungen sind vier Prozent echte Fehler
Für diesen Fehlerreport haben wir 55 veröffentlichte Abschlussarbeiten durch eine automatische Rechtschreibprüfung geschickt. Sie meldete 1.932 Stellen, also rund 34 auf je 1.000 Wörter. Danach haben wir 120 dieser Meldungen zufällig gezogen und einzeln nachgesehen. Echte Rechtschreibfehler waren vier davon.
Die Frage hinter der Untersuchung
Wer eine fertige Abschlussarbeit in ein Prüfprogramm lädt, bekommt meist eine dreistellige Zahl an Meldungen zurück. Der erste Gedanke ist erschrocken: So viele Fehler. Der zweite Gedanke ist der richtige: Sind das überhaupt Fehler?
Diese Frage lässt sich nicht schätzen, sondern nur nachsehen. Für den Fehlerreport haben wir deshalb nicht nur gezählt, was gemeldet wird, sondern eine Zufallsstichprobe der Meldungen von Hand geprüft und jeden Fall einer Kategorie zugeordnet.
Der Korpus
Geprüft wurden 55 frei zugängliche Abschlussarbeiten aus den Publikationsservern der Hochschule Mittweida und der Technischen Hochschule Wildau, erschienen zwischen 2007 und 2020. Darunter sind 37 Masterarbeiten und 17 Bachelorarbeiten aus Technik, Wirtschaft, Medien und Informatik.
Aus jeder Arbeit wurde eine Textprobe aus der Mitte des Fließtextes entnommen, im Schnitt rund 1.045 Wörter, zusammen 57.513 Wörter. Titelei, Verzeichnisse, Literaturangaben und Anhang bleiben außen vor, ebenso Bildunterschriften, Formeln und Tabellen. Bewertet wird also der argumentierende Teil, nicht das Beiwerk.
Wichtig für die Einordnung: Diese Arbeiten sind bereits abgegeben, bewertet und veröffentlicht. Was hier steht, hat also die Prüfung überstanden.
Was die Prüfung gemeldet hat
Insgesamt kamen 1.932 Rechtschreibmeldungen zusammen, also rund 34 Meldungen je 1.000 Wörter. Auf eine Bachelorarbeit mit 12.000 Wörtern hochgerechnet wären das gut 400 Meldungen für eine Arbeit, die längst abgegeben und benotet ist.
Genau an dieser Stelle hören die meisten Vergleichstests auf. Für uns fing die Arbeit hier an.
Die Handprüfung: 120 Meldungen einzeln angesehen
Aus allen 1.932 Meldungen haben wir 120 zufällig gezogen und jede einzeln beurteilt: Steht dort wirklich ein Rechtschreibfehler, oder hat das Programm etwas angestrichen, das korrekt ist?
| Was die Meldung tatsächlich war | Fälle | Anteil |
|---|---|---|
| Fachbegriff oder Abkürzung des Fachgebiets | 47 | 39,2 % |
| Personen-, Firmen- oder Produktname | 25 | 20,8 % |
| Artefakt der PDF-Auswertung | 23 | 19,2 % |
| englisches oder anderssprachiges Wort | 17 | 14,2 % |
| nicht eindeutig zuzuordnen | 4 | 3,3 % |
| echter Rechtschreibfehler | 4 | 3,3 % |
Der Anteil echter Fehler liegt damit bei 3,3 Prozent, bei dieser Stichprobengröße in einem Bereich von etwa 0 bis 6,5 Prozent. Anders gesagt: Von zwanzig Meldungen ist etwa eine berechtigt.
Die größte Gruppe sind Fachbegriffe. Wörter wie Spektraltensor, Impulshaltigkeit, Bilirubinoxidase oder Abtragstiefen stehen in keinem allgemeinen Wörterbuch, sind in ihrem Fach aber völlig korrekt. Dazu kommen Eigennamen, englische Fachausdrücke und ein knappes Fünftel Meldungen, die auf unser eigenes Verfahren zurückgehen: Beim Auslesen aus dem PDF gehen Umlaute und verbundene Buchstabenpaare gelegentlich verloren, sodass aus Wasserstoff ein Wassersto wird. In der Arbeit selbst steht das richtig.
Die vier echten Fehler
Diese vier Meldungen waren berechtigt, und sie sind typisch für das, was bis zur Abgabe übrig bleibt:
- förderaler statt föderaler Bundesstaat
- Kamerawelche, hier fehlt schlicht ein Leerzeichen zwischen Kamera und welche
- Übergangskommessar statt Übergangskommissar
- Länden statt Ländern
Kein einziger davon ist ein Flüchtigkeitsfehler in einem seltenen Wort. Es sind Fehler in ganz gewöhnlichen Ausdrücken, die beim Lesen überflogen werden, weil das Gehirn den gemeinten Text sieht und nicht den geschriebenen. Genau deshalb überlebt so etwas fünf eigene Korrekturdurchgänge.
Was daraus für deine Arbeit folgt
Rechnet man den geprüften Anteil auf alle Meldungen hoch, bleiben etwa 64 echte Rechtschreibfehler in 57.513 Wörtern, also gut ein Fehler je 1.000 Wörter. In einer Bachelorarbeit mit 12.000 Wörtern wären das rund 13 Rechtschreibfehler, und zwar in einer Fassung, die abgegeben und angenommen wurde.
Dass diese Hochrechnung tragfähig ist, stützt unser Blindtest der Korrekturprogramme: Dort fand dasselbe Werkzeug 18 von 18 eingebauten Rechtschreibfehlern. Bei der Rechtschreibung übersieht es also kaum etwas, es meldet nur sehr viel zusätzlich.
Für die Praxis heißt das zweierlei:
- Erschrick nicht vor der Zahl. 400 Meldungen bedeuten nicht 400 Fehler. Der weitaus größte Teil sind deine Fachbegriffe.
- Arbeite die Liste trotzdem ab. Die wenigen echten Fehler stecken zwischen den vielen falschen Alarmen, und sie fallen einer Prüferin sofort auf.
Der praktische Trick: Nimm die Fachbegriffe deiner Arbeit ins Benutzerwörterbuch auf, bevor du prüfst. Danach bleibt eine Liste übrig, die kurz genug ist, um sie ernst zu nehmen.
Was wir bewusst nicht ausgewertet haben
Die Prüfung meldete zusätzlich 449 Fälle zur Groß- und Kleinschreibung, 249 zur Zeichensetzung, 113 zur Grammatik und 88 zur Getrennt- und Zusammenschreibung. Diese Zahlen nennen wir hier bewusst als Meldungen und nicht als Fehler, denn eine zweite Handprüfung hat gezeigt, dass sie nicht belastbar sind.
Der Grund liegt bei uns. Um Fußnoten, Belegzeilen und Tabellenreste aus dem Text zu entfernen, streicht unsere Aufbereitung einzelne Sätze heraus. Dadurch stoßen Sätze aneinander, die im Original nicht benachbart waren, und genau an diesen Nahtstellen meldet die Prüfung fehlende Kommas oder falsche Großschreibung. Diese Meldungen wären unsere Fehler, nicht die der Arbeiten.
Für die Rechtschreibung gilt dieser Einwand nicht, weil dort einzelne Wörter geprüft werden und nicht Satzgrenzen. Deshalb steht in diesem Fehlerreport nur die Rechtschreibung. Für die übrigen Fehlerarten bauen wir die Aufbereitung um und liefern die Auswertung nach.
Methodik
Die Randbedingungen vollständig:
- Auswahl: Abschlussarbeiten aus den OAI-Schnittstellen der Hochschulserver, gefiltert auf deutschsprachige Bachelor- und Masterarbeiten, ohne Dissertationen
- Textprobe: je Arbeit 8.000 Zeichen aus der Mitte des Fließtextes, nach Entfernen von Kopfzeilen, Seitenzahlen, Fußnotenziffern und Belegzeilen
- Gütekontrolle: Arbeiten, deren Text beim Auslesen zerfiel, wurden verworfen und nicht gewertet
- Prüfung: ein Durchlauf je Textprobe mit einer frei zugänglichen Rechtschreibprüfung, Stilhinweise zählen nicht mit
- Handprüfung: 120 zufällig gezogene Meldungen, feste Zufallssaat, Zuordnung zu sechs Kategorien
Die Grenzen: Zwei Hochschulen sind keine repräsentative Auswahl für den deutschen Hochschulbetrieb, und die Fächer sind technisch geprägt, was den Anteil an Fachbegriffen erhöht. Veröffentlichte Arbeiten sind außerdem nicht dasselbe wie eingereichte Fassungen. Was sich dadurch nicht ändert, ist der Kern: Die große Mehrheit dessen, was eine Rechtschreibprüfung auf einem Fachtext anstreicht, ist kein Fehler.
Weiterführend: Blindtest der Korrekturprogramme, Rechtschreibprüfungen im Vergleich, Lektorat der Bachelorarbeit und Lektorat oder Korrektorat.