KIDetektiv und ZeroGPT im Falschalarm-Test
Texte, die keine KI geschrieben haben kann, und was die Detektoren daraus machen
Wenn ein KI-Detektor eine Arbeit als maschinell erzeugt einstuft, steht ein Vorwurf im Raum, der schwer zu entkräften ist. Deshalb ist die wichtigste Frage nicht, wie gut ein Detektor KI-Text erkennt, sondern wie oft er bei Menschentext danebenliegt. Wir haben KIDetektiv und ZeroGPT deshalb 30 Abschlussarbeiten aus den Jahren 2007 bis 2020 vorgelegt. Sie erschienen Jahre vor der Veröffentlichung von ChatGPT und können unmöglich von einer KI stammen.
Warum ausgerechnet alte Abschlussarbeiten
Das übliche Problem solcher Tests ist die Beweislage. Wer einen selbst geschriebenen Text prüft, kann zwar behaupten, dass er von ihm stammt, beweisen lässt es sich nicht. Bei einer Arbeit, die 2009 auf einem Hochschulserver veröffentlicht wurde, erübrigt sich die Frage: Es gab damals kein Werkzeug, das solche Texte hätte erzeugen können.
Damit ist jede Meldung eines Detektors auf diesen Texten nachweislich ein Falschalarm. Der Anteil solcher Meldungen ist die Falsch-Positiv-Rate, und sie entscheidet darüber, ob man einem Detektor überhaupt etwas glauben darf.
Der Prüfkorpus besteht aus 30 Bachelor- und Masterarbeiten der Jahre 2007 bis 2020 aus zwei Hochschulservern, dazu 15 gezielt erzeugten KI-Texten im selben Genre. Jede Probe umfasst rund 1.600 Zeichen zusammenhängenden Fließtext aus dem Hauptteil.
Das Ergebnis
Getestet wurden zwei Detektoren, die sich ohne Konto und ohne Bezahlung bedienen lassen. Die Tabelle zeigt beide Schwellenwerte, weil die Detektoren selbst keinen verbindlichen Grenzwert nennen.
| KIDetektiv | ZeroGPT | |
|---|---|---|
| Mittelwert bei Menschentext | 24,0 % | 2,5 % |
| höchster Wert bei Menschentext | 85,0 % | 40,4 % |
| Fehlalarm ab Schwelle 50 % | 3 von 30 | 0 von 30 |
| Fehlalarm ab Schwelle 25 % | 12 von 30 | 1 von 30 |
| KI-Texte erkannt ab 50 % | 13 von 15 | 14 von 15 |
| Mittelwert bei KI-Text | 79,6 % | 85,8 % |
Der Abstand ist deutlich und geht nicht auf einen Zielkonflikt zurück. Man könnte erwarten, dass ein empfindlicherer Detektor mehr KI findet und dafür mehr Fehlalarme produziert. Hier ist es anders: ZeroGPT hat auf diesem Korpus keinen einzigen Fehlalarm und erkennt zugleich mehr KI-Texte. Die höhere Fehlalarmquote von KIDetektiv erkauft also keine bessere Erkennung.
Der Extremfall: 85 Prozent für eine Arbeit von 2009
Der höchste Wert, den KIDetektiv einer menschlichen Arbeit gab, liegt bei 85 Prozent. Nach der Skala des Anbieters, die alles über 66 Prozent als eher generiert einordnet, wäre dieser Text also mit deutlicher Tendenz maschinell erzeugt. Geschrieben wurde er Jahre vor ChatGPT.
Bei zwölf der dreißig Arbeiten lag der Wert über 25 Prozent, was auf der Skala bereits als umgeschrieben oder gemischt gilt. Es traf dabei bevorzugt Arbeiten mit sehr gleichmäßigem, sachlichem Stil, also genau das, was in einer wissenschaftlichen Arbeit erwartet wird: kurze Sätze, wenig Variation im Satzbau, nüchterne Formulierungen. Wer akademisch sauber schreibt, schreibt für diese Werkzeuge verdächtig.
Was der Schwellenwert anrichtet
Die Detektoren geben einen Prozentwert aus und überlassen die Deutung dem Betrachter. Genau darin liegt das Risiko, denn zwischen den Schwellen liegen Welten:
- Bei 50 Prozent lag die Fehlalarmquote von KIDetektiv bei 10 Prozent. In einem Kurs mit 30 Arbeiten träfe es rechnerisch drei Personen zu Unrecht.
- Bei 25 Prozent lag sie bei 40 Prozent. Damit wäre fast jede zweite ehrliche Arbeit auffällig.
Wer einen Detektor einsetzt, muss diese Schwelle also festlegen und offenlegen, sonst ist das Ergebnis beliebig. Und selbst bei der strengeren Schwelle bleibt eine Fehlalarmquote, die für eine Prüfungsentscheidung zu hoch ist.
Was du tun kannst, wenn dein Text angeschlagen wird
Ein hoher Detektorwert ist kein Beweis, und diese Untersuchung zeigt, warum. Praktisch hilft es, die Entstehung der Arbeit belegen zu können:
- Versionsverlauf aufheben. Word und Google Docs speichern die Entstehungsgeschichte, das ist der stärkste Beleg überhaupt.
- Zwischenstände sichern. Ein Ordner mit datierten Fassungen zeigt, wie der Text gewachsen ist.
- Notizen und Quellen behalten. Exzerpte und Rechercheunterlagen belegen den eigenen Denkweg.
- Auf die Schwelle verweisen. Frag nach, welcher Grenzwert angesetzt wurde und mit welcher Fehlalarmquote gerechnet wird.
Mehr dazu steht auf unserer Seite zur Aussagekraft von Plagiatsprüfung und KI-Detektor.
Grenzen dieser Untersuchung
Vier Einschränkungen gehören dazu:
- Zwei Detektoren sind kein Marktüberblick. Getestet wurde, was ohne Konto und ohne Bezahlung nutzbar ist. Ein dritter Kandidat ließ sich nicht bedienen, weil sein Cookie-Dialog das Eingabefeld dauerhaft verdeckte.
- 30 plus 15 Texte sind eine kleine Stichprobe. Die Größenordnung ist belastbar, die Nachkommastelle nicht.
- Die KI-Texte stammen aus einem einzigen Modell. Mit anderen Modellen oder nach gezielter Überarbeitung fiele die Erkennung vermutlich schlechter aus.
- Unseren eigenen KI-Scan haben wir bewusst nicht mitgetestet. Ein Anbieter, der sich selbst in seinen eigenen Vergleich stellt, gewinnt ihn erfahrungsgemäß. Wer eine unabhängige Einordnung dieses Produkts sucht, sollte sie nicht bei uns erwarten.
Methodik
Der Menschenkorpus besteht aus deutschsprachigen Bachelor- und Masterarbeiten, die über die OAI-Schnittstellen von Hochschulservern bezogen wurden. Aufgenommen wurden ausschließlich Arbeiten mit einem Erscheinungsjahr bis 2021, geprüft wurde je Arbeit ein zusammenhängender Ausschnitt von rund 1.600 Zeichen aus dem Hauptteil, nach Entfernen von Kopfzeilen, Fußnoten und Verzeichnissen.
Die 15 KI-Texte entstanden mit einem aktuellen Sprachmodell, das jeweils einen Auszug von rund 260 Wörtern aus dem Hauptteil einer Bachelorarbeit zu einem vorgegebenen Thema schreiben sollte, ohne weitere Bearbeitung. Jeder Text lief einmal durch jeden Detektor, ausgewertet wurde der ausgegebene Prozentwert.
Weiterführend: KI-Detektoren im Vergleich, Merkmale von KI-Texten, Blindtest der Korrekturprogramme und wissenschaftliches Fehlverhalten.