KIDetektiv und ZeroGPT im Falschalarm-Test
Texte ohne KI-Ursprung und was die Detektoren daraus machen
Ein Vorwurf der KI-Nutzung ist schwer zu widerlegen, sobald ein KI-Detektor eine Arbeit als maschinell erzeugt einstuft. Daher zählt weniger, wie zuverlässig KI-Text erkannt wird, als vielmehr, wie häufig menschlich verfasste Texte fälschlich beanstandet werden. Aus diesem Grund haben wir KIDetektiv und ZeroGPT 30 Abschlussarbeiten aus den Jahren 2007 bis 2020 vorgelegt. Diese Texte wurden vor der Veröffentlichung von ChatGPT verfasst. Allein das Veröffentlichungsdatum belegt jedoch nicht für jede Passage die menschliche Urheberschaft.
Warum alte Abschlussarbeiten besonders geeignet sind
Bei Tests dieser Art ist die Beweislage oft das Hauptproblem. Bei selbst verfassten Texten lässt sich die eigene Urheberschaft zwar behaupten, aber nicht objektiv belegen. Eine Arbeit, die 2009 auf einem Hochschulserver veröffentlicht wurde, ist ein starkes Indiz für eine menschliche Entstehung; ohne Unterlagen zur Entstehung lässt sich die Urheberschaft einzelner Passagen jedoch nicht abschließend belegen.
Sofern die historischen Texte tatsächlich von Menschen verfasst wurden, ist jede positive Meldung eines Detektors dazu ein Falschalarm. Der Anteil solcher Meldungen ist die Falsch-Positiv-Rate und eine wichtige Kennzahl für die Bewertung eines Detektors.
Der Testkorpus umfasst 30 Bachelor- und Masterarbeiten aus den Jahren 2007 bis 2020 von zwei Hochschulservern sowie 15 gezielt erzeugten KI-Texten im gleichen Genre. Jede Testprobe besteht aus etwa 1.600 Zeichen zusammenhängendem Fließtext aus dem Hauptteil.
Das Ergebnis
Geprüft wurden zwei Detektoren, die sich ohne Registrierung und kostenlos nutzen lassen. Die Tabelle führt beide Schwellenwerte auf, weil die Detektoren selbst keinen verbindlichen Grenzwert festlegen.
| KIDetektiv | ZeroGPT | |
|---|---|---|
| Mittelwert bei Menschentext | 24,0 % | 2,5 % |
| höchster Wert bei Menschentext | 85,0 % | 40,4 % |
| Fehlalarm ab Schwelle 50 % | 3 von 30 | 0 von 30 |
| Fehlalarm ab Schwelle 25 % | 12 von 30 | 1 von 30 |
| KI-Texte erkannt ab 50 % | 13 von 15 | 14 von 15 |
| Mittelwert bei KI-Text | 79,6 % | 85,8 % |
Die Ergebnisse des eigenen Tests zeigen keinen einfachen Zielkonflikt. Zwar könnte man annehmen, dass ein empfindlicherer Detektor mehr KI-Texte erkennt, dafür aber auch mehr Fehlalarme produziert. In diesem Korpus erreichte ZeroGPT bei der Schwelle von 50 Prozent keinen Fehlalarm und stufte zugleich mehr der eingesetzten KI-Texte oberhalb dieser Schwelle ein. Daraus lässt sich jedoch keine allgemeine Aussage über die Erkennungsleistung beider Detektoren ableiten.
Der Extremfall: 85 Prozent für eine Arbeit aus dem Jahr 2009
KIDetektiv wies einer menschlichen Arbeit den höchsten Wert von 85 Prozent zu. Nach der Skala des Anbieters, die Werte über 66 Prozent als eher generiert einordnet, würde dieser Text als maschinell erzeugt gelten. Die Arbeit wurde 2009 veröffentlicht, also Jahre vor ChatGPT.
Bei zwölf der dreißig Arbeiten lag der Wert über 25 Prozent, was auf der Skala bereits als umgeschrieben oder gemischt gilt. In diesem kleinen Korpus betraf dies besonders Arbeiten mit einem sehr gleichmäßigen, sachlichen Stil. Kurze Sätze, wenig Variation im Satzbau und nüchterne Formulierungen können in wissenschaftlichen Arbeiten vorkommen; aus diesem Test allein lässt sich jedoch keine allgemeine Ursache für die Einstufungen ableiten.
Die Auswirkungen des Schwellenwerts
Die Detektoren liefern einen Prozentwert und überlassen die Interpretation dem Nutzer. Genau darin liegt das Risiko, denn die Wahl der Schwelle verändert die Aussage erheblich:
- Bei 50 Prozent betrug die Fehlalarmquote von KIDetektiv in diesem Test 10 Prozent. In einem Kurs mit 30 Arbeiten entspräche dies rechnerisch drei auffälligen Arbeiten.
- Bei 25 Prozent betrug die Fehlalarmquote in diesem Test 40 Prozent. Damit wäre in diesem Test nahezu jede zweite Arbeit auffällig.
Wer einen Detektor nutzt, sollte die gewählte Schwelle und die Testgrundlage transparent machen. Die hier gemessene Fehlalarmquote bei der strengeren Schwelle beruht auf einer kleinen Stichprobe und reicht allein nicht aus, um Prüfungsentscheidungen zu begründen.
Was du bei einem positiven Detektorbefund tun kannst
Ein hoher Detektorwert belegt die Urheberschaft eines Textes nicht ohne weitere Prüfung. Praktisch hilft es, die Entstehung der Arbeit belegen zu können:
- Versionsverlauf aufheben. Bei aktivierter Versionsverwaltung können Word und Google Docs frühere Bearbeitungsstände dokumentieren und die Darstellung der Entstehung unterstützen.
- Zwischenstände sichern. Ein Ordner mit datierten Fassungen kann zeigen, wie der Text schrittweise gewachsen ist.
- Notizen und Quellen behalten. Exzerpte und Rechercheunterlagen können den eigenen Denkweg dokumentieren.
- Auf die Schwelle verweisen. Kläre, welcher Grenzwert angesetzt wurde und welche Fehlalarmquote ihm zugrunde liegt.
Weitere Informationen findest du auf unserer Seite zur Aussagekraft von Plagiatsprüfung und KI-Detektor.
Einschränkungen dieser Untersuchung
Vier Einschränkungen gehören dazu:
- Zwei Detektoren ersetzen keinen Marktüberblick. Geprüft wurden nur kostenlose Tools ohne Registrierung. Ein weiterer Kandidat ließ sich nicht bedienen, weil sein Cookie-Dialog das Eingabefeld dauerhaft verdeckte.
- 30 plus 15 Texte bilden eine kleine Stichprobe. Die Ergebnisse liefern nur begrenzte Hinweise; genaue Quoten lassen sich daraus nicht verallgemeinern.
- Die KI-Texte stammen aus einem einzigen Modell. Auf andere Modelle oder gezielt überarbeitete Texte lassen sich die Ergebnisse ohne weitere Tests nicht übertragen.
- Unseren eigenen KI-Scan haben wir bewusst nicht mitgetestet. Eine unabhängige Einordnung dieses Produkts sollte von Dritten stammen.
Methodik
Der Menschenkorpus umfasst deutschsprachige Bachelor- und Masterarbeiten, die über OAI-Schnittstellen von Hochschulservern bezogen wurden. Aufgenommen wurden ausschließlich Arbeiten mit einem Erscheinungsjahr bis 2020. Geprüft wurde je Arbeit ein zusammenhängender Ausschnitt von rund 1.600 Zeichen aus dem Hauptteil, nachdem Kopfzeilen, Fußnoten und Verzeichnisse entfernt worden waren.
Ein aktuelles Sprachmodell generierte die 15 KI-Texte. Es sollte jeweils einen Auszug von rund 260 Wörtern aus dem Hauptteil einer Bachelorarbeit zu einem vorgegebenen Thema verfassen, ohne weitere Bearbeitung. Jeder Text wurde einmal durch jeden Detektor geschickt; als Grundlage der Auswertung diente jeweils der angezeigte Prozentwert.
Weiterführend: KI-Detektoren im Vergleich, Merkmale von KI-Texten, Blindtest der Korrekturprogramme sowie wissenschaftliches Fehlverhalten.