Wie KI-Detektoren Texte einstufen: Perplexity, Burstiness und
KI-Detektoren: So funktioniert die Erkennung
Wie KI-Detektoren Texte einstufen und warum dabei auch menschliche Texte auffallen können, lässt sich mit zwei Begriffen erklären: Perplexity und Burstiness. So funktioniert die Erkennung hinter der angezeigten Wahrscheinlichkeit, und so ordnest du das Ergebnis sinnvoll ein.
Perplexity: Wie vorhersehbar ist die Wortwahl?
Perplexity bildet ein zentrales Signal für KI-Detektoren. Vereinfacht prüft der Detektor mithilfe eines Sprachmodells, wie wahrscheinlich das jeweils verwendete Wort an seiner Position war. Entspricht es nahezu der erwarteten Top-Vorhersage, fällt die Perplexity niedrig aus. Der Text erscheint dann besonders vorhersehbar und kann deshalb als KI-typisch eingestuft werden.
Ein Beispiel aus einer Hausarbeit macht das Prinzip greifbar: Auf die Formulierung „Die Ergebnisse zeigen, dass..." kann ein Modell die nächsten Wörter leicht vorhersagen. Bei „Die Ergebnisse kichern uns ins Gesicht" ist die Fortsetzung deutlich unerwarteter, sodass die Perplexity stark steigt. Solche sprachlichen Brüche kommen in menschlichen Texten häufiger vor, weil Menschen nicht immer den statistisch wahrscheinlichsten Ausdruck wählen.
- Niedrige Perplexity → vorhersehbare Wortfolgen, die als KI-typisch gelten
- Hohe Perplexity → überraschendere Wortwahl, die eher menschlich wirkt
- Problem: Auch sorgfältige akademische Sprache ist häufig stark vorhersehbar
Burstiness: Wie stark wechseln Satzlänge und Rhythmus?
Als zweites Signal betrachten KI-Detektoren die Burstiness. Gemeint ist die Varianz zwischen den Sätzen eines Textes. Menschen wechseln oft unbewusst den Rhythmus: Auf einen langen, verschachtelten Satz folgt ein kurzer, danach vielleicht ein Satz mittlerer Länge. KI-Modelle verwenden dagegen häufig ähnlich lange Sätze und wiederkehrende Strukturen.
Anschaulich lässt sich dieser Unterschied mit Herzschlag und Metronom vergleichen. Menschliches Schreiben zeigt Ausschläge, Pausen und Sprünge, während ein KI-Text eher gleichmäßig taktet. Detektoren wie GPTZero berechnen diese Unterschiede statistisch und verbinden die Burstiness mit der Perplexity zu einem Gesamtscore.
Das kann auch gewissenhaft verfasste Texte treffen. Wenn du nahezu jeden Satz auf ungefähr 18–22 Wörter bringst, sinkt die gemessene Burstiness. Der Detektor kann die regelmäßige Struktur verdächtig finden, obwohl du jedes Wort selbst geschrieben hast. Ein gleichmäßiger Stil ist daher kein Beweis für den Einsatz von KI.
Wie aus den Messwerten eine Wahrscheinlichkeit wird
Perplexity und Burstiness liefern zunächst nur statistische Messwerte. Erst ein Klassifikator übersetzt ihre Kombination in eine Wahrscheinlichkeit. Dafür wurde er mit zwei Gruppen von Texten trainiert, einer menschlich verfassten und einer von KI erzeugten. Im Training lernte das System, welche Kombinationen der Messwerte eher zu welcher Gruppe passen.
Ein neuer Text wird anschließend in demselben statistischen „Koordinatensystem" eingeordnet. Befindet sich sein Muster näher am KI-Cluster, kann das Ergebnis 87 % lauten. Liegt es zwischen beiden Gruppen, werden vielleicht 42 % angezeigt. Für die Interpretation sind drei Punkte entscheidend:
- Die Prozentzahl beschreibt nicht deine Absicht, sondern lediglich die statistische Ähnlichkeit mit den Trainingsbeispielen.
- Viele Tools analysieren Texte satzweise und bilden daraus einen Mittelwert. Schon ein besonders „glatter" Absatz kann den Gesamtscore erhöhen.
- Modelle wie GPT-4 oder Claude haben sich nach dem Training vieler Detektoren weiterentwickelt. Deshalb kann die erlernte Grenze des Klassifikators unpassend sein.
False Positives: Warum menschliche Texte als KI gelten können
Ein auffälliger Score ist nicht automatisch ein verlässlicher Nachweis. KI-Detektoren machen nicht nur vereinzelte Zufallsfehler, sondern können bestimmte Textarten systematisch falsch zuordnen. Weber-Wulff et al. (2023) untersuchten 14 verbreitete KI-Detektoren. Dabei erreichte keines der Tools eine Genauigkeit von 80 %, und alle lieferten sowohl falsch-positive als auch falsch-negative Ergebnisse.
Auch eine Auswertung im Journal of Academic Ethics (2024) mit mehr als 500 Einreichungen zeigt die Grenzen. Tools wie Turnitin erzeugten bei vollständig menschlich geschriebenen Texten Falsch-Positiv-Raten von bis zu 20 %. Besonders häufig betroffen waren Nicht-Muttersprachler und Studierende mit einer sehr formalen Schreibweise.
Die Ursache steckt in der Messmethode: Wissenschaftliche und akademische Sprache folgt Konventionen. Korrektes Zitieren, Passivkonstruktionen und festes Fachvokabular machen Formulierungen vorhersehbarer. Dadurch entsteht eine niedrige Perplexity, obwohl der Text von einem Menschen stammt. Genau dasselbe statistische Signal kann jedoch auch bei KI-Texten auftreten.
So prüfst du deinen Text vor der Abgabe
Vor der Abgabe kannst du auffällige Muster prüfen und deinen eigenen Stil klarer sichtbar machen, ohne die fachliche Qualität zu verschlechtern:
- Satzlängen variieren: Verbinde kurze, mittlere und längere Sätze dort, wo es inhaltlich passt. Dadurch wirkt der Rhythmus weniger gleichförmig und die Burstiness steigt.
- Eigene Formulierungen verwenden: Persönliche Beispiele, konkrete Zahlen aus deiner Quelle und regionale Begriffe sind spezifischer als die statistisch „wahrscheinlichste Wahl" eines Modells.
- Übergangsformeln reduzieren: Wendungen wie „Zusammenfassend lässt sich sagen" oder „Im Folgenden wird dargestellt" gelten als statistische KI-Marker. Prüfe, ob du sie streichen oder präziser formulieren kannst.
- Vor dem Hochladen prüfen: Analysiere den Text mit einem Detektor, bevor ihn das Prüfungsamt prüft. So erkennst du auffällige Abschnitte und kannst sie gezielt überarbeiten.
Für den Fall eines falschen Alarms solltest du außerdem die Versionsverläufe deines Dokuments aufbewahren. Word und Google Docs protokollieren Tippgeschwindigkeit und Bearbeitungen. Bei einer strittigen Einstufung kann dieser Entstehungsverlauf dein bester Beleg für die eigene Arbeit sein.
Studien zur Zuverlässigkeit von KI-Detektoren
- Weber-Wulff et al., European Journal for Educational Integrity, 2023: Im Test von 14 KI-Detektoren erreichte kein Tool eine Genauigkeit von 80 %. Sämtliche untersuchten Detektoren erzeugten falsch-positive und falsch-negative Treffer. Quelle
- Journal of Academic Ethics, 2024: Die Auswertung von über 500 Einreichungen ergab bei KI-Detektoren wie Turnitin Falsch-Positiv-Raten von bis zu 20 %, obwohl die geprüften Texte vollständig von Menschen verfasst waren. Quelle
Für eine belastbare Einschätzung reicht die Prozentzahl allein deshalb nicht aus. Entscheidend ist das Zusammenspiel von Perplexity, Burstiness und inhaltlichem Kontext. Ein sorgfältiger Korrektor liest zunächst den Absatz, prüft Quellenlage, Argumentstruktur und Stil und betrachtet erst anschließend den Detektor-Score. Lehrstühle sollten das Ergebnis ebenfalls als Indiz behandeln und nicht das Tool allein entscheiden lassen. Sinnvoll ist der Vergleich von mindestens zwei Detektoren mit der eigenen Lektüre. Eine Rückfrage bietet sich vor allem dann an, wenn das statistische Signal und der inhaltliche Eindruck deutlich voneinander abweichen.
Häufige Fragen zur Einstufung
Warum fällt ausgerechnet gute wissenschaftliche Sprache auf?
Weil sorgfältige akademische Sprache genau die Eigenschaften hat, die als KI-typisch gelten: stark vorhersehbare Formulierungen und ein gleichmäßiger Satzrhythmus. Beide Signale messen Stil, nicht Herkunft, und deshalb können völlig selbst geschriebene Texte hohe Werte bekommen.
Bedeutet ein hoher Prozentwert, dass ich KI benutzt habe?
Nein. Der Wert fasst statistische Auffälligkeiten zu einer Wahrscheinlichkeit zusammen, er weist keine Herkunft nach. Ein hoher Wert ist ein Anlass, die markierten Stellen anzusehen, kein Befund über den Schreibprozess.
Kann ich die beiden Werte selbst nachrechnen?
Nicht ohne Weiteres. Perplexity hängt davon ab, welches Sprachmodell der Detektor zum Vergleich heranzieht, und Burstiness davon, wie die Varianz zwischen den Sätzen gewichtet wird. Zwei Werkzeuge kommen deshalb bei demselben Text zu unterschiedlichen Prozentzahlen.
