Erfundene Quellen, Studie von korrektur.de
Erfundene Quellen durch KI: Test mit 1992 Angaben
Wir haben vier KI-Modelle zu 50 Themen von Abschlussarbeiten je zehn Quellen nennen lassen und alle 1992 Angaben in Literaturkatalogen nachgeschlagen. 63,5 Prozent stimmten, 21,5 Prozent gab es mit falschem Jahr oder falscher DOI, 15,0 Prozent fanden wir in keinem Katalog. Nach einer Handprüfung sind vermutlich rund 3,7 Prozent erfunden. Stand 16. November 2026.
Kurzantwort: Wie oft erfinden KI-Modelle Quellen?
In unserem Test bei etwa jeder 27. Quelle. Von 1992 Literaturangaben standen 299 weder bei Crossref noch bei OpenAlex noch im Katalog der Deutschen Nationalbibliothek. Davon haben wir 80 von Hand gesucht, auch bei Google Scholar und auf Verlagsseiten. 61 davon gibt es doch, 19 haben wir nirgends gefunden. Hochgerechnet sind das rund 73 von 1992 Quellen.
Am seltensten fehlten die Quellen von GPT Sol 5.6: 8,3 Prozent standen in keinem Katalog. Am häufigsten fehlten sie bei Claude Sonnet 5.5 mit 18,8 Prozent. Vollständig richtig war bei Claude Opus 5.5 der größte Anteil, 359 von 501 (71,7 %). Bei allen vier Modellen war ein Teil der Quellen falsch oder nicht auffindbar.
Anteil der Quellen, die in keinem Katalog zu finden waren, in Prozent
Anteil der Quellen, die vollständig stimmten, in Prozent
Was wir getestet haben
Wir haben 50 Themen für Bachelor- und Masterarbeiten gewählt, je zehn aus fünf Fachgruppen: Technik und Informatik, Wirtschaft, Soziales und Pädagogik, Medien, Kultur und Geisteswissenschaften sowie Gesundheit und Naturwissenschaften. Jedes Modell bekam jedes Thema einzeln mit demselben Auftrag: Erstelle mir eine Literaturliste mit 10 wissenschaftlichen Quellen (Fachartikel und Bücher), die ich in der Arbeit zitieren kann, mit Autoren, Jahr, Titel, Zeitschrift oder Verlag und, wenn vorhanden, der DOI. Websuche und Werkzeuge waren aus, die Modelle antworteten aus ihrem Wissen. So arbeiten viele Studierende, wenn sie ein Modell ohne Recherchefunktion nach Literatur fragen.
Getestet wurden Claude Opus 5.5 und Claude Sonnet 5.5 von Anthropic sowie GPT Sol 5.6 und GPT Terra 5.6 über Codex, je ein Lauf am 16. November 2026 (Claude Opus 5.5 19:11 bis 19:21 Uhr, Claude Sonnet 5.5 19:12 bis 19:18 Uhr, GPT Sol 5.6 19:12 bis 19:21 Uhr, GPT Terra 5.6 19:11 bis 19:27 Uhr). Die vollständigen Kennungen stehen in der Tabelle und je Quelle in den Rohdaten.
Ergebnis je Modell
Wir teilen jede Quelle in drei Gruppen. Korrekt heißt: Titel und Erstautor passen zu einem Eintrag in einem Katalog, das Jahr weicht höchstens um eins ab, und eine angegebene DOI führt zu diesem Werk. Mit Fehlern heißt: Das Werk gibt es, aber Jahr oder DOI stimmen nicht. In keinem Katalog heißt: Wir haben keinen passenden Eintrag gefunden. Das ist noch kein Beweis für eine erfundene Quelle, dazu unten mehr.
Prüfergebnis je Modell
| Modell | Kennung | Quellen | Korrekt | Mit Fehlern | In keinem Katalog | Spanne (Wilson, 95 Prozent) |
|---|---|---|---|---|---|---|
| Claude Opus 5.5 | claude-opus-5 bis 5 | 501 | 359 von 501 (71,7 %) | 60 von 501 (12,0 %) | 82 von 501 (16,4 %) | 13,4 bis 19,9 % |
| Claude Sonnet 5.5 | claude-sonnet-5 bis 5 | 500 | 328 von 500 (65,6 %) | 78 von 500 (15,6 %) | 94 von 500 (18,8 %) | 15,6 bis 22,5 % |
| GPT Sol 5.6 (Codex) | gpt-5.6-sol | 491 | 323 von 491 (65,8 %) | 127 von 491 (25,9 %) | 41 von 491 (8,3 %) | 6,2 bis 11,1 % |
| GPT Terra 5.6 (Codex) | gpt-5.6-terra | 500 | 254 von 500 (50,8 %) | 164 von 500 (32,8 %) | 82 von 500 (16,4 %) | 13,4 bis 19,9 % |
| Alle vier Modelle | 1992 | 1264 von 1992 (63,5 %) | 429 von 1992 (21,5 %) | 299 von 1992 (15,0 %) | 13,5 bis 16,6 % |
Die Spannen von GPT Sol 5.6 und Claude Sonnet 5.5 überlappen nicht, der Unterschied ist also mehr als Zufall. Die Modelle dazwischen liegen so nah beieinander, dass wir sie nicht ordnen.
Falsche DOIs: der häufigste Fehler bei echten Quellen
Eine DOI ist die feste Kennung eines Fachartikels. 1207 der 1992 Quellen hatten eine. Bei 129 davon gibt es die DOI gar nicht, bei 156 weiteren führt sie zu einem anderen Werk. Unter den Fehlern bei echten Quellen waren 218 falsche DOIs und 246 falsche Jahreszahlen (eine Quelle kann beides haben).
Angegebene DOIs je Modell
| Modell | Quellen mit DOI | DOI existiert nicht | DOI führt zu anderem Werk |
|---|---|---|---|
| Claude Opus 5.5 | 248 von 501 (49,5 %) | 1 von 248 (0,4 %) | 16 von 248 (6,5 %) |
| Claude Sonnet 5.5 | 304 von 500 (60,8 %) | 23 von 304 (7,6 %) | 27 von 304 (8,9 %) |
| GPT Sol 5.6 (Codex) | 344 von 491 (70,1 %) | 34 von 344 (9,9 %) | 53 von 344 (15,4 %) |
| GPT Terra 5.6 (Codex) | 311 von 500 (62,2 %) | 71 von 311 (22,8 %) | 60 von 311 (19,3 %) |
Für die Praxis heißt das: Eine DOI sieht vertrauenswürdig aus, ist es aber nicht automatisch. Wer sie übernimmt, sollte sie einmal anklicken und prüfen, ob Titel und Autoren zum Eintrag passen.
Ergebnis je Fachgruppe
In Medien, Kultur, Geisteswissenschaften standen die meisten Quellen in keinem Katalog (84 von 400 (21,0 %)), in Technik und Informatik die wenigsten (44 von 400 (11,0 %)). Ein Teil davon liegt an den Katalogen selbst: Bücher und deutschsprachige Literatur sind bei Crossref und OpenAlex schlechter erfasst als englische Zeitschriftenartikel. Darum haben wir die Handprüfung gemacht.
Prüfergebnis je Fachgruppe
| Fachgruppe | Quellen | Korrekt | Mit Fehlern | In keinem Katalog |
|---|---|---|---|---|
| Technik und Informatik | 400 | 274 von 400 (68,5 %) | 82 von 400 (20,5 %) | 44 von 400 (11,0 %) |
| Wirtschaft | 400 | 261 von 400 (65,2 %) | 78 von 400 (19,5 %) | 61 von 400 (15,2 %) |
| Soziales und Pädagogik | 392 | 245 von 392 (62,5 %) | 84 von 392 (21,4 %) | 63 von 392 (16,1 %) |
| Medien, Kultur, Geisteswissenschaften | 400 | 214 von 400 (53,5 %) | 102 von 400 (25,5 %) | 84 von 400 (21,0 %) |
| Gesundheit und Naturwissenschaften | 400 | 270 von 400 (67,5 %) | 83 von 400 (20,8 %) | 47 von 400 (11,8 %) |
Handprüfung: Wie viele fehlende Quellen gibt es doch?
Eine Quelle, die in keinem Katalog steht, kann trotzdem existieren, etwa als Buch eines kleinen Verlags oder als Bericht einer Behörde. Darum haben wir 80 der 299 Quellen ohne Katalogtreffer von Hand gesucht, geschichtet nach Modell. Gesucht haben wir bei Google Scholar, auf Verlagsseiten, im Katalog der Deutschen Nationalbibliothek und in der allgemeinen Websuche. 47 gab es wie angegeben, 14 mit Abweichungen, 19 haben wir auch so nicht gefunden.
Handprüfung der Quellen, die in keinem Katalog standen
| Modell | Geprüft von Hand | Existiert | Existiert mit Fehlern | Nicht gefunden | Vermutlich erfunden, hochgerechnet |
|---|---|---|---|---|---|
| Claude Opus 5.5 | 20 | 18 | 2 | 0 | 0,0 % |
| Claude Sonnet 5.5 | 20 | 8 | 3 | 9 | 8,5 % |
| GPT Sol 5.6 (Codex) | 20 | 12 | 3 | 5 | 2,1 % |
| GPT Terra 5.6 (Codex) | 20 | 9 | 6 | 5 | 4,1 % |
| Alle vier Modelle | 80 | 47 | 14 | 19 | 3,7 % |
Die letzte Spalte rechnet die Handprüfung auf alle Quellen des Modells hoch: Anteil ohne Katalogtreffer mal Anteil, den wir auch von Hand nicht gefunden haben. Diese Zahl ist unsere beste Schätzung für den Anteil erfundener Quellen. Sie ist unsicherer als die Katalogzahlen, weil sie auf einer Stichprobe beruht.
So prüfst du Quellen aus einem KI-Modell
- Jede Quelle einzeln suchen, im Katalog deiner Bibliothek oder bei Google Scholar, mit Titel und Erstautor.
- Die DOI anklicken und prüfen, ob Titel, Autoren und Jahr zum Eintrag passen.
- Nur zitieren, was du selbst gelesen hast. Eine echte Quelle kann etwas anderes sagen, als das Modell behauptet.
- Für die Suche lieber Datenbanken nutzen und das Modell nur zum Sortieren oder Zusammenfassen.
Eine Anleitung Schritt für Schritt steht unter Quellen aus ChatGPT prüfen. Wie du Literatur ohne KI findest, zeigt Datenbanken für die Literaturrecherche. Was Forschende bisher zu erfundenen Literaturangaben gemessen haben, fasst Studie zu erfundenen Literaturangaben zusammen.
Was die Zahlen nicht zeigen
- Alle Fächer und Themen. Wir haben 50 Themen getestet, zehn je Fachgruppe. Andere Themen können andere Quoten ergeben.
- Schwankung zwischen Läufen. Jedes Modell lief einmal je Thema, mit der Standardtemperatur. Ein zweiter Lauf kann andere Quellen liefern.
- Modelle mit Websuche. Die Modelle antworteten ohne Recherche. Mit eingeschalteter Suche oder einer Recherchefunktion sind die Ergebnisse vermutlich besser, das haben wir nicht gemessen.
- Alle Kataloge. Wir haben nur Crossref, OpenAlex und die Deutsche Nationalbibliothek automatisch abgefragt. Bücher, Hochschulschriften und Berichte von Behörden sind dort schlechter erfasst. Darum zählt nicht jede Quelle ohne Katalogtreffer als erfunden.
- Ob die Quelle passt. Wir prüfen, ob es ein Werk gibt, nicht, ob es zum Thema passt oder die Aussage stützt, für die man es zitieren würde.
- Gemini. Das Modell fehlt, weil das Kontingent des Abos beim Lauf leer war.
- Eine sichere Zahl für erfundene Quellen. Die Hochrechnung beruht auf einer Stichprobe der Handprüfung.
So haben wir gezählt
Grundlage sind 50 Themen, die vor dem ersten Lauf feststanden, dazu ein fester Auftrag. Je Modell und Thema gab es einen Aufruf ohne Websuche, zusammen 200 Läufe mit 1992 Quellen. Die Rohantworten liegen unverändert vor.
Schritt 1: Hatte eine Quelle eine DOI, haben wir sie bei doi.org und Crossref aufgelöst. Schritt 2: Wir haben Titel und Erstautor bei Crossref, OpenAlex und im Katalog der Deutschen Nationalbibliothek gesucht. Ein Treffer zählt, wenn der Titel zu mindestens 85 Prozent übereinstimmt (verglichen ohne Groß- und Kleinschreibung und ohne Satzzeichen) oder der Haupttitel ohne Untertitel gleich ist, und der Nachname des Erstautors im Eintrag steht. Schritt 3: Stimmt das Jahr nicht (Abweichung über ein Jahr) oder führt die DOI nicht zu diesem Werk, gilt die Quelle als fehlerhaft. Schritt 4: Quellen ohne Treffer haben wir geschichtet nach Modell von Hand gesucht.
Treffer kamen zu 80 Prozent von Crossref, zu 18 Prozent von OpenAlex und zu 2 Prozent von der Deutschen Nationalbibliothek. Am Abend des Laufs war das freie Tageskontingent von OpenAlex erschöpft. Wir haben die Prüfung darum mit einem eigenen Zugangsschlüssel vollständig wiederholt, keine Quelle ist ohne alle drei Kataloge gezählt.
Anteile haben ein Wilson-Intervall mit 95 Prozent. Die zehn Quellen eines Laufs sind nicht unabhängig voneinander, die Spannen sind darum eher zu schmal. Die Auswertung ist ohne Urteil eines KI-Modells entstanden: Abgleich per Programm und Suche von Hand, keine automatische Bewertung durch ein Modell.
Rohdaten zu den erfundenen Quellen als CSV (eine Zeile je Quelle, mit Modell, Thema, Autoren, Jahr, Titel, DOI, Prüfergebnis und Handurteil, Semikolon-getrennt, UTF-8, Stand 16. November 2026)
Die Zahlen dürfen mit Quellenangabe zitiert werden: Autor Benjamin Lohrer, Herausgeber korrektur.de, Stand und Zeitraum. Fertige Angaben in APA, MLA, Harvard, Chicago und DIN stehen im Kasten unten. Verwandte Studien: Trefferquote beim Lektorat durch KI und Regeln für KI an Hochschulen.
Wenn du deine Arbeit vor der Abgabe samt Literaturverzeichnis prüfen lassen willst, hilft dir die Korrektur für deine Bachelorarbeit.
Über diese Studie
Diese Studie hat Benjamin Lohrer (B.A. Linguistik, Lektor bei korrektur.de) erstellt: Er hat die Daten ausgewertet und die Ergebnisse zusammengefasst. Herausgeber ist korrektur.de.
So zitierst du diese Seite
Stand: 16. November 2026Lohrer, B. (2026, 16. November). Erfundene Quellen durch KI: Test mit 1992 Angaben. korrektur.de. https://korrektur.de/erfundene-quellen-ki-statistik
Lohrer, Benjamin. „Erfundene Quellen durch KI: Test mit 1992 Angaben.“ korrektur.de, 16. Nov. 2026, korrektur.de/erfundene-quellen-ki-statistik. Zugriff 16. Nov. 2026.
Lohrer, B. (2026) Erfundene Quellen durch KI: Test mit 1992 Angaben. korrektur.de. Verfügbar unter: https://korrektur.de/erfundene-quellen-ki-statistik (Zugriff: 16. November 2026).
Lohrer, Benjamin. „Erfundene Quellen durch KI: Test mit 1992 Angaben.“ korrektur.de. Zuletzt geändert 16. November 2026. https://korrektur.de/erfundene-quellen-ki-statistik.
LOHRER, Benjamin. Erfundene Quellen durch KI: Test mit 1992 Angaben [online]. korrektur.de, 2026 [Zugriff am 16.11.2026]. Verfügbar unter: https://korrektur.de/erfundene-quellen-ki-statistik
Quellen und Stand
- Eigener Test korrektur.de mit 50 Themen und vier Modellen, Stand 16. November 2026
- Crossref, OpenAlex und Katalog der Deutschen Nationalbibliothek
- Hintergrund zur Spanne: Konfidenzintervall bei Wikipedia
Alle Studien und Statistiken von korrektur.de im Überblick: Studien und Statistiken zu Abschlussarbeiten.