Erfundene Quellen, Studie von korrektur.de

Benjamin LohrerEigene Studie von korrektur.de · Autor: Benjamin Lohrer, B.A. Linguistik, Lektor · Stand: 16. November 2026

Erfundene Quellen durch KI: Test mit 1992 Angaben

Lesezeit ca. 10 Min. · zuletzt aktualisiert: 16. November 2026 · Alle Seiten zur Bachelorarbeit

Wir haben vier KI-Modelle zu 50 Themen von Abschlussarbeiten je zehn Quellen nennen lassen und alle 1992 Angaben in Literaturkatalogen nachgeschlagen. 63,5 Prozent stimmten, 21,5 Prozent gab es mit falschem Jahr oder falscher DOI, 15,0 Prozent fanden wir in keinem Katalog. Nach einer Handprüfung sind vermutlich rund 3,7 Prozent erfunden. Stand 16. November 2026.

Kurzantwort: Wie oft erfinden KI-Modelle Quellen?

In unserem Test bei etwa jeder 27. Quelle. Von 1992 Literaturangaben standen 299 weder bei Crossref noch bei OpenAlex noch im Katalog der Deutschen Nationalbibliothek. Davon haben wir 80 von Hand gesucht, auch bei Google Scholar und auf Verlagsseiten. 61 davon gibt es doch, 19 haben wir nirgends gefunden. Hochgerechnet sind das rund 73 von 1992 Quellen.

Am seltensten fehlten die Quellen von GPT Sol 5.6: 8,3 Prozent standen in keinem Katalog. Am häufigsten fehlten sie bei Claude Sonnet 5.5 mit 18,8 Prozent. Vollständig richtig war bei Claude Opus 5.5 der größte Anteil, 359 von 501 (71,7 %). Bei allen vier Modellen war ein Teil der Quellen falsch oder nicht auffindbar.

16,4 %Claude Opus 5.5, in keinem Katalog
18,8 %Claude Sonnet 5.5, in keinem Katalog
8,3 %GPT Sol 5.6, in keinem Katalog
16,4 %GPT Terra 5.6, in keinem Katalog

Anteil der Quellen, die in keinem Katalog zu finden waren, in Prozent

Claude Opus 5.5
16,4 %
Claude Sonnet 5.5
18,8 %
GPT Sol 5.6 (Codex)
8,3 %
GPT Terra 5.6 (Codex)
16,4 %

Anteil der Quellen, die vollständig stimmten, in Prozent

Claude Opus 5.5
71,7 %
Claude Sonnet 5.5
65,6 %
GPT Sol 5.6 (Codex)
65,8 %
GPT Terra 5.6 (Codex)
50,8 %

Was wir getestet haben

Wir haben 50 Themen für Bachelor- und Masterarbeiten gewählt, je zehn aus fünf Fachgruppen: Technik und Informatik, Wirtschaft, Soziales und Pädagogik, Medien, Kultur und Geisteswissenschaften sowie Gesundheit und Naturwissenschaften. Jedes Modell bekam jedes Thema einzeln mit demselben Auftrag: Erstelle mir eine Literaturliste mit 10 wissenschaftlichen Quellen (Fachartikel und Bücher), die ich in der Arbeit zitieren kann, mit Autoren, Jahr, Titel, Zeitschrift oder Verlag und, wenn vorhanden, der DOI. Websuche und Werkzeuge waren aus, die Modelle antworteten aus ihrem Wissen. So arbeiten viele Studierende, wenn sie ein Modell ohne Recherchefunktion nach Literatur fragen.

Getestet wurden Claude Opus 5.5 und Claude Sonnet 5.5 von Anthropic sowie GPT Sol 5.6 und GPT Terra 5.6 über Codex, je ein Lauf am 16. November 2026 (Claude Opus 5.5 19:11 bis 19:21 Uhr, Claude Sonnet 5.5 19:12 bis 19:18 Uhr, GPT Sol 5.6 19:12 bis 19:21 Uhr, GPT Terra 5.6 19:11 bis 19:27 Uhr). Die vollständigen Kennungen stehen in der Tabelle und je Quelle in den Rohdaten.

Ergebnis je Modell

Wir teilen jede Quelle in drei Gruppen. Korrekt heißt: Titel und Erstautor passen zu einem Eintrag in einem Katalog, das Jahr weicht höchstens um eins ab, und eine angegebene DOI führt zu diesem Werk. Mit Fehlern heißt: Das Werk gibt es, aber Jahr oder DOI stimmen nicht. In keinem Katalog heißt: Wir haben keinen passenden Eintrag gefunden. Das ist noch kein Beweis für eine erfundene Quelle, dazu unten mehr.

Prüfergebnis je Modell

Tabelle: Modell, Kennung, Quellen, Korrekt
ModellKennungQuellenKorrektMit FehlernIn keinem KatalogSpanne (Wilson, 95 Prozent)
Claude Opus 5.5claude-opus-5 bis 5501359 von 501 (71,7 %)60 von 501 (12,0 %)82 von 501 (16,4 %)13,4 bis 19,9 %
Claude Sonnet 5.5claude-sonnet-5 bis 5500328 von 500 (65,6 %)78 von 500 (15,6 %)94 von 500 (18,8 %)15,6 bis 22,5 %
GPT Sol 5.6 (Codex)gpt-5.6-sol491323 von 491 (65,8 %)127 von 491 (25,9 %)41 von 491 (8,3 %)6,2 bis 11,1 %
GPT Terra 5.6 (Codex)gpt-5.6-terra500254 von 500 (50,8 %)164 von 500 (32,8 %)82 von 500 (16,4 %)13,4 bis 19,9 %
Alle vier Modelle19921264 von 1992 (63,5 %)429 von 1992 (21,5 %)299 von 1992 (15,0 %)13,5 bis 16,6 %

Die Spannen von GPT Sol 5.6 und Claude Sonnet 5.5 überlappen nicht, der Unterschied ist also mehr als Zufall. Die Modelle dazwischen liegen so nah beieinander, dass wir sie nicht ordnen.

Falsche DOIs: der häufigste Fehler bei echten Quellen

Eine DOI ist die feste Kennung eines Fachartikels. 1207 der 1992 Quellen hatten eine. Bei 129 davon gibt es die DOI gar nicht, bei 156 weiteren führt sie zu einem anderen Werk. Unter den Fehlern bei echten Quellen waren 218 falsche DOIs und 246 falsche Jahreszahlen (eine Quelle kann beides haben).

Angegebene DOIs je Modell

Tabelle: Modell, Quellen mit DOI, DOI existiert nicht, DOI führt zu anderem Werk
ModellQuellen mit DOIDOI existiert nichtDOI führt zu anderem Werk
Claude Opus 5.5248 von 501 (49,5 %)1 von 248 (0,4 %)16 von 248 (6,5 %)
Claude Sonnet 5.5304 von 500 (60,8 %)23 von 304 (7,6 %)27 von 304 (8,9 %)
GPT Sol 5.6 (Codex)344 von 491 (70,1 %)34 von 344 (9,9 %)53 von 344 (15,4 %)
GPT Terra 5.6 (Codex)311 von 500 (62,2 %)71 von 311 (22,8 %)60 von 311 (19,3 %)

Für die Praxis heißt das: Eine DOI sieht vertrauenswürdig aus, ist es aber nicht automatisch. Wer sie übernimmt, sollte sie einmal anklicken und prüfen, ob Titel und Autoren zum Eintrag passen.

Ergebnis je Fachgruppe

In Medien, Kultur, Geisteswissenschaften standen die meisten Quellen in keinem Katalog (84 von 400 (21,0 %)), in Technik und Informatik die wenigsten (44 von 400 (11,0 %)). Ein Teil davon liegt an den Katalogen selbst: Bücher und deutschsprachige Literatur sind bei Crossref und OpenAlex schlechter erfasst als englische Zeitschriftenartikel. Darum haben wir die Handprüfung gemacht.

Prüfergebnis je Fachgruppe

Tabelle: Fachgruppe, Quellen, Korrekt, Mit Fehlern
FachgruppeQuellenKorrektMit FehlernIn keinem Katalog
Technik und Informatik400274 von 400 (68,5 %)82 von 400 (20,5 %)44 von 400 (11,0 %)
Wirtschaft400261 von 400 (65,2 %)78 von 400 (19,5 %)61 von 400 (15,2 %)
Soziales und Pädagogik392245 von 392 (62,5 %)84 von 392 (21,4 %)63 von 392 (16,1 %)
Medien, Kultur, Geisteswissenschaften400214 von 400 (53,5 %)102 von 400 (25,5 %)84 von 400 (21,0 %)
Gesundheit und Naturwissenschaften400270 von 400 (67,5 %)83 von 400 (20,8 %)47 von 400 (11,8 %)

Handprüfung: Wie viele fehlende Quellen gibt es doch?

Eine Quelle, die in keinem Katalog steht, kann trotzdem existieren, etwa als Buch eines kleinen Verlags oder als Bericht einer Behörde. Darum haben wir 80 der 299 Quellen ohne Katalogtreffer von Hand gesucht, geschichtet nach Modell. Gesucht haben wir bei Google Scholar, auf Verlagsseiten, im Katalog der Deutschen Nationalbibliothek und in der allgemeinen Websuche. 47 gab es wie angegeben, 14 mit Abweichungen, 19 haben wir auch so nicht gefunden.

Handprüfung der Quellen, die in keinem Katalog standen

Tabelle: Modell, Geprüft von Hand, Existiert, Existiert mit Fehlern
ModellGeprüft von HandExistiertExistiert mit FehlernNicht gefundenVermutlich erfunden, hochgerechnet
Claude Opus 5.52018200,0 %
Claude Sonnet 5.5208398,5 %
GPT Sol 5.6 (Codex)2012352,1 %
GPT Terra 5.6 (Codex)209654,1 %
Alle vier Modelle804714193,7 %

Die letzte Spalte rechnet die Handprüfung auf alle Quellen des Modells hoch: Anteil ohne Katalogtreffer mal Anteil, den wir auch von Hand nicht gefunden haben. Diese Zahl ist unsere beste Schätzung für den Anteil erfundener Quellen. Sie ist unsicherer als die Katalogzahlen, weil sie auf einer Stichprobe beruht.

So prüfst du Quellen aus einem KI-Modell

  • Jede Quelle einzeln suchen, im Katalog deiner Bibliothek oder bei Google Scholar, mit Titel und Erstautor.
  • Die DOI anklicken und prüfen, ob Titel, Autoren und Jahr zum Eintrag passen.
  • Nur zitieren, was du selbst gelesen hast. Eine echte Quelle kann etwas anderes sagen, als das Modell behauptet.
  • Für die Suche lieber Datenbanken nutzen und das Modell nur zum Sortieren oder Zusammenfassen.

Eine Anleitung Schritt für Schritt steht unter Quellen aus ChatGPT prüfen. Wie du Literatur ohne KI findest, zeigt Datenbanken für die Literaturrecherche. Was Forschende bisher zu erfundenen Literaturangaben gemessen haben, fasst Studie zu erfundenen Literaturangaben zusammen.

Was die Zahlen nicht zeigen

  • Alle Fächer und Themen. Wir haben 50 Themen getestet, zehn je Fachgruppe. Andere Themen können andere Quoten ergeben.
  • Schwankung zwischen Läufen. Jedes Modell lief einmal je Thema, mit der Standardtemperatur. Ein zweiter Lauf kann andere Quellen liefern.
  • Modelle mit Websuche. Die Modelle antworteten ohne Recherche. Mit eingeschalteter Suche oder einer Recherchefunktion sind die Ergebnisse vermutlich besser, das haben wir nicht gemessen.
  • Alle Kataloge. Wir haben nur Crossref, OpenAlex und die Deutsche Nationalbibliothek automatisch abgefragt. Bücher, Hochschulschriften und Berichte von Behörden sind dort schlechter erfasst. Darum zählt nicht jede Quelle ohne Katalogtreffer als erfunden.
  • Ob die Quelle passt. Wir prüfen, ob es ein Werk gibt, nicht, ob es zum Thema passt oder die Aussage stützt, für die man es zitieren würde.
  • Gemini. Das Modell fehlt, weil das Kontingent des Abos beim Lauf leer war.
  • Eine sichere Zahl für erfundene Quellen. Die Hochrechnung beruht auf einer Stichprobe der Handprüfung.

So haben wir gezählt

Grundlage sind 50 Themen, die vor dem ersten Lauf feststanden, dazu ein fester Auftrag. Je Modell und Thema gab es einen Aufruf ohne Websuche, zusammen 200 Läufe mit 1992 Quellen. Die Rohantworten liegen unverändert vor.

Schritt 1: Hatte eine Quelle eine DOI, haben wir sie bei doi.org und Crossref aufgelöst. Schritt 2: Wir haben Titel und Erstautor bei Crossref, OpenAlex und im Katalog der Deutschen Nationalbibliothek gesucht. Ein Treffer zählt, wenn der Titel zu mindestens 85 Prozent übereinstimmt (verglichen ohne Groß- und Kleinschreibung und ohne Satzzeichen) oder der Haupttitel ohne Untertitel gleich ist, und der Nachname des Erstautors im Eintrag steht. Schritt 3: Stimmt das Jahr nicht (Abweichung über ein Jahr) oder führt die DOI nicht zu diesem Werk, gilt die Quelle als fehlerhaft. Schritt 4: Quellen ohne Treffer haben wir geschichtet nach Modell von Hand gesucht.

Treffer kamen zu 80 Prozent von Crossref, zu 18 Prozent von OpenAlex und zu 2 Prozent von der Deutschen Nationalbibliothek. Am Abend des Laufs war das freie Tageskontingent von OpenAlex erschöpft. Wir haben die Prüfung darum mit einem eigenen Zugangsschlüssel vollständig wiederholt, keine Quelle ist ohne alle drei Kataloge gezählt.

Anteile haben ein Wilson-Intervall mit 95 Prozent. Die zehn Quellen eines Laufs sind nicht unabhängig voneinander, die Spannen sind darum eher zu schmal. Die Auswertung ist ohne Urteil eines KI-Modells entstanden: Abgleich per Programm und Suche von Hand, keine automatische Bewertung durch ein Modell.

Rohdaten zu den erfundenen Quellen als CSV (eine Zeile je Quelle, mit Modell, Thema, Autoren, Jahr, Titel, DOI, Prüfergebnis und Handurteil, Semikolon-getrennt, UTF-8, Stand 16. November 2026)

Die Zahlen dürfen mit Quellenangabe zitiert werden: Autor Benjamin Lohrer, Herausgeber korrektur.de, Stand und Zeitraum. Fertige Angaben in APA, MLA, Harvard, Chicago und DIN stehen im Kasten unten. Verwandte Studien: Trefferquote beim Lektorat durch KI und Regeln für KI an Hochschulen.

Wenn du deine Arbeit vor der Abgabe samt Literaturverzeichnis prüfen lassen willst, hilft dir die Korrektur für deine Bachelorarbeit.

Über diese Studie

Diese Studie hat Benjamin Lohrer (B.A. Linguistik, Lektor bei korrektur.de) erstellt: Er hat die Daten ausgewertet und die Ergebnisse zusammengefasst. Herausgeber ist korrektur.de.

So zitierst du diese Seite

Stand: 16. November 2026

Lohrer, B. (2026, 16. November). Erfundene Quellen durch KI: Test mit 1992 Angaben. korrektur.de. https://korrektur.de/erfundene-quellen-ki-statistik

Quellen und Stand

Willst du deine Arbeit samt Quellen vor der Abgabe prüfen lassen?

Datei hochladen

Häufige Fragen zu dieser Statistik

Wie oft erfinden KI-Modelle Quellen?

In unserem Test standen 299 von 1992 (15,0 %) der Quellen in keinem Katalog. Nach einer Handprüfung von 80 davon sind vermutlich rund 3,7 Prozent erfunden.

Welches KI-Modell erfindet die wenigsten Quellen?

Am seltensten fehlten die Quellen von GPT Sol 5.6, am häufigsten die von Claude Sonnet 5.5. Bei allen vier Modellen war ein Teil der Quellen nicht auffindbar oder fehlerhaft.

Stimmen DOIs aus ChatGPT oder Claude?

Nicht immer. 129 von 1207 angegebenen DOIs gab es nicht, weitere führten zu einem anderen Werk. Prüfe jede DOI, bevor du sie übernimmst.

Kann ich Literaturlisten aus einem KI-Modell übernehmen?

Nein. Nur 63,5 Prozent der Quellen stimmten vollständig. Suche jede Quelle selbst im Katalog und zitiere nur, was du gelesen hast.

Welche Modelle wurden getestet?

Claude Opus 5.5, Claude Sonnet 5.5, GPT Sol 5.6 und GPT Terra 5.6, ohne Websuche. Gemini fehlt, weil das Kontingent des Abos leer war. Die Rohdaten stehen als CSV zum Download.

Unsere Partner