Auf der NeurIPS, einer der weltweit führenden Konferenzen für künstliche Intelligenz, wurden in zahlreichen akzeptierten Forschungsarbeiten erfundene Zitate entdeckt. Eine Analyse des Startups GPTZero zeigt, dass KI-generierte Fehler das strenge wissenschaftliche Peer-Review-Verfahren erfolgreich umgangen haben, was grundlegende Fragen zur Integrität der KI-Forschung aufwirft.
Die Untersuchung von über 4.000 Dokumenten der Konferenz aus dem Jahr 2025 deckte in mindestens 53 veröffentlichten Arbeiten hunderte sogenannter „Halluzinationen“ auf. Diese reichen von komplett erfundenen Quellen bis hin zu subtilen Verfälschungen existierender wissenschaftlicher Publikationen.
Wichtige Erkenntnisse
- In mindestens 53 wissenschaftlichen Arbeiten der renommierten KI-Konferenz NeurIPS wurden erfundene Zitate gefunden.
- Die Fehler wurden von KI-Modellen generiert und von den menschlichen Gutachtern (Peer-Reviewern) nicht erkannt.
- Die entdeckten Fälschungen reichen von komplett erfundenen Autoren und Studien bis zu veränderten Details existierender Arbeiten.
- Die hohe Anzahl an Einreichungen bei Konferenzen erschwert eine gründliche Überprüfung und macht das System anfällig für solche Fehler.
Ein Alarmsignal für die akademische Welt
Die NeurIPS-Konferenz (Neural Information Processing Systems) gilt als Gipfeltreffen der KI-Forschung. Eine Veröffentlichung hier kann Karrieren beflügeln und ist ein Gütesiegel für wissenschaftliche Exzellenz. Die diesjährige Annahmequote für Hauptbeiträge lag bei nur 24,52 %, was bedeutet, dass jede der akzeptierten Arbeiten Tausende von Konkurrenten hinter sich gelassen hat.
Umso besorgniserregender sind die Ergebnisse der Analyse von GPTZero. Das Unternehmen, das sich auf die Erkennung von KI-generierten Inhalten spezialisiert hat, fand heraus, dass zahlreiche fehlerhafte Zitate nicht nur eingereicht, sondern auch den mehrstufigen Begutachtungsprozess durch mindestens drei Experten überstanden haben und schließlich offiziell veröffentlicht wurden.
Edward Tian, CEO und Mitbegründer von GPTZero, bezeichnete die Entdeckung als eine „bedeutende Eskalation“. Es handle sich um die ersten dokumentierten Fälle, in denen halluzinierte Zitate in die offiziellen Annalen der wichtigsten Konferenz für maschinelles Lernen gelangt sind.
Die Natur der gefälschten Zitate
Die von der KI erzeugten Fehler sind vielfältig und oft schwer zu erkennen. In einigen Fällen wurden Elemente aus mehreren echten wissenschaftlichen Arbeiten vermischt, um glaubwürdig klingende, aber nicht existierende Titel und Autorenlisten zu erstellen.
Andere Zitate waren vollständig erfunden:
- Nicht existierende Autoren: Namen wie „John Smith“ oder „Jane Doe“ tauchten in den Referenzlisten auf.
- Erfundene Titel: Die KI generierte wissenschaftlich klingende Titel für Papiere, die nie geschrieben wurden.
- Gefälschte Publikationsorte: Es wurden Konferenzen oder Fachzeitschriften genannt, die es nicht gibt.
- Fehlerhafte Links: URLs in den Zitaten führten ins Leere.
In wieder anderen Fällen basierte die Halluzination auf einer realen Quelle, wurde aber subtil verändert. So wurden beispielsweise die Initialen eines Autors zu einem erratenen Vornamen erweitert, Co-Autoren hinzugefügt oder entfernt oder der Titel leicht umformuliert.
Skalierung als Problem
Die schiere Menge an Einreichungen stellt eine enorme Herausforderung dar. Im Jahr 2025 erhielt die NeurIPS-Konferenz 21.575 gültige Einreichungen. Das ist ein deutlicher Anstieg gegenüber 15.671 im Jahr 2024 und 12.343 im Jahr 2023. Selbst mit Tausenden von freiwilligen Gutachtern wird eine tiefgehende Prüfung jeder einzelnen Referenz zunehmend unmöglich.
Die Reaktion der Konferenzleitung
Konfrontiert mit den Ergebnissen, gab der Vorstand von NeurIPS eine Erklärung ab. Darin wird betont, dass die Nutzung von großen Sprachmodellen (LLMs) in der Wissenschaft sich schnell entwickle und man die Entwicklungen aktiv beobachte. Bereits im Jahr 2025 wurden die Gutachter angewiesen, auf Halluzinationen zu achten.
„Auch wenn 1,1 % der Arbeiten eine oder mehrere fehlerhafte Referenzen aufgrund der Nutzung von LLMs aufweisen, wird der Inhalt der Arbeiten selbst nicht zwangsläufig entwertet. [...] Wie immer ist NeurIPS bestrebt, den Begutachtungs- und Autorenschaftsprozess weiterzuentwickeln, um wissenschaftliche Strenge bestmöglich zu gewährleisten.“
Die Organisatoren argumentieren, dass Autoren möglicherweise ein LLM genutzt haben, um eine unvollständige Quellenangabe zu formatieren, was zu Fehlern führen könnte. Sie betonen jedoch auch, dass weiterer Untersuchungsaufwand nötig sei, um die genauen Auswirkungen zu bestimmen.
Technologie zur Aufdeckung der Fälschungen
Die Erkennung von KI-generierten Texten wird oft wegen falsch-positiver Ergebnisse kritisiert. GPTZero argumentiert jedoch, dass die Erkennung von halluzinierten Zitaten eine andere Art von Problem darstellt. Hier geht es um die Überprüfung von Fakten.
Wie funktioniert die Überprüfung?
Das Werkzeug von GPTZero analysiert ein wissenschaftliches Dokument und gleicht jede einzelne Zitierung mit öffentlichen wissenschaftlichen Datenbanken und dem offenen Internet ab. Es überprüft Autoren, Titel, Publikationsort und eventuelle Links. Wenn eine Referenz nicht gefunden wird oder nur teilweise mit einer echten Publikation übereinstimmt, wird sie markiert. Laut Unternehmensangaben liegt die Genauigkeit des Systems bei über 99 %. Für die NeurIPS-Analyse wurde jede markierte Zitierung zusätzlich von einem menschlichen Experten des Machine-Learning-Teams bei GPTZero manuell überprüft.
Alex Cui, Mitbegründer und CTO von GPTZero, erklärte, dass das System selbst Fälle erkennt, in denen einer echten Publikation fünf nicht existierende Autoren hinzugefügt wurden. „Das sind Fehler, die ein Mensch vernünftigerweise nicht machen würde“, so Cui.
Warum korrekte Zitate entscheidend sind
In der Wissenschaft dienen Zitate als Fundament. Sie verankern eine neue Arbeit im bestehenden Wissenskanon und belegen, dass die Autoren die relevante Forschung kennen und sich damit auseinandergesetzt haben. Traditionell wäre schon eine einzige erfundene Quelle ein Grund, eine Arbeit abzulehnen.
Besonders im Bereich der KI-Forschung spielen Zitate eine entscheidende Rolle bei der Reproduzierbarkeit von Ergebnissen. „KI-Ergebnisse sind bekanntermaßen schwer zu reproduzieren, daher sind Zitate wichtig“, erklärt Tian. Sie ermöglichen es anderen Forschern, eine Behauptung zu ihrer Quelle zurückzuverfolgen und die Methodik zu überprüfen. Halluzinierte Zitate durchbrechen diese Kette und führen ins Nichts.
Der Vorfall bei NeurIPS zeigt eine neue Schwachstelle im wissenschaftlichen Prozess auf, die durch den zunehmenden Einsatz von KI-Werkzeugen entsteht. Während diese Werkzeuge das Verfassen von Texten beschleunigen, bergen sie auch das Risiko, unentdeckte Fehler in den Kern des wissenschaftlichen Diskurses einzuschleusen. Die akademische Gemeinschaft steht nun vor der Herausforderung, ihre Prüfmechanismen an eine Welt anzupassen, in der die Grenze zwischen menschlicher und maschineller Autorschaft zunehmend verschwimmt.
