KI in der Forschung: Chance oder Bedrohung für die Wissenschaft?

Die Meldung liest sich zunächst wie ein Fortschritt. Ein Team hat GPT-4 die Ergebnisse von Umfrageexperimenten prognostizieren lassen — jenen Studien, in denen man Menschen leicht variierte Fragen vorlegt und misst, wie unterschiedlich sie antworten. Das Modell traf die tatsächlichen Befunde mit einer Genauigkeit, die der menschlicher Laien nahekommt, berichtet Wissenschaft.de. Forschende könnten damit vorab abschätzen, welche Hypothese sich zu testen lohnt, bevor sie Geld und Probanden investieren.

Das ist das stärkste Argument für die Sache, und es ist kein schwaches. Sozialwissenschaftliche Experimente sind teuer, langsam und häufig nicht replizierbar. Wer vor der Datenerhebung eine belastbare Vermutung hat, welche von zehn Fragestellungen überhaupt einen Effekt zeigt, spart Ressourcen und schont Versuchspersonen. Ein Vorfilter, der aussortiert, was mit hoher Wahrscheinlichkeit ins Leere läuft, ist methodisch nichts anderes als eine gut informierte Machbarkeitsstudie — nur schneller. Wer das rundheraus ablehnt, verteidigt keine Erkenntnis, sondern Verschwendung.

Und trotzdem steckt in derselben Meldung ein Detail, das den ganzen Nutzen an eine Bedingung knüpft. Das Modell überschätzt die Effekte systematisch. Es sagt nicht nur voraus, dass ein Zusammenhang existiert — es sagt voraus, dass er stärker ist, als er tatsächlich ist. Das ist kein Rundungsfehler. Es ist die Signatur eines Werkzeugs, das gelernt hat, wie publizierte Sozialwissenschaft klingt: nämlich nach klaren, starken, veröffentlichungswürdigen Effekten. Die Literatur, aus der GPT-4 sein Weltwissen zieht, ist selbst durch den Publikationsfilter verzerrt — schwache oder ausbleibende Effekte werden seltener gedruckt. Das Modell hat diese Schieflage nicht korrigiert. Es hat sie gelernt.

Der Maßstab ist nicht Genauigkeit, sondern Falsifizierbarkeit

Hier trennt sich der harmlose vom problematischen Gebrauch, und die Trennlinie verläuft entlang einer einzigen Frage: Wofür wird die Prognose benutzt?

Als Vorfilter, dem eine echte Erhebung folgt, ist sie unbedenklich. Das Experiment bleibt der Richter; die KI ist nur der Türsteher, der die aussichtslosen Kandidaten wegschickt. Riskant wird es in dem Moment, in dem die Prognose selbst als Evidenz durchgeht — wenn ein Forscher die vermutete Bestätigung durch das Modell als Grund nimmt, genau diese Hypothese zu testen, das Ergebnis dann erwartungsgemäß findet und den Kreis für geschlossen erklärt. Ein Modell, das auf vorhandener Forschung trainiert ist, sagt tendenziell voraus, was diese Forschung ohnehin nahelegt. Bestätigt das Experiment die Modellprognose, hat man womöglich nur die Trainingsdaten noch einmal gehört — als Echo, das man für eine zweite Stimme hält.

Das ist der Punkt, an dem die Effizienz kippt. Wissenschaft schreitet nicht dadurch voran, dass sie Erwartetes bestätigt, sondern dadurch, dass sie Überraschendes aushält. Ein Werkzeug, das Bestätigung wahrscheinlicher und billiger macht als Widerlegung, verschiebt die Anreize weg vom Kern des Verfahrens. Es belohnt die naheliegende Hypothese und bestraft die riskante — also genau jene, die den größten Erkenntnisgewinn verspricht.

Das eigentliche Problem sitzt eine Ebene tiefer

Man könnte einwenden: Gute Forscher fallen darauf nicht herein, sie kennen den Zirkelschluss und wissen, dass eine Prognose keine Messung ist. Der Einwand trifft — für den Einzelfall. Er unterschätzt aber, was zeitgleich mit der Prognosefähigkeit heranwächst.

Nach Schätzungen von Forschenden zirkulieren jährlich rund 300.000 KI-generierte Fake-Arbeiten in der Wissenschaftsliteratur — Fälschungen in industriellem Ausmaß, wie der Deutschlandfunk dokumentiert. Diese Texte sind das künftige Trainingsmaterial der nächsten Modellgeneration. Eine KI, die aus einer zunehmend kontaminierten Literatur lernt, um Experimentergebnisse vorherzusagen, prognostiziert am Ende nicht die soziale Wirklichkeit, sondern den Durchschnitt dessen, was Maschinen über sie behauptet haben. Der Zirkel schließt sich dann nicht mehr im Kopf eines nachlässigen Forschers, sondern in der Infrastruktur selbst.

Dass die Sozialwissenschaften ihrerseits ein Reproduzierbarkeitsproblem haben, macht die Lage nicht besser, sondern gefährlicher: Die LMU München arbeitet daran, sozialwissenschaftliche Ergebnisse überhaupt erst nachrechenbar zu machen. Ein Fach, das seine eigenen Befunde nur mit Mühe repliziert, ist schlecht gerüstet, um KI-Prognosen von echten Messungen zu unterscheiden, wenn beide gleich plausibel klingen.

Was zu tun wäre, ist unspektakulär

Die Konsequenz ist kein Verbot. Sie ist eine Disziplin. Eine KI-Prognose gehört ausgewiesen als das, was sie ist — eine Vermutung, keine Beobachtung —, und sie darf niemals den Schritt ersetzen, den sie erleichtert: die Erhebung an echten Menschen. Wo ein Modell einen starken Effekt vorhersagt, ist das ein Grund, genauer hinzusehen, nicht seltener. Und die systematische Überschätzung muss als Korrekturfaktor mitgeführt werden, nicht als Fußnote verschwiegen. Nichts davon ist technisch schwierig. Es widerspricht nur dem Reiz der Abkürzung.

Die Frage aus dem Titel hat deshalb eine unbequeme Antwort. Man braucht das Experiment weiterhin — gerade weil die KI schon weiß, was herauskommt. Denn eine Wissenschaft, die nur noch bestätigt, was ihre Modelle ohnehin erwarten, hat aufgehört, eine zu sein. Sie ist dann ein sehr teurer Spiegel.