Ausgangspunkt ist eine Studie, die am Science Media Center und bei Wissenschaft.de zusammengefasst wurde: GPT-4 analysierte Studiendesigns, Fragebogentexte und Antwortskalen von 70 repräsentativen US-Umfrageexperimenten mit insgesamt 119.330 Teilnehmenden — ohne Zugang zu den Ergebnissen. Die Vorhersagen korrelierten mit r = 0,85 mit den tatsächlich gemessenen Effekten.

Zum Vergleich: Menschliche Laien schneiden schlechter ab. Die bisher stärkste Benchmark in diesem Feld war die Aggregation vieler menschlicher Urteile. GPT-4 erreicht diese Marke allein — und tut das schnell, günstig, skalierbar.

Was das Modell dabei eigentlich tut, ist die entscheidende Frage. Sprachmodelle wie GPT-4 haben ihre Gewichte auf einem enormen Textkorpus trainiert — darunter massenweise Umfragen, Studien, Medienberichte über psychologische Effekte. Sie haben nicht gelernt, Verhalten zu verstehen; sie haben gelernt, welche Effekte in welchen Kontexten in publizierten Papieren auftauchen. Eine Vorhersage ist daher oft kein Modell sozialer Kausalität, sondern ein statistisches Echo des Publikationsstands.

Das ist der erste Strich unter die Zahl r = 0,85.

Der zweite: Die Studie zeigt, dass Sprachmodelle Effektstärken systematisch überschätzen — im Schnitt um das Doppelte. Ein gemessener Effekt von d = 0,2 wird als d = 0,4 prognostiziert. Die Richtung stimmt, die Größe nicht. Für die Studienplanung ist das gefährlich: Wer Fallzahlen auf Basis einer KI-Schätzung kalkuliert, plant entweder mit zu wenig Power oder vergeudet Ressourcen.

Wo Sprachmodelle klar scheitern, zeigt das Bild der komplexeren Feldexperimente. Sobald Interventionen nicht mehr rein textbasiert sind — also physisch, verhaltensbasiert, kontextuell — fällt die Korrelation auf r = 0,39. Wissenschaft.de berichtet, dass menschliche Experten in diesen Szenarien ähnlich schlecht abschneiden — aber das täuscht über einen strukturellen Unterschied hinweg. Menschliche Experten scheitern, weil das Phänomen schwer vorhersagbar ist. Sprachmodelle scheitern, weil das Phänomen außerhalb ihres Trainingsraums liegt: keine Texte, keine Abstracts, keine Effektkurven über Nudges in Kantinen oder Hygiene-Interventionen in Schulen.

Das ist kein Versagen im Einzelfall — es ist eine Grenze im Bauprinzip.

Einen anderen Befund liefert die Forschung zu Neurowissenschaften: Dort sollen LLMs laut The Decoder Expertenprognosen übertreffen. Das ist plausibel, sobald das Feld stark standardisiert, stark publiziert und stark textbasiert ist — Neurowissenschaften erfüllen alle drei Kriterien. Die Übertragbarkeit auf die qualitative Sozialforschung, auf Fokusgruppen, ethnografische Beobachtungen oder Experimente mit nicht-WEIRD-Populationen ist nicht belegt.

Welchen Typ von Experiment trifft GPT-4 am besten? Die Datenlage legt ein Muster nahe:

Gut vorhersagbar sind textbasierte Umfrageexperimente mit klar formulierten Behandlungen, metrischen Antwortskalen und einer Grundgesamtheit, die dem anglophonen, westlichen, digital vernetzten Bevölkerungssegment entspricht — kurz: WEIRD-Populationen in WEIRD-Formaten. Schlecht vorhersagbar sind Feldexperimente mit nicht-textuellen Interventionen, kulturell spezifischen Kontexten und verhaltensbasierten statt einstellungsbasierten Outcomes.

Ein Experiment der ETH Zürich illustriert die Grenze anders: KI-generierte Präferenzen bei Stadtentwicklungsprojekten tendierten zum Mainstream — sie spiegelten, was im Trainingsdatensatz dominant war, nicht die tatsächliche lokale Bevölkerungsverteilung. Swissinfo beschreibt dies als strukturellen Bias: synthetische Samples überschreiben das, was soziale Forschung eigentlich sichern soll — empirisch erhobene, nicht modellierte Präferenzen.

Das ist keine technische Schwäche, die sich durch mehr Parameter löst. Es ist eine epistemische Grenze: Sprachmodelle rekonstruieren das Vergangene mit großer Präzision; das Neue, das ein Experiment erst erzeugen soll, liegt außerhalb.

Für die Praxis der sozialwissenschaftlichen Forschung ergibt sich daraus ein konkretes Einsatzprofil. LLMs können sinnvoll in der Vorstudie verwendet werden: Hypothesengenerierung, Plausibilitätschecks für Studiendesigns, grobe Schätzung der Effektrichtung. Die Studie selbst weist darauf hin, dass die Kombination aus menschlichem und modellbasiertem Urteil am genauesten war — kein Modell allein, kein Mensch allein. Als Ersatz für Primärerhebung taugen LLMs nicht; als kostengünstiges Korrektiv vor der Erhebung sind sie nützlich.

Das Science Media Center versammelt Einschätzungen verschiedener Forscher, die genau diese Arbeitsteilung empfehlen: KI als schnelles Filter-Instrument für Designs, die mit hoher Wahrscheinlichkeit scheitern werden, nicht als Orakel für jene, die funktionieren.

Die offene Frage ist methodologischer Natur: Wenn Sprachmodelle häufig genug eingesetzt werden, um Studiendesigns zu filtern, beeinflussen sie systematisch, welche Experimente überhaupt noch durchgeführt werden. Designs, die ein Modell nicht vorhersehen kann, bekämen so strukturell seltener Forschungsressourcen — nicht weil sie schlechter sind, sondern weil die Filterschicht auf vergangene Muster kalibriert ist. Ob das der sozialwissenschaftliche Fortschritt ist, den die Disziplin braucht, lässt sich mit r = 0,85 nicht beantworten.