Die Replikationskrise dürfte Wirtschaftswissenschaftler:innen ein Begriff sein. Im Forschungsalltag empfinden sie diese vermutlich seltener als krisenhaft. Allerdings tritt das Thema seit einigen Jahren zunehmend aus der Nische heraus. Open Science kann in diesem Zusammenhang als Oberbegriff zu Praktiken der Forschungstransparenz aufgefasst werden (Miguel, 2021). Nur transparente Forschung schafft in einer Disziplin einen intersubjektiv zugänglichen und überprüfbaren Erkenntnisstand. In der empirisch ausgerichteten VWL besteht ein Druck, durch originelle Ergebnisse auf sich aufmerksam zu machen. Die Disziplin bringt Erkenntnisse oft eher horizontal als vertikal hervor. Man strebt an, neuartige Effekte zu finden, die bestehende Erkenntnisse um innovative Aspekte erweitern, statt unterschiedliche und zum Teil widersprüchliche Ergebnisse zur selben Frage aufeinander aufbauend zu konsolidieren (Grunow et al., 2018). In einem bestimmten Bereich der empirischen Methodik wurden große Fortschritte gemacht: Der Anspruch an die Identifikation statistisch kausaler Effekte ist insbesondere in der Mikroökonometrie gestiegen. Verfahren wie Instrumentvariablenansätze und Regression-Discontinuity-Designs gehören heute zu Standardwerkzeugen empirischer Forschung. Gutachter:innen bei Zeitschriften prüfen kritischer als früher, ob kausale Verfahren zum Einsatz kommen und plausibel begründet sind.
Formelle Replikationsstudien zur Überprüfung der Validität von publizierten Artikeln bleiben in den Wirtschaftswissenschaften hingegen selten (Mueller-Lange et al., 2019). Informelle Replikationen sind durchaus Teil einer etablierten Forschungspraxis. Ergebnisse anderer Autor:innen werden häufig nachgebildet, bevor die eigene Arbeit darauf aufbaut. Hamermesh (2017) findet zumindest beispielhafte Evidenz, dass viel zitierte Artikel in hochrangigen Zeitschriften häufig repliziert werden. Viele andere Artikel werden kaum zitiert, vielleicht kaum gelesen und folglich auch nicht repliziert. Der Nutzen einer Replikation für die wissenschaftliche Debatte fällt angesichts knapper Aufmerksamkeit nicht für alle Artikel gleich hoch aus. Eine Trendwende innerhalb der VWL könnte sich mit der Veränderung der Anforderungen der Zeitschriften der American Economic Association (AEA) 2019 abzeichnen. Daten und Programmcode müssen nun bereitgestellt werden, bevor ein Artikel dort zur Veröffentlichung akzeptiert wird. Sind Daten nicht öffentlich zugänglich, muss die Replizierbarkeit anders nachgewiesen werden, beispielsweise durch einen Replikationsbericht von einer unabhängigen dritten Seite. Der Data Editor stellt die Umsetzung der Maßnahmen sicher (Villhuber et al., 2020). Neu ist nicht die Maßnahme an sich, sondern die Konsequenz der praktischen Umsetzung. Damit genügen die Zeitschriften der AEA inzwischen vergleichsweise hohen Open-Science-Standards (Miguel, 2021). Das von der ZBW unentgeltlich angebotene Journal Data Archive ermöglicht es Herausgebenden, Daten und Programmcode von Artikeln für die Nachnutzung bereitzustellen.
Nun gibt technische Reproduzierbarkeit von Ergebnissen durch reine Replikationen noch keinen Aufschluss über die externe Validität mit anderen Methoden und Daten. Ruft ein Artikel großes Interesse hervor, werden andere Publikationen häufiger die externe Validität überprüfen. Jedoch verfügt die VWL als Disziplin über keine etablierten Praktiken, wie die Erkenntnisse aus solchen sogenannten wissenschaftlichen Replikationen verbreitet werden. Coffman et al. (2017) schlagen vor, Zeitschriften mit hoher Sichtbarkeit könnten Replikationen in Form eines ausführlichen Abstracts veröffentlichen. Dies könnte einen Anreiz für Replikationen schaffen, indem diese als eigenständiger Teil eines unabhängig entstandenen Artikels eine zweite Veröffentlichung ermöglichen. Ohnehin erstellte Replikationen wären so besser sichtbar. Zitate sollten dann nicht nur auf die erstmalige Veröffentlichung eines Ergebnisses, sondern auch auf bestätigende wie negative Replikationen verweisen. Andere Autor:innen (z. B. Kasy, 2021) sehen ergänzend eine Rolle für unabhängige Zeitschriften für Replikationsstudien, wie das an der ZBW beheimatete International Journal for Re-Views in Empirical Economics (IREE). Das Journal könnte beispielsweise verstärkt für die Veröffentlichung von Replikationen genutzt werden, die im Rahmen von Doktorandenkursen entstehen. Veröffentlichte Ergebnisse sind verzerrt gegenüber der Gesamtheit der Ergebnisse, die im Forschungsprozess am Computer angeschaut wurden oder die möglich gewesen wären, aber gar nicht erst generiert wurden. Für experimentelle Arbeiten mit Zufallsstichproben etabliert sich zunehmend die Präregistrierung von Studien, die vorab angibt, welche Zusammenhänge untersucht werden sollen und somit Verzerrungen durch „p-Hacking“ und ähnliche Vorgehensweisen reduziert. Ein 2013 von der AEA eingerichtetes Register verzeichnet inzwischen mehr als 4.000 Einträge pro Quartal. Eine naive Kritik am Publikationsbias ignoriert, dass eine Auswahl von relevanten Ergebnissen gerade die schöpferische Aufgabe der Forschenden ist, die sie von einem reinen Computerprogramm unterscheidet. Gesellschaftlich und politisch relevant sind häufig statistische Zusammenhänge, die einen positiven oder negativen Effekt nahelegen, nicht solche, die gar keinen Effekt nahelegen. Letztere werden oft nur dann als relevant angesehen, wenn sie wichtigen theoretischen Vorhersagen widersprechen (Kasy, 2021). Angesichts politischer Relevanz wirtschaftswissenschaftlicher Forschung und knapper Aufmerksamkeit ist es also nicht zu erwarten, dass kleine und Nulleffekte genauso kommuniziert werden wie große Effekte.
Die bisher skizzierten Maßnahmen stellen noch nicht sicher, dass unterschiedliche Ergebnisse zu einer Fragestellung konsolidiert werden. Methoden der Metaanalyse und der systematischen Literaturübersicht beabsichtigen Synthesen zu generieren, die nicht nach rein subjektiven Kriterien erstellt werden. Allerdings können sie keine Qualitätsmängel der Primärstudien beheben. Sie können ergänzende Informationen bei Fragestellungen bieten, über die es ohnehin schon viel Diskussion gibt und zu denen sich viele Forschende über die Qualität der bislang veröffentlichten Studien aus erster Hand ein Urteil gebildet haben. Erkenntnisse, die sie unabhängig von einem intensiven Diskurs über Einzelstudien zu generieren vermögen, erscheinen jedoch begrenzt. In Deutschland sind in den letzten Jahren Aktivitäten im Bereich Open Data stark ausgebaut worden. Dies bietet eine gute Gelegenheit, Open-Science-Standards auch im Bereich der Transparenz von Forschungswegen und -methoden stärker zu etablieren, in Einzelinitiativen, Fakultäten, Fachgesellschaften und Wissenschaftsorganisationen.
Literatur
Coffman, L. C., M. Niederle und A. J. Wilson (2021), A Proposal to Organize and Promote Replications, American Economic Review: Papers & Proceedings, 107(5), 41-45.
Grunow, M., H. Schneider, G. G. Wagner und J. Wagner (2018), Editorial, International Journal for Re-Views in Empirical Economics (IREE), 2, 1-8.
Hamermesh, D. S. (2017), Replication in Labor Economics: Evidence from Data and What It Suggests, American Economic Review: Papers & Proceedings, 107(5), 37-40.
Kasy, M. (2021), Of Forking Paths and Tied Hands: Selective Publication of Findings, and What Economists Should Do about It, Journal of Economic Perspectives, 35(3), 175-192.
Miguel, E. (2021), Evidence on Research Transparency in Economics, Journal of Economic Perspectives, 35(3), 193-214.
Mueller-Langer, F., B. Recher, D. Harhoff und G. G. Wagner (2019), Replication studies in economics — How many and which papers are chosen for replication, and why?, Research Policy, 48, 62-83.
Villhuber, L., J. Turrito und K. Welch (2020), Report by the AEA Data Editor, AEA Papers and Proceedings, 110, 764-775.
