Ich durfte mich auf dem 51. DGPs-Kongress in Frankfurt herumtreiben, der sich unter dem Motto „Psychologie gestalten“ viele Aspekte von Open Science, Wissenschafskommunikation, Fake News und Wissenschaftsstrukturen zur Brust nahm. Dabei war ich selbst überrascht, wie viele vielversprechende Projekte für mehr Transparenz in der Wissenschaft bereits existieren – in meinem Newsfeed findet sich ebenfalls häufiger Schlagwörter wie „Krise!“ als „Lösung“. Deswegen möchte ich einen Teil der Konferenz auch an euch da draußen herantragen.

First things first. Als „too long; didn’t read“ aufkam, hat mich das persönlich tief getroffen. Ich rede viel. Und ich schreibe noch mehr. Es erschien mir wie das ultimative Armutszeugnis, sich nicht mit einem Text auseinandersetzen zu wollen, bloß weil er lang ist. Heute tippe ich immer noch genau so viel und schätze wortreiche Auseinandersetzungen. Aber ich erkenne an, dass es einfach nicht effizient ist, sich durch ellenlange Texte zu graben, bis man die gewünschte Information erreicht hat. Und dass Länge einem vernünftigen Textverständnis sogar im Weg stehen kann. Daher werden mit sofortiger Wirkung für Ein Glas Rotwein TL;DR-Boxen etabliert. Dort wird der Inhalt jedes Posts kurz und knackig zusammengefasst. Naja. Kürzer und knackiger zumindest.

TL;DR
– Replikationskrise, Publikationsdruck, publication bias, p-Hacking, predatory journals und mangelnde Transparenz – was tut die (psychologische) Wissenschaft eigentlich dagegen? Die Aufarbeitung eines Symposiums zu dem Thema auf dem Kongress der Deutschen Gesellschaft für Psychologie 2018
– Meta-Analysen: Erste Plattformen für Community-basierte, offene Meta-Analysen werden errichtet. Neue Daten können eingespeist und eigene Berechnungen hinzugefügt werden.
– Vorregistrierung von Studien schreitet langsam voran, obwohl eigentlich alle dafür sind. Wieso? Weil verbindliche Standards an diversen Stellen im Prozess fehlen. Das ZPID arbeitet daran, diese Standards und die nötigen Unterstützungsfunktionen bereitzustellen.
– Ein schwedischer Traum: Meta-Psychology ist ein offenes Journal mit peer review, das explizit auch Reporte über Methoden und Statistik sowie kritische Auseinandersetzung fördert, über soziale Medien auch in den kritischen Austausch mit der wissenschaftlichen Gemeinschaft tritt und Replikationen sowie „langweilige“ Daten aufnimmt, die in herkömmlichen Journals bisher keinen Platz finden.
– Was bei der Forschung raus kommt, liegt nicht in der Hand des Wissenschaftlers, und das darf es auch nicht. Konsequenter, aber radikaler Ansatz: Das Ergebnis und die Anzahl von Publikationen sollte bei der Bewertung der Performance eines Forschers nicht mehr berücksichtigt werden.
– Open Science sollte sich nicht als Rechtfertigung mit Fokus auf Fehlern und Unzulänglichkeiten verstehen, sondern als Mittel zu verbesserter Kommunikation und als Chance, freiwillig Transparenz zu zeigen
– Open Science bietet eine Menge Chancen, ist aber nicht gegen jeden Missbrauch wie „open washing“ geschützt.

The road so far

Die Krise der Wissenschaft hat es längst in die breiten Medien geschafft. Oder eher: Die Krisen. Denn auch wenn es verdächtig wie ein gemeinsamer Nenner aussieht, der hinter all den Baustellen steckt, die gerade auftauchen, haben wir es doch eher mit einer Vielzahl von Problemen zu tun. Da ist die Replikationskrise: Viele Forschungsergebnisse lassen sich nicht wiederholen. Besonders unter Beschuss steht hierbei die Psychologie, befeuert durch das Replikations-Projekt der Open Science Collaboration*, das 100 Befunde in die Mangel nahm – und nur etwas mehr als ein Drittel davon unterstützen konnte. Dass man mit demselben Experiment nicht automatisch zu demselben Ergebnis kommt, ist normal. Dass das so häufig und teils bei gefeierten Effekten schief geht, ist dagegen beunruhigend.
Einige der Gründe dafür sind wiederum Probleme für sich selbst betrachtet. Da ist zum einen der Publikationsdruck: Als Forscher muss man den längsten haben. Den längsten Veröffentlichungsverlauf. (Ja, der Witz ist flach und funktioniert nicht richtig, wenn man korrekte Groß- und Kleinschreibung einhält.) Wenn der Fokus aber auf der Masse liegt, leidet notgedrungen irgendwann die Klasse.
Aber es darf nicht nur ein bisschen mehr sein, sondern auch ein bisschen „sexier“: Die vielen Publikationen sollen bitteschön auch möglichst bahnbrechende neue Effekte beschreiben. Die wichtige Nachricht, dass etwas nicht klappt, landet dagegen in der Schublade.

Dabei klingt es oft so, als würden Forscher als eiskalte, profit- und ruhmorientierte Lügenbarone ganz bewusst Ergebnisse fälschen. Und leider kommt bewusster, blanker Betrug auch immer wieder vor. Dabei sind es in der Regel zwar ehrliche Daten, aber subtile Änderungen in den Analysen, die „erfolgloser“ Forschung zu mehr Glanz verhelfen. Aber gleichzeitig dafür sorgen, dass die Ergebnisse weniger verlässlich werden.  Dass Zufall immer eine Rolle in der Datenerhebung spielt, kann man sich zunutze machen: Wenn ich lange genug Herumrechne und Zusammenhänge suche, werde ich früher oder später irgendetwas finden. Nicht, weil wirklich etwas an dem Effekt dran wäre, sondern weil sich in meinen Daten in dieser Stichprobe zufällig dieses Muster ergeben hat. Passiert. Manche Forscher berichten dann bewusst nur diesen einen Zusammenhang, um ein Paper zu haben, in dem „etwas passiert“. Oder schieben ihre Analyse-Kriterien ein wenig hin und her, bis die Ergebnisse ins Bild passen. Das nennt sich p-Hacking. Viele – ein Großteil, meiner subjektiven Erfahrung nach – glauben dagegen wirklich unter lauter Nieten das eine Los gefunden zu haben. Vorherige Erwartungen können gehörig dafür sorgen, dass man sich selbst auf den Leim geht.

Ein Lösungsansatz, um „Schubladen-Paper“ und durch p-Hacking verzerrte Arbeiten zu verhindern, ist die vorherige Anmeldung von geplanten Studien. Es gibt hierzu ambitionierte Projekte, die Organisationen auf die Finger hauen, wenn sie die Veröffentlichung angekündigter Forschungsergebnisse versäumen. Aber Vorregistration ist noch lange nicht die Norm und es herrscht selbst in Fachkreisen noch einiges an Verwirrung, wie genau man so etwas überhaupt anstellt.

Und dann ist da noch die Sache mit den Paywalls: Der Steuerzahler finanziert Forschung, die in wissenschaftlichen Fachzeitschriften veröffentlicht wird. Für den Zugang zu diesen Fachzeitschriften blechen Universitäten wiederum horrende Summen – damit ihre Forscher auch mit der relevanten Literatur arbeiten können. Ebenso muss die Öffentlichkeit zahlen, wenn sie die Papers lesen will, in die sie ja eigentlich bereits investiert hat. Auch wenn die Veröffentlichung und vor allem die Kontrolle von wissenschaftlichen Publikationen nun mal Kosten verursacht, stimmt da etwas nicht am bisherigen System. Hingenommen wird das längst nicht mehr und viele Universitäten boykottieren nun den Verlagsriesen Elsevier. Man kann das Dilemma auch umgehen, indem man die Autoren eines Papers direkt anschreibt oder – Schwarmpower sei Dank – die gewünschten Artikel illegal auf Plattformen downloaded, auf denen Menschen mit dem entsprechenden Zugriff sie in Robin-Hood-Marnier bereitgestellt haben. Das ist aber weder besonders praktisch noch besonders elegant und die Forderung nach öffentlich zugänglichen Journalen verliert dadurch nicht an Relevanz. Aber was öffentlich ist, muss noch lange nicht gut sein: Zwar spielen „predatory journals“ wissenschaftsintern nur eine müde belächelte Nebenrolle und das Thema wird längst nicht so heiß gegessen, wie es in einigen Medienberichten darüber klingt. Dennoch zeigen uns Raubjournale, in denen gegen Geld alles Mögliche veröffentlicht wird, vor allem eins: Offene Zugänglichkeit darf niemals auf Kosten von Kontrolle und Sauberkeit umgesetzt werden. „Offen“ darf nicht synonym sein mit „gedankenlos ins Netz geworfen“.

Die Debatte um all diese Probleme scheint das Bewusstsein dafür gestärkt zu haben. Die Open-Science-Bewegung ist stark und jeder ist für transparente, zugängliche Forschung. Wie sollte man auch etwas dagegen haben? Aber – wird denn auch etwas dafür getan? Und wenn ja, was? Wie stellt man das überhaupt an? So einfach, wie das erst mal klingt, ist offene Wissenschaft nämlich gar nicht. Es steckt weit mehr dahinter als Papers oder gar Rohdaten hochzuladen.
Auf dem diesjährigen DGPs-Kongress (Frankfurt, 2018) wurde im Rahmen des Symposiums „Going beyond: How new standards and approaches change the way we do science“ gezeigt, dass nicht nur der richtige Spirit durch die Labore geistert, sondern auch bereits Umsetzungen dazu existieren. Übrigens lässt der gesamte Kongress sich in Sachen Transparenz nicht lumpen und stellt einen ganzen Ordner bereit, in den alle Referenten ihre Vorträge und Poster öffentlich hochladen können. Da kann man ruhig mal klatschen.

Meta-Analysen der nächsten Generation

Meta-Analysen fassen den Forschungsstand zu einer Fragestellung zusammen. Damit ist aber kein inhaltlicher Überblick im Sinne eines Klappentextes gemeint, sondern weitaus mehr: Alle verfügbaren Daten werden quantitativ zu einem Gesamtbild verrechnet. Dabei versucht man zu berücksichtigen, dass einige Forschungsarbeiten es nie aus der Schublade in ein Journal geschafft haben. Man prüft die verwendeten Methoden und Analysen auf Herz und Nieren und lässt nur Papers in die Zusammenschau mit einfließen, die gewisse Mindeststandards erfüllen. Man legt offen, nach welchen Kriterien man Artikel gesucht, gefunden und in die Analyse aufgenommen hat. Deswegen gelten Meta-Analysen auch als der Goldstandard, wenn es um Erkenntnisse geht.

Aber wenn man das Gefühl hat, dass der minutiöse Prozess dahinter irgendwie anstrengend klingt, dann liegt man richtig. Selbst mit ausgefeilten Überlegungen darüber, welche Paper man aus welchen Gründen einschließt, steht man vor einer Menge Abwägungen: Ein einziger Artikel berichtet mehrere Fragestellungen und verschiedene Messgrößen dazu. Welche davon integriert man auf welche Weise in die Meta-Analyse? Vor allem dann, wenn die Autoren der Originalstudie gar nicht alle dafür notwendigen Daten zur Verfügung gestellt haben? Wenn man dann noch die Schubladen-Papers mit einbezieht, muss man bei einer Meta-Analyse mehr über den Daumen peilen, als einem lieb ist. Selbst, wenn man durch smarte statistische Hilfsmittel so clever peilt, wie es nur möglich ist.
Und wofür?
Meta-Analysen sind schnell schon wieder kalter Kaffee, denn es kommt ja ständig neue Literatur hinzu, die ich natürlich zuvor nicht berücksichtigen konnte. Außerdem sind Meta-Analysen recht unflexibel: Sie beantworten die Frage, die die Autoren gestellt haben, aber auch nicht mehr. Als Forscher, der einen Überblick bekommen will, bin ich darauf angewiesen, dass jemand genau die Maße integriert hat, die mich interessieren. Oder ich muss selbst eine Meta-Analyse auf die Beine stellen. Naheliegend, dass nicht jeder dafür die Zeit und die Ressourcen hat. Selbst, wenn ich die Sache selbst in die Hand nehmen möchte und meine eigenen Fragen an die Daten einer Meta-Analyse stellen möchte, laufe ich vermutlich in eine Sackgasse. Denn die Krone der Transparenz ist selbst oft gar nicht so transparent: Häufig fehlen die nötigen Angaben, um die jeweilige Meta-Analyse selbst auch nur replizieren zu können.

An dieser Stelle stellt uns Christina Bergmann vor, wie es in Zukunft aussehen könnte: offene, dynamische Meta-Analysen. Das klingt ebenso fancy wie nichtssagend, aber dahinter steckt ein beeindruckendes Projekt mit dem Namen MetaLab. Das ist, wie bereits beschrieben „offen“ – doch was das bedeutet, sollte man sich auf der Zunge zergehen lassen. Es ist nicht bloß so, dass hier Meta-Analysen öffentlich für jeden lesbar geteilt werden. Inklusive offen gelegter Vorgehensweise und offen gelegten Daten. Es kann auch jeder Forscher einen Beitrag leisten, indem er weitere Daten hinzufügt – und ja. Auch unveröffentlichte Daten, für die bisher nur die Schublade gut genug war. Dabei ist jede geteilte Meta-Analyse dynamisch: Wenn weitere Daten hinzukommen, werden sie mit hineingefüttert. So bleibt die Übersicht auch mit neuen Erkenntnissen aktuell.
Und da alle nötigen Kennziffern und Messgrößen wie zum Beispiel Effektgrößen mitgeliefert werden, ist es auch möglich, selbst Hand an die Daten zu legen und eigene Fragestellungen zu beantworten. Was man dann wiederum mit der Community teilen kann. Die Analysen beruhen auf der freien Programmiersprache R und sind ebenso zugänglich wie der Quellcode der Seite selbst. Und weil so ein logistischer Aufwand nur funktioniert, wenn alle einer gemeinsamen Struktur hinsichtlich der Daten und der Analyse folgen, werden auch Tutorials bereitgestellt, wie man vorgehen muss, um seine Arbeit beizusteuern. Die Resultate sind wunderschön in übersichtlichen, interaktiven Grafiken visualisiert.

Einen Wermutstropfen gibt es aber: MetaLab bezieht sich nur auf das Feld der kognitiven Entwicklung. Während gut abgedeckt ist, wie Kinder ihre Muttersprache erlernen, ist die Plattform für Forscher aus anderen Feldern bisher nutzlos. Aber was nicht ist, kann ja noch werden. Es ist jedenfalls ein beeindruckendes Beispiel dafür, wie man Meta-Analysen zukünftig angehen kann und ich würde mir wünschen, dass wir viel mehr Leute in jedem Forschungsfeld abstellen, die sich hauptberuflich und Vollzeit um die Verwaltung von Plattformen dieser Art kümmern.

Wo bleiben denn die ganzen Vorregistrierungen?

Jeder findet, dass die Vorregistrierung von Studien eine gute Idee ist. Doch trotz aller Begeisterung ist es noch nicht gängige Praxis. Wieso? Dieser Frage widmete sich Michael Bosnjak in seinem Vortrag, den er hier auch online gestellt hat und dessen Ideen ich in diesem Absatz aufarbeiten werde. Gleich vorweg verfolgt er einen sehr schönen Ansatz: Klar ist der Effekt der Vorregistrierung idealerweise, dass schlechtes Studiendesign, die Formulierung einer Hypothese nachdem man die Daten gesehen hat, der großzügige Umgang mit Methoden und das Verschwinden unerwünschter Ergebnisse „in der Schublade“ verhindert werden. Der Fokus liegt hier aber auf den Unzulänglichkeiten von Wissenschaftlern, die man aktiv vom (Grenz-)Betrug abhalten muss. Nicht besonders motivierend für Forscher, die freiwillig offen und transparent arbeiten möchten. Bosnjak formuliert es daher positiver: Vorregistrierung bietet eben jenen Forschern die Möglichkeit zu zeigen, dass sie ihre Studien wie geplant durchgeführt, analysiert und berichtet haben.
Aber eine Perspektive, die etwas ungnädig alle Wissenschaftler unter Generalverdacht stellt, ist ja wohl kaum der Grund, wieso Vorregistrierungen noch nicht die Norm sind. Denn obwohl es manchmal so wirkt, als bestünde das Problem primär in unserem Jahrzehnt, hat Rosenthal schon 1966 Vorregistrierungen ans Herz gelegt. Über 50 Jahre danach haben wir es aber immer noch nicht vernünftig gebacken gekriegt. Ein Faktor mag dabei Gewohnheit sein. Je länger eine Vorgehensweise in der Forschung üblich ist, desto schwieriger wird es, sich von ihr zu lösen. Riesige Netzwerke aus Verlägen und Forschungseinrichtungen bis hin zu ihren kleineren Zahnrädern wie Editoren und Forschern haben ihre vertrauten Abläufe, die ineinander greifen. Will man etwas ändern, kann man nicht an einer einzigen Schraube drehen, weil das mit der Arbeit der anderen kollidieren würde. Man müsste sich stattdessen in einem einzigen Sprung mit den anderen Beteiligten abstimmen – nachdem man sich darauf geeinigt hat, wie dieser Sprung überhaupt aussehen soll. Dazu kommt, dass Moral und der Glaube an Open Science allein nicht die Mäuler einer Forscher-Familie füttern. Wenn ich weiterhin primär schicke Ergebnisse liefern muss, um meinen Job zu behalten, werde ich es nicht riskieren, am Ende mit „lahmen“ Resultaten dazusitzen, die ich nicht publiziert bekomme.

Vor allem aber ist „Vorregistrierung“ viel weniger konkret, als es zunächst klingt. Es fehlen verbindliche Standards, wie so eine Vorregistrierung aussehen sollte und was das alles beinhaltet. Und vor allem: Wie Verstöße und Abweichungen gehandhabt werden sollen. Dadurch stehen motivierte Forscher wie der Ochs vorm Berg und fragen sich: Wie stelle ich das überhaupt an? Und: „Open washing“ wird möglich. Das ist dasselbe wie green washing, bloß bezogen auf Forschungs-Transparenz. Einrichtungen behaupten, offene Forschung zu generieren, aber in Wahrheit ist das Schall und Rauch ohne Substanz, lediglich dazu gedacht, das Image aufzupolieren.

Das ZPID möchte Unterstützung an allen „Zahnrädern“ des Forschunsprozesses bieten, um Vorregistrierung im Wissenschaftsalltag zu verankern. Das beginnt bei Datenbanken und Informationsdiensten, die die Recherche erleichtern. Weiter geht es dann mit dem eigentlichen Herzstück, der Planung und Durchführung der Datenerhebung. Hier sollen Programme helfen, eine Studie auf die Beine zu stellen. Vom Design über die Berechnung der nötigen Stichprobengröße bis zu Schätzungen von Effektstärken. Das findet aktuell auch alles bereits statt, aber nicht verpflichtend und nicht kontrolliet. Der Vorteil läge hier in einer vergleichbaren Arbeitsstruktur für verschiedene Forscher und der Dokumentierung, wie die jeweilige Studie entwickelt wurde – und wieso. Wichtige Details werden Standard: Wenn die Berechnung der Stichprobengröße routinemäßig abgefragt wird, verschludert sie auch niemand mehr. Es sind dann auch alle Informationen gebündelt, die für die Vorregistrierung notwendig sind; auch hier will das ZPID eine Plattform bieten.
Mit der richtigen Infrastruktur können dann auch die erhobenen Daten direkt eingepflegt und analysiert werden. Es ist wichtig, dass dafür gemeinsame Standards und Workflows erstellt werden, denn schon der gemeine Student kennt es: Dateinamen wie „report_final“, „report_final_final“, „report_sehr_sehr_final“ und „report_jetzt_aber_wirklich_final“ illustrieren gut, dass die individuelle Arbeitsweise nicht unbedingt etwas ist, das sich gut und nachvollziehbar mit anderen teilen lässt. Deswegen arbeitet das ZPID unter anderem mit Verlägen daran, solche gemeinsamen Standards zu entwickeln und die entsprechenden Tutorials bereitzustellen.

Fehlt noch die Veröffentlichung der Daten. Hier will ZPID Plattformen zur Veröffentlichung von (neuen) Manuskripten und zum Teilen älterer Publikationen aufbauen. Gemeinschaftlich erstellte Meta-Analysen ähnlich wie bei MetaLab beschrieben soll es auch geben. Sämtliche Services bezogen auf das Feld der Psychologie.
Das alles ist noch im Aufbau und auf der Website bestehen viele Inhalte aktuell noch aus Vorankündigungen. Ob alle Versprechen später auch gehalten werden können, wird sich zeigen. Ich kann mir auch gut vorstellen, dass Forscher bei so vielen Schlagwörtern in Richtung „Services“, „Produkte“ und „Angebote“ eher skeptisch sein werden. Alles, was nach Vermarktung klingt, erinnert uns an die großen, profitorientierten Journale, die ja Teil des Problems sind, das wir gerade lösen wollen. Aber offene Forschung wird sich langfristig von den Avantgarde-Untergrund-Foren lösen müssen, auf denen enthusiastische Wissenschaftler in ihrer Freizeit zusätzlich zu ihren regulären Verpflichtungen den Geist der Transparenz vorantreiben. Unabhängigkeit und große Netzwerke, die die nötige Infrastruktur bereitstellen, sind nicht unvereinbar. Oder eher: dürfen nicht unvereinbar sein. Sonst haben wir uns in eine Pattsituation manövriert.

Pop-Stars aus Schweden

Und damit meine ich nicht ABBA. Als ich allerdings Kollegen von meinem Besuch auf der Konferenz erzählt habe, war der empörte „Neid“ groß: „Was? Du hast Rickard Carlsson reden gehört? Pff, geh weg!“ In der Wissenschaft herrscht wenn es um Personenkult geht immer ein gewisses Stirnrunzeln, aber der Saal hält dennoch den Atem an, wenn der Schwede über Meta-Psychology spricht. Denn das ist der Name seines „Babys“, das all das ist, wovon die wissenschaftliche Community aktuell träumt: ein offenes Journal ohne Kosten für den Zugriff auf Paper. Ohne Kosten für die Veröffentlichung eines Papers. Und dennoch mit peer review, also mit Kontrolle der Inhalte durch Kollegen aus dem Feld.

Die Liste an Features, die die Augen leuchten lassen, ist lang. Meta-Psychology ist offen für Inhalte, die bisher kein Zuhause in etablierten Journals finden, sondern auf persönliche Blogs und Facebook-Pages verbannt waren. Obwohl sie extrem nützlich und gefragt sind: Tutorials für statistische Methoden, die neu sind oder die niemand bisher vernünftig auf die Kette bekommt. Die Vorstellung von selbst programmierten Paketen oder Software, die Kollegen bei der Datenanalyse helfen. Und die kritische Auseinandersetzung damit.
Überhaupt sind auch Kommentare und Kritik willkommen und es darf auch mal alter Wein sein, nicht immer nur neue Schläuche. Während Forschung in herkömmlichen Journalen oft bessere Chancen hat, wenn sie neu ist, sollen hier auch ältere Konzepte, sofern sauber aufgearbeitet und nützlich, neu beleuchtet werden. Das ist klasse, weil das verhindert, dass irgendwer sich neue Konzepte aus den Fingern saugen muss, wenn es bereits sehr gute und fundierte Ansätze dazu gibt – die vielleicht noch gar nicht ausreichend ausgeschöpft wurden.

Hinsichtlich der peer review ist der Ansatz auch eher ungewöhnlich und nicht ganz ohne Kritik. Denn die Kontrolle durch Experten aus dem eigenen Feld ist in Meta-Psychologie nicht anonym. In der Diskussion gab es Bedenken diesbezüglich – schließlich versuchen wir Verzerrungen zu vermeiden, indem wir den Reviewern den Schutz der Anonymität gewähren. Carlsson aber versichert, dass es mit ihrem System überraschend gut läuft und vor allem, vielleicht gerade wegen der offen genannten Namen – sehr respektvoll. Bei Meta-Psychology kommt auch noch ein weiterer Schritt hinzu, nämlich die offene peer review. Jeder kann über die sozialen Medien Kommentare und Kritik zu einem Paper abgeben, die dann in einem „peer review report“ gebündelt werden. Gelebte Schwarm-Intelligenz. Der gesamte Workflow hinter einer Veröffentlichung, also der Review-Prozess, alle resultierenden Entscheidungen etc., wird am Ende ebenfalls öffentlich gemacht. Statistische Analysen werden von einem Team aus Statistikern nachvollzogen und reproduziert – denn es ist schließlich das ultimative Ziel, dass das Paper in seiner Gesamtheit von jedem wiederholt werden kann, der eine Replikation versuchen möchte.

Genau solche Replikationen ermutigt Meta-Psychology natürlich auch explizit. Ebenso wie das Einreichen von „unbequemen“ bzw. „langweiligen“ Ergebnissen und Artikeln, die bisher in der Schublade geschlummert haben. Wie auch seine beiden Vorredner unterstützt auch Carlsson „next generation meta-analyses“.

Kann ein kleines Journal, das im Besitz seiner Editoren läuft, nicht genau so verzerrt sein wie ein großes, kommerzielles? Bestimmt. Aber Meta-Psychology arbeitet direkt unter den Augen der Community und ist hinsichtlich seiner Zugänglichkeit über die sozialen Medien ziemlich einzigartig. Damit hat die wissenschaftliche Gemeinschaft auch unmittelbar die Chance zu zeigen, dass ein solches Projekt funktionieren kann. Denn der Erfolg von Meta-Psychology steht und fällt damit, wie sehr sich die Community einbringt und aktiv mitgestaltet. Das erfordert Vertrauen und Herzblut – und Lösungen, wie trotz kostenloser Angebote trotzdem noch jeder seine Brötchen verdienen kann.

Stellt nicht den ein, der die meisten Erbsen hat

Mit Erbsen sind natürlich Publikationen gemeint. Aber Felix Schönbrodt schlägt in seinem Vortrag (hier online einsehbar) vor, dass man diese eben nicht mehr zählen sollte. Oder Bohnen. Die ich hier mit Erbsen übersetzt habe. Aber genug der Hülsenfrüchte.

Zunächst der bestechend einfache Grund, wieso die Zahl der Publikationen keine Relevanz haben sollte, wenn die Performance eines Forschers bewertet wird: Der Wissenschaftler hat Kontrolle über die Forschungsfrage und die Methoden, mit denen er sie beantwortet. Und über alle Details drumherum – nur nicht über das Ergebnis, das am Ende heraus kommt. Das muss auch so sein, denn sonst wäre der Forscher gekauft und seine „Erkenntnisse“ wertlos. Wenn wir nun aber wissen, dass Journale bestimmte Arten von Ergebnissen („sexy results that are significant“) veröffentlichen, dann bedeutet das, dass eine große Zahl von Veröffentlichungen vor allem dann erreicht werden kann, wenn ein Forscher eben jene Art von „sexy Ergebnissen“ liefert. Solange wir also lange Publikationslisten als Einstellungskriterium setzen, motivieren wir Wissenschaftler dazu, Ergebnisse zu schönen oder Forschungsfragen zu verfolgen, die mit größerer Sicherheit zu Erfolgen führen – aber herzlich wenig relevante Erkenntnisse bringen. Im „besten Fall“ erleben wir die Salami-Taktik: Eigentlich ganz ordentliche Forschung wird in viele Mini-Publikations-Scheibchen aufgeteilt, die man viel effektiver in einer einzigen Veröffentlichung hätte abfrühstücken können. Das ist sperrig und wiederum so gar nicht sexy und vor allem verschleiert es den Blick aufs große Ganze.

Was also tun? Wenn ich beurteilen will, wie gut ein Forscher seinen Job macht, dann sollte ich mir vor allem seine Herangehensweise und Methoden ansehen, nicht aber die Ergebnisse. Das gilt zum einen für Journals, die Forschung veröffentlichen wollen. Eine Möglichkeit besteht zum Beispiel darin, dass Fachzeitschriften entscheiden, ob sie ein Paper veröffentlichen oder nicht, bevor sie die Daten kennen. Die Entscheidung, ob eine Studie öffentlich gemacht wird basiert dann allein darauf, ob die Forschungsfrage brauchbar ist und die Methoden gut sind. Das lässt sich über Vorregistrierung regeln, kann aber auch über „hybrid registered reports“ gemacht werden. Hierbei wird ein bereits fertiges Paper eingereicht, allerdings ohne die Ergebnisse (obwohl bereits vorhanden). Diese werden dann nachgereicht, wenn die Arbeit akzeptiert wurde.

„Ergebnisblindheit“ sollte aber auch für diejenigen gelten, die über die Einstellung eines Wissenschaftlers entscheiden. Bisher ist primär die Zahl der Veröffentlichungen das Einstellungskriterium – und die Frage, ob jemand transparente Forschung betreibt überhaupt nicht. Dabei wünscht sich das eigentlich jeder genau umgekehrt. Immerhin gibt es auch schon erste Jobausschreibungen, die eben dieses Kriterium fordern. Zukünftig könnte eine Jobbewerbung dann so aussehen, dass nur die besten zehn Paper überhaupt begutachtet werden. Ungeachtet der Frage, wie viele es insgesamt waren.

Dabei muss man natürlich einige Dinge kritisch im Auge behalten. Erstens gilt Ergebnisblindheit für die Bewertung von Forschern. Nicht für Forschung selbst. Für die Entscheidung, ob ich ein Medikament verabreichen soll oder nicht, interessiert mich nicht nur, ob das Experimentaldesign gut war und die richtigen statistischen Tests angewendet wurden. Sondern in letzter Instanz vor allem, ob das Medikament vernünftige Resultate gebracht hat.
Und Transparenz und saubere Arbeit mögen zwar edle Ziele sein, aber das bedeutet nicht, dass sie nicht pervertiert werden können. Stichwort „open washing“, was oben bereits angesprochen wurde. Wenn wir nicht darauf achten, könnte es in einigen Jahren dann wieder heißen: „Sieh dir nicht an, wie hoch sein Transparenz-Index ist – schau lieber mal, was bei seiner Forschung so rumgekommen ist!“
Immerhin, so ein Kommentar aus dem Publikum, geht es in der Forschung ja auch darum, was oder wie viel ein Wissenschaftler beisteuert. Völlig irrelevant ist die Zahl der Publikationen in dieser Hinsicht ja nicht. Niemand würde eine Professur an jemanden vergeben, der in 40 Jahren nur ein Paper zu Stande gebracht hat. Und weil Resultate nun mal auch Ruhm mitbestimmen, sehe ich ergebnisblinde Bewerbungen primär als Chance für junge Forscher. Der Professur-Kandidat ist mir bei der Bewerbung vermutlich ausreichend ein Begriff, dass ich auch mit den Ergebnissen seiner Arbeit vertraut bin. Wissenschaft ist ein Dorf. Da ist „Blindheit“ ein relativer Begriff.

Worte der Mahnung

Zum Abschluss eines solchen Symposiums dürfen immer ein oder zwei Fachkollegen die Worte ihrer Vorredner kritisch beleuchten. Damit nach so vielen Ja-ist-denn-schon-wieder-Weihnachten-Vibes auch alle artig auf dem Boden der Tatsachen bleiben. Anna Baumert mahnte beispielsweise, dass es nicht nur um die großen Entscheidungen geht: Wen man einstellt oder was veröffentlicht wird. Auch scheinbare „Randentscheidungen“ wie die, wen man als Sprecher auf einen Kongress einlädt oder an wen man einen (kleineren) Preis vergibt, spielen eine große Rolle dabei, die richtigen Anreiz- und Motivationsstrukturen zu schaffen. Überhaupt sind die richtigen Anreize der Dreh- und Angelpunkt in der Lösung des Dilemmas. Vorregistrierung ohne den bestehenden Druck nach „sexy signifikanten Ergebnissen“ zu nehmen resultiert in uninspirierter Forschung, die „auf Nummer sicher geht“, um auch mit Voranmeldung idiotensicher das erwartete Ergebnis zu liefern.
Rainer Bromme merkte an, dass Open Science nicht allein Rechtfertigung sein dürfe, die sich auf Fehler, Verzerrungen und Unzulänglichkeiten von Wissenschaftlern stützt. Sondern stattdessen als Mittel gesehen werden müsse, dass durch verbesserte Kommunikation untereinander dafür sorgt, dass gemeinsame Standards entwickelt werden und Einigkeit darüber herausgearbeitet wird, was als wahr und valide gelten kann.

Viele der vorgestellten Projekte sind jung, sie sind ambitioniert und machen wir uns nichts vor: Von den vielen guten Ideen, die da draußen so herumgeistern (egal in welchem Gebiet), werden sich nicht alle halten. Wichtig finde ich aber: Von der Krise wabert eine Menge nach draußen in die Mainstream-Medien. Von den Maßnahmen dagegen hört man weniger. Dass es da draußen Menschen gibt, die teilweise unentgeltlich große Mühen auf sich nehmen, ihre Daten so aufzuarbeiten, dass sie für alle nachvollziehbar und verfügbar sind. Das bedeutet, Unterstützungsfunktionen hin oder her, nämlich immer zusätzlichen Aufwand. Dass es da draußen Menschen gibt, sich mit ihrem Engagement für offene Wissenschaft aus dem Fenster lehnen, obwohl die bestehenden Strukturen bisher noch „sexy Ergebnisse“ und lange Publikationslisten belohnen.
Ironisch, dass bei all der offenen Wissenschaft die Hoffnungsschimmer primär auf der Konferenz und in den einschlägigen Twitter-Kreisen verbleiben. Aber jetzt wisst zumindest ihr, die bis hierhin gelesen haben, wie weit die Ärmel der Wissenschaftscommunity hochgekrempelt sind, wenn es um Open Science geht.

*Ich war ziemlich überrascht, einen meinen Dozenten unter den Autoren des Replikations-Papers zu finden. Ein Cheers mit einem Glas Rotwein in der Hand an Sie, Herr Bell!


Quellen und erwähnte Links in Reihenfolge des Erscheinens, Stand 24.09.2018

[1] Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349 (6251). aac4716-aac4716. ISSN 0036-8075
[2] Frankfurter Allgemeine – Junge Wissenschaftler stehen unter starkem Publikationsdruck – 05.07.2018
[3] Süddeutsche.de – Betrug in der Wissenschaft – Labor von Nobelpreisträger fälscht Studie – 24.01.2018
[4] AllTrials
[5] ZEIT ONLINE – Elsevier Verlg: Kampf um die Fachjournale – 30.08.2018
[6] SciLogs – Abzock-Zeitschriften, Datenauwertung Teil 2: Die Vielveröffentlicher
[7] RP – Betrug in der Wissenschaft: Warum viele Studien Unsinn sind – 27.07.2018
[8] DGPs-Kongress
[9] Open Science Framework – Kongress der Deutschen Gesellschaft für Psychologie 2018
[10] Aytug, Z. G., Rothstein, H. R., Zhou, W., & Kern, M. C. (2012). Revealed or concealed? Transparency of procedures, decisions, and judgment calls in meta-analyses. Organizational Research Methods, 15(1), 103-133. http://dx.doi.org/10.1177/1094428111403495
[11] MetaLab – Community-augmented meta-analysis
[12] Michael Bosnjak – Beyond journal-specific pre-registration: Registered reports embedded as a service into a research support organization – Präsentation zum 51. DGPs-Kongress September 2018, Frankfurt
[13] leibniz-psychology.org – ZPID
[14] LnuOpen – Meta-Psychology
[15] Felix Schönbrodt – Beyond bean/publication counting: Performance evaluation and hiring criteria that foster good science – Präsentation zum 51. DGPs-Kongress September 2018, Frankfurt