„Ich habe nicht gelogen – ich habe bloß nicht die ganze Wahrheit gesagt!“ Man muss keine Daten fälschen oder Y-Achsen frisieren, um ein verzerrtes Bild einer Sache in die Welt zu setzen. Es reicht vollkommen aus, wenn man über die Dinge den Schnabel hält, die einem nicht in den Kram passen. Das ist sehr menschlich und mal Hand aufs Herz, wir tun das alle im Alltag. Nicht akzeptabel ist das jedoch in der Wissenschaft, und leider passiert auch hier genau das. Der sogenannte publication bias bedeutet, dass Ergebnisse systematisch unter den Tisch fallen. Das ist fatal, wenn man zum Beispiel Arzt ist und Entscheidungen über die richtige Therapie treffen muss, aber nur die Studien zur Verfügung hat, die die Wirksamkeit eines Medikaments berichten – während die, die keinen Effekt finden, in irgendeiner Schublade verrotten.
Auf thebmjopinion wurde jetzt eine Art virtueller Pranger eingerichtet, um die Paper aus eben jener Schublade zu zerren – inklusive der Verantwortlichen. Gleichzeitig werden Methoden, Ergebnisse und klinische Relevanz der jeweiligen Studie besprochen.

Aber von vorn …

Wenn ich groß bin, möchte ich mal Ben Goldacre werden. Er ist britischer Forscher und Arzt – und ärgert sich regelmäßig über schlechte Wissenschaft und vor allem schlechte Wissenschaftskommunikation. In seinen Büchern, auf seinem Blog und in rasanten Vorträgen tritt er Alternativmedizinern und „Big Pharma“ gleichermaßen auf die Füße. Schwer zu sagen, welche Gruppierung gerade den größeren Groll gegen ihn hegt. Besonders gegen den Strich geht ihm, dass ihm als Arzt nicht alle Informationen zur Verfügung stehen, wenn er über die richtige Behandlung für seine Patienten grübelt. Nicht jede klinische Studie wird am Ende auch veröffentlicht – und wenn das systematisch geschieht, zum Beispiel nur die positiven Befunde an die Öffentlichkeit gelangen, dann ist das ein riesiges Problem. Dabei kann der Schuldige in diversen Positionen sitzen. Es kann sein, dass das Forscherteam sich zwar bemüht hat, seine langweiligen, negativen Ergebnisse in ein Journal zu kriegen, aber niemand etwas von befundlosen Studien hören wollte. Es ist aber auch möglich, dass ein Konzern gezielt nur die Daten pusht, die ihn in einem positiven Licht dastehen lassen. So oder so besteht das Problem schon viel zu lange.

Es ist selbstverständlich nicht so, als würde niemand etwas dagegen unternehmen. Eine Idee sind vorregistrierte Trials. Das bedeutet, wer eine klinische Studie durchführt, der muss sie voranmelden. Und seine Ergebnisse anschließend berichten, unabhängig davon, was dabei rum gekommen ist. So erfordert zum Beispiel der FDA Amendments Act, dass bestimmte klinische Trials in den USA innerhalb von 12 Monaten nach deren Ende ihre Ergebnisse rückmelden. 10.000 $ Strafe können pro überfälligem Tag erhoben werden – laut BMJ wurde bisher aber keine Strafe jemals verhängt. 2016 wurde an dem Gesetz noch mal nachgebessert, weil es zu viele Schlupflöcher gab. BMJ sieht auch zum jetzigen Zeitpunkt noch genug Ausweichmöglichkeiten – also haben sie die Sache kurzerhand selbst in die Hand genommen.

An den Pranger gezerrt

Ich erwähne hauptsächlich Ben Goldacre, weil er mein Spirit Animal ist und ich ihn euch vorstellen möchte. Aber natürlich ist er in diesem Unterfangen nicht allein. Kollegen aus Forschung, Datenanalyse und Wissenschaftskommunikation bilden mit ihm das Team, das gerade den ultimativen Micdrop in Sachen Daten-aus-der-Schublade-zerren gestartet hat. Namentlich Nicholas J DeVito (Forscher im Datalab der Universität Oxford), Carl Heneghan (Professor in Oxford und Gründer der AllTrials-Kampagne), Sìle Lane (Chefin der Organisation Sense about Science) und Richard Stephens (Chef des Journal of Research Inolvement und Engagement; und scheinbar ein echter Unglücksrabe, was seine eigene Gesundheit anbelangt).
Hachja, herrliches Zeitalter von Algorithmen und dem Neuland Internet. Das Team schnappt sich für den Anfang die Trials, die nach FDAAA versäumen, ihre Ergebnisse zu berichten. Hierfür läuft ein Code täglich durch die Datenbank und identifiziert jeden überfälligen Trial, sobald er über die Deadline hinaus ist. Öffentlich einsehbar. Klickt euch mal rein.  Auf der Seite heißt es:

FDAAA 2007 is a law that requires certain clinical trials to report results. After a long wait, it effectively comes into force from Feb 2018. The FDA are not publicly tracking compliance. So we are, here.

Übersetzt:

FDAAA 2007 ist ein Gesetz, das bestimmte klinische Trials verpflichtet, ihre Ergebnisse zu berichten. Nach langer Wartezeit tritt es effektiv im Februar 2018 in Kraft. Die FDA verfolgt die Einhaltung nicht öffentlich. Also tun wir das hier.

Tihi. Die frechen Kobolde.
Jede Nase mit Internetzugang da draußen kann sich nun ansehen, welche Trials noch ausstehen und welche nicht. Und wie viele Strafgelder hätten eingefordert werden können – und wie viele davon auch tatsächlich kassiert wurden. Bisher keine. Weil aber nur die Peitsche blöd ist und Zuckerbrot bekanntlich auch noch eine Option ist, gibt es ein Ranking der Sponsoren, geordnet danach, wie viel Prozent der von ihnen verantworteten Trials tatsächlich veröffentlicht werden.

Ein wenig Anleitung

So übersichtlich das auch gestaltet ist, nicht jeder kann mit den genannten Studien etwas anfangen – erst recht nicht mit deren Methoden, geschweige denn den Implikationen der Ergebnisse. Jede Woche picken sich die Autoren also eine überfällige Studie heraus und besprechen sie ausführlicher. Die angewandten Interventionen, die Stichprobe, die Ergebnisse. Und die klinische Relevanz. Genannt werden auch der Sponsor und der hauptverantwortliche Forscher. Wer also Lust hat, der Sache etwas ausführlicher auf den Grund zu gehen und sich ein bisschen wissenschaftliche Methodik erklären zu lassen, der kann wöchentlich eine Erklärbär-Runde abgreifen. Jeder kann mitdiskutieren und diverse Organisationen, die sich für mehr Offenheit in der Forschung einsetzen, sind mit von der Partie.

Eine Nummer zu fies?

Naja. Zwar wissen wir, wenn wir uns mal ein wenig besonnen hinsetzen, dass ruhige, deeskalierende Kommunikation oft der beste Weg ist, um Veränderung zu bewirken. Immer fair bleiben und immer Raum für Eingeständnisse einräumen. Das ist nicht nur zielführend, sondern auch fair. Auch wenn es so verdammt verlockend ist, sich über Flat-Earther und olle Homöopathen lustig zu machen. Oder man dem Wissenschaftsmagazin, das wiederholt völligen Quatsch verbreitet, gerne in einem minutenlang andauernden Tantrum gegens Schienenbein treten möchte. Oft. Und fest. Hach, so befreiend. Aber die Vernunft sagt uns, dass wir uns besser zusammen reißen sollten. Sind Goldacre und Kollegen hier also zu weit gegangen? Der Eindruck einer Hexenjagd lässt sich nicht ganz abschütteln.
Ich finde: Nein. Man muss einen Unterschied machen zwischen Menschen, die regelmäßig Globuli einwerfen, weil jemand ihnen gesagt hat, dass das eine gute Sache ist. Und Menschen, die ihr Geld mit Wissenschaft verdienen, es eigentlich besser wissen müssten und vor allem eine riesige Verantwortung tragen, an der letzten Endes die Lebensqualität tausender von Menschen hängt.
Die Verantwortlichen auf der ganzen Welt hatten Zeit. Das Problem wurde mehrfach erwähnt und es wurde an passenden Gesetzen geschraubt. Die Warnschüsse wurden abgegeben und nichts ist passiert. Jetzt folgen Konsequenzen. Immerhin stet es jeder Institution frei, ihren Stand im Ranking der Seite zu verbessern. Wie weit die öffentliche Schmach reicht und ob der TrialTracker Veränderung bewirken kann, bleibt abzuwarten.
Ich bin jedenfalls sehr gespannt auf die erste öffentlich diskutierte Studie – lehrreich wird das allemal.
Bis dahin erlaube ich mir ein ganz klein wenig zu feixen und bimmele mit der Shame Bell.


Quellen und erwähnte Links in Reihenfolge des Erscheinens, Stand 29.03.2018, 17:03

[1] The BMJ – Introducing unreported clinical trial of the week – 29.03.2018
[2] About Dr Ben Goldacre – Bad Science
[3] YouTube – Ben Goldacre: Battling Bad Science – 29.09.2011
[4] FDAAA TrialTracker – Who’s sharing their clinical results?
[5] YouTube – DING DING DING SHAME SHAME – 25.06.2015