Es ist ein häufiges Argument: „Wir müssen das nicht testen – wir wissen ja auch, dass es eine schlechte Idee ist, ohne Fallschirm aus dem Flugzeug zu springen und machen nicht erst eine Studie darüber!“ Aber … wissen wir das wirklich?! In der Weihnachtsausgabe 2018 des Journals BMJ haben Yeh und Kollegen diese Frage untersucht.

TL;DR
– Randomisierte Studie: Fallschirm vs. leerer Rucksack führt nicht zu weniger Verletzungen bei einem Sprung aus den Flugzeug.
– Methodische Einschränkung: Teilnehmer sind aus weniger als einem Meter Höhe aus einem stehenden Flugzeug gesprungen; Menschen in größerer Höhe wollten nicht teilnehmen.
– Satire zeigt: Bei klinischen Trials sollte methodischen Einschränkungen (die manchmal ethisch unausweichlich sind) mehr Beachtung geschenkt werden.
– Randomisierte Trials sind aber dennoch der Goldstandard wenn es darum geht, Wirksamkeit von Behandlungen zu prüfen.
– Frohe Weihnachten!

Helfen Fallschirme?

Es ist Weihnachten, und wir lesen ein wissenschaftliches Paper. Glaubt mir, es lohnt sich. Das Goldstück findet ihr hier.

Yeh und Kollegen haben nämlich mit Erschrecken festgestellt: Noch nie hat jemand untersucht, ob Fallschirme auch wirklich Verletzungen oder gar Todesfälle verhindern! Zwar gibt es Berichte von Menschen, bei denen Sprünge aus dem Flugzeug ohne Fallschirm angeblich zu schweren Verletzungen geführt haben, aber ob der fehlende Fallschirm wirklich die Ursache dafür war, können wir so nicht sagen. Eine randomisierte Studie musste her!
Die haben Yeh und Kollegen durchgeführt: 23 Teilnehmer sind entweder mit Fallschirm oder mit einem leeren Rucksack aus einem Flugzeug gesprungen. Und am Ende stellt sich heraus: Es gibt keinen Unterschied zwischen den beiden Gruppen! Ob mit leerem Rucksack oder Fallschirm: Die Rate an Verletzungen und Todesfällen ist exakt dieselbe!

Verblüffend. Haben wir all die Jahre aus reinem Aberglauben Menschen Fallschirme auf den Rücken geschnallt?

Methodische Einschränkungen

Na gut. Es gab ein paar methodische Einschränkungen. Aber die kommunizieren die Autoren sehr offen. Zum Beispiel wurden ursprünglich 92 Menschen gefragt, ob sie an der Untersuchung teilnehmen möchten. Die meisten wollten nicht (oder wurden von den Experimentatoren für unpassend befunden), sodass 69 von ihnen gar nicht erst teilgenommen haben. Das wäre gar kein so großes Problem, wenn sich diese Personen nicht systematisch von denen unterscheiden würden, die teilgenommen haben. Zwar waren sich Teilnehmer und Nicht-Teilnehmer in den meisten Kriterien ähnlich – aber merkwürdigerweise befanden sich die Nicht-Teilnehmer in der Regel in größerer Höhe, als sie gefragt wurden, ob sie teilnehmen möchten und flogen auch mit schnellerer Geschwindigkeit. So befanden sich die Nicht-Teilnehmer im Mittel auf einer Höhe von 9146 m mit einer Geschwindigkeit von 800 km/h, während die Teilnehmer sich auf einer Höhe von 0,6 m mit einer Geschwindigkeit von 0 km/h befanden.

Die Autoren vermuten daher auch, dass die Ergebnisse vielleicht gar nicht auf die Gesamtbevölkerung übertragbar sind und man vielleicht auch noch mal größere Höhen und höhere Geschwindigkeiten testen sollte. Selbst in der Kontrollgruppe mit leerem Rucksack kam nämlich überhaupt niemand zu Schaden – und das spricht gegen die bisherige Befundlage, dass Sprünge aus dem Flugzeug eigentlich gefährlich sind.

Nichtsdestotrotz ist das ein bahnbrechendes Ergebnis, weil noch nie jemand zuvor den Effekt von Fallschirmen randomisiert untersucht hat! Wir blicken gespannt auf dieses noch junge Forschungsfeld und werden sehen, ob es die Luftfahrt revolutionieren kann.

Kritik an randomisierten Trials

Meinen die das ernst? Natürlich nicht. Das Paper ist zwar nach allen Regeln der Kunst geschrieben, aber natürlich Satire. Dahinter steckt die Kritik, dass echte randomisierte Trials, in denen es in der Regel um die Wirksamkeit von Medikamenten geht, oft ähnlichen Verzerrungen unterliegen wie die Fallschirm-Studie: Wenn ein Arzt einen Patienten hat, der sehr krank ist, geht er lieber auf Nummer sicher und gibt ihm das bekannte Medikament, anstatt ihn an einer Studie teilnehmen zu lassen. Denn dort bekommt der Patient nur mit einer gewissen Wahrscheinlichkeit das bekanntermaßen wirksame Medikament. Genau so gut könnte er aber auch ein Placebo erhalten oder das neue Medikament, das sich erst noch beweisen muss. Wäre es nicht unethisch, so mit der Gesundheit seines Patienten zu spielen?

Dabei kritisieren die Autoren gar nicht so sehr, dass es diese Verzerrungen in klinischen Trials gibt. Immerhin ist es nachvollziehbar, dass vielleicht nicht jeder Patient geeignet ist, um an einer Studie teilzunehmen. Alles cool, solange man die methodischen Einschränkungen berichtet, oder?

Hier liegt jedoch der Hase im Pfeffer: Viele Menschen – auch Wissenschaftler und Ärzte! – lesen die Papers gar nicht vollständig, sondern nur die Zusammenfassung und die Ergebnisse. Bestenfalls wird noch mal kurz durch die Diskussion am Ende gescrollt, aber nicht durch die trockenen, über-detaillierten Methoden. Das ist in gewissem Maße nachvollziehbar, weil man es nicht mal schaffen würde, alle Paper allein im eigenen Forschungsfeld komplett zu lesen. Es sind zu viele. Die kritische Einschränkung, die wichtig für die Intervention der Ergebnisse wäre, übersieht man so aber. Manchmal ist es auch gar nicht so offensichtlich, dass eine Einschränkung überhaupt einen Unterschied macht. Bei der Sache mit den Fallschirmen ist natürlich klar, dass es daran lag, dass die Probanden aus einem stehenden Flugzeug aus nicht mal einem Meter Höhe gesprungen sind. Aber eine leichte Differenz im Alter zwischen den beiden Untersuchungsgruppen hat in einer Medikamentenstudie doch gar keine so große Auswirkung – oder doch? Übersehen wir vielleicht, dass die Patienten in der einen Gruppe bereits eine Herz-OP hatten, die anderen aber nicht? Haben wir auf so etwas überhaupt geachtet? Gutes Studiendesign ist verdammt knifflig.

Randomisierte Trials sind Quatsch

… könnte man jetzt sagen. Sagen auch einige Menschen. Deswegen haben Yeh und Kollegen ja ihr Satire-Paper geschrieben. Die Autoren sagen jedoch selbst, dass sie randomisierte klinische Studien weiterhin als Gold-Standard in der Medizin ansehen. Sie sind eben das Beste, was wir haben. Bei allen methodischen Problemen, die sich ergeben können, wären vollkommen unsystematische Untersuchungen noch schlimmer.

Lediglich bei der Interpretation ist Vorsicht geboten. Man muss sich genau ansehen, wie eine Untersuchung durchgeführt wurde und was das für „das echte Leben da draußen“ bedeutet. Bei jeder methodischen Einschränkung – die aus ethischen Gründen manchmal notwendig ist – muss man sich überlegen, ob sie die Ergebnisse nun verzerrt oder nicht. Kein Experiment ist perfekt. Aber nicht immer ist das ein Problem.

Absurd gut

Das Fallschirm-Paper selbst ist so verdammt witzig, weil es extrem rigoros gemacht und berichtet ist. Es wird erklärt, mit welchem Programm die Probanden zufällig den Experimentalbedingungen zugewiesen wurden, wie die Informationen über Höhe und Geschwindigkeit des Flugzeugs abgelesen wurden, wie die Punktzahl für die Schwere möglicher Verletzungen für sechs verschiedene anatomische Regionen bestimmt wurden, wie die Probanden nach 30 Tagen erneut befragt wurden, wie die Daten verschlüsselt gespeichert wurden – und natürlich ist alles in Fotos und Tabellen dokumentiert und die Daten sind frei verfügbar.

Zum Schluss habe ich euch noch ein paar Zitate aus dem Artikel übersetzt, die mir besonders gut gefallen haben.

Drittens bestanden die Individuen, die befragt wurden, aber nicht an der Studie teilgenommen haben, ausschließlich auf Passagieren, die das Pech hatten, während eines kommerziellen Flugs neben den Experimentatoren zu sitzen. Sie waren womöglich nicht repräsentativ für alle Flugzeugpassagiere.

Obwohl alle möglichen Konsequenzen der Studie vorher definiert waren, war es uns nicht möglich, unsere Fallschirmstudie vorzuregistrieren. Wir haben versucht, die Studie beim Sri Lanka Clinical Trials Registry (Bewerbungsnummer APPL/2018/040), einem Mitglied des World Health Organization Registrierungsnetzwerks der International Clinical Trials Registry Platform, zu registrieren. Nach mehreren Diskussionsdurchgängen lehnte das Registry es ab, die Studie zu registrieren, weil sie fanden, dass es der „Forschungsfrage an wissenschaftliche Validität mangelt“ und dass „die Trial-Daten keine Bedeutung haben können“. Wir schätzen ihre gründliche Untersuchung (und stimmen tatsächlich mit ihrer Entscheidung überein).

Beitragende: RWY hatte die ursprüngliche Idee, aber traute sich über Jahre nicht, sie auszusprechen. In einem Moment der Schwäche teilte er sie mit MWY und BKN, die beide sofort erkannten, dass dies die beste Idee war, die RWY jemals haben würde. RWY und LRV haben den ersten Entwurf geschrieben. CS, DBK, JBS, EAS, und JLH haben wichtiges Feedback gegeben. RMD hat Expertise für das Thema beigesteuert. DSK hat diese Arbeit auf ein ganz neues satirisches Level gehoben. Alle Autoren haben nennenswertes abdominales Unwohlsein durch Lachen erlitten. RWY hatte Sorge, dass BKN es nicht bis zur Veröffentlichung der Weihnachtsausgabe schaffen würde, die Klappe zu halten.

Frohe Weihnachten euch allen und … nehmt vielleicht doch lieber einen Fallschirm mit, solltet ihr demnächst aus einem Flugzeug springen.


Quellen und Links in erwähnter Reihenfolge, Stand 24.12.2018

[1] Yeh, R.W., Valsdottir L.R., Yeh M.W., Shen C., Kramer D.B., Strom J.B., Secemsky, E.A., Healy, J.L., Domeier, R.M., Kazi, D.S., Nallamothu, B.K. (2018). Parachute use to prevent death and major trauma when jumping from aircraft: randomized controlled trial. BMJ 363 :k5094.