In unserem Vortrag bei Skeptics in the Pub in Köln haben wir einige Fragebögen verteilt um herauszufinden, wie die Besucher auf den Vortrag aufmerksam geworden sind und wie oft es sie schon auf ein Bier mit der Wissenschaft verschlagen hat. Hier die Auswertung.

Alle Daten sowie die Folien (inklusive Quellcode) des Vortrags findet ihr unter diesem Link.

In Kürze

Als Kind fand ich es immer sehr merkwürdig, warum alle Pilze im Waldführer meiner Oma „gemein“ sein sollten. Die hatten schließlich niemandem was getan. Die Skeptiker natürlich auch nicht. Aber zur Sache: Wie sieht er nun aus, der typische Skeptics-in-the-Pub-Besucher? Für die Eiligen unter euch, die eigentlich nur die Plots angucken wollen (ich verurteile an dieser Stelle niemanden), hier fix die Ergebnisse – und die Diskussion dann weiter unten.

Insgesamt haben 39 Leute einen Fragebogen ausgefüllt. Laut den Skeptikern auf Twitter waren (über?) 70 Gäste da, aber man erwischt sie halt nie alle. Mehrfachnennungen waren möglich, daher summieren sich die Kategorien nicht zu 39 auf. Der prototypische Skeptiker wird vor allem durch Freunde und Bekannte rekrutiert. Er informiert sich aber auch gerne durch die Facebookpage der Skeptiker.

Der Verein der Skeptiker ist es auch, der wiederum die Skeptiker ins Haus lockt. Meine Kanäle dagegen eher weniger. Ich bin wohl ein Geheimtipp 😉 „Sonstiges“ ist hier so stark vertreten, weil ich Freunde und Bekannte natürlich weder den Skeptikern noch mir zuordnen konnte.

Hauptsächlich gelangen die Besucher offline (d.h. über Freunde oder Flyer) zu den Veranstaltungen – gold old Mundpropaganda. Es folgen die sozialen Medien und dann Websites außerhalb von Facebook, Twitter und Co. „Sonstiges“ kommt hier durch diejenigen zu Stande, die angegeben haben Mitglied der Skeptiker zu sein. Könnte man vielleicht auch als Freunde und Bekannte zählen. Aber da wäre ich skeptisch.

Viele Besucher waren zum ersten Mal da, aber Skeptiker sind scheinbar auch gerne Wiederholungstäter. Über zehn Besuche ist schon beeindruckend, findet ihr nicht?

Diskussion

In jedem ordentlichen Bericht über Daten werden auch immer Fehler und Verzerrungen diskutiert. Das muss natürlich im Kontext unseres Vortrags auch an dieser Stelle sein! Zunächst betrachten wir natürlich nur einen Ausschnitt des Skeptics-in-the-Pub-Universums: unseren eigenen Vortrag. Wir haben einige Freunde rekrutiert und vielleicht haben wir aus Sorge, vor einem leeren Saal zu stehen, mehr Menschen in den Pub gekarrt als andere Vortragende. Zumal wir ja auch zu zweit waren – da hatten wir den doppelten Freundespool zur Verfügung! Wir würden also erwarten, dass bei anderen Vorträgen weniger Menschen durch Freunde und Bekannte im Pub gelandet sind.

Wir hatten ihn schon in unserem Vortrag besprochen: den Survivorship Bias. Wenn die Schätzungen der Skeptiker stimmen, sind uns etwa 30 Personen mit unseren Fragebögen entgangen. Vielleicht sogar fast die Hälfte. Gut möglich, dass sich diejenigen, die keinen Fragebogen ausgefüllt haben von denen unterscheiden, die Angaben gemacht haben. Unsere Stichprobe ist also bei Weitem nicht vollständig, weswegen die Ergebnisse mit Vorsicht betrachtet werden müssen.

Dann hatten wir in der Fragerunde am Ende auch Vorregistrierung von Studien erwähnt. Was hierbei einfach klingt, aber in Wahrheit ziemlich knifflig ist: Man muss im Voraus genau überlegen, wie die Erhebung ablaufen soll und was alles schief laufen kann. Was man erwartet und was nicht. Schon bei unserem kleinen Fragebogen zeigt sich, wie schnell man da ins Straucheln gerät. Beispielsweise war unklar, wie er auszufüllen ist. Ich hatte mir gedacht, dass ich das innerhalb des Vortrags in Ruhe erkläre, was ich dann im Eifer des Gefechts aber doch nicht mehr getan habe. So waren die Antwortkategorien (z.B. die Überschrift „Skeptiker“) scheinbar nicht ganz klar. Und es herrschte auch Unsicherheit, ob Mehrfachauswahl möglich war oder nicht – ich hätte schwören können, dass ich das eigentlich auf den Fragebogen geschrieben hatte.

Wenn aber den Leuten nicht klar ist, wie sie einen Fragebogen beantworten sollen, dann sind auch die Schlussfolgerungen die man daraus zieht eher dünn. Die Sache mit den ordentlichen Anweisungen wäre leicht zu beheben gewesen – aber wenn die Daten erst einmal da sind, gibt es kein Zurück mehr. Es sind die vermeintlich selbstverständlichen Kleinigkeiten, die man in solchen Szenarien besonders gerne verbockt. Während das penible Vorausplanen bei Vorregistrierungen aber noch mal besonders anspruchsvoll ist, ist es gleichzeitig auch die Stärke des Systems: Hätte ich hier einige Tage vor den Vortrag einen Versuchsplan beschreiben müssen, hätte ich an der Stelle, an der ich den Ablauf beschreibe, vermutlich innegehalten und mir überlegt, dass ich vielleicht eine extra Folie einbauen sollte, die den Fragebogen vorstellt und erklärt. Jemand anderem den Versuch kleinschrittig beschreiben zu müssen führt nämlich oft dazu, dass man Aspekte entdeckt, die man noch nicht bedacht hat.

So oder so ist es ein winziger Einblick in das Publikum bei Skeptics in the Pub – danke an alle, die für uns ein paar Kreuzchen gemacht haben!

Links und Quellen in erwähnter Reihenfolge, Stand 04.04.2019

[1] Skeptics in the Pub Köln – gwup – die Skeptiker
[2] SitP Köln auf Twitter – 10:59 – 2. Apr. 2019
[3] SitP Köln auf Twitter – 22:37 – 2. Apr. 2019
[4] Survivorship Bias – Wikipedia – letzte Änderung 22.03.2019