Wissenschaftlich bewiesen – was heißt das eigentlich?

Wissenschaftlich bewiesen – das klingt so gut, aber was bedeutet das?

Wissenschaftlich bewiesen – was heißt das? Und umgekehrt, was bedeutet es, wenn etwas wissenschaftlich nicht bewiesen ist? In meiner Arbeit habe ich ständig mit Heilpraktikern zu tun, die mit unwissenschaftlichen Methoden arbeiten. Und geht es Ihnen nicht auch so, dass man bei dem Begriff „unwissenschaftlich“ automatisch Bilder von mittelalterlichen Jahrmärkten im Kopf hat, wo marktschreierische Quacksalber einem getrocknete Krähenfüße gegen Rheuma angedreht haben?

Als ich dem Begriff „wissenschaftlich bewiesen“ auf den Grund gehen wollte, stieß ich auf einen hervorragenden Artikel von Prof. Harald Walach, von dem ich vieles übernommen habe. Andere Teile stammen von mir oder von Wikipedia.

Von Phänomenen, Experimental- und Kontrollbedingungen

In einer wissenschaftlichen Studie wird ein Phänomen untersucht, also z.B. irgendein Wirkzusammenhang, den man bestenfalls beweisen will, oder man findet eben einen Gegenbeweis und hat dann auch ein Ergebnis – nur eben ein negatives.
Um den Wirkzusammenhang zu beweisen, braucht man eine Experimentalbedingung und eine Kontrollbedingung: Eine Gruppe von Menschen erhält z.B. das zu testende Medikament bzw. die aktive Substanz (Experimentalbedingung), eine andere Gruppe erhält z.B. ein Placebo (Kontrollbedingung). Der Wirkzusammenhang darf nur in der Experimentalgruppe auftauchen, nicht in der Kontrollgruppe, denn die hat ja nur das Placebo bekommen.

Wie blind oder offen ist die Studie?

Eine Studie ist offen, wenn die Teilnehmer wissen, welcher Gruppe sie angehören, ob sie also das aktive Mittel oder das Placebo bekommen. Einfach blind ist die Studie, wenn nur die Teilnehmer nicht wissen, welche Substanz sie erhalten. Doppelblind ist sie, wenn sowohl die Teilnehmer als auch der behandelnde Mediziner nicht wissen, wer welche Substanz erhält. Dann gibt es noch dreifachblind: Weder die Teilnehmer, noch der behandelnde Mediziner, noch diejenigen, die die Auswertung durchführen, wissen, wer welche Substanz erhält (Versuchsperson, Versuchshelfer und Versuchsauswerter „blind“). In diesem Fall weiß nur der Auftraggeber der Studie, wer welche Substanz erhielt.

Verblindungstechniken

Eine Studie kann nur verblindet werden, wenn die äußerlich sichtbaren Bedingungen identisch sind: Verpackung, Aussehen, Geruch und Geschmack müssen in allen Gruppen genau gleich sein. Je nach Grad der Verblindung muss viel Aufwand getrieben werden, um auch die Versuchsleiter miteinzubeziehen. In großen Arzneimittelstudien bedient man sich dafür umständlicher Verfahren, die Sie bei Wikipedia nachlesen können.
Viele wissenschaftlich nicht bewiesene Verfahren wie z.B. die Blutegeltherapie sind schon deshalb nicht beweisbar, weil sie nicht verblindet werden können: Man kann nicht einer Gruppe einen echten Blutegel aufsetzen und der anderen einen falschen; entweder man verwendet einen Blutegel oder nicht. Dies gilt für viele andere Methoden, wo man kein Placebo des Wirkstoffes herstellen kann oder zumindest nur unter so erheblichem Aufwand, dass niemand das finanzieren würde.

Das robuste Phänomen

Angenommen, der gewünschte Effekt tauchte in der Experimentalgruppe einige Male auf und in der Kontrollgruppe mit dem Placebo seltener. Das allein genügt noch nicht für eine wissenschaftliche Tatsache.
Prof. Walach erklärt es so: „Wir meinen, irgendwas Spezielles gesehen zu haben und sagen dann zu unserer Partnerin: ‚Schau mal, da sitzt ein Steinbock im Gras‘. Weil wir unsere Brille nicht dabei haben, verwechseln wir einen Stein mit einem Steinbock. Unsere Partnerin hat bessere Augen und kann den Wahrnehmungsfehler aufklären. So ist das in der Wissenschaft auch häufig. Eine Arbeitsgruppe oder ein Forscher entdeckt was, vielleicht sogar mit akzeptierten Methoden nach neuestem Standard. Er kennt sich mit der Methode gut aus und ist sich also sicher, dass es sich nicht um einen Fehler […] oder eine Wahrnehmungstäuschung handelt. Auch seine Kollegen, die den Befund für eine wissenschaftliche Zeitschrift begutachten, sind seiner Meinung. Die Studie wird publiziert. Ist es deswegen schon ‚wissenschaftlich bewiesen‘? Natürlich nicht. Damit ist gerade einmal der Diskurs eröffnet.“

Um das Ergebnis der ersten Studie wissenschaftlich abzusichern, muss sie von anderen Wissenschaftlern repliziert werden, also unter erweiterten und erschwerten Bedingungen wiederholt werden und das Ergebnis muss trotzdem stabil bleiben.

Auftauchende Schwierigkeiten bei der Replikation von Studien

In der Physik gelten sehr strenge Richtlinien, bis experimentelle Ergebnisse ernstgenommen werden. In der Medizin ist das laut Prof. Walach nicht so. Der Herausgeber der medizinischen Fachzeitschrift LANCET, Richard Horton, habe sich beschwert, dass in der Medizin zu viele Zufallsbefunde als „wissenschaftlich“ gehandelt würden. Damit habe er ein Thema aufgegriffen, das in der Medizin schon seit einer Weile schwele: Der in Stanfort lehrende Epidemiologe Ioannidis hat sich in einem Aufsatz mit der Frage befasst „Why most published research findings are false“ (Warum die meisten Forschungsergebnisse falsch sind). Der Artikel wurde 1,4 millionenmal angesehen und Walach hält ihn für einen der bedeutendsten methodischen Beiträge seit Langem. Ioannidis baue ein einfaches Argument auf: Autoren wollen vor allem wegen positiver Entdeckungen in Erinnerung bleiben. Forschungsergebnisse, die nicht den Erwartungen entsprächen, würden nicht zur Veröffentlichung vorbereitet, oder würden von den Herausgebern von Zeitschriften abgelehnt. Sehr häufig gebe es auch zu wenige ganz unabhängige Replikationen, und die, die vorlägen, seien vom selben Team gemacht worden oder von Leuten, die systematische Fehler wiederholten, die vorher gemacht worden seien.

Außerdem würden erste, positive Befunde mit Hilfe der Presse groß hinausposaunt, wohingegen es negative Befunde viel schwerer hätten, ernst genommen oder publiziert zu werden. Oft würden sie sogar aktiv zurück gehalten. Daher hätten die meisten Leute (auch die Fachleute) oft nur die gut bekannten ersten, positiven Ergebnisse im Kopf, den Rest ignorierten sie.

Die Studie muss publiziert sein.

Die Studie muss für alle verfügbar und prüfbar sein. Publiziert bedeutet meist: ein wissenschaftliches Ergebnis wurde einer Fachzeitschrift vorgelegt, und deren Gutachter prüfen das Manuskript und finden,
• dass Stil, Inhalt und Methode den momentan akzeptierten Standards entspricht,
• dass die Methode und Ergebnisse geeignet sind, die Schlussfolgerungen der Autoren zu stützen,
• die Herausgeber der Zeitschrift fanden das Ergebnis interessant genug für die Leser der Zeitschrift.

Die Zeitschrift selbst muss außerdem von Fachleuten so bewertet werden, dass sie und damit die dort veröffentlichten Aufsätze in einschlägigen Datenbanken geführt werden. Nur wenn die Studie auf diese Weise veröffentlich wurde, gilt sie als „wissenschaftlich publiziert“. Eine Studie, die z.B. in einer Zeitschrift veröffentlicht wird, wo der Inhalt nicht von Fachleuten geprüft wird, erfüllt dieses Kriterium nicht. Und die Tatsache, dass man etwas irgendwo im Internet findet, genügt schon gleich gar nicht.

Fachzeitschriften können parteiisch sein.

Auch wenn eine Studie unter wissenschaftlichen Bedingungen durchgeführt wurde, wird sie nicht unbedingt in einem Fachmagazin veröffentlicht, wenn ihr Ergebnis der herrschenden Wissenschaftsmeinung widerspricht:

In dieser Dokumentation vom Bayrischen Rundfunk über Homöopathie wird ab Minute 10:49 von einer doppelt verblindeten (!) Studie des Universitätsspitals Bern berichtet, bei der 80 Kinder, die unter ADHS litten, mit homöopathischen Arzneimitteln behandelt wurden. Die Ergebnisse waren signifikant zugunsten der Homöopathie. Aber der LANCET, eines der wichtigsten medizinischen Fachmagazine, wollte die Studie nicht veröffentlichen – ab Minute 14:48 heißt es: “Von dem Ergebnis motiviert versuchten die Mediziner, die Studie ebenfalls im LANCET zu veröffentlichen. Die Prüfer der Zeitschrift aber lehnten ab. Dr. Heiner Frei, Kinderarzt und Homöopath: “Wir hatten dann nach zehn Tagen den Bescheid ‘Ja, die Arbeit ist sehr gut, aber sie ist nicht geeignet für unser Journal. Unsere Leser wollen anderes.’ Offensichtlich wollen die nicht, dass Studien mit einer positiven Wirkung der Homöopathie veröffentlicht werden.”