Wissenschaftlich bewiesen – was heißt das eigentlich?

Wissenschaftlich bewiesen – das klingt so gut, aber was bedeutet das?

Wissenschaftlich bewiesen – was heißt das? Und umgekehrt, was bedeutet es, wenn etwas wissenschaftlich nicht bewiesen ist? In meiner Arbeit habe ich ständig mit Heilpraktikern zu tun, die mit unwissenschaftlichen Methoden arbeiten. Und geht es dir nicht auch so, dass man bei dem Begriff „unwissenschaftlich“ automatisch Bilder von mittelalterlichen Jahrmärkten im Kopf hat, wo marktschreierische Quacksalber einem getrocknete Krähenfüße gegen Rheuma angedreht haben?

Als ich dem Begriff „wissenschaftlich bewiesen“ auf den Grund gehen wollte, stieß ich auf einen hervorragenden Artikel von Prof. Harald Walach, von dem ich vieles übernommen habe. Andere Teile stammen von mir oder von Wikipedia.

Von Phänomenen, Experimental- und Kontrollbedingungen

In einer wissenschaftlichen Studie wird ein Phänomen untersucht, also z.B. irgendein Wirkzusammenhang, den man bestenfalls beweisen will, oder man findet eben einen Gegenbeweis und hat dann auch ein Ergebnis – nur eben ein negatives.
Um den Wirkzusammenhang zu beweisen, braucht man eine Experimentalbedingung und eine Kontrollbedingung: Eine Gruppe von Menschen erhält z.B. das zu testende Medikament bzw. die aktive Substanz (Experimentalbedingung), eine andere Gruppe erhält z.B. ein Placebo (Kontrollbedingung). Der Wirkzusammenhang darf nur in der Experimentalgruppe auftauchen, nicht in der Kontrollgruppe, denn die hat ja nur das Placebo bekommen.

Wie blind oder offen ist die Studie?

Eine Studie ist offen, wenn die Teilnehmer wissen, welcher Gruppe sie angehören, ob sie also das aktive Mittel oder das Placebo bekommen.
Einfach blind ist die Studie, wenn nur die Teilnehmer nicht wissen, welche Substanz sie erhalten.
Doppelblind ist sie, wenn sowohl die Teilnehmer als auch der behandelnde Mediziner nicht wissen, wer welche Substanz erhält.
Dann gibt es noch dreifachblind: Weder die Teilnehmer, noch der behandelnde Mediziner, noch diejenigen, die die Auswertung durchführen, wissen, wer welche Substanz erhält (Versuchsperson, Versuchshelfer und Versuchsauswerter „blind“). In diesem Fall weiß nur der Auftraggeber der Studie, wer welche Substanz erhielt.

Verblindungstechniken

Eine Studie kann nur verblindet werden, wenn die äußerlich sichtbaren Bedingungen identisch sind: Verpackung, Aussehen, Geruch und Geschmack müssen in allen Gruppen genau gleich sein. Je nach Grad der Verblindung muss viel Aufwand getrieben werden, um auch die Versuchsleiter miteinzubeziehen. In großen Arzneimittelstudien bedient man sich dafür umständlicher Verfahren, die Sie bei Wikipedia nachlesen können.
Viele wissenschaftlich nicht bewiesene Verfahren sind schon deshalb nicht beweisbar, weil sie nicht verblindet designt werden können, z.B. wenn man kein Placebo des Wirkstoffes herstellen kann oder zumindest nur unter so erheblichem Aufwand, dass niemand das finanzieren würde.

Das robuste Phänomen

Angenommen, der gewünschte Effekt tauchte in der Experimentalgruppe einige Male auf und in der Kontrollgruppe mit dem Placebo seltener. Das allein genügt noch nicht für eine wissenschaftliche Tatsache.
Prof. Walach erklärt es so: „Wir meinen, irgendwas Spezielles gesehen zu haben und sagen dann zu unserer Partnerin: ‚Schau mal, da sitzt ein Steinbock im Gras‘. Weil wir unsere Brille nicht dabei haben, verwechseln wir einen Stein mit einem Steinbock. Unsere Partnerin hat bessere Augen und kann den Wahrnehmungsfehler aufklären. So ist das in der Wissenschaft auch häufig. Eine Arbeitsgruppe oder ein Forscher entdeckt was, vielleicht sogar mit akzeptierten Methoden nach neuestem Standard. Er kennt sich mit der Methode gut aus und ist sich also sicher, dass es sich nicht um einen Fehler […] oder eine Wahrnehmungstäuschung handelt. Auch seine Kollegen, die den Befund für eine wissenschaftliche Zeitschrift begutachten, sind seiner Meinung. Die Studie wird publiziert. Ist es deswegen schon ‚wissenschaftlich bewiesen‘? Natürlich nicht. Damit ist gerade einmal der Diskurs eröffnet.“

Um das Ergebnis der ersten Studie wissenschaftlich abzusichern, muss sie von anderen Wissenschaftlern repliziert werden, also unter erweiterten und erschwerten Bedingungen wiederholt werden und das Ergebnis muss trotzdem stabil bleiben.

Auftauchende Schwierigkeiten bei der Replikation von Studien

In der Physik gelten sehr strenge Richtlinien, bis experimentelle Ergebnisse ernstgenommen werden. In der Medizin ist das laut Prof. Walach nicht so. Der Herausgeber der medizinischen Fachzeitschrift LANCET, Richard Horton, habe sich beschwert, dass in der Medizin zu viele Zufallsbefunde als „wissenschaftlich“ gehandelt würden. Damit habe er ein Thema aufgegriffen, das in der Medizin schon seit einer Weile schwele: Der in Stanfort lehrende Epidemiologe Ioannidis hat sich in einem Aufsatz mit der Frage befasst „Why most published research findings are false“ (Warum die meisten Forschungsergebnisse falsch sind). Der Artikel wurde 1,4 millionenmal angesehen und Walach hält ihn für einen der bedeutendsten methodischen Beiträge seit Langem. Ioannidis baue ein einfaches Argument auf: Autoren wollen vor allem wegen positiver Entdeckungen in Erinnerung bleiben. Forschungsergebnisse, die nicht den Erwartungen entsprächen, würden nicht zur Veröffentlichung vorbereitet, oder würden von den Herausgebern von Zeitschriften abgelehnt. Sehr häufig gebe es auch zu wenige ganz unabhängige Replikationen, und die, die vorlägen, seien vom selben Team gemacht worden oder von Leuten, die systematische Fehler wiederholten, die vorher gemacht worden seien.

Außerdem würden erste, positive Befunde mit Hilfe der Presse groß hinausposaunt, wohingegen es negative Befunde viel schwerer hätten, ernst genommen oder publiziert zu werden. Oft würden sie sogar aktiv zurück gehalten. Daher hätten die meisten Leute (auch die Fachleute) oft nur die gut bekannten ersten, positiven Ergebnisse im Kopf, den Rest ignorierten sie.

Die Studie muss publiziert sein.

Die Studie muss für alle verfügbar und prüfbar sein. Publiziert bedeutet meist: ein wissenschaftliches Ergebnis wurde einer Fachzeitschrift vorgelegt, und deren Gutachter prüfen das Manuskript und finden,
• dass Stil, Inhalt und Methode den momentan akzeptierten Standards entspricht,
• dass die Methode und Ergebnisse geeignet sind, die Schlussfolgerungen der Autoren zu stützen,
• die Herausgeber der Zeitschrift fanden das Ergebnis interessant genug für die Leser der Zeitschrift.

Die Zeitschrift selbst muss außerdem von Fachleuten so bewertet werden, dass sie und damit die dort veröffentlichten Aufsätze in einschlägigen Datenbanken geführt werden. Nur wenn die Studie auf diese Weise veröffentlich wurde, gilt sie als „wissenschaftlich publiziert“. Eine Studie, die z.B. in einer Zeitschrift veröffentlicht wird, wo der Inhalt nicht von Fachleuten geprüft wird, erfüllt dieses Kriterium nicht. Und die Tatsache, dass man etwas irgendwo im Internet findet, genügt schon gleich gar nicht.

Fachzeitschriften können parteiisch sein.

Auch wenn eine Studie unter wissenschaftlichen Bedingungen durchgeführt wurde, wird sie nicht unbedingt in einem Fachmagazin veröffentlicht, wenn ihr Ergebnis der herrschenden Wissenschaftsmeinung widerspricht:

In dieser Dokumentation vom Bayrischen Rundfunk über Homöopathie wird ab Minute 10:49 von einer doppelt verblindeten (!) Studie des Universitätsspitals Bern berichtet, bei der 80 Kinder, die unter ADHS litten, mit homöopathischen Arzneimitteln behandelt wurden. Die Ergebnisse waren signifikant zugunsten der Homöopathie. Aber der LANCET, eines der wichtigsten medizinischen Fachmagazine, wollte die Studie nicht veröffentlichen – ab Minute 14:48 heißt es: „Von dem Ergebnis motiviert versuchten die Mediziner, die Studie ebenfalls im LANCET zu veröffentlichen. Die Prüfer der Zeitschrift aber lehnten ab. Dr. Heiner Frei, Kinderarzt und Homöopath: „Wir hatten dann nach zehn Tagen den Bescheid ‚Ja, die Arbeit ist sehr gut, aber sie ist nicht geeignet für unser Journal. Unsere Leser wollen anderes.‘ Offensichtlich wollen die nicht, dass Studien mit einer positiven Wirkung der Homöopathie veröffentlicht werden.“

Ob ein Wissenschaftler eine Studie anerkennt, liegt an seinen Vorerfahrungen bzw. an seinem Weltbild.

Auch Wissenschaftler sind nur Menschen, die von ihresgleichen ernstgenommen werden wollen. Auch wenn Wissenschaftler so tun, als würden sie auf empirische Daten hören, passiert in Wirklichkeit folgendes:

Aufgrund ihrer Ausbildung, Erfahrung und dessen, was sie in ihrer Kultur und von ihren Kollegen und Gleichgesinnten gehört haben, haben auch Wissenschaftler eine bestimmte Erwartung darüber, wie sich die Wirklichkeit aller Wahrscheinlichkeit nach verhalten wird. In dieses Weltbild wird eingeordnet, was sie erleben. Auch wissenschaftliche Daten sind eine Form der Erfahrung. Je gefestigter unser Weltbild ist, desto schwieriger wird es für eine neue Erfahrung, unser Weltbild zu verändern. Erfahrungen werden meist dahingehend bewertet, ob sie mit unserer Erwartung übereinstimmen oder nicht. Wenn ja, speichern wir sie ab unter der Kategorie „habe ich doch immer schon gesagt“. Passt eine Erfahrung nicht zur Erwartung, die wir haben, müssen wir entscheiden, ob wir sie ignorieren und denken „das ist Quatsch/nur eine Ausnahme“ oder ob wir sie ernstnehmen und unsere Vormeinung ändern.

Walach: „Wenn ein Wissenschaftler erst mal die Meinung gefasst hat, Homöopathie könne gar nicht funktionieren, weil ja bekanntlich in homöopathischen Substanzen keine Moleküle mehr drin sind, dann werden auch Heerscharen von positiven Daten nichts an dieser Meinung ändern können. Barney Oliver, zu der Zeit Chef der Forschungabteilung bei HP, hat einmal geschrieben: ‚This is the sort of thing I would not believe, even if it were true‘ (Das würde ich nicht mal dann glauben, wenn es wahr wäre) […] Wer einmal eine wirklich klare Vormeinung aufgrund anderer Erfahrung hat, gibt sie nicht mehr so leicht preis.“  (Aus dem Artikel „Vom Verhältnis zwischen Empirie und Theorie I)

Und es ist sogar noch schlimmer: Wenn ein Wissenschaftler eine Meinung vertritt, die von der herrschenden Meinung für nicht ernstzunehmend gehalten wird (wie z.B., dass Homöopathie wirke), dann färbt seine Meinung gleich auf seine komplette Person und seine vollständige Arbeit ab. Es ist nicht etwa so, dass ein prominenter Wissenschaftler eine Methode wie z.B. Homöopathie „adeln“ könnte, so dass sie dann doch als wirksam in Betracht gezogen würde. Nein, der Wissenschaftler wird – manchmal sogar rückwirkend – insgesamt nicht mehr ernstgenommen, auch nicht in anderen Themenbereichen. Er ist als Wissenschaftler in Deutschland quasi tot, denn er hat seine Reputation in der Fachwelt vollständig verloren und wird despektierlich in die Ecke der Aluhütchen-Träger geschoben. Kein Wunder, dass sich kaum einer outet.

Und umgekehrt: Nur weil etwas wissenschaftlich publiziert ist, muss es deswegen nicht stimmen.

Auch wenn etwas in einer wissenschaftlichen Fachzeitschrift veröffentlicht ist, ist es nicht automatisch bewiesen. Auch eine wissenschaftliche Publikation ist nur ein spezieller sozialer Filter und bildet nur ab, was derzeit akzeptabel, vermittelbar und für andere interessant und verständlich ist. Walach beschreibt außerdem, dass seit ein paar Jahren eine große Zahl scheinbar wissenschaftlicher Online-Journals aus dem Boden geschossen seien, bei denen die Autoren zum Teil erhebliche Summen für die Publikation zahlten.

Fazit: Das Siegel „wissenschaftlich nicht bewiesen / beweisbar“ bedeutet nicht, dass die Methode gar nicht wirkt.

Etwas kann „wissenschaftlich bewiesen“ sein und doch nicht stimmen, etwas anderes kann wissenschaftlich nicht beweisbar sein und doch funktionieren. Um „wissenschaftliche Beweise“ zu haben, braucht man Geld und hohen Personenaufwand, um mehrere, voneinander unabhängige, doppelt verblindete Studien durchzuführen. Wenn die Methode und das Mittel sich für Verblindung nicht eignet, geht es nie.

Und auch wenn es solche Studien gibt, besteht eine große Wahrscheinlichkeit, dass die medizinischen Fachmagazine sie nicht abdrucken, weil sie nicht ins herrschende Wissenschafts-Weltbild passen. Das Fachmagazin setzt ja nicht seinen Ruf aufs Spiel. Und somit ist die Studie nicht publiziert und existiert damit nicht.