Auch die Wissenschaft wird aus Fehlern klug
27/2018, 12.09.2018
Ein mathematisches Modell zeigt, dass selbst scheinbar ergebnislose Studien den Erkenntnisgewinn beschleunigen
Wissenschaftliche Studien sollten stets und unabhängig von ihrem Ergebnis publiziert werden. Das ist eine der Schlussfolgerungen eines Forschungsprojekts des „Deutschen Zentrums zum Schutz von Versuchstieren“ am Bundesinstitut für Risikobewertung (BfR), dessen Resultate nun im Fachblatt „PLOS ONE“ veröffentlicht wurden. Die Wissenschaftlerinnen und Wissenschaftler haben anhand eines mathematischen Modells untersucht, welchen Einfluss einzelne Maßstäbe beim Erstellen von Studien auf die weitere Forschung haben. „Die Forschergemeinschaft sollte alles dafür tun, um das gesellschaftliche Vertrauen in die Wissenschaft aufrechtzuerhalten“, sagt BfR-Präsident Professor Dr. Dr. Andreas Hensel. „Dazu gehört, dass Ergebnisse nachvollziehbar und wiederholbar sein müssen, um falsche Schlussfolgerungen leicht widerlegen zu können. Unsere Untersuchung zeigt, dass wir bessere Resultate erzielen, wenn auch scheinbar ergebnislose Studien publiziert werden.“
https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0202762
Untersuchungen belegen, dass wissenschaftliche Studien eher publiziert werden, wenn sie ein erwünschtes „positives“ Ergebnis erzielen, also beispielsweise einen erwarteten Effekt messen, einen Stoff nachweisen oder eine These belegen. „Negative“ Ergebnisse, die keine entsprechenden Wirkungen nachweisen, haben geringere Chancen auf eine Veröffentlichung.
Natürlich ist auch Wissenschaftlern selbst daran gelegen, aussagekräftige und veröffentlichungswürdige Resultate zu erhalten und so die Forschung voranzubringen. Die große Bedeutung des Publizierens in Fachzeitschriften für das Ansehen und eine künftige Förderung verstärkt dieses Interesse noch. Das kann jedoch zur Folge haben, dass Untersuchungen veröffentlicht werden, deren Resultate nicht wiederholbar (reproduzierbar) und daher nur dem Anschein nach „positiv“ sind.
Die scheinbar positiven Ergebnisse führen zunächst zu weiteren Studien, die auf dem vermeintlich nachgewiesenen Effekt aufbauen. Die im wissenschaftlichen Verlagswesen mitunter geübte Praxis, vor allem Studien mit positiven Ergebnissen zu publizieren, begünstigt also Untersuchungen, die einer Überprüfung nicht standhalten und unnötig weitere Studien nach sich ziehen.
Das in der Publikation vorgestellte mathematische Modell zeigt, wie der Mechanismus der „falsch positiven“ Ergebnisse durchbrochen werden kann. Würden grundsätzlich alle Studien – unabhängig von ihrem Ergebnis – nach Einhaltung der guten wissenschaftlichen Praxis publiziert, wäre ein falsches Ergebnis schneller widerlegt.
Das bedeutet: Ein als negativ eingeschätztes Ergebnis ist kein Makel, sondern ebenfalls ein Gewinn an Wissen. Ein Tierversuch, der zum Beispiel die Wirksamkeit eines neuen Medikaments nicht belegen kann, wäre dann in den Augen der Wissenschaft kein Misserfolg, sondern ein wertvolles Ergebnis, das unnötige Folgestudien (und weitere Tierversuche) verhindert und das Entwickeln neuer Therapien beschleunigt.
Wie sich herausstellte, hilft noch ein weiteres Kriterium beim Vorbereiten von Studien, den Erkenntnisgewinn zu erleichtern: Bei biomedizinischen Untersuchungen erhöht eine wissenschaftlich gebotene hinreichend hohe Zahl von Versuchstieren die Wahrscheinlichkeit, bereits im ersten Versuch richtige und reproduzierbare Ergebnisse zu erhalten. Damit lassen sich unnötige, auf falschen Annahmen beruhende Folgeversuche mit Tieren vermeiden. Der Einsatz von mehr Versuchstieren in einem einzelnen Experiment kann somit im Endeffekt die Zahl der eingesetzten Tiere verringern.
Die Berechnungen der BfR-Forschergruppe basieren auf der biomedizinischen Forschung mit Versuchstieren. Die Ergebnisse lassen sich aber generell auf die Lebenswissenschaften anwenden.
Hintergrund für die Untersuchung ist die in den Lebenswissenschaften und der psychologischen Forschung beklagte Reproduzierbarkeitskrise. Je nach Erhebung sind zwischen 51 und 89 Prozent der in biowissenschaftlichen Studien veröffentlichten Ergebnisse nicht von anderen Forschern nachvollziehbar. Untersuchungen in den Neurowissenschaften zeigen, dass häufig Unzulänglichkeiten bei der statistischen Auswertung von Experimenten ein Grund dafür sind, dass sich Studien nicht reproduzieren lassen.
Über das Bf3R
Das Deutsche Zentrum zum Schutz von Versuchstieren (Bf3R) wurde im Jahr 2015 gegründet und ist integraler Bestandteil des Bundesinstituts für Risikobewertung (BfR). Es koordiniert bundesweit alle Aktivitäten mit den Zielen, Tierversuche auf das unerlässliche Maß zu beschränken und Versuchstieren den bestmöglichen Schutz zu gewährleisten. Darüber hinaus sollen weltweit Forschungsaktivitäten angeregt und der wissenschaftliche Dialog gefördert werden.
Über das BfR
Das Bundesinstitut für Risikobewertung (BfR) ist eine wissenschaftlich unabhängige Einrichtung im Geschäftsbereich des Bundesministeriums für Ernährung und Landwirtschaft (BMEL). Es berät die Bundesregierung und die Bundesländer zu Fragen der Lebensmittel-, Chemikalien- und Produktsicherheit. Das BfR betreibt eigene Forschung zu Themen, die in engem Zusammenhang mit seinen Bewertungsaufgaben stehen.