by Wenn Wissenschaftler etwas herausgefunden haben – wann kann man sich auch tatsächlich darauf verlassen? Eine Antwort lautet: Wenn Fachkollegen die Studie überprüft haben. Eine andere: Wenn sie in einer renommierten Fachzeitschrift veröffentlicht wurde. Doch manchmal reicht auch beides zusammen nicht aus, wie Forscher jetzt gezeigt haben. Und zwar auf die beste und aufwendigste Art: Sie haben die zugrundeliegenden Experimente wiederholt. Und geschaut, ob noch einmal dasselbe dabei herauskommt. Es ging um 21 sozialwissenschaftliche Studien aus den Journalen Nature und Science. Mehr Renommee geht nicht. Und natürlich werden dort eingereichte Arbeiten von Experten geprüft (Peer Review). Trotzdem kam in fast 40 Prozent der Fälle nicht noch einmal dasselbe heraus – sondern
Topics:
Lars Pålsson Syll considers the following as important: Statistics & Econometrics
This could be interesting, too:
Lars Pålsson Syll writes What statistics teachers get wrong!
Lars Pålsson Syll writes Statistical uncertainty
Lars Pålsson Syll writes The dangers of using pernicious fictions in statistics
Lars Pålsson Syll writes Interpreting confidence intervals
Wenn Wissenschaftler etwas herausgefunden haben – wann kann man sich auch tatsächlich darauf verlassen? Eine Antwort lautet: Wenn Fachkollegen die Studie überprüft haben. Eine andere: Wenn sie in einer renommierten Fachzeitschrift veröffentlicht wurde. Doch manchmal reicht auch beides zusammen nicht aus, wie Forscher jetzt gezeigt haben. Und zwar auf die beste und aufwendigste Art: Sie haben die zugrundeliegenden Experimente wiederholt. Und geschaut, ob noch einmal dasselbe dabei herauskommt.
Es ging um 21 sozialwissenschaftliche Studien aus den Journalen Nature und Science. Mehr Renommee geht nicht. Und natürlich werden dort eingereichte Arbeiten von Experten geprüft (Peer Review). Trotzdem kam in fast 40 Prozent der Fälle nicht noch einmal dasselbe heraus – sondern meistens: gar nichts …
Selbst wenn bei Wiederholung der Experimente ähnliche Effekte auftraten, waren diese merklich kleiner als im Original, durchschnittlich nur dreiviertel so groß. Wenn man die nicht-replizierbaren Studien einrechnet, schrumpft der durchschnittliche Effekt aller Wiederholungen sogar auf die Hälfte. Deshalb sagt Forschungskritiker John Ioannidis: “Wenn man einen Artikel über ein sozialwissenschaftliches Experiment in Nature oder Science liest, muss man den Effekt gleich halbieren.”