Listen to this articleDeine Schritt-für-Schritt-Anleitung zum Entschlüsseln von Studien
Akademische Studien können kompliziert und verwirrend sein. Wer aber wissenschaftliche Studien lesen und verstehen kann, bezieht Informationen praktisch aus erster Hand und ist somit in der Lage die besten Entscheidungen für die eigene Gesundheit auf Basis evidenzbasierter Daten abzuleiten, anstelle getäuscht und fehlgeleitet zu werden.
Dieser Artikel soll dir dabei helfen, die Bestandteile einer Studie zu verstehen.
Mithilfe einer praktischen Schritt-für-Schritt-Anleitung lernst du die Forschungsqualität zu bewerten und Ergebnisse richtig zu interpretieren, um die wertvollen Erkenntnisse bestmöglich für dich zu nutzen. ➜ Hier gelangst du direkt zum ultimativen Studienführer.
Je mehr du diese Fähigkeiten ausbaust, desto einfacher wird es:
Wissen, was als Forschung zählt und was nicht
Wer von Studien spricht, hat oft nur eine Zusammenfassung in einer Zeitschrift oder auf einer Webseite gelesen.
Als Nicht-Wissenschaftler ist es völlig normal, qualitativ hochwertige Sekundärquellen für Ernährungs- und Gesundheitsinformationen zu lesen. Praktisch gesehen ist es nicht nötig, sich mit statistischen Analysen zu beschäftigen. Aber für bestimmte Themen und insbesondere für neue Forschungsergebnisse muss man manchmal die Originalquelle studieren, um verlässliche Daten von werbewirksamen Sensationsmeldungen unterscheiden zu können.
Okay, und wie finde ich hochwertige Studien?
Dank des Internets ist das ziemlich einfach.
Online-Medienquellen, die über Forschung berichten, verlinken oft zur Originalstudie. Gibt es keinen direkten Link, kannst du in den Datenbanken PubMed und Google Scholar mit den Namen der Autoren, dem Namen der Publikation (Journal) oder dem Titel der Studie suchen.
Eine Zusammenfassung der Studienergebnisse ist fast immer kostenlos verfügbar, viele Studien sind auch im Volltext frei zugänglich. Wenn nicht, musst du eventuell für den Zugang bezahlen, um die komplette Studie lesen zu können.
Du fühlst dich noch völlig verloren? Schau dir dieses hilfreiche PubMed-Tutorial an, um eine Einführung in die Online-Forschung zu erhalten.
Nicht alle Studien sind gleich
Sei skeptisch, vorsichtig und analytisch!
Die Qualität variiert stark zwischen Verlagen, Journalen und den wissenschaftlichen Arbeiten selbst. In der Anforderung Exzellenz zu erreichen, hat die Forschung die gleichen Herausforderungen wie jede andere Branche.
Journale neigen dazu, neuartige Erkenntnisse zu veröffentlichen
Akademische Journale sind Unternehmen. Ein Teil ihres Erfolges — wie sie Abonnements verkaufen, ihren innovativen Ruf aufrechterhalten und von anderen Publikationen zitiert werden — besteht darin, neue aufmerksamkeitsstarke Forschungsergebnisse zu veröffentlichen.
Das führt dazu, dass einige Studien, die selbst in den angesehensten wissenschaftlichen Journalen veröffentlicht werden, einmalige Ergebnisse sind, die im Vergleich zur restlichen Forschung zum Thema nicht zwingend so viel bedeuten. Das ist einer der vielen Gründe, warum die Ernährungswissenschaft so verwirrend ist.
Forscher müssen veröffentlicht werden
Um Fördergelder zu erhalten — eine Jobvoraussetzung für viele Akademiker — müssen Forscher ihre Ergebnisse bekannt machen. Allerdings ist es nicht immer einfach, publiziert zu werden, vor allem, wenn die Studienergebnisse nicht so aufregend oder neuartig sind.
Hier kommen die predatory journals ins Spiel, die es erlauben, für die Veröffentlichung von Forschungsergebnissen zu bezahlen, ohne dass diese geprüft werden. Das ist natürlich ein Problem. Arbeiten werden vor Veröffentlichung, anders als bei übrigen Journalen, nicht doppelt überprüft.
Für diejenigen, die damit nicht vertraut sind, können Studien, die in diesen predatory journals veröffentlicht werden, genauso aussehen wie Studien, die in seriösen Journalen publiziert werden. So ist es schwieriger hochwertige, saubere von weniger hochwertigen Studien und Aussagen zu unterscheiden
Ein Problem entsteht vor allem dann, wenn nicht doppelt geprüfte Arbeiten als seriöse Forschungsergebnisse fehlinterpretiert und verbreitet werden.
Ergebnisse können je nach Größe und Dauer der Studie unterschiedlich ausfallen
Generell gilt: Je größer die Stichprobengröße — also je mehr Personen einer bestimmten Population untersucht werden — desto zuverlässiger sind die Ergebnisse (allerdings kann auch das irgendwann zum Problem werden).
Der Grund dafür: Je mehr Probanden, desto mehr Daten erhält man. Das erlaubt den Wissenschaftlern, näher an den »echten« Durchschnitt heranzukommen.
Eine Studienpopulation von 1.200 Personen ist also weniger wahrscheinlich von Ausreißern betroffen als eine Gruppe von beispielsweise 10 Personen.
Aus ähnlichen Gründen ist es auch wichtig, die Dauer der Untersuchung zu beachten.
Handelt es sich um eine Langzeitstudie, bei der eine Gruppe von Personen über Jahre hinweg beobachtet wurde? Oder liegt beispielsweise nur ein einstündiger Test der körperlichen Leistungsfähigkeit unter Einnahme eines neuen Nahrungsergänzungsmittels vor?
Sicher, das Präparat könnte in einem einstündigen Zeitfenster einen Unterschied gemacht haben, aber würde es auch einen Unterschied auf lange Sicht machen? Diese Fragestellung bleibt offen.
Langzeitstudien erlauben es, die Ergebnisse zu testen, die wirklich wichtig sind. Sie helfen uns auch, die wahren Auswirkungen einer Behandlung besser zu verstehen. —Ob es beispielsweise zu Fettabbau und Muskelaufbau kam oder ob Herzinfarkte aufgetreten sind.
Wenn man zum Beispiel die Leberenzyme einer Person nach nur 15 Tagen fettreicher Ernährung untersucht, könnte man denken, die Werte seien sehr schlecht. Nach 30 Tagen allerdings, hat sich der Körper jedoch verändert und die Enzyme sind auf einem normalen Niveau angekommen. Das ändert die Bewertung natürlich vollständig.
Mehr Zeit bedeutet also mehr Kontext. Das macht die Ergebnisse sowohl zuverlässiger, als auch für das wirkliche Leben anwendbar.
Aber genau wie die Untersuchung größerer Gruppen erfordern längere Studien umfangreiche Ressourcen, die oft nicht zur Verfügung stehen.
Kleine Kurzzeit-Studien können die Literatur ergänzen und Anregungen für zukünftige Untersuchungen liefern, aber für sich genommen sind sie in ihrer Aussagekraft und Verwertbarkeit sehr begrenzt.
Voreingenommenheit kann Studienergebnisse beeinflussen
Ein systematischer Fehler (Bias) kann zur Verzerrung von Studienergebnissen führen.
Bias
In der Epidemiologie bedeutet Bias, dass nicht die Intervention oder der Zufall das Resultat einer Studie begründet, sondern ein systematischer Fehler im Design (Studienaufbau) oder in der Auswertung.
Im Gegensatz zum zufälligen Fehler heben sich systematische Fehler bei einer ausreichenden Anzahl Messungen nicht auf.
In »The Logic of Medicine« von Murphy wird Bias als irgendein Prozess in der Beweisführung bezeichnet, der zu irgendeinem Zeitpunkt dazu führt, dass Resultate produziert werden, die sich systematisch vom echten Wert unterscheiden. Eine solche Verzerrung kann gravierende Folgen haben und die Aussage der Studie gänzlich verfälschen.
In Studien, die verschiedene Gruppen miteinander vergleichen, können verschiedene Formen eines Bias auftreten und so das Ergebnis verfälschen — zum Beispiel:
Selektionsbias
Bereits bei Studienbeginn können systematische Unterschiede zwischen den zu vergleichenden Gruppen entstehen. Beispielsweise können in einer Gruppe mehr Probanden mit schwereren Erkrankungen oder stärker ausgeprägtem Risikoprofil vertreten sein. Der gemessene Unterschied ist dann nur scheinbar, da er bereits vorhanden war.
Performance Bias
Dieser kann entstehen, wenn im Rahmen einer Studie gewisse Probanden besser medizinisch versorgt, überwacht oder zusätzlich unterstützt werden. Dies könnte beispielsweise vorkommen, wenn das Studienpersonal nicht verblindet ist und Probanden einer Gruppe (bewusst oder unbewusst) bevorzugt betreut werden.
Detection Bias
Gewisse Probanden werden im Rahmen einer Studie hinsichtlich eines Ergebnisses genauer beobachtet und untersucht, etwa wenn das Studienpersonal nicht verblindet ist.
Publication Bias
Beim Publication Bias werden nur Studien publiziert, die einen positiven Effekt einer untersuchten medizinischen Maßnahme nachweisen. Dadurch entsteht ein unausgewogenes Bild über die Wirksamkeit einer Therapie.
Forschung, die von Universitäten ausgeht, im Gegensatz zu Unternehmen, ist tendenziell weniger voreingenommen, obwohl auch dies nicht immer der Fall ist!
Vielleicht hat ein Forscher mit einem Unternehmen zusammengearbeitet, das ein finanzielles Interesse an den Ergebnissen seiner Studien hat oder er wurde von diesem finanziert. Das ist akzeptabel, solange der Forscher einen Konflikt oder eine mögliche Voreingenommenheit anerkennt und kommuniziert.
Es kann aber auch zu Problemen führen. Zum Beispiel könnte sich der Wissenschaftler unter Druck gesetzt fühlen, die Studie auf eine bestimmte Weise durchzuführen, sodass die Wahrscheinlichkeit für bestimmte (gewünschte) Ergebnisse steigt. Das ist nicht unbedingt Betrug, kann aber die Ergebnisse beeinflussen.
Häufiger kommt es vor, dass Forscher versehentlich, manchmal auch absichtlich, die Ergebnisse ihrer Studie so verdrehen, dass sie signifikanter erscheinen, als sie tatsächlich sind.
In beiden Fällen erfahren wir möglicherweise nicht die ganze Geschichte, wenn wir uns eine wissenschaftliche Arbeit ansehen.
Deshalb ist es wichtig, jede Studie im Zusammenhang mit der gesamten Beweislage zu betrachten. Wenn sie sich signifikant von der übrigen Forschung zum Thema unterscheidet, ist es erforderlich zu fragen, warum.
Dein ultimativer Studienführer
Mit dieser Schritt-für-Schritt-Anleitung lernst du Studien wie ein Profi zu lesen und zu analysieren.
Schritt 1: Entscheiden, wie stark die Evidenz ist
Um zu bestimmen, wie viel Wert du auf eine Studie legen kannst, solltest du an die Hierarchie der Beweiskraft denken.
Je weiter oben in der Beweishierarchie eine Forschungsarbeit steht, desto vertrauenswürdiger sind die Informationen und umso stärker ist die Beweiskraft.
An der Spitze stehen Meta-Analysen und systematische Reviews (meta-analysis & systematic reviews). Eine Stufe darunter finden sich randomisiert kontrollierte Studien (randomized controlled trials) und darauffolgend Beobachtungsstudien (cohort studies, case control studies, cross sectional studies). Am unteren Ende stehen Fallstudien und Berichte (case studies & reports).
Studiendesigns, die sich am Listenende befinden, sind nicht nutzlos, aber um das Gesamtbild zu sehen, ist es wichtig zu verstehen, wie diese mit besser geprüften Formen der Forschung verglichen werden.
Übersicht der Beweishierarchie, eigene Darstellung
Research reviews
Research reviews (Forschungsübersichten) gelten als sehr aussagekräftig weil sie eine Auswahl früherer Studien zu einem bestimmten Thema überprüfen und analysieren.
Es gibt zwei Arten: Meta-Analysen und systematische Reviews.
In einer Meta-Analyse (meta-analysis) verwenden die Forscher komplexe statistische Methoden, um die Ergebnisse mehrerer Studien zu kombinieren. Das Zusammenfassen von Studien erhöht die statistische Aussagekraft und bietet eine stärkere Schlussfolgerung.
Meta-Analysen können auch Muster zwischen Studienergebnissen, Quellen von Unstimmigkeiten und andere interessante Beziehungen identifizieren, was eine einzelne Studie nicht liefern kann.
In einem systematischen Review (systematic review) überprüfen und diskutieren Forscher die verfügbaren Studien zu einem bestimmten Thema. Anhand strenger Kriterien wird entschieden, welche Studien in den Review eingeschlossen werden.
Bei beiden Ansätzen werden mehrere Studien betrachtet und eine Schlussfolgerung gezogen. Wird eine große Gruppe von Studien zusammen betrachtet, können Ausreißer in den richtigen Kontext gesetzt werden.
Meta-Analysen & systematische Reviews
Bei Meta-Analysen oder systematischen Reviews wird eine große Gruppe von Studien zusammen betrachtet. So können Ausreißer in den richtigen Kontext gesetzt werden.
Ein Forscherteam nimmt alle eingeschlossenen Studien genau unter die Lupe. Ist jede einzelne Studie sinnvoll? Waren die Forschungsmethoden solide? Stimmt ihre statistische Analyse überein? Wenn nicht, wird die Studie verworfen.
Randomisierte, kontrollierte Studien
In einem experimentellen Studiendesign erhält eine bestimmte Gruppe von Teilnehmern eine Behandlung, deren Auswirkungen aufgezeichnet werden. Diese Studienart kann in einigen Fällen beweisen, dass eine Behandlung einen bestimmten Effekt verursacht.
Bei einer randomisiert kontrollierten Studie (RCT — randomized controlled trial) erhält eine Gruppe von Teilnehmern die getestete Behandlung nicht, aber beide Gruppen denken, dass sie identische Behandlungen bekommen.
Zum Beispiel könnte die eine Hälfte der Teilnehmer ein Medikament erhalten, während die andere Hälfte ein Placebo bekommt.
Die Gruppen werden nach dem Zufallsprinzip ausgewählt, um dem Placebo-Effekt entgegenzuwirken. Dieser tritt auf, wenn jemand einen Nutzen erfährt, nur weil er glaubt, dass es ihm hilft.
Wenn du eine RCT-Studie liest, achte auf die Worte double blind oder die Abkürzung DBRCT (double blind randomized controlled trial).
Double Blind Randomized Controlled Trial
Eine doppelt verblindete, randomisiert kontrollierte Studie (double blind randomized controlled trial) ist der Goldstandard der experimentellen Forschung. Es bedeutet, dass weder die Teilnehmer noch die Forscher wissen, wer die Behandlung und wer das Placebo einnimmt. Beide sind blind, so sind die Ergebnisse weniger wahrscheinlich verzerrt.
Beobachtungsstudien
Bei einer Beobachtungsstudie betrachten und analysieren die Forscher laufende oder vergangene Verhaltensweisen oder Informationen und ziehen dann Schlussfolgerungen darüber, was diese bedeuten könnten.
Beobachtungsstudien zeigen Korrelationen, das bedeutet, sie verweisen auf Zusammenhänge, liefern aber keine Erklärung und beschreiben keine Ursache. Oder anders gesagt: eine Beobachtungsstudie kann nichts beweisen.
Korrelation ist nicht gleich Kausalität
Leider wird genau dieser Grundsatz oft missachtet oder falsch verstanden und fehlgeleitete Aussagen dann noch in Medien verbreitet.
Wozu sind diese Art von Studien also gut? Sie können uns helfen, Vermutungen anzustellen.
Nochmals, eine Studie sagt uns nicht viel. Aber wenn mehrere Beobachtungsstudien ähnliche Ergebnisse zeigen und es Mechanismen gibt, die sie vernünftig erklären könnten, kann man auf diese Weise Muster erkennen. Zum Beispiel, dass der Verzehr von pflanzlichen Lebensmitteln wahrscheinlich gesund ist oder dass Rauchen wahrscheinlich ungesund ist.
Beobachtungsstudien
Beobachtungsstudien werden genutzt, um Hypothesen aufzustellen, die dann in experimentellen Studien getestet werden. Sie können keine kausale Erklärung beweisen.
Es gibt drei Haupttypen von Beobachtungsstudien:
Cohort studies (Kohortenstudien)
Cohort studies beobachten eine Gruppe von Menschen über einen bestimmten Zeitraum. Tatsächlich kann das über Jahre oder sogar Jahrzehnte erfolgen.
Normalerweise suchen die Wissenschaftler nach einem bestimmten Faktor, der ein bestimmtes Ergebnis beeinflussen könnte. Zum Beispiel beginnen die Forscher mit einer Gruppe von Menschen, die keine Diabetes haben, und beobachten dann, welche Menschen die Krankheit entwickeln. Dann versuchen sie, die Punkte zu verbinden und zu bestimmen, welche Faktoren die neu diagnostizierten Personen gemeinsam haben.
Case control studies (Fall-Kontroll-Studien)
Case control studies vergleichen die Geschichten von zwei Gruppen von Menschen, die sich in irgendeiner Weise unterscheiden.
Zum Beispiel könnten die Forscher zwei Gruppen betrachten, die 30 Pfund abgenommen haben: Gruppe 1: diejenigen, die ihren Gewichtsverlust erfolgreich über die Zeit beibehalten haben; Gruppe 2: diejenigen, bei denen das nicht der Fall war. Diese Art von Studie würde einen Grund vorschlagen, warum das passiert ist, und dann die Daten der Teilnehmer analysieren, um zu sehen, ob die Annahme zutreffen könnte.
Cross sectional studies (Querschnittsstudien)
Cross sectional studies verwenden eine bestimmte Population, zum Beispiel Menschen mit hohem Blutdruck und suchen nach zusätzlichen Faktoren, die sie miteinander gemeinsam haben könnten. Dies können Medikamente, Lebensstil oder andere Bedingungen sein.
Fallstudien und Berichte (case studies & reports)
Dies sind im Grunde Geschichten, die in irgendeiner Weise interessant oder ungewöhnlich sind. Sie werden allerdings nicht als überzeugende Beweise angesehen. Stattdessen können sie genutzt werden, um sachkundigere Entscheidungen zu treffen und Ideen zu liefern, wie es weitergehen soll.
Fallstudien & Berichte (case studies & reports)
Fallstudien und Berichte können Details und Einblicke liefern, die in einem formelleren Studiendesign schwer zu vermitteln wären. Sie dienen dazu Ideen zu weiteren Untersuchungen zu liefern.
Zusatz:
Qualitative Studien (qualitative studies) und Studien mit gemischten Methoden (mixed methods study)
Es gibt einen Forschungsansatz, der sich durch viele Studiendesigns zieht: qualitative Forschung, im Gegensatz zu quantitativer Forschung.
Qualitative Studien konzentrieren sich auf die eher immateriellen Elemente der Ergebnisse, zum Beispiel was die Menschen dachten, sagten oder erlebten. Sie sagen uns etwas über die menschliche Seite der Dinge.
So könnte eine qualitative Studie, die untersucht, wie Menschen auf einen neuen Fitness-Tracker reagieren, fragen, was sie davon halten, und ihre Antworten in Themen wie »Benutzerfreundlichkeit« oder »mag es zu wissen, wie viele Schritte gemacht wurden« zusammenfassen.
Quantitative Daten könnten uns zum Beispiel sagen, dass ein bestimmter Prozentsatz der Menschen auch nach einer ernsten medizinischen Diagnose keine wichtigen gesundheitlichen Veränderungen vornimmt.
Qualitative Forschung könnte herausfinden, warum das so ist, indem Menschen befragt werden, die diese Veränderungen nicht vorgenommen haben, und festgehalten wird, ob es konsistente Themen gibt, wie: »Ich habe nicht genug Informationen von meinem Arzt bekommen« oder »Ich habe keine Unterstützung oder Anleitung bekommen«.
Qualitative & Mixed methods study
Qualitative Studien sind oft hilfreich, um Ideen und Fragen zu untersuchen, die von quantitativen Daten aufgeworfen werden, und um einen Kontext für die von den Forschern beobachteten Beziehungen zu liefern.
Wenn eine Studie quantitative Daten mit qualitativer Forschung kombiniert, spricht man von einer Mixed-Methods-Studie.
Fazit
Es besteht ein großer Unterschied zwischen einer randomisierten, kontrollierten Doppelblindstudie am Menschen über die Wirksamkeit eines Nahrungsergänzungsmittels zur Gewichtsabnahme (durchgeführt von einem unabhängigen Labor) und einer Tierstudie über dasselbe Nahrungsergänzungsmittel.
Es gibt einen noch größeren Unterschied zwischen einer systematischen Überprüfung von Studien darüber, ob rotes Fleisch Krebs verursacht und einem Fallbericht zu diesem Thema.
Wenn du dir die Forschung ansiehst, solltest du die Ergebnisse im Blick behalten, indem du beachtest, wie stark die Beweise überhaupt sein können, basierend auf der obigen Infografik zur Beweishierarchie.
Schritt 2: Die Studie kritisch lesen
Nur weil eine Studie veröffentlicht wurde, heißt das nicht, dass sie fehlerfrei ist. Auch wenn du dich beim Lesen einer wissenschaftlichen Arbeit vielleicht etwas überfordert fühlst, ist es hilfreich, sich daran zu erinnern, dass es die Aufgabe der Studie ist, dich von ihren Beweisen zu überzeugen.
Das gibt es bei den verschiedenen Abschnitten einer Studie zu beachten:
Journal
Hochwertige Studien werden in akademischen Zeitschriften (Journals) veröffentlicht.
So kannst du feststellen, ob die Studie, die du liest, in einem angesehenen Journal veröffentlicht wurde:
Autoren
Autoren sind die Personen, die die Forschung durchgeführt haben. Mehr Informationen über ihren Hintergrund, können viel darüber aussagen, wie glaubwürdig eine Studie ist.
Um mehr über die Autoren zu erfahren, kannst du Folgendes tun:
Hinweis
Es bedeutet nicht automatisch, dass eine Studie gefälscht ist, wenn einer (oder mehrere) der Autoren Geld von einer Firma in einer verwandten Branche erhalten, aber es ist einen Hinweis wert, besonders wenn es andere Probleme mit der Studie selbst zu geben scheint.
Abstract
Der Abstract ist eine Zusammenfassung der Forschungsarbeit auf hohem Niveau — einschließlich des Zwecks der Studie, wichtiger Ergebnisse und der Schlussfolgerungen der Autoren.
Um den größten Nutzen aus der Zusammenfassung zu ziehen, solltest du:
Einleitung
Dieser Abschnitt bietet einen Überblick darüber, was bereits über ein Thema bekannt ist und gibt eine Begründung, warum diese Studie durchgeführt werden musste.
Wenn du die Einleitung liest:
Methoden
In diesem Abschnitt findest du Informationen zur Demografie und zum Studiendesign.
Alle Studien sollten reproduzierbar sein. Mit anderen Worten: Ein anderer Forscher, der die gleichen Protokolle befolgt, würde höchstwahrscheinlich die gleichen Ergebnisse erhalten.
In diesem Abschnitt findest du also alle Details dazu, wie du eine Studie replizieren könntest.
Im Abschnitt Methodik erfährst du Folgendes:
Ergebnisse
Lies diesen Abschnitt, um herauszufinden, ob die Intervention die Dinge besser, schlechter oder keinen Unterschied gemacht hat.
Wenn du diesen Abschnitt liest:
Diskussion
Die Diskussion ist eine Interpretation dessen, was die Ergebnisse bedeuten könnten. Wichtigster Punkt: Sie enthält die Meinung der Autoren.
Während du die Diskussion liest:
Schlussfolgerungen
In der Schlussfolgerung fassen die Autoren zusammen, was ihre Forschung bedeutet und wie sie auf die reale Welt anwendbar ist.
Um den größten Nutzen aus diesem Abschnitt zu ziehen:
Lass uns an dieser Stelle einen genaueren Blick auf Statistische Signifikanz werfen.
Statistische Signifikanz
Bevor Forscher eine Studie beginnen, haben sie eine Hypothese, die sie testen wollen. Dann sammeln und analysieren sie Daten und ziehen Schlussfolgerungen.
Das Konzept der statistischen Signifikanz kommt während der Analysephase einer Studie ins Spiel.
In der akademischen Forschung wird die statistische Signifikanz oder die Wahrscheinlichkeit, dass die Studienergebnisse durch Zufall entstanden sind, durch einen p-Wert gemessen, der zwischen 0 und 1 liegen kann (0 % Chance bis 100 % Chance).
Das p in p-value steht für Wahrscheinlichkeit. P-Werte sind normalerweise im Ergebnisteil zu finden.
Einfach ausgedrückt: Je näher der p-Wert bei 0 liegt, desto wahrscheinlicher ist es, dass die Ergebnisse einer Studie durch die Behandlung oder Intervention verursacht wurden und nicht durch einen Zufall.
Ein Beispiel:
Nehmen wir an, die Forscher testen das Fettabbau-Supplement X.
Ihre Hypothese ist, dass die Einnahme von Supplement X zu einem größeren Fettabbau führt als die Nichteinnahme.
Die Studienteilnehmer werden nach dem Zufallsprinzip in zwei Gruppen aufgeteilt: eine Gruppe nimmt Supplement X ein, eine Gruppe nimmt ein Placebo ein.
Am Ende der Studie hat die Gruppe, die Supplement X eingenommen hat, im Durchschnitt mehr Fett verloren. Es scheint also, dass die Hypothese der Forscher gültig ist. Aber es gibt einen Haken: Einige Personen mit Supplement X verloren weniger Gewicht als diejenigen, die das Placebo einnahmen.
Hilft also Supplement X beim Fettabbau oder nicht? An dieser Stelle kommen Statistiken und p-Werte ins Spiel.
Wenn man sich alle Teilnehmer und wie viel Fett sie verloren haben, anschaut, kann man herausfinden, ob das wahrscheinlich auf das Supplement zurückzuführen ist oder nur auf die Zufälligkeit des Universums.
Der häufigste Schwellenwert ist ein p-Wert unter 0,05 (5 %), der als statistisch signifikant angesehen wird. Zahlen über diesem Schwellenwert sind nicht signifikant.
Dieser Schwellenwert ist willkürlich, einige Arten von Analysen haben einen viel niedrigeren Schwellenwert, wie zum Beispiel genomweite Assoziationsstudien, die einen p-Wert von weniger als 0,00000001 benötigen, um statistisch signifikant zu sein.
Wenn also die Forscher, die die Wirkung von Supplement X auf den Fettabbau untersuchten, bei einem p-Wert von 0,04 die Fettreduktion von Y fanden, bedeutet das, dass es eine sehr kleine Chance (4 %) gibt, dass Supplement X tatsächlich keinen Effekt auf den Fettabbau hat (der Effekt war nur auf den Zufall zurückzuführen).
Es gibt ein paar wichtige Dinge über p-Werte zu beachten:
Wenn du eine Studie siehst, die einen p-Wert von höher als 0,05 angibt, sind die Ergebnisse nicht statistisch signifikant.
Das bedeutet, dass entweder die Behandlung keinen Effekt hatte oder die Ergebnisse anders wären, wenn die Studie wiederholt würde.
Wenn also im Fall von Supplement X der p-Wert größer als 0,05 wäre, könnte man nicht sagen, dass Supplement X beim Fettabbau hilft. Dies gilt selbst dann, wenn du siehst, dass die Gruppe, die das Präparat X einnahm, im Durchschnitt 10 Pfund Fett verlor. Mehr erfahren
Tipp zu deinen eigenen Schlussfolgerungen
Wenn du eine Studie liest, die zu dem Schluss kommt, dass beispielsweise grüner Tee den Stoffwechsel beschleunigt und:
... dann solltest du weitere Nachforschungen anstellen, bevor du glaubst, dass das Trinken von grünem Tee deinen Stoffwechsel ankurbeln und den Fettabbau beschleunigen wird.
Das soll nicht heißen, dass grüner Tee für Jemanden, der versucht, Gewicht zu verlieren, nicht von Vorteil sein kann. Es geht nur darum, die durch die Forschung bewiesenen Vorteile im Blick zu behalten.
Achte darauf, dass du die Vorteile nicht aufgrund einer einzigen Studie (oder sogar einiger schwacher Studien) überbewertest.
Fazit
Stelle die richtigen Fragen. Jeder Abschnitt einer Studie kann dir etwas Wichtiges darüber sagen, wie valide die Ergebnisse sind und wie ernst du die Erkenntnisse nehmen solltest.
Schritt 3: Berücksichtige deine eigene Perspektive
Du hast also die Studie gelesen und eine solide Vorstellung davon, wie überzeugend sie wirklich ist.
Aber Vorsicht: Wir neigen dazu, nach Informationen zu suchen, mit denen wir übereinstimmen.
Ja, es ist wahrscheinlicher, dass wir eine Studie anklicken (oder danach suchen), wenn wir glauben, dass sie mit dem übereinstimmt, was wir bereits glauben.
Dies wird als Confirmation Bias bezeichnet.
Wenn eine Studie im Widerspruch zu dem steht, was wir glauben, dann fühlen wir uns vielleicht etwas verärgert.
Du wirst einige Vorurteile mitbringen, wenn du eine Studie liest und interpretierst. Jeder von uns tut das.
Es ist auch so, dass nicht jeder von sich aus Schlüsse aus wissenschaftlichen Studien ziehen sollte, besonders wenn er kein Experte auf dem Gebiet ist. Denn wie gesagt, wir sind alle ein wenig voreingenommen.
Wenn du eine Studie gelesen hast, verwende diese Anleitung, um zu bestimmen, wie du bei der Interpretation der Ergebnisse vorgehen solltest.
Sei dir deines eigenen Standpunktes bewusst!
Ziel der Wissenschaft
Denke daran, dass es in der Wissenschaft nicht darum geht, richtig oder falsch zu liegen. Es geht darum, der Wahrheit näher zu kommen.
Schritt 4: Setze die Schlussfolgerungen in den Kontext
Eine einzelne Studie allein beweist noch nichts. Vor allem, wenn sie im Gegensatz zu dem steht, was wir vorher wussten.
Eine Studie trägt vor allem zu einem Haufen von Wahrscheinlichkeiten über etwas bei, wie beispielsweise eine Beziehung zwischen Faktor X und Ergebnis Y.
Betrachte neue Forschungsergebnisse als ein sehr kleines Teil eines sehr großen Puzzles, nicht als alleinstehendes Manifest.
Deshalb legen wir Wert auf Stellungnahmen, Meta-Analysen und systematische Übersichten. Bis zu einem gewissen Grad übernehmen diese die Aufgabe, dir einen Kontext zu liefern.
Wenn du eine einzelne Studie liest, musst du diese Arbeit selbst machen.
Überlege bei jeder wissenschaftlichen Arbeit, die du liest, wie sie sich in die übrige Forschung zu einem bestimmten Thema einfügt.
Gehe über die einzelne Studie hinaus!
Um das Beste aus der wissenschaftlichen Forschung herauszuholen und sie eventuell auf unser Leben anzuwenden, kommt es mehr auf die Gesamtsumme als auf die einzelnen Teile an.
Die Wissenschaft ist definitiv nicht perfekt, aber sie ist das Beste, was wir haben. Sie ist ein unschätzbares Werkzeug mit dem wir unser Wissen nach und nach ausbauen können und die uns hilft, nicht Sichtbares sichtbar zu machen und schließlich gesunde Entscheidungen zu treffen.
Mit dieser Anleitung verwirrt dich so schnell keine Studie mehr!
Vielen Dank für deine Zeit und lass mich gerne wissen, ob dir dieser Leitfaden nutzen kann.
Für deine Gesundheit!
Kate
Cassels Wörterbuch Deutsch-Englisch Englisch Deutsch. 126th ed. München: Compact Verlag; 1989. Bias; p. 44.
Murphy EA. The logic of Medicine. Baltimore: John Hopkins University Press; 1976.
Jüni P, Altman DG, Egger M. Assessing the quality of randomised controlled trials. In: Egger M, Davey Smith G, Altman DG, editors. Systematic Reviews in Health Care. Meta-analysis in context. 2nd ed. London: BMJ Publishing Group; 2001. p. 87-108.
Owen R. Reader Bias. JAMA 1982; 247:2533-4.
Jadad AR. Bias in RCTs: beyond the sequence generation. In: Jadad AR. Randomised Controlled Trials. London: BMJ Books; 1998. p. 28 - 44.
Biau, D.J., Jolles, B.M. & Porcher, R. (2010). P Value and the Theory of Hypothesis Testing: An Explanation for New Researchers. Clinical Orthopaedics and Related Research, 468 (3), 885-892.
Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The extent and consequences of p-hacking in science. PLoS Biology, 13(3), e1002106.
Ehrlinger, J., Johnson, K., Banner, M., Dunning, D., & Kruger, J. (2008). Why the unskilled are unaware: Further explorations of (absent) self-insight among the incompetent. Organizational Behavior and Human Decision Processes, 105(1), 98–121.
Greenhalgh, T. (1997). How to read a paper: Assessing the methodological quality of published papers. BMJ, 315(7103), 305–308.
Greenhalgh, T. (1997b). How to read a paper. Getting your bearings (deciding what the paper is about). BMJ (Clinical Research Ed.), 315(7102), 243–246.
Greenhalgh, T. (1997c). How to read a paper. Papers that report drug trials. BMJ (Clinical Research Ed.), 315(7106), 480–483.
Greenhalgh, T. (1997d). How to read a paper. Statistics for the non-statistician. I: Different types of data need different statistical tests. BMJ (Clinical Research Ed.), 315(7104), 364–366.
Greenhalgh, T. (1997e). How to read a paper. Statistics for the non-statistician. II: „Significant“ relations and their pitfalls. BMJ (Clinical Research Ed.), 315(7105), 422–425.
Greenhalgh, T. (1997d). How to read a paper: Papers that summarise other papers (systematic reviews and meta-analyses). BMJ, 315(7109), 672–675.
Greenhalgh, T., & Taylor, R. (1997). Papers that go beyond numbers (qualitative research). BMJ (Clinical Research Ed.), 315(7110), 740–743.
Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: how difficulties in recognizing one’s own incompetence lead to inflated self-assessments. Journal of Personality and Social Psychology, 77(6), 1121–1134.
Institute of Medicine (US) Roundtable on Environmental Health Sciences, Research, and Medicine. (2011). Environmental Health Sciences Decision Making: Risk Management, Evidence, and Ethics – Workshop Summary. Washington (DC): National Academies Press (US). 21-24.
Pain, E. (2016). How to (seriously) read a scientific paper. Science (New York, N.Y.). doi:10.1126/science.caredit.a1600047
Purugganan, M., Hewitt, J., & Professional Communication. (o. J.). How to read a scientific article. Abgerufen 20. August 2021, von Rice.edu website: http://www.owlnet.rice.edu/~cainproj/courses/HowToReadSciArticle.pdf
Sever, P. S., Dahlöf, B., Poulter, N. R., Wedel, H., Beevers, G., Caulfield, M., … ASCOT investigators. (2003). Prevention of coronary and stroke events with atorvastatin in hypertensive patients who have average or lower-than-average cholesterol concentrations, in the Anglo-Scandinavian Cardiac Outcomes Trial--Lipid Lowering Arm (ASCOT-LLA): a multicentre randomised controlled trial. Lancet, 361(9364), 1149–1158.
Sullivan, G. M., & Feinn, R. (2012). Using effect size-or why the P value is not enough. Journal of Graduate Medical Education, 4(3), 279–282.
Toklu, B., Milne, V., Bella, M., & Underberg, J. A. (2015). Rise in serum lipids after dietary incorporation of “bulletproof coffee”. Journal of clinical lipidology, 9(3), 462.
Wasserstein, R. L., & Lazar, N. A. (2016). The ASA’s Statement on p-Values: Context. Process, and Purpose, The American Statistician.
