Warum Effektgröße wichtiger ist als Sie denken

Seit Jahrzehnten legen Forscher großen Wert auf p-Werte, um zu entscheiden, ob ein Ergebnis „signifikant ist. Aber ein statistisch signifikanter p-Wert sagt Ihnen nur, dass ein Effekt wahrscheinlich nicht zufällig aufgetreten ist – er sagt nichts über die Größe oder praktische Bedeutung dieses Effekts aus. Hier tritt die Effektgröße ins Bild. Effektgröße quantifiziert die Größe eines Unterschieds oder einer Beziehung, was Forschern und Praktikern ein klares Gefühl dafür gibt, wie sinnvoll ein Befund wirklich ist. Effektgröße zu verstehen ist nicht nur eine statistische Nettigkeit; es ist wichtig, um Ergebnisse in realen Kontexten zu interpretieren, Metaanalysen durchzuführen und eine kumulative Wissenschaft aufzubauen.

Viele Felder erkennen jetzt, dass das alleinige Verlassen auf Nullhypothesen-Bedeutungsprüfungen (NHST) zu fehlgeleiteten Schlussfolgerungen führen kann. Eine große Stichprobe kann sogar einen trivial kleinen Effekt statistisch signifikant machen, während eine kleine Stichprobe einen großen und wichtigen Effekt hinter einem nicht signifikanten p-Wert verbergen könnte. Die Größe des Berichtseffekts verschiebt das Gespräch von "Gibt es einen Effekt?" zu "Wie groß ist der Effekt?" - eine viel relevantere Frage für Praktiker, politische Entscheidungsträger und jeden, der Forschungsergebnisse nutzen möchte, um Entscheidungen zu treffen.

Was ist Effektgröße?

Effektgröße ist ein standardisiertes, einheitsfreies Maß, das die Stärke eines Phänomens beschreibt. Es beantwortet die Frage „Wie groß ist der Effekt?“ und nicht „Gibt es einen Effekt?“ Eine Studie könnte beispielsweise feststellen, dass eine neue Lehrmethode zu höheren Testergebnissen mit p < 0.05 führt. Ist die Effektgröße jedoch sehr klein, kann die Verbesserung in der Praxis vernachlässigbar sein. Umgekehrt könnte ein Effekt mit p = 0.06 groß und praktisch wichtig sein, aber abgelehnt werden, weil er die willkürliche Alpha-Schwelle nicht erreicht hat. Effektgröße hilft Ihnen, den Wald jenseits des einzelnen p-Wert-Baums zu sehen.

Im Gegensatz zu p-Werten, die stark von der Stichprobengröße beeinflusst werden, sind Effektgrößen weitgehend unabhängig von der Stichprobengröße. Eine große Studie kann einen winzigen p-Wert für einen trivialen Effekt erzeugen, während eine kleine Studie einen großen Effekt verfehlen kann. Die Angabe der Effektgröße neben Konfidenzintervallen liefert ein weitaus reichhaltigeres Bild dessen, was die Daten tatsächlich sagen. Die Effektgröße selbst wird nicht von der Stichprobengröße beeinflusst, obwohl ihre Genauigkeit (Konfidenzintervall) mit zunehmender Stichprobengröße kleiner wird.

Um eine Effektgröße zu berechnen, standardisiert man normalerweise die Rohdifferenz oder Assoziation durch ein Maß für die Variabilität. Zum Beispiel teilt Cohens d die mittlere Differenz durch die gepoolte Standardabweichung. Diese Standardisierung ermöglicht den Vergleich zwischen Studien, die unterschiedliche Skalen oder Messungen verwenden, weshalb Effektgrößen die Grundlage der Metaanalyse sind. Sie verwandeln unterschiedliche Ergebnisse in eine gemeinsame Metrik.

Häufige Arten von Effektgröße

Die Wahl der richtigen Effektgröße hängt von Ihrem Studiendesign und Ihrer Forschungsfrage ab. Nachfolgend finden Sie die am häufigsten verwendeten Maßnahmen mit Anleitungen, wann Sie sie anwenden sollten.

Cohen’s d (Standardisierter mittlerer Unterschied)

Cohen’s d ist eine der am häufigsten gemeldeten Effektgrößen. Es drückt die Differenz zwischen zwei Gruppenmitteln in Einheiten der gepoolten Standardabweichung aus. A d von 0,5 bedeutet, dass sich die beiden Mittel um eine halbe Standardabweichung unterscheiden. Dieses Maß ist das Ziel für unabhängige Gruppen-t-Tests und kann auch für gepaarte Designs angepasst werden (unter Verwendung der Standardabweichung der Differenzwerte, oft Cohen’s d genannt).z) Sie können Cohens d aus zusammenfassenden Statistiken (Mittelwerte und Standardabweichungen) berechnen oder statistische Software verwenden. Psychometrica Effektgrößenrechner.

Cohen’s d wird auch bei der Metaanalyse von mittleren Unterschieden verwendet. Wenn jedoch Stichprobengrößen sehr ungleich sind, kann eine gepoolte Standardabweichung, gewichtet nach Stichprobengröße (Hedges’ g), bevorzugt werden, um die Verzerrung zu verringern. Viele Meta-Analyse-Softwarepakete berechnen automatisch Hedges’ g, was Cohen’s d sehr ähnlich ist, aber einen kleinen Korrekturfaktor anwendet.

Pearson’s r (Korrelationskoeffizient)

Pearsons r misst die Stärke und Richtung einer linearen Beziehung zwischen zwei kontinuierlichen Variablen. Sein Wert reicht von -1 (perfekt negativ) bis +1 (perfekt positiv), wobei 0 keine lineare Beziehung anzeigt. Da r bereits standardisiert ist, funktioniert es direkt als Effektgröße. Das Quadrat r gibt r2 an, den Anteil der Varianz, die zwischen den beiden Variablen geteilt wird - eine nützliche Metrik, um die praktische Bedeutung zu verstehen. Zum Beispiel entspricht ein r von 0,3 9% geteilter Varianz, was als ein mittlerer Effekt in den Verhaltenswissenschaften angesehen wird.

Pearsons r ist nicht nur für einfache Korrelationen geeignet, sondern auch für Regressionsmodelle (als standardisierte Koeffizienten).

Eta‐Squared (η2) und Partial Eta‐Squared

Bei der Varianzanalyse (ANOVA) gibt eta‐squared den Anteil der Gesamtvarianz in der abhängigen Variablen an, der durch einen Faktor berücksichtigt wird. Es ist analog zu r2 in der Regression. Für eine einseitige ANOVA ist η2 = SSzwischen / SSGesamtsumme. Bei faktoriellen Entwürfen geben Forscher in der Regel ein teilweises eta‐squared (η2) an.p), die die Varianz von anderen Faktoren und Wechselwirkungen vor der Berechnung des Verhältnisses beseitigt. Partielles eta-Quadrat ist daher in Studien mit unterschiedlichen Designs vergleichbar und damit in vielen Bereichen Standard.

Partielles eta-Quadrat kann jedoch die tatsächliche Größe des Populationseffekts überschätzen, insbesondere in kleinen Proben.p), die viele Methoden jetzt empfehlen, aber da teilweises Eta-Quadrat so häufig ist, ist es akzeptabel, darüber zu berichten, während auch das Potenzial für Verzerrungen festgestellt wird.

Odds-Ratio (OR)

Das Odds Ratio ist die Effektgröße der Wahl für binäre Ergebnisse, wie Krankheit gegen keine Krankheit, Erfolg gegen Misserfolg oder Überleben gegen Tod. Es wird in logistischen Regression, Fall-Kontroll-Studien und 2 × 2-Kontingenztabellen verwendet. Ein OR von 1 zeigt keine Assoziation an; OR > 1 zeigt eine erhöhte Wahrscheinlichkeit des Ergebnisses in der exponierten Gruppe an; OR < 1 zeigt eine verringerte Wahrscheinlichkeit an. Da die Odds Ratio-Skala nicht symmetrisch ist (Bereich 0 bis ∞), logieren Analysten es oft für die Analyse (Log Odds). Die Größe eines OR kann schwierig sein, intuitiv zu interpretieren - für seltene Ergebnisse nähert es sich dem relativen Risiko, aber für gemeinsame Ergebnisse ist es nicht.

Dennoch bleibt es eine Standard-Effektgröße für biomedizinische und epidemiologische Forschung.

Cramer’s V

Für chi-quadratische Assoziationstests in Kontingenztabellen größer als 2 × 2 passt Cramers V phi (φ) auf einen Bereich zwischen 0 und 1 an, wodurch eine korrelationsähnliche Effektgröße entsteht. Ein kleines Cramer's V kann 0,1, mittel 0,3 und groß 0,5 sein, obwohl diese Benchmarks von den Freiheitsgraden abhängen. Cramers V ist nützlich, wenn Sie die Stärke der Assoziation zwischen zwei kategorischen Variablen quantifizieren möchten, unabhängig von der Anzahl der Kategorien.

Cohen’s f2

Cohens f2 wird im Kontext der multiplen Regression und ANOVA verwendet, um die lokale Effektgröße für eine Reihe von Prädiktoren zu quantifizieren. es wird definiert als f2 = R2 / (1 - R2) für das gesamte Modell oder f2 = (R2)voll - R2reduziert) / (1 - R2voll) für eine Teilmenge von Prädiktoren. Cohens f2 steht in direktem Zusammenhang mit dem F‐Test und ist die für die Stromanalyse mit G*Power erforderliche Effektgröße. Benchmarks: 0,02 (klein), 0,15 (mittel), 0,35 (groß).

Warum Effektgröße in der Forschung entscheidend ist

Von der statistischen zur praktischen Bedeutung

Eine Behandlung, die statistisch "funktioniert", kann nur eine winzige Verbesserung bewirken, die weder die Kosten noch den Aufwand wert ist. Zum Beispiel könnte ein Gewichtsverlust-Medikament eine statistisch signifikante Reduktion von 0,5 kg gegenüber Placebo zeigen. Bei einer großen Stichprobe könnte das p < 0,001 sein, aber der Effekt ist klinisch trivial. Die Berichterstattung von Cohens d neben dem p-Wert zwingt den Forscher, sich dem Ausmaß zu stellen. In der Bildungsforschung könnte eine Intervention, die die Testergebnisse um eine Effektgröße von 0,1 erhöht, bei Tausenden von Studenten statistisch signifikant sein, aber der praktische Gewinn könnte die Kosten für die Umsetzung des Programms nicht rechtfertigen.

Metaanalysen und Reproduzierbarkeit

Effektgrößen sind die Währung der Metaanalyse. Die Kombination von Ergebnissen über Studien hinweg erfordert eine standardisierte Metrik. Ohne Effektgrößen können Forscher keine Ergebnisse aggregieren, Konsistenz bewerten oder auf Moderatoren testen. Das Reproduzierbarkeitsprojekt in der Psychologie ergab, dass viele Originalstudien kleine bis mittlere Effektgrößen hatten, die Replikationsstudien nicht bestätigen konnten, zum Teil weil die Originalstudien nicht ausreichend genug waren, um solche Effekte zu erkennen. Größere Metaanalysen mit Effektgrößen haben seitdem geklärt, welche Ergebnisse robust sind.

Durch die Umwandlung aller Ergebnisse in eine gemeinsame Effektgröße (z. B. Cohens d oder r) können Metaanalysten Studien nach Präzision gewichten und eine Gesamtschätzung mit einem Konfidenzintervall erstellen. Dieser Prozess ist weitaus informativer als das Zählen, wie viele Einzelstudien mit p < 0.05 "gewonnen" haben.

In der Medizin stützen sich Metaanalysen von randomisierten kontrollierten Studien auf Effektgrößen wie Odds Ratios oder standardisierte Mittelunterschiede, um den Gesamtnutzen einer Behandlung zu bestimmen. Die Cochrane Collaboration verlangt explizit Effektgrößen und Konfidenzintervalle in ihren Reviews. Ohne eine solche Standardisierung wären die kumulativen Beweise ein Durcheinander von inkompatiblen Statistiken.

Reale Auswirkungen verstehen

In der Ausbildung könnte eine Effektgröße von 0,2 (klein) bei einem nationalen Test immer noch sinnvoll sein, wenn sie für Millionen von Studenten gilt. In der klinischen Medizin könnte ein Quotenverhältnis von 1,2 (klein) für eine ernsthafte Nebenwirkung alarmierend sein. Kontext ist wichtig. Effektgröße liefert die Rohzahl; Sie interpretieren sie dann innerhalb des Bereichs. APA Task Force für statistische Inferenz hat lange empfohlen, die Größe des Berichtseffekts und die Konfidenzintervalle zu empfehlen.

Erklärung der American Statistical Association zu p-values ausdrücklich zur Ergänzung von p‐Werten mit Effektgrößen und -intervallen auffordert.

Interpretation von Effektgrößen: Jenseits der Daumenregel

Viele Forscher nutzen dank Cohen die Benchmarks: klein (d = 0,2), mittel (d = 0,5), groß (d = 0,8). Aber das sind nur Ausgangspunkte. Cohen selbst warnte, dass die Werte „willkürlich seien und relativ zum Fachgebiet interpretiert werden sollten. In der Sozialpsychologie könnte ein d von 0,5 als mittel angesehen werden; in der Physik wäre ein Effekt mit einer halben Standardabweichung enorm. In Bildungsinterventionen werden Effektgrößen über 0,2 oft als aussagekräftig gemeldet.

Es ist viel besser, seine Effektgröße mit denen aus früheren Studien oder Metaanalysen in Ihrem spezifischen Bereich zu vergleichen, als sich auf generische Schwellenwerte zu verlassen.

Darüber hinaus sollten Effektgrößen mit Konfidenzintervallen angegeben werden. Ein breiter Abstand um einen mittleren Effekt deutet darauf hin, dass der wahre Effekt klein oder groß sein könnte, was das Vertrauen in die genaue Größe reduziert. Zum Beispiel erzählt ein Cohen's d von 0,4 mit einem 95% CI von 0,1 bis 0,7 eine viel nuanciertere Geschichte als nur "mittlerer Effekt". Die Intervallbreite informiert auch zukünftige Forschung: Wenn es Null enthält, ist das Ergebnis nicht statistisch signifikant; Wenn es Null ausschließt, aber breit ist, wissen Sie, dass der Effekt wahrscheinlich existiert, aber seine Größe bleibt unsicher.

Wichtig ist auch, dass Effektgrößen aus unterschiedlichen Studiendesigns nicht immer direkt vergleichbar sind, beispielsweise unterscheidet sich Cohens d aus einem Intersubjektdesign von Cohens d.z von einem innerhalb der Probanden Design, weil letztere die Standardabweichung von Differenzen anstelle der gepoolten Standardabweichung verwendet. Ebenso können Odds Ratios nicht direkt mit Risikoquoten verglichen werden, wenn das Ergebnis üblich ist. Immer die rechnerischen Details bei der Interpretation der Effektgrößen aus anderen Studien beachten.

Effektgröße in der Metaanalyse

In der Metaanalyse werden Effektgrößen kombiniert und Heterogenität bewertet. Eine gemeinsame Metrik ist der Standardunterschied in den Mitteln (Cohen's d oder Hedges' g) für kontinuierliche Ergebnisse und das Log-Odds-Verhältnis für binäre Ergebnisse. Die Wahl der Effektgröße kann die Schlussfolgerungen beeinflussen, wenn Effektgrößen nicht ordnungsgemäß standardisiert sind. Methoden wie Zufallseffektmodelle respektieren, dass die tatsächlichen Effektgrößen in den Studien variieren. Waldplots zeigen die Effektgröße und das Konfidenzintervall jeder Studie sowie die gesamte gepoolte Schätzung.

Cochrane Handbuch bietet umfassende Anleitungen zur Auswahl und Interpretation von Effektgrößen in systematischen Reviews.

Effektgröße effektiv in Ihrer eigenen Arbeit verwenden

Meldestandards

Wenn Sie Ergebnisse aufschreiben, geben Sie das Effektgrößenmaß, seinen Wert und ein Konfidenzintervall an. Für einen t-Test melden Sie Cohens d mit 95% CI. Für eine ANOVA melden Sie teilweise eta-Quadrat oder Omega-Quadrat. Für die Regression melden Sie standardisierte Koeffizienten (β) oder Cohens f2. Vermeiden Sie es, die Effektgröße auszuwählen, die Ihr Ergebnis am größten erscheinen lässt; wählen Sie diejenige, die zu Ihrer Design- und Forschungsfrage passt.

Viele Zeitschriften verlangen jetzt Effektgrößen als Teil ihrer Berichtsrichtlinien (z. B. APA Style 7th Edition).

Es ist auch eine gute Praxis, die Effektgröße im Kontext zu interpretieren. Zum Beispiel: „Die Intervention führte zu einer mittelgroßen Verbesserung der Leseergebnisse (Cohen’s d = 0,54, 95% CI [0,28, 0,80]), was darauf hinweist, dass der durchschnittliche Schüler in der Interventionsgruppe etwa eine halbe Standardabweichung höher als der durchschnittliche Kontrollschüler erzielte. Eine solche Aussage ist weitaus informativer als die bloße Berichterstattung von p < 0.01.

Computing Effektgrößen in Software

Viele statistische Pakete enthalten jetzt Effektgrößenoptionen. In SPSS können Sie Cohens d für t‐tests und teilweise eta‐squared für ANOVA anfordern. In R vereinfachen Funktionen wie im -Paket, in und für Korrelationen den Prozess. Für diejenigen, die Microsoft Excel verwenden, gibt es kostenlose Vorlagen von Psychometrie das Cohens d, r und Odds Ratios berechnet. G*Strom ist ein weit verbreitetes kostenloses Programm, mit dem Sie die Effektgröße (d, f2, usw.) zusammen mit Alpha und der gewünschten Leistung eingeben können, um die erforderliche Stichprobengröße zu erhalten.

Power Analysis und Sample Planning

Die Effektgröße ist zentral für die Power-Analyse. Um die für eine Studie benötigte Sample-Größe zu bestimmen, müssen Sie die erwartete Effektgröße angeben. Wenn Sie die Effektgröße überschätzen (z. B. einen großen Effekt annehmen, wenn der wahre Effekt mittel ist), wird Ihre Studie untermotorisiert sein. Es ist ratsam, Ihre Effektgrößenschätzung auf vorherige Literatur oder eine kleine Pilotstudie zu stützen. Viele Online-Rechner und Programme wie G * Power erleichtern dies.

Führen Sie bei der Planung einer Studie immer eine Power-Analyse durch: Identifizieren Sie die kleinste Effektgröße von praktischem Interesse, legen Sie Ihre gewünschte Power fest (normalerweise 0,80) und Alpha (0,05) und berechnen Sie den erforderlichen N. Dieser Schritt hilft sicherzustellen, dass Ihre Studie sinnvolle Effekte erkennen kann und dass Sie keine Ressourcen für eine untermotorisierte Stichprobe verschwenden.

Ein häufiger Fehler ist es, die in einer früheren Studie beobachtete Effektgröße als erwartete Effektgröße für eine Power-Analyse zu verwenden. Da beobachtete Effektgrößen aufgrund von Publikationsverzerrungen häufig aufgeblasen werden (der "Gewinnerfluch"), sollten Sie stattdessen eine metaanalytische Schätzung oder eine "kleinste Effektgröße von Interesse" verwenden SESOI.

Häufige Fallstricke

  • Ignorieren der Effektgröße: Sich ausschließlich auf p-Werte zu verlassen, führt zu einem Übervertrauen in triviale Effekte.
  • Missbrauch von Cohen's d für wiederholte Maßnahmen: Gepaarte Designs erfordern eine Anpassung (z. B. Cohen's d)z die Standardabweichung der Differenzwerte verwendet wird: Die Angabe a zwischen den Gruppen d für ein innerhalb der Subjekte entwickeltes Design wird die Schätzung aufblähen, da die Korrelation zwischen Messungen ignoriert wird.
  • Meldeeffektgrößen ohne Konfidenzintervalle: Eine Punktschätzung ist ohne ihre Präzision weniger informativ, und das Konfidenzintervall ermöglicht es dem Leser, den Bereich der plausiblen Effektgrößen zu beurteilen.
  • Überinterpretation kleiner Effektgrößen: Selbst wenn statistisch signifikant, kann ein sehr kleiner Effekt keinen praktischen Nutzen haben.
  • Verwendung von Roheffektgrößen ohne Berücksichtigung der Skala: Zum Beispiel ist eine nicht standardisierte mittlere Differenz von 5 Punkten bei einem IQ-Test (SD = 15) ein Cohen's d von 0,33; aber die gleiche Rohdifferenz bei einem Test mit SD = 30 wäre d = 0,17. Immer richtig standardisieren.

Schlussfolgerung

Effektgröße ist keine optionale Ergänzung zu traditionellen Nullhypothese-Tests - sie ist die primäre Währung, um die Größenordnung der Ergebnisse zu kommunizieren. Indem sie sich über "p < 0.05" hinausbewegen und Cohens d, Pearsons r, eta-squared, Odds Ratios und andere Maßnahmen annehmen, geben Forscher ihrem Publikum die Informationen, die erforderlich sind, um die praktische Bedeutung zu bewerten, Ergebnisse über Studien zu vergleichen und leistungsfähige zukünftige Experimente zu entwerfen. Die Berichterstattung über Effektgrößen mit Konfidenzintervallen sollte in jeder quantitativen Disziplin zur Standardpraxis werden. Das nächste Mal, wenn Sie einen statistischen Test durchführen, denken Sie daran: statistische Signifikanz sagt Ihnen, ob etwas passiert ist; Effektgröße sagt Ihnen, wie wichtig es ist. Beide sind für ein vollständiges Bild notwendig.

Da sich das Gebiet in Richtung einer offenen und reproduzierbaren Wissenschaft bewegt, ist die Reportage über Effektgrößen eine einfache, aber leistungsstarke Möglichkeit, die Transparenz zu verbessern. Durch die Übernahme dieser Praktiken können Forscher dazu beitragen, dass ihre Ergebnisse nicht nur statistisch signifikant, sondern auch wirklich aussagekräftig sind.