Was statistische Signifikanz tatsächlich aussagt
Statistische signifikanz: Bedeutung und Verwendung
Ein p-Wert kann anzeigen, wie unvereinbar Daten mit einem festgelegten statistischen Modell sind. Daraus folgt weder eine Wahrheitswahrscheinlichkeit noch eine Aussage über Ursache, Effektgröße oder praktische Wichtigkeit.
Statistische Signifikanz bezieht sich auf Daten und Modell
Ein p-Wert kann anzeigen, wie unvereinbar beobachtete Daten mit einem festgelegten statistischen Modell sind. Die Aussage bezieht sich damit auf die vorliegenden Daten und auf das Modell, das für ihre Beurteilung festgelegt wurde. Sie beschreibt keine Eigenschaft einer Hypothese unabhängig von diesem Modellbezug.
Statistische Signifikanz und ein p-Wert dürfen nicht als Wahrheitsbeweis gelesen werden. Ein p-Wert misst nicht die Wahrscheinlichkeit, dass die untersuchte Hypothese wahr ist. Er misst auch nicht die Wahrscheinlichkeit, dass die Daten allein durch Zufall entstanden sind. Aus einem p-Wert folgt deshalb weder, dass eine Hypothese wahr ist, noch dass ein bestimmter Grund ein Ergebnis verursacht hat.
Ein festgelegter Schwellenwert begrenzt die Aussage ebenfalls nicht auf eine wissenschaftliche Entscheidung. Wissenschaftliche Schlussfolgerungen sowie geschäftliche oder politische Entscheidungen sollen nicht allein darauf beruhen, ob ein p-Wert einen bestimmten Schwellenwert passiert. Für eine angemessene Schlussfolgerung sind vollständige Berichterstattung und Transparenz erforderlich.
Der p-Wert und statistische Signifikanz messen außerdem weder die Größe eines Effekts noch die Wichtigkeit eines Ergebnisses. Ein statistisch signifikanter Befund ist daher für sich genommen keine Aussage darüber, wie groß ein Effekt ist oder welche Bedeutung ein Ergebnis hat. Ein p-Wert allein liefert auch kein gutes Maß für die Evidenz bezüglich eines Modells oder einer Hypothese.
Als knappe Einordnung genügt: Ein p-Wert kann anzeigen, wie unvereinbar Daten mit einem festgelegten statistischen Modell sind. Weitergehende Aussagen über Wahrheit, Zufall, Ursache, Effektgröße, Wichtigkeit oder eine Entscheidung lassen sich daraus allein nicht ableiten.
p-Wert, Schwellenwert und begrenzte Aussage
Die Prüfung sollte in einer festen Reihenfolge erfolgen. Zuerst steht der p-Wert als Kennzahl der Auswertung. Danach wird geklärt, auf welches festgelegte statistische Modell sich die Kennzahl bezieht. Erst anschließend wird geprüft, ob der p-Wert einen verwendeten Schwellenwert passiert. Am Ende wird die Aussage ausdrücklich begrenzt.
- p-Wert prüfen: Ermittle, welcher p-Wert in der Auswertung berichtet wird. Beschreibe ihn nicht als Wahrscheinlichkeit, dass eine Hypothese wahr ist.
- Modellbezug prüfen: Frage, mit welchem festgelegten statistischen Modell die Daten verglichen werden. Ein p-Wert kann anzeigen, wie unvereinbar die Daten mit diesem Modell sind.
- Schwellenwertentscheidung prüfen: Wenn ein bestimmter Schwellenwert verwendet wird, halte fest, ob der p-Wert ihn passiert. Eine solche Schwellenwertentscheidung ist keine allein ausreichende Grundlage für wissenschaftliche, geschäftliche oder politische Entscheidungen.
- Aussage begrenzen: Formuliere nur die Unvereinbarkeit der Daten mit dem festgelegten Modell. Ergänze daraus weder einen Wahrheitsbeweis noch eine Ursache oder eine Aussage über die Größe oder Wichtigkeit eines Effekts.
Eine exakte Formel für den p-Wert gehört nicht in diese Erklärung, weil der belegte Rahmen keine solche Formel festlegt. Ebenso wird hier keine allgemeine numerische Schwelle eingeführt. Entscheidend bleibt die Reihenfolge aus Kennzahl, Modell, Schwellenwertentscheidung und begrenzter Interpretation.
Der p-Wert allein ist außerdem kein gutes Maß für die Evidenz zu einem Modell oder einer Hypothese. Für eine angemessene Schlussfolgerung sind vollständige Berichterstattung und Transparenz erforderlich.
Was ein signifikanter Befund nicht beweist
Ein signifikanter Befund wird häufig stärker gelesen, als es der p-Wert trägt. Die Quelle grenzt diese Deutungen ausdrücklich ein. Der p-Wert misst weder die Wahrscheinlichkeit, dass die untersuchte Hypothese wahr ist, noch die Wahrscheinlichkeit, dass die Daten allein durch Zufall entstanden sind.
| Unzulässige Deutung | Zulässige Begrenzung |
|---|---|
| „Der p-Wert ist die Wahrscheinlichkeit, dass die Hypothese wahr ist.“ | Der p-Wert kann anzeigen, wie unvereinbar die Daten mit einem festgelegten statistischen Modell sind. |
| „Das Ergebnis ist mit hoher Wahrscheinlichkeit nicht zufällig entstanden.“ | Eine Wahrscheinlichkeit für eine Entstehung der Daten allein durch Zufall wird aus dem p-Wert nicht abgeleitet. |
| „Der signifikante Befund beweist die Ursache.“ | Die begrenzte Aussage betrifft die Unvereinbarkeit der Daten mit dem Modell, nicht eine Ursache. |
| „Der signifikante Befund zeigt einen tatsächlichen Zusammenhang.“ | Ein tatsächlicher Zusammenhang wird aus dem p-Wert allein nicht abgeleitet. |
Auch ein passierter Schwellenwert verändert diese Grenze nicht. Er kann innerhalb einer Auswertung eine Schwellenwertentscheidung markieren. Er macht aus dem Ergebnis aber keinen Wahrheitsbeweis und liefert allein keine Ursache. Die sichere Interpretation bleibt beim Modellbezug.
Signifikanz ist nicht praktische Wichtigkeit
Statistische Signifikanz und praktische Wichtigkeit bezeichnen nicht dasselbe. Der p-Wert oder die statistische Signifikanz misst weder die Größe eines Effekts noch die Wichtigkeit eines Ergebnisses. Ein Ergebnis darf deshalb nicht allein wegen einer Signifikanz als besonders bedeutsam eingeordnet werden.
Aus dem belegten Rahmen folgt auch keine Rangfolge von Ergebnissen. Es gibt hier keine abgeleitete Mindestgröße, ab der ein Resultat praktisch wichtig wäre. Eine solche Grenze darf nicht ergänzt werden, wenn sie in der vorliegenden Quelle nicht festgelegt ist.
Für die Formulierung bedeutet das: Bleibe bei der Aussage, die das Modell trägt. Schreibe nicht, ein p-Wert beweise einen großen Effekt. Schreibe ebenso nicht, ein signifikantes Ergebnis sei deshalb wichtig. Beide Erweiterungen würden aus einer begrenzten statistischen Aussage eine zusätzliche Wertung machen.
Die Quelle warnt außerdem davor, wissenschaftliche, geschäftliche oder politische Entscheidungen allein daran zu knüpfen, ob ein p-Wert einen bestimmten Schwellenwert passiert. Der Schwellenwert kann also beschrieben werden, aber er ersetzt keine vollständige Berichterstattung und transparente Einordnung.
Eine sachliche Darstellung trennt daher mindestens drei Ebenen: die Unvereinbarkeit der Daten mit dem festgelegten Modell, die Entscheidung an einem verwendeten Schwellenwert und die Frage nach Effektgröße oder Wichtigkeit. Die dritte Ebene wird durch p-Wert und statistische Signifikanz nicht beantwortet.
Drei kurze Interpretationspaare
Die folgenden Paare grenzen Aussagen zum p-Wert auf den belegten Modellbezug ein. Die unzulässigen Sätze schreiben dem Ergebnis eine Bedeutung zu, die aus einem p-Wert oder aus statistischer Signifikanz allein nicht folgt.
- Modellbezug statt Zufallswahrscheinlichkeit:
Zulässig: „Der p-Wert kann anzeigen, wie unvereinbar die beobachteten Daten mit dem festgelegten statistischen Modell sind.“
Unzulässig: „Der p-Wert gibt an, wie wahrscheinlich die Daten allein durch Zufall entstanden sind.“ - Schwellenwert statt Wahrheitsbeweis:
Zulässig: „Die Auswertung berichtet einen p-Wert im Verhältnis zu einem festgelegten Schwellenwert.“
Unzulässig: „Das Überschreiten des Schwellenwerts beweist die untersuchte Hypothese.“ - Signifikanz statt Effektgröße:
Zulässig: „Die Einordnung als statistisch signifikant misst nicht die Größe eines Effekts.“
Unzulässig: „Das statistisch signifikante Ergebnis belegt einen großen Effekt.“
Ein weiteres Paar betrifft die Bedeutung eines Ergebnisses. Zulässig ist: „Statistische Signifikanz misst nicht die Wichtigkeit eines Ergebnisses.“ Unzulässig ist: „Das signifikante Ergebnis ist deshalb praktisch wichtig.“ Die zweite Formulierung macht aus der Signifikanz allein eine Aussage zur Wichtigkeit.
Auch eine Ursache lässt sich nicht aus diesem Befund ableiten. Zulässig ist: „Der p-Wert kann anzeigen, wie unvereinbar die Daten mit dem festgelegten statistischen Modell sind.“ Unzulässig ist: „Der Befund beweist, dass eine bestimmte Ursache das Ergebnis ausgelöst hat.“
Für die Einordnung bleibt der Umfang der Aussage entscheidend. Ein p-Wert misst weder die Wahrscheinlichkeit, dass eine Hypothese wahr ist, noch die Wahrscheinlichkeit, dass die Daten allein durch Zufall entstanden sind. Wissenschaftliche, geschäftliche oder politische Entscheidungen sollen außerdem nicht allein davon abhängen, ob ein p-Wert einen festgelegten Schwellenwert passiert. Zur Auswertung gehören vollständige Berichterstattung und Transparenz.
Kurzcheck für eine korrekte Signifikanz-Aussage
Prüfe eine fertige Aussage in dieser Reihenfolge:
- Modellbezug: Wird ausdrücklich genannt oder erkennbar gemacht, dass es um die Unvereinbarkeit von Daten mit einem festgelegten statistischen Modell geht?
- Direkte Quellenabdeckung: Lässt sich jeder Tatsachensatz unmittelbar durch den belegten Rahmen tragen? Wenn nicht, formuliere eine konkrete Prüfhandlung oder streiche den Satz.
- Verbotene Wahrscheinlichkeitsdeutung: Behauptet der Text weder eine Wahrscheinlichkeit für die Wahrheit einer Hypothese noch eine Wahrscheinlichkeit für eine Entstehung der Daten allein durch Zufall?
- Keine Kausalität: Wird aus einem p-Wert weder eine Ursache noch ein tatsächlicher Zusammenhang abgeleitet?
- Trennung der Ebenen: Trennt der Text die statistische Signifikanz von Effektgröße und praktischer Wichtigkeit?
- Schwellenwert: Wird ein verwendeter Schwellenwert nur als Entscheidung innerhalb der Auswertung beschrieben und nicht als Wahrheitsbeweis?
- Keine Zusatzbehauptungen: Enthält die Aussage keine unbelegte Formel, keine allgemeine numerische Regel und keine erfundene Rangfolge oder Mindestgröße?
Eine passende Endfassung kann sich auf den Modellbezug beschränken: Die Daten werden im Verhältnis zu einem festgelegten statistischen Modell eingeordnet. Der p-Wert kann dabei anzeigen, wie unvereinbar die Daten mit diesem Modell sind. Alles Weitere muss gesondert belegt und transparent berichtet werden.
Passende nächste Schritte
Quellen und Stand
- Fachquelle: www.amstat.org (geprüft am 2026-08-15)