Worauf es bei Irrtumswahrscheinlichkeit und Signifikanzniveau ankommt

Das Signifikanzniveau ist nicht die Irrtumswahrscheinlichkeit

Das Signifikanzniveau Alpha ist die Schwelle, die du vor einem Test festlegst, meist 5 Prozent. Es gibt an, wie oft du eine wahre Nullhypothese fälschlich verwirfst. Die Irrtumswahrscheinlichkeit im strengen Sinn, also die Chance, dass ein signifikantes Ergebnis falsch ist, lässt sich daraus nicht direkt ablesen.

Alpha, p-Wert und Fehler 1. Art kurz erklärt

Das Signifikanzniveau Alpha legst du vor der Datenauswertung fest, üblich sind 0,05, strengere Varianten sind 0,01 oder 0,001. Ist dein p-Wert kleiner oder gleich Alpha, verwirfst du die Nullhypothese und nennst das Ergebnis statistisch signifikant.

Alpha beschreibt die Wahrscheinlichkeit für einen Fehler 1. Art unter einer Bedingung: Die Nullhypothese stimmt tatsächlich, und du verwirfst sie trotzdem. Bei Alpha = 0,05 würdest du also in etwa fünf von hundert Untersuchungen ohne echten Effekt einen Scheineffekt finden. Das Gegenstück ist der Fehler 2. Art mit der Wahrscheinlichkeit Beta: Ein echter Effekt existiert, dein Test entdeckt ihn aber nicht. Die Teststärke, auch Power genannt, ist 1 minus Beta, und als verbreitete Planungsgröße gilt eine Power von 0,80.

Der Begriff Irrtumswahrscheinlichkeit wird in Lehrbüchern und Abschlussarbeiten oft als Synonym für Alpha benutzt. Genau hier liegt eine Falle: Die Gleichsetzung von Signifikanzniveau und Irrtumswahrscheinlichkeit ist nicht korrekt. Wie wahrscheinlich ein signifikanter Befund in Wahrheit falsch ist, hängt davon ab, wie viele der getesteten Hypothesen überhaupt zutreffen, wie groß die Power der Studien ist und ob vor allem positive Ergebnisse veröffentlicht werden. Selbst eine ideal durchgeführte Studie erlaubt keine verlässliche Übersetzung eines Signifikanzergebnisses in eine solche Wahrscheinlichkeit.

Diese Unterscheidung begegnet dir in vielen empirischen Fächern. Wer Studiengänge wie Psychologie, Soziologie, Medizin, BWL oder Biologie vergleicht, findet dort fast immer ein Pflichtmodul Statistik, in dem Hypothesentests geprüft werden.

So gehst du beim Hypothesentest Schritt für Schritt vor

Ein sauberer Test folgt einer festen Reihenfolge, und die wichtigste Regel lautet: Alle Entscheidungen fallen, bevor du die Daten ansiehst.

1. Hypothesen formulieren. Beispiel aus einer Befragung zum Wohnen im Studium: H0 lautet, dass Studierende in WGs und Studierende im Wohnheim gleich zufrieden sind. H1 lautet, dass sich die Zufriedenheit unterscheidet.
2. Ein- oder zweiseitig festlegen. Ohne begründete Richtungserwartung testest du zweiseitig. Einseitig darfst du nur testen, wenn die Richtung vorab theoretisch begründet und notiert ist.
3. Alpha festlegen. Schreib in den Methodenteil etwa: „Das Signifikanzniveau wurde vorab auf α = .05 festgelegt.“
4. Stichprobe planen. Mit einer Poweranalyse, etwa in G*Power, bestimmst du, wie viele Personen du für Alpha = 0,05, Power = 0,80 und eine erwartete Effektgröße brauchst.
5. Test durchführen und berichten. Nenne Teststatistik, Freiheitsgrade, exakten p-Wert und Effektgröße, zum Beispiel: t(48) = 2.31, p = .025, d = 0.65.
6. Vorsichtig interpretieren. Formuliere: „Die Daten sprechen gegen die Nullhypothese.“ Vermeide: „Mit 95 Prozent Sicherheit stimmt H1.“

Testest du mehrere Hypothesen gleichzeitig, steigt die Chance auf mindestens einen Fehler 1. Art. Untersuchst du etwa, ob die Zahl der Studentenjobs pro Woche mit Noten, Stress, Schlaf und Studiendauer zusammenhängt, führst du vier Tests durch. Die Bonferroni-Korrektur teilt Alpha durch die Zahl der Tests: 0,05 geteilt durch 4 ergibt 0,0125 als neue Schwelle je Test. Die Holm-Methode ist eine etwas weniger strenge Alternative.

Welche Vorgaben dein Fach zu Auswertung und Methodenteil macht, steht häufig in der Prüfungsordnung oder in einem Leitfaden des Lehrstuhls. Kläre deshalb mit deiner Betreuung, welches Alpha und welche Zitierweise, etwa APA, erwartet werden.

Typische Fehler und wie du sie vermeidest

Die meisten Fehler entstehen bei der Interpretation, nicht bei der Rechnung. Diese Missverständnisse tauchen in Hausarbeiten und Klausuren besonders oft auf:

• Fehler: „p = 0,03 heißt, H0 ist mit 3 Prozent Wahrscheinlichkeit wahr.“ Besser: Der p-Wert gibt an, wie wahrscheinlich Daten wie deine oder extremere wären, falls H0 stimmt. Über die Wahrheit von H0 sagt er direkt nichts.
• Fehler: Alpha als Irrtumswahrscheinlichkeit des konkreten Befunds darstellen. Besser: Schreib, dass Alpha die Fehlerrate unter der Nullhypothese begrenzt, und erwähne, dass die Fehlerquote signifikanter Ergebnisse auch von Power und Ausgangslage abhängt.
• Fehler: „Nicht signifikant“ als Beweis, dass kein Effekt existiert. Besser: Bei kleiner Stichprobe fehlt oft schlicht die Power. Formuliere: „Ein Effekt konnte nicht nachgewiesen werden.“
• Fehler: Alpha nachträglich anpassen, etwa von 0,05 auf 0,10, weil p = 0,07 herauskam. Besser: Alpha bleibt fest; berichte den exakten p-Wert transparent.
• Fehler: Signifikanz mit Bedeutsamkeit verwechseln. Besser: Gib immer eine Effektgröße mit Konfidenzintervall an.
• Fehler: So lange Variablen testen, bis etwas signifikant wird. Besser: Hypothesen vorab festlegen und Mehrfachtests korrigieren.

Ein Beispiel zeigt die Tragweite: Vergleicht jemand die Abschlussnoten von Studierenden mit und ohne Auslandssemester und findet p = .04, ist damit weder belegt, dass der Auslandsaufenthalt die Noten verbessert, noch dass der Befund sicher richtig ist. Selbstselektion kann den Unterschied genauso erklären.

Ähnlich vorsichtig solltest du bei Validierungsstudien sein. Sagt ein Studienorientierungstest den Studienerfolg signifikant vorher, bedeutet das noch keine starke Vorhersage, solange die Effektgröße klein ist. Wer mit solchen Ergebnissen einen Studiengang wählen möchte, profitiert von einem nüchternen Blick auf die Zahlen.

Checkliste für deinen Methoden- und Ergebnisteil

Bevor du eine Arbeit mit Hypothesentests abgibst, geh diese Punkte einzeln durch. Jeder lässt sich mit Ja oder Nein beantworten:

• Ist Alpha vor der Auswertung festgelegt und im Methodenteil genannt, etwa α = .05?
• Steht fest, ob ein- oder zweiseitig getestet wurde, und ist eine einseitige Wahl begründet?
• Gibt es eine Poweranalyse oder zumindest eine Begründung für die Stichprobengröße?
• Sind Teststatistik, Freiheitsgrade, exakter p-Wert und Effektgröße angegeben?
• Wurde bei mehreren Tests eine Korrektur wie Bonferroni oder Holm angewendet?
• Vermeidet der Text Sätze wie „H1 ist zu 95 Prozent wahr“?
• Ist Alpha nicht als Irrtumswahrscheinlichkeit des einzelnen Befunds bezeichnet?
• Werden nicht signifikante Ergebnisse als fehlender Nachweis statt als Gegenbeweis formuliert?

Die Erwartungen an statistische Methoden unterscheiden sich zwischen Hochschulen und Universitäten teils deutlich, je nach Fachtradition und Lehrstuhl. Ob du an einer Universität oder Fachhochschule studierst, ändert an der Logik von Alpha und p-Wert nichts, wohl aber oft am Umfang der geforderten Methodendiskussion.

Bleiben Fragen offen, sind Methodenberatung, Statistik-Tutorien und die Sprechstunde deiner Betreuung die richtigen Anlaufstellen. Für übergreifende Probleme im Studienverlauf hilft die Studienberatung deiner Hochschule weiter. Gerade Statistik bereitet am Anfang vielen Schwierigkeiten, daher lohnen sich frühe Übung und passende Erstsemester-Tipps zum Aufbau einer Lerngruppe.

Wenn du ein Statistik-Modul planst, gehören feste Übungszeiten zu den wirksamsten Studium-Tipps: Rechne jede Woche mindestens eine Aufgabe zum Hypothesentest selbst durch, statt nur Lösungen zu lesen. So erkennst du schnell, worauf es bei der Interpretation ankommt.

Quellen und Stand

• Offizielle Quelle: www.aerzteblatt.de (geprüft am 2026-10-28)
• Wikipedia: Statistische Signifikanz: de.wikipedia.org (geprüft am 2026-10-28)
• Wikipedia: Fehler 1. und 2. Art: de.wikipedia.org (geprüft am 2026-10-28)