Interrater-Reliabilität mit Cohen-Kappa berechnen
Interrater reliabilität berechnen
Die Berechnung trennt beobachtete Übereinstimmung von zufällig erwarteter Übereinstimmung. So lässt sich die Kennzahl im passenden Anwendungsfall nachvollziehbar bestimmen und im wissenschaftlichen Arbeiten sauber einordnen.
Interrater-Reliabilität im wissenschaftlichen Arbeiten einordnen
Für die hier belegte Berechnung werden die Bewertungen zweier Kodierender in einer Kreuztabelle gegenübergestellt. Die Rechnung trennt die tatsächlich beobachtete Übereinstimmung von der Übereinstimmung, die anhand der Randhäufigkeiten zufällig erwartet wird. Erst aus beiden Größen wird Kappa berechnet. Für das Studium und beim Thema wissenschaftliches Schreiben ist diese Trennung wichtig, damit die Rechenschritte im eigenen Text nachvollziehbar bleiben.
Wer eine empirische Auswertung in einer Hausarbeit darstellt, kann die verwendeten Kategorien, die Zahl der Kodierenden sowie die beiden Ausgangsgrößen der Rechnung getrennt benennen. Beim Thema Hausarbeit schreiben betrifft die belegte Konstellation zwei Kodierende, die jeden Fall einer von zwei Antwortmöglichkeiten zuordnen. Übertrage dieses Rechenbeispiel nicht auf andere Kategorien oder Datendesigns, ohne die dafür passende Methode zu prüfen.
Beim Thema Masterarbeit schreiben bleibt die Prüfung der Datenstruktur entscheidend. Ermittle, ob zwei Kodierende, nominale Variablen und eine Kreuztabelle vorliegen. Wenn diese Merkmale nicht nachweisbar sind, übernimm die konkrete Kappa-Rechnung aus dem Beispiel nicht. Ermittle dann aus offiziellen methodischen Unterlagen, welches Verfahren für die vorliegende Datenstruktur vorgesehen ist.
Die Einordnung lässt sich mit dem Thema Forschungsfrage formulieren verbinden, ohne die Berechnung zu verändern. Eine Frage kann auf die Übereinstimmung zweier Bewertungen in einer nominalen Kodieraufgabe gerichtet sein. Die anschließende wissenschaftliche Argumentation sollte dann die Daten, P(a) und P(e) getrennt erkennen lassen.
Begriff, Bestandteile und Rechenlogik
Der Aufbau besteht aus einer Vereinbarung über die zu betrachtenden Bewertungen, einer Kreuztabelle und drei aufeinander bezogenen Größen. Die Kreuztabelle stellt die Bewertungen von zwei Kodierenden gegenüber. Aus ihrer Diagonale wird die beobachtete Übereinstimmung P(a) gewonnen. Aus den Randhäufigkeiten wird die erwartete Übereinstimmung P(e) bei zufälliger Zuordnung abgeleitet. Kappa setzt beide Größen in Beziehung.
| Bestandteil | Funktion in der Rechnung |
|---|---|
| Bewertungen zweier Kodierender | Sie bilden die Vergleichsgrundlage für die Kreuztabelle. |
| Diagonale der Kreuztabelle | Ihre zustimmenden Fälle liefern den beobachteten Übereinstimmungsanteil P(a). |
| Randhäufigkeiten | Sie liefern die Anteile, aus denen P(e) für zufällige Übereinstimmung bestimmt wird. |
| Kappa | Die Kennzahl verbindet P(a) und P(e) in der Formel κ = (P(a) − P(e)) / (1 − P(e)). |
Die Reihenfolge ist fachlich entscheidend. Eine Summe der Diagonalwerte wird zunächst durch die Gesamtzahl der Fälle geteilt. Danach werden die Randanteile der beiden Kodierenden für dieselbe Kategorie miteinander multipliziert. Für die jeweils andere Kategorie wird ebenfalls ein Produkt gebildet. Die beiden Produkte werden addiert. Dieses Ergebnis ist P(e), also die zufällig erwartete Übereinstimmung. Erst danach wird Kappa eingesetzt.
Beim Thema Gliederung einer Hausarbeit kann diese Reihenfolge als eigener methodischer Abschnitt sichtbar werden. Beim Thema Bestandteile einer wissenschaftlichen Arbeit sollte die Rechenlogik nicht mit allgemeinen Aussagen über Forschungsqualität vermischt werden. Beschreibe stattdessen die Datenstruktur und die einzelnen Größen. Die Methoden wissenschaftlicher Arbeiten lassen sich dadurch anhand der konkreten Quelle prüfen, ohne zusätzliche Verfahren zu behaupten.
Die Kennzahl reicht laut Quelle von −1 bis 1. Ein Wert von 1 steht dort für vollständige Übereinstimmung, ein Wert von 0 für vollständig zufällige Übereinstimmung und ein Wert von −1 für vollständige Uneinigkeit. Die Quelle nennt außerdem Orientierungsbereiche für die Interpretation. Diese Bereiche sollten nur zusammen mit der zugrunde liegenden Datenstruktur und der verwendeten Quelle wiedergegeben werden.
Interrater-Reliabilität Schritt für Schritt berechnen
Schritt 1: Datenstruktur prüfen. Ermittle, ob zwei Kodierende dieselben Fälle anhand nominaler Kategorien bewertet haben. Das Ergebnis dieses Schritts ist eine bestätigte oder nicht bestätigte Ausgangslage für die dargestellte Kappa-Rechnung.
Schritt 2: Kreuztabelle erstellen. Ordne die Bewertung des ersten Kodierenden der Bewertung des zweiten Kodierenden gegenüber. Das Ergebnis ist eine Matrix, in der übereinstimmende Bewertungen auf der Diagonale stehen.
Schritt 3: P(a) bestimmen. Addiere die Diagonalwerte und teile die Summe durch die Gesamtzahl der Fälle. Das Ergebnis ist der beobachtete prozentuale Übereinstimmungsanteil.
Schritt 4: Randanteile ablesen. Ermittle für beide Kodierende, wie häufig sie jede Kategorie vergeben haben. Das Ergebnis sind die Randhäufigkeiten, die für den Zufallsanteil benötigt werden.
Schritt 5: Zufällige Übereinstimmung berechnen. Multipliziere die Randanteile beider Kodierender für die erste Kategorie. Wiederhole dies für die andere Kategorie und addiere beide Produkte. Das Ergebnis ist P(e), die erwartete Übereinstimmung aufgrund zufälliger Zuordnung.
Schritt 6: Kappa einsetzen. Setze P(a) und P(e) in κ = (P(a) − P(e)) / (1 − P(e)) ein. Das Ergebnis ist die Kappa-Kennzahl für die geprüfte Konstellation.
Schritt 7: Ergebnis sprachlich begrenzen. Halte fest, dass die Berechnung auf zwei Kodierende und nominale Kategorien bezogen ist. Das Ergebnis dieses Schritts ist eine nachvollziehbare methodische Aussage ohne Übertragung auf eine nicht geprüfte Datenstruktur.
Beim Thema Literaturverzeichnis erstellen kannst du die Rechenschritte getrennt dokumentieren. Berücksichtige die Quelle anschließend beim Thema Quellenangaben richtig zitieren. Prüfe außerdem, welche Zitierweisen in deinem Text vorgesehen sind. Ob du die deutsche Zitierweise oder die Harvard-Zitierweise verwendest, ist nicht Bestandteil der Kappa-Formel und darf nicht mit ihrer fachlichen Aussage vermischt werden.
Durchgerechnetes Beispiel mit zwei Kodierenden
Angenommen, zwei Kodierende beurteilen 100 Fälle jeweils mit einer von zwei nominalen Kategorien. Die Kreuztabelle enthält auf der Diagonale 42 und 37 übereinstimmende Bewertungen. Für das Beispiel wird nur diese belegte Konstellation verwendet.
Beobachtete Übereinstimmung: Addiere die beiden Diagonalwerte und teile durch die Gesamtzahl der Fälle: P(a) = (42 + 37) / 100 = 0,79. Das Ergebnis ist eine beobachtete Übereinstimmung von 0,79.
Randanteile der ersten Kategorie: Der erste Kodierende verwendet die erste Kategorie in 50 von 100 Fällen. Der zweite Kodierende verwendet sie in 45 von 100 Fällen. Für eine zufällige Übereinstimmung dieser Kategorie werden die beiden Anteile multipliziert: 0,50 × 0,45 = 0,225. Das Ergebnis für diese Kategorie beträgt 0,225.
Randanteile der zweiten Kategorie: Die ergänzenden Anteile betragen 1 − 0,50 = 0,50 und 1 − 0,45 = 0,55. Ihre Multiplikation ergibt 0,50 × 0,55 = 0,275. Das Ergebnis für diese Kategorie beträgt 0,275.
Zufällig erwartete Übereinstimmung: Addiere die beiden Kategorieprodukte: P(e) = 0,225 + 0,275 = 0,50. Das Ergebnis ist die erwartete Übereinstimmung aufgrund des Zufallsanteils.
Kappa: Setze die beiden Werte ein: κ = (0,79 − 0,50) / (1 − 0,50) = 0,58. Das Ergebnis der Rechnung ist 0,58. Die Quelle ordnet Werte von 0,41 bis 0,60 dem Bereich moderater Übereinstimmung zu. Diese Einordnung gilt hier nur für das dargestellte Beispiel mit zwei Kodierenden und nominalen Kategorien.
In einem eigenen Text solltest du die Zahlen nicht losgelöst wiederholen. Beschreibe zuerst die Kategorien, die beiden Bewertungen und die Kreuztabelle. Weise anschließend P(a), P(e) und κ getrennt aus. So bleibt die qualitative und quantitative Forschung als allgemeiner Themenbereich von der hier konkret belegten nominalen Berechnung unterscheidbar. Beim Thema wissenschaftliches Schreiben kannst du die sprachliche Überarbeitung prüfen. Beim Thema Plagiat vermeiden solltest du die übernommene Rechenlogik belegen, statt die Quelle wörtlich zu übernehmen.
Definition, Abgrenzung und formale Prüfung
Inhaltliche Prüfung: Kontrolliere zunächst die Definition. Stehen zwei Kodierende im Mittelpunkt? Beziehen sich ihre Bewertungen auf nominale Kategorien? Ist eine Kreuztabelle die Grundlage? Wenn eine dieser Angaben im eigenen Datensatz nicht belegt ist, führe die Kappa-Rechnung aus diesem Beispiel nicht ungeprüft fort.
Merkmale prüfen: Sind beobachtete und zufällig erwartete Übereinstimmung getrennt ausgewiesen? Ist P(a) aus den Diagonalwerten der Matrix bestimmt? Ist P(e) aus den Produkten der Randanteile gebildet? Wurde anschließend die Formel für κ verwendet? Das sind die zentralen Prüfpunkte der dargestellten Rechenlogik.
Anwendung prüfen: Vergleiche die eigene Datenstruktur mit der Quelle. Das Beispiel betrifft zwei Kodierende, zwei nominale Antwortmöglichkeiten und die daraus berechnete Kappa-Kennzahl. Übertrage weder die Beispielzahlen noch die Interpretation auf eine andere Konstellation, ohne das dafür vorgesehene Verfahren anhand einer passenden Fachquelle zu prüfen.
Abgrenzung: Trenne die Kennzahl von der bloßen beobachteten Übereinstimmung. Ein Wert wie 0,79 bezeichnet im Beispiel zunächst P(a), während 0,58 das daraus berechnete Kappa ist. P(e) beträgt im Beispiel 0,50 und bezeichnet den zufällig erwarteten Anteil. Diese drei Werte erfüllen unterschiedliche Funktionen.
Formale Prüfung: Prüfe, ob alle Variablen, Randhäufigkeiten, Zwischenergebnisse und das Endergebnis eindeutig bezeichnet sind. Kontrolliere außerdem, ob die Formel lesbar gesetzt und die Quelle nach der gewählten Vorgabe zum Thema Zitierweisen belegt ist. Die formale Prüfung ersetzt nicht die fachliche Abgrenzung, sondern folgt ihr als eigener Kontrollbereich.
Die Themen Gliederung einer Hausarbeit, Literaturverzeichnis erstellen und Quellenangaben richtig zitieren behandelst du getrennt von der Kennzahl. Prüfe beim Thema Masterarbeit schreiben die konkrete methodische Vorgabe des eigenen Projekts. Für eine nachvollziehbare wissenschaftliche Argumentation genügt es nicht, eine Zahl zu nennen: Die Herkunft von P(a), P(e) und κ muss erkennbar bleiben.
Quellen und Stand
- Computing Inter-Rater Reliability for Observational Data: An Overview and Tutorial - PMC: pmc.ncbi.nlm.nih.gov (geprüft am 2026-08-21)
Der Überblick „Interrater-Reliabilität mit Cohen-Kappa berechnen“ ordnet das Thema vollständig ein.