Intercoder-Reliabilität prüfen und korrekt berichten
Übereinstimmung zweier Kodierungen belastbar bestimmen
Die Intercoder-Reliabilität zeigt, wie zuverlässig ein Kategoriensystem funktioniert: Kommen zwei Personen unabhängig voneinander zu denselben Zuordnungen? In Abschlussarbeiten ist das oft nicht vollständig umsetzbar, aber auch eine Teilprüfung stärkt die Methodik erheblich. Diese Seite erklärt Verfahren, Kennwerte und die korrekte Darstellung.
Worum es dabei genau geht
Am gebräuchlichsten ist Cohens Kappa für zwei Kodierende bei nominalen Kategorien. Es korrigiert die beobachtete Übereinstimmung um die zufällig zu erwartende. Für mehr als zwei Kodierende kommen Fleiss Kappa oder Krippendorffs Alpha in Betracht, letzteres auch bei fehlenden Werten und unterschiedlichen Skalenniveaus. Zur Einordnung der Werte existieren Konventionen, die aber je nach Fachgebiet unterschiedlich streng ausgelegt werden.
Eine hohe prozentuale Übereinstimmung allein ist wenig aussagekräftig, weil ein Teil davon zufällig zustande kommt. Deshalb werden Kennwerte verwendet, die den Zufall herausrechnen.
Schritt für Schritt vorgehen
- Teilstichprobe des Materials für die Doppelkodierung festlegen
- zweite Person in den Kodierleitfaden einweisen, ohne Ergebnisse zu zeigen
- unabhängig kodieren lassen und Zuordnungen gegenüberstellen
- Kennwert berechnen und Abweichungen inhaltlich prüfen
- Leitfaden bei systematischen Abweichungen überarbeiten
Halten Sie Entscheidungen und Abweichungen während des gesamten Ablaufs schriftlich fest. Bei Intercoder-Reliabilität entscheidet die Dokumentation häufig darüber, ob sich eine Frage später klären lässt oder nur noch aus dem Gedächtnis rekonstruiert werden kann.
Ein durchgehendes Beispiel
Für eine Bachelorarbeit mit zwölf Interviews kodiert eine Kommilitonin zwei vollständige Transkripte unabhängig mit. Der berechnete Kappa-Wert liegt bei 0,71. Die Durchsicht zeigt, dass die meisten Abweichungen eine einzige Kategorie betreffen, deren Definition zu weit gefasst war. Nach Präzisierung der Kodierregel wird die Teilstichprobe erneut kodiert, und der Wert steigt. Beides wird im Methodenteil berichtet.
Häufige Fehler und wie Sie sie vermeiden
- nur die prozentuale Übereinstimmung ohne Zufallskorrektur angeben
- die zweite Person vorab die eigenen Kodierungen sehen lassen
- einen niedrigen Wert verschweigen statt den Leitfaden zu verbessern
- die Doppelkodierung an genau dem Material durchführen, mit dem der Leitfaden entwickelt wurde
Berichten Sie Umfang der Teilstichprobe, Anzahl der Kodierenden, verwendeten Kennwert und Ergebnis. Erklären Sie, wie mit Abweichungen umgegangen wurde, denn die inhaltliche Auseinandersetzung mit Nichtübereinstimmung ist wertvoller als der Zahlenwert selbst. Wenn eine zweite Person nicht verfügbar ist, benennen Sie das offen als Grenze und beschreiben Sie stattdessen, wie Sie die Konsistenz der eigenen Kodierung gesichert haben.
Kontrollfragen vor dem nächsten Schritt
Bevor Sie bei Intercoder-Reliabilität weitermachen, lohnt sich ein kurzer Abgleich. Die folgenden Fragen greifen die Arbeitsschritte von oben auf und übersetzen sie in eine Selbstkontrolle:
- Haben Sie den Schritt „Teilstichprobe des Materials für die Doppelkodierung festlegen“ vollständig erledigt und belegbar dokumentiert?
- Haben Sie den Schritt „zweite Person in den Kodierleitfaden einweisen, ohne Ergebnisse zu zeigen“ vollständig erledigt und belegbar dokumentiert?
- Haben Sie den Schritt „unabhängig kodieren lassen und Zuordnungen gegenüberstellen“ vollständig erledigt und belegbar dokumentiert?
- Haben Sie den Schritt „Kennwert berechnen und Abweichungen inhaltlich prüfen“ vollständig erledigt und belegbar dokumentiert?
- Haben Sie den Schritt „Leitfaden bei systematischen Abweichungen überarbeiten“ vollständig erledigt und belegbar dokumentiert?
Diese Kontrolle lohnt sich besonders kurz vor der Abgabe. Wer den Text kennt, überliest genau die Stellen, an denen etwas fehlt, weil er die fehlende Information im Kopf ergänzt. Klären Sie offene Punkte, bevor Sie fortfahren: Später lassen sie sich häufig nur noch mit deutlich mehr Aufwand korrigieren, weil Fristen abgelaufen sind oder Entscheidungen bereits feststehen.
Weiterführende Ratgeber
Passende Beiträge zum Thema Intercoder-Reliabilität: Kodierleitfaden erstellen, Inhaltsanalyse nach Mayring, Gütekriterien qualitativer Forschung, Validität und Reliabilität, Cronbachs Alpha.
Diese Beiträge vertiefen einzelne Aspekte, die hier nur im Überblick behandelt werden konnten. Verbindlich sind in jedem Fall die Vorgaben Ihrer Hochschule beziehungsweise die geltende Ordnung, denn Zuständigkeiten und Fristen unterscheiden sich zwischen Einrichtungen und teilweise sogar zwischen Fakultäten.
Wenn Sie unsicher sind, welche Regelung für Sie gilt, fragen Sie schriftlich bei der zuständigen Stelle nach und heben Sie die Antwort auf. Eine mündliche Auskunft hilft im Zweifelsfall wenig, weil sie sich später nicht belegen lässt. Gerade bei Intercoder-Reliabilität entscheidet diese Dokumentation häufig darüber, ob eine spätere Rückfrage schnell geklärt ist oder zu einem längeren Verfahren führt.