User-agent: *
Allow: /
Disallow: /blog-preview.php
Disallow: /_blog_preview/
Disallow: /_blog_pick/

# Partner-Umleiter: zaehlt und leitet weiter, kein Inhalt fuer den Index.
Disallow: /out.php

# Vorlagen-Downloads: das Tor vorlagen-download.php zaehlt je Kennung und
# antwortet ab 20 Abrufen pro Minute mit 429. Seit 11.09.2026 laesst
# lib-vorlagen-crawler.php SeobilityBot aus den gelisteten Netzen mit
# eigenem Limit durch, deshalb ist /vorlagen/ wieder frei. Das Tor selbst
# bleibt gesperrt, die Dateien tragen ohnehin X-Robots-Tag noindex.
Disallow: /vorlagen-download.php

# Bot-Approval-Endpoints (Token-Links aus Mails, kein SEO-Content)
Disallow: /gutefrage-approve.php
Disallow: /gutefrage-skip.php
Disallow: /gutefrage-edit.php
Disallow: /gutefrage-receive.php
Disallow: /gutefrage-pull.php
Disallow: /gutefrage-mark-posted.php
Disallow: /gutefrage-history.php
Disallow: /reddit-approve.php
Disallow: /reddit-skip.php
Disallow: /reddit-edit.php
Disallow: /reddit-receive.php
Disallow: /reddit-pull.php
Disallow: /reddit-mark-posted.php
Disallow: /reddit-history.php

# Zwei Backlink-Datenbanken, deren Daten dieses Projekt nicht verwendet.
# Beide halten sich an robots.txt, deshalb wirkt der Eintrag hier ueberhaupt.
# Zusammen 3.525 Anfragen an einem einzigen Tag (Firewall-Auswertung 01.09.2026),
# ohne jeden Gegenwert.
#
# DotBot gehoert zu Moz. Moz kommt im ganzen Projekt nicht vor.
# MJ12bot gehoert zu Majestic. Dessen Backlink-Zahlen werden nur bei der Suche
# nach Ablaufdomains gelesen, also ueber fremde Domains. Eingehende Links auf
# korrektur.de findet Majestic weiterhin, weil es sie auf den verweisenden
# Seiten sieht und nicht hier.
#
# --- Bot-Willkommensliste, erzeugt von _bot_willkommensblock.py ---
# Ausdruecklich willkommen als Suchmaschinen-Crawler: Googlebot,
# Googlebot-Image, Bingbot, YandexBot, Baiduspider, Qwantbot,
# DuckDuckBot, Applebot, Bravebot, Yahoo Slurp.
#
# Ausdruecklich willkommen als KI-Crawler, weil ihre Antworten Quellen
# nennen oder ihre Modelle diese Inhalte kennen sollen: GPTBot,
# ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-SearchBot,
# Claude-User, PerplexityBot, Perplexity-User, DuckAssistBot,
# MistralAI-User, Meta-ExternalAgent, Amazonbot, LinkupBot, CCBot,
# GrokBot, xAI-SearchBot, ExaSearchBot, YouBot, Timpibot, Reflectionbot.
#
# Kein Crawler, sondern Steuertoken fuer die KI-Nutzung des ohnehin
# Gecrawlten, und deshalb niemals unter Disallow zu setzen:
# Google-Extended, Applebot-Extended.
#
# Erwuenscht fuer laufende Auswertungen: SemrushBot, Seobility, AhrefsBot.
#
# Erwuenscht fuer Vorschaubilder in sozialen Netzen: facebookexternalhit,
# Twitterbot, LinkedInBot.
#
# Diese Aufstellung stammt aus dem eigenen Cloudflare-Verkehr und nicht
# aus einer fremden Liste. Gefuehrt wird sie von
# _crawler_protection_contract.py und erzeugt von
# _bot_willkommensblock.py, und ein Waechter ruft jeden abrufenden Crawler
# taeglich ab und meldet eine Sperre sofort. Wer hier fehlt, ist nicht
# ausgesperrt: die Sterngruppe unten laesst jeden herein, der nicht
# ausdruecklich gesperrt ist.
# --- Ende der Bot-Willkommensliste ---
#
# Ein Block einer dieser Kennungen wuerde Sichtbarkeit oder eine laufende
# Auswertung kosten. Dieselbe Aufstellung steht in /ai.txt, beide werden
# aus derselben Quelle erzeugt.

User-agent: DotBot
Disallow: /

User-agent: MJ12bot
Disallow: /

Sitemap: https://korrektur.de/sitemap.xml
# Derselbe Bestand, nach Inhaltsclustern aufgeteilt. Die Search Console zeigt
# damit je Cluster, was indexiert wird und was nicht.
Sitemap: https://korrektur.de/sitemap-index.xml
# Alte Adressen (301 auf ihr Ziel oben), damit Google die Weiterleitungen
# schneller nachvollzieht. Zeitweilig, ab Mitte Oktober 2026 wieder entfernen.
Sitemap: https://korrektur.de/alte-adressen.xml