# ai.txt fuer korrektur.de
#
# Angelegt am 02.09.2026, weil der erste Cloudflare-Wochenbericht 383 Abrufe
# pro Tag auf /ai.txt zeigte, die alle ins Leere liefen.
#
# Diese Datei sagt inhaltlich dasselbe wie /robots.txt und ist bewusst nicht
# grosszuegiger: was dort gesperrt ist, ist hier gesperrt. Zwei Dateien mit
# unterschiedlichen Regeln waeren schlimmer als eine fehlende, weil dann jeder
# Crawler sich die fuer ihn guenstigere aussuchen kann.
#
# --- Bot-Willkommensliste, erzeugt von _bot_willkommensblock.py ---
# Ausdruecklich willkommen als Suchmaschinen-Crawler: Googlebot,
# Googlebot-Image, Bingbot, YandexBot, Baiduspider, Qwantbot,
# DuckDuckBot, Applebot, Bravebot, Yahoo Slurp.
#
# Ausdruecklich willkommen als KI-Crawler, weil ihre Antworten Quellen
# nennen oder ihre Modelle diese Inhalte kennen sollen: GPTBot,
# ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-SearchBot,
# Claude-User, PerplexityBot, Perplexity-User, DuckAssistBot,
# MistralAI-User, Meta-ExternalAgent, Amazonbot, LinkupBot, CCBot,
# GrokBot, xAI-SearchBot, ExaSearchBot, YouBot, Timpibot, Reflectionbot.
#
# Kein Crawler, sondern Steuertoken fuer die KI-Nutzung des ohnehin
# Gecrawlten, und deshalb niemals unter Disallow zu setzen:
# Google-Extended, Applebot-Extended.
#
# Erwuenscht fuer laufende Auswertungen: SemrushBot, Seobility, AhrefsBot.
#
# Erwuenscht fuer Vorschaubilder in sozialen Netzen: facebookexternalhit,
# Twitterbot, LinkedInBot.
#
# Diese Aufstellung stammt aus dem eigenen Cloudflare-Verkehr und nicht
# aus einer fremden Liste. Gefuehrt wird sie von
# _crawler_protection_contract.py und erzeugt von
# _bot_willkommensblock.py, und ein Waechter ruft jeden abrufenden Crawler
# taeglich ab und meldet eine Sperre sofort. Wer hier fehlt, ist nicht
# ausgesperrt: die Sterngruppe unten laesst jeden herein, der nicht
# ausdruecklich gesperrt ist.
# --- Ende der Bot-Willkommensliste ---
#
# Zwei Backlink-Datenbanken sind ausgenommen, weil ihre Daten hier nirgends
# verwendet werden und sie zusammen mehrere tausend Anfragen am Tag erzeugten.

User-agent: *
Allow: /
Disallow: /blog-preview.php
Disallow: /_blog_preview/
Disallow: /_blog_pick/
Disallow: /out.php
Disallow: /vorlagen-download.php
Disallow: /gutefrage-approve.php
Disallow: /gutefrage-skip.php
Disallow: /gutefrage-edit.php
Disallow: /gutefrage-receive.php
Disallow: /gutefrage-pull.php
Disallow: /gutefrage-mark-posted.php
Disallow: /gutefrage-history.php
Disallow: /reddit-approve.php
Disallow: /reddit-skip.php
Disallow: /reddit-edit.php
Disallow: /reddit-receive.php
Disallow: /reddit-pull.php
Disallow: /reddit-mark-posted.php
Disallow: /reddit-history.php

User-agent: DotBot
Disallow: /

User-agent: MJ12bot
Disallow: /

# Strukturierte Zusammenfassung der Website fuer Sprachmodelle:
# https://korrektur.de/llms.txt
Sitemap: https://korrektur.de/sitemap.xml
Sitemap: https://korrektur.de/sitemap-index.xml

# Kontakt fuer Rueckfragen zur Nutzung: info@korrektur.de