# Robots.txt for WinLocal KI-Sichtbarkeits-Check
# https://ki-sichtbarkeit.net

User-agent: *
Allow: /
Allow: /franchise
Allow: /filialunternehmen
Allow: /hersteller
Allow: /blog/
Disallow: /admin
Disallow: /api/
Disallow: /report/
Disallow: /check/
Disallow: /franchise/check/
Disallow: /franchise/report/
Disallow: /filialunternehmen/check/
Disallow: /filialunternehmen/report/
Disallow: /hersteller/check/
Disallow: /hersteller/report/

# Sitemap & LLMs.txt
Sitemap: https://ki-sichtbarkeit.net/sitemap.xml

# LLM-specific content for AI assistants
# See: https://llmstxt.org
Allow: /llms.txt

# Crawl-delay for polite crawling
Crawl-delay: 1

# AI crawlers - explicitly allow public pages, deny private paths
User-agent: GPTBot
Allow: /
Allow: /franchise
Allow: /filialunternehmen
Allow: /hersteller
Allow: /llms.txt
Disallow: /admin
Disallow: /api/
Disallow: /report/
Disallow: /check/
Disallow: /franchise/check/
Disallow: /franchise/report/
Disallow: /filialunternehmen/check/
Disallow: /filialunternehmen/report/
Disallow: /hersteller/check/
Disallow: /hersteller/report/

User-agent: ChatGPT-User
Allow: /
Allow: /franchise
Allow: /filialunternehmen
Allow: /hersteller
Allow: /llms.txt
Disallow: /admin
Disallow: /api/
Disallow: /report/
Disallow: /check/
Disallow: /franchise/check/
Disallow: /franchise/report/
Disallow: /filialunternehmen/check/
Disallow: /filialunternehmen/report/
Disallow: /hersteller/check/
Disallow: /hersteller/report/

User-agent: Google-Extended
Allow: /
Allow: /franchise
Allow: /filialunternehmen
Allow: /hersteller
Allow: /llms.txt
Disallow: /admin
Disallow: /api/
Disallow: /report/
Disallow: /check/
Disallow: /franchise/check/
Disallow: /franchise/report/
Disallow: /filialunternehmen/check/
Disallow: /filialunternehmen/report/
Disallow: /hersteller/check/
Disallow: /hersteller/report/

User-agent: Googlebot
Allow: /

User-agent: CCBot
Allow: /
Allow: /franchise
Allow: /filialunternehmen
Allow: /hersteller
Allow: /llms.txt
Disallow: /admin
Disallow: /api/
Disallow: /report/
Disallow: /check/
Disallow: /franchise/check/
Disallow: /franchise/report/
Disallow: /filialunternehmen/check/
Disallow: /filialunternehmen/report/
Disallow: /hersteller/check/
Disallow: /hersteller/report/

User-agent: anthropic-ai
Allow: /
Allow: /franchise
Allow: /filialunternehmen
Allow: /hersteller
Allow: /llms.txt
Disallow: /admin
Disallow: /api/
Disallow: /report/
Disallow: /check/
Disallow: /franchise/check/
Disallow: /franchise/report/
Disallow: /filialunternehmen/check/
Disallow: /filialunternehmen/report/
Disallow: /hersteller/check/
Disallow: /hersteller/report/

User-agent: ClaudeBot
Allow: /
Allow: /franchise
Allow: /filialunternehmen
Allow: /hersteller
Allow: /llms.txt
Disallow: /admin
Disallow: /api/
Disallow: /report/
Disallow: /check/
Disallow: /franchise/check/
Disallow: /franchise/report/
Disallow: /filialunternehmen/check/
Disallow: /filialunternehmen/report/
Disallow: /hersteller/check/
Disallow: /hersteller/report/

User-agent: Claude-Web
Allow: /
Allow: /franchise
Allow: /filialunternehmen
Allow: /hersteller
Allow: /llms.txt
Disallow: /admin
Disallow: /api/
Disallow: /report/
Disallow: /check/
Disallow: /franchise/check/
Disallow: /franchise/report/
Disallow: /filialunternehmen/check/
Disallow: /filialunternehmen/report/
Disallow: /hersteller/check/
Disallow: /hersteller/report/

User-agent: Bytespider
Allow: /
Allow: /franchise
Allow: /filialunternehmen
Allow: /hersteller
Allow: /llms.txt
Disallow: /admin
Disallow: /api/
Disallow: /report/
Disallow: /check/
Disallow: /franchise/check/
Disallow: /franchise/report/
Disallow: /filialunternehmen/check/
Disallow: /filialunternehmen/report/
Disallow: /hersteller/check/
Disallow: /hersteller/report/

User-agent: Applebot-Extended
Allow: /
Allow: /franchise
Allow: /filialunternehmen
Allow: /hersteller
Allow: /llms.txt
Disallow: /admin
Disallow: /api/
Disallow: /report/
Disallow: /check/
Disallow: /franchise/check/
Disallow: /franchise/report/
Disallow: /filialunternehmen/check/
Disallow: /filialunternehmen/report/
Disallow: /hersteller/check/
Disallow: /hersteller/report/

User-agent: PerplexityBot
Allow: /
Allow: /franchise
Allow: /filialunternehmen
Allow: /hersteller
Allow: /llms.txt
Disallow: /admin
Disallow: /api/
Disallow: /report/
Disallow: /check/
Disallow: /franchise/check/
Disallow: /franchise/report/
Disallow: /filialunternehmen/check/
Disallow: /filialunternehmen/report/
Disallow: /hersteller/check/
Disallow: /hersteller/report/

User-agent: YouBot
Allow: /
Allow: /franchise
Allow: /filialunternehmen
Allow: /hersteller
Allow: /llms.txt
Disallow: /admin
Disallow: /api/
Disallow: /report/
Disallow: /check/
Disallow: /franchise/check/
Disallow: /franchise/report/
Disallow: /filialunternehmen/check/
Disallow: /filialunternehmen/report/
Disallow: /hersteller/check/
Disallow: /hersteller/report/

User-agent: Cohere-ai
Allow: /
Allow: /franchise
Allow: /filialunternehmen
Allow: /hersteller
Allow: /llms.txt
Disallow: /admin
Disallow: /api/
Disallow: /report/
Disallow: /check/
Disallow: /franchise/check/
Disallow: /franchise/report/
Disallow: /filialunternehmen/check/
Disallow: /filialunternehmen/report/
Disallow: /hersteller/check/
Disallow: /hersteller/report/