# ==========================================================================
#  robots.txt  |  www.cch-bsv.de  |  Shopware 6
#  Ablage: public/robots.txt   (erreichbar unter https://www.cch-bsv.de/robots.txt)
# ==========================================================================

# --------------------------------------------------------------------------
# 1) Suchmaschinen allgemein
# --------------------------------------------------------------------------
User-agent: *

# --- Shop-Funktionen ohne Indexierungswert -------------------------------
Disallow: /checkout/
Disallow: /account/
Disallow: /widgets/
Disallow: /csrf/
Disallow: /store-api/
Disallow: /api/
Disallow: /admin
Disallow: /wishlist
Disallow: /note
Disallow: /_profiler/
Disallow: /bundles/storefront/assets/tmp/

# --- Suche und Filter (Duplicate Content) --------------------------------
Disallow: /search
Disallow: /suggest
Disallow: /*?search=
Disallow: /*&search=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?properties=
Disallow: /*&properties=
Disallow: /*?manufacturer=
Disallow: /*&manufacturer=
Disallow: /*?min-price=
Disallow: /*&min-price=
Disallow: /*?max-price=
Disallow: /*&max-price=
Disallow: /*?rating=
Disallow: /*&rating=
Disallow: /*?shipping-free=
Disallow: /*&shipping-free=
Disallow: /*?no-aggregations=
Disallow: /*?slots=
Disallow: /*?redirectTo=
Disallow: /*?redirectParameters=

# --- Altlasten aus dem OXID-Shop -----------------------------------------
Disallow: /index.php
Disallow: /*?cl=
Disallow: /*?force_sid=
Disallow: /*?pgNr=
Disallow: /out/
Disallow: /tmp/
Disallow: /export/
Disallow: /log/

# --- Sitemap-Ordner muss erreichbar bleiben ------------------------------
Allow: /sitemap.xml
Allow: /sitemap/

# --- CSS/JS/Bilder muessen crawlbar bleiben ------------------------------
Allow: /bundles/
Allow: /theme/
Allow: /media/
Allow: /thumbnail/
Allow: /*.css$
Allow: /*.js$
Allow: /*.webp$
Allow: /*.jpg$
Allow: /*.png$
Allow: /*.svg$

# ==========================================================================
# 2) KI-/LLM-Crawler
#    Aufgeteilt in zwei Gruppen. Die Zuordnung ist eine geschaeftliche
#    Entscheidung - zum Umstellen einfach Allow/Disallow tauschen.
# ==========================================================================

# --------------------------------------------------------------------------
# 2a) ERLAUBT: KI-Suche und Antwort-Bots.
#     Diese Bots holen Inhalte, um sie in Antworten zu ZITIEREN und
#     zu verlinken - sie bringen also Besucher. Fuer einen Shop mit
#     erklaerungsbeduerftigem Sortiment meist erwuenscht.
# --------------------------------------------------------------------------
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Applebot
Allow: /

# --------------------------------------------------------------------------
# 2b) GESPERRT: reine Trainings- und Scraping-Crawler.
#     Diese Bots sammeln Inhalte fuer Modelltraining bzw. Datensaetze,
#     ohne Traffic zurueckzugeben.
#     Hinweis: Google-Extended und Applebot-Extended steuern NUR die
#     KI-Nutzung - die normale Google-/Apple-Suche bleibt davon unberuehrt.
# --------------------------------------------------------------------------
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: omgilibot
Disallow: /

User-agent: omgili
Disallow: /

User-agent: ImagesiftBot
Disallow: /

User-agent: AI2Bot
Disallow: /

User-agent: YouBot
Disallow: /

User-agent: Timpibot
Disallow: /

# ==========================================================================
# 3) Aggressive SEO-Crawler (Serverlast) - optional
# ==========================================================================
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

# ==========================================================================
# 4) Sitemap
#    /sitemap.xml wird von Shopware ausgeliefert und verweist auf die
#    gepackte Datei im Verkaufskanal-Ordner. Beide Zeilen sind zulaessig,
#    Google und Bing lesen .xml.gz direkt.
# ==========================================================================
Sitemap: https://www.cch-bsv.de/sitemap.xml
Sitemap: https://www.cch-bsv.de/sitemap/salesChannel-019fab4a460573f8b8af8a1a96254af2-2fbb5fe2e29a4d70aa5854ce7ce3e20b/019fab4a460573f8b8af8a1a96254af2-01a01394b0787cc684d995d68bb69277-sitemap-www-cch-bsv-de-1.xml.gz