# robots.txt für www.taekwondo-homburg.eu – Stand 2025-12
# HTML5-Seite ohne WordPress – optimiert für Sicherheit, SEO & Crawling-Kontrolle
# ⚠️ Minimal angepasst, um Google Sitemap-Erkennung sicherzustellen

User-agent: *
Disallow: /cgi-bin/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /.git/

# CMS-/Scan-Verzeichnisse blockieren, auch wenn nicht vorhanden
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /xmlrpc.php

# ✅ Erlaube P-System unter /pps/
Allow: /pps/

# ⛔️ PHP-Dateien ansonsten blockieren (außerhalb von /pps/)
Disallow: /*.php$

# Erlaube alle HTML5-Seiten im Root-Verzeichnis und Unterseiten
Allow: /

# ✅ Sitemap explizit erlauben & einbinden
Allow: /sitemap.xml
Sitemap: https://www.taekwondo-homburg.eu/sitemap.xml

# Crawl-Delay für aggressive Bots (Hinweis: Google ignoriert das)
Crawl-delay: 10

# Blockiere bekannte Spam-/SEO-Bots
User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: MauiBot
Disallow: /

User-agent: SitelockSpider
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: Yandex
Disallow: /

User-agent: Bytespider
Disallow: /

# Entferne gängige Tracking-Parameter aus der Indexierung (wird v. a. von Yandex gelesen)
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&fbclid&gclid