##########################################
# 1) STANDARD-REGELN 
##########################################

User-agent: *
Disallow: /wp-admin/
Disallow: /schnittstellen/
Disallow: /ajax/
Disallow: /cron/
Disallow: /micro-sites/
Disallow: /datenblatt_affiliate_links/
Disallow: /datenexport_xml/


Allow: /wp-admin/admin-ajax.php


##########################################
# 2) KI-TRAINING CRAWLER (BLOCK)
##########################################

# OpenAI
User-agent: GPTBot
Disallow: /

#  Apple Training-Extensions
User-agent: Applebot-Extended
Disallow: /

# Common Crawl 
User-agent: CCBot
Disallow: /

# ByteDance
User-agent: Bytespider
Disallow: /

# Cohere
User-agent: cohere-ai
Disallow: /
User-agent: cohere-training-data-crawler
Disallow: /

# Anthropic (Claude)
User-agent: anthropic-ai
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-Web
Disallow: /

# DeepSeek
User-agent: DeepSeekBot
Disallow: /
User-agent: DeepSeek
Disallow: /

# Forschung / Datensammlung
User-agent: AI2Bot
Disallow: /


##########################################
# 3) ON-DEMAND ASSISTANTS (ALLOW)
##########################################

User-agent: DuckAssistBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
User-agent: MistralAI-User
Allow: /


##########################################
# 4) SOCIAL PREVIEW (ALLOW)
##########################################

User-agent: facebookexternalhit
Allow: /
User-agent: Facebot
Allow: /


##########################################
# 5) HIGH-LOAD SCRAPER / MIRRORING (BLOCK)
##########################################

# Mirroring / Offline Downloader
User-agent: HTTrack
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: OfflineExplorer
Disallow: /
User-agent: WebStripper
Disallow: /

# Link-Intelligence
User-agent: MJ12bot
Disallow: /
User-agent: DotBot
Disallow: /


##########################################
# 6)  SEO-TOOLS 
##########################################
User-agent: SemrushBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: SerpstatBot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: DataForSeoBot
Disallow: /
User-agent: Rogerbot
Disallow: /
User-agent: Barkrowler
Disallow: /
User-agent: RyteBot
Disallow: / 


##########################################
# 7) OPTIONAL: AI-SUCHINDEXER
##########################################
#User-agent: OAI-SearchBot
#Disallow: /
#User-agent: PerplexityBot
#Disallow: /
User-agent: YouBot
Disallow: /
User-agent: Diffbot
Disallow: /


##########################################
# 8) SITEMAP
##########################################

Sitemap: https://www.nextpit.com/sitemap_index.xml


##########################################
# 9. LEGAL NOTICE / paragraph 44b UrhG
##########################################

# Legal notice: This website expressly reserves all rights for commercial text and data mining (p 44b UrhG).
# Any automated access, crawling, scraping or data mining by AI systems, AI search indexers
# or training crawlers without explicit permission is strictly prohibited.
# beebuzz media GmbH may, at its discretion, permit certain automated access to specific pages.
# If you would like to apply for permission to crawl, collect or use data, please email: hello@beebuzz.media .