Seit 2023 haben viele Websites KI-Bots in ihre robots.txt eingetragen, um zu verhindern, dass ihre Inhalte im Modelltraining verwendet werden. Die Absicht war nachvollziehbar; in der Umsetzung ging jedoch eine entscheidende Unterscheidung verloren: Der Trainingsbot und der Such- bzw. Antwortbot desselben Unternehmens sind unterschiedliche Agenten. Wer beide zugleich blockiert, fällt nicht nur aus den Trainingsdaten heraus, sondern zerstört auch seine Chance, in den Antworten als Quelle genannt zu werden.
Zwei verschiedene Bot-Typen
| Typ | Was er tut | Wenn er blockiert wird |
|---|---|---|
| Trainingsbot | Sammelt Inhalte, um sie im Modelltraining zu verwenden | Die Sichtbarkeit ist nicht unmittelbar betroffen |
| Such- / Antwortbot | Holt aktuelle Inhalte, wenn ein Nutzer eine Frage stellt | Sie werden in den Antworten nicht als Quelle genannt |
Für die Sichtbarkeit kritische Bots
- OAI-SearchBot — nötig, damit ChatGPT Ihre Website in den Suchergebnissen zeigen kann.
- ChatGPT-User — liest Ihre Seite, wenn ein Nutzer einen Link öffnet.
- PerplexityBot und Perplexity-User — nötig, um in Perplexity-Antworten als Quelle genannt zu werden.
- ClaudeBot, Claude-User, Claude-SearchBot — Crawling und Abruf bei Claude.
- Googlebot — der grundlegende Crawler für die klassische Suche wie auch für AI Overviews.
- Bingbot — ein großer Teil der Copilot-Antworten speist sich aus dem Bing-Index.
Demgegenüber sind GPTBot (OpenAI-Training), Google-Extended (Gemini-Training) und Applebot-Extended (Apple-Intelligence-Training) keine direkten Sichtbarkeits-Bots. Sie zu blockieren verhindert für sich genommen nicht, dass Sie in den Antworten genannt werden.
Praktische Regel: Wenn Ihre Inhalte nicht ins Modelltraining einfließen sollen, Ihre Marke in den Antworten aber genannt werden soll, blockieren Sie die Trainingsbots und lassen Sie die Such- und Antwortbots frei.
Beispielkonfiguration
# Trainingsbots blockiert
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
# Such- / Antwortbots frei
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
Sitemap: https://beispiel.com/sitemap.xmlDie robots.txt ist nicht die einzige Sperre
- CDN- und WAF-Regeln (etwa das Bot-Management von Cloudflare) können KI-Bots unabhängig von der robots.txt blockieren.
- Serverseitige Regeln, die je nach User-Agent ein 403 zurückgeben, erzeugen unbemerkt Unsichtbarkeit.
- Inhalte, die ausschließlich per JavaScript erzeugt werden, können von manchen Bots nicht gelesen werden.
- Inhalte hinter einer Anmeldeschranke können nie als Quelle genannt werden.
Die Prüfung sollte deshalb nicht bei der robots.txt aufhören: CDN-Regeln, Server-Logs und der Stand des serverseitigen Renderings gehören mit dazu.