Welche KI-Crawler du zulässt

Ein Website-Relaunch geht online, die robots.txt sieht aufgeräumt aus und der Haken bei „KI-Bots blockieren“ ist gesetzt. Die Inhalte sind geschützt, denkt man. Einige Wochen später taucht die Website zwar weiterhin bei Google auf, wird aber in ChatGPT und Perplexity kaum noch als Quelle genannt. Oder es passiert das Gegenteil: Die KI-Suche funktioniert, zugleich darf ein Trainingscrawler das gesamte Artikelarchiv abrufen.

Beides entsteht aus demselben Missverständnis. „KI-Crawler“ ist keine sinnvolle einheitliche Kategorie, denn manche Bots sammeln Material für Modelltraining, andere bauen einen Suchindex auf und wieder andere besuchen eine Seite, weil ein Mensch gerade eine konkrete Frage gestellt hat.

Für deine Entscheidung zählt deshalb nicht zuerst, welchem Unternehmen ein Bot gehört. Du musst wissen, wofür der einzelne Zugriff verwendet wird.

Drei Arten von Zugriff

Die sauberste Trennung besteht aus drei Verwendungsarten, auch wenn einzelne Anbieter sie technisch unterschiedlich umsetzen.

Trainingscrawler sammeln Inhalte, die möglicherweise in die Entwicklung künftiger Modelle einfließen. Beispiele sind GPTBot von OpenAI, ClaudeBot von Anthropic und die über Google-Extended gesteuerte Nutzung. Wenn du diese Bots sperrst, kann deine Website weiterhin in klassischen oder KI-gestützten Suchergebnissen erscheinen, sofern der Anbieter dafür einen getrennten Suchcrawler verwendet.

Suchcrawler erfassen Inhalte, damit ein KI-System aktuelle Antworten mit Quellen liefern kann. Dazu gehören OAI-SearchBot, PerplexityBot und Claude-SearchBot. Eine Sperre kann dazu führen, dass deine Seiten in den jeweiligen Antworten nicht mehr oder nur noch als bloßer Navigationslink vorkommen. OpenAI empfiehlt für die Aufnahme in ChatGPT-Suchergebnisse ausdrücklich, OAI-SearchBot zuzulassen; Perplexity beschreibt PerplexityBot ebenfalls als Suchcrawler, der nicht für das Training von Basismodellen eingesetzt wird. (openai.com)

Nutzerinitiierte Abrufe entstehen erst, wenn jemand ChatGPT, Perplexity oder Claude auffordert, eine bestimmte Seite aufzurufen. Die zugehörigen User-Agents heißen unter anderem ChatGPT-User, Perplexity-User und Claude-User. Hier gelten andere Spielregeln: OpenAI schreibt, dass robots.txt-Regeln möglicherweise nicht greifen, Perplexity erklärt sogar, dass sein nutzerinitiierter Fetcher sie im Allgemeinen ignoriert. Anthropic ermöglicht dagegen eine Steuerung von Claude-User über robots.txt. (openai.com)

Diese Unterscheidung ist die Grundlage einer gemeinsamen SEO-, GEO-, AIO- und AEO-Strategie. Der Zugang wird einmal geplant, aber nach Zweck geregelt.

Die Entscheidungsmatrix

Für eine typische Unternehmenswebsite, die öffentliches Fachwissen, Leistungsseiten und Kontaktmöglichkeiten anbietet, würde ich mit folgender Ausgangslage beginnen:

• Googlebot – erlauben: Er ist für die klassische Google-Suche zuständig. Eine versehentliche Sperre trifft deine organische Sichtbarkeit direkt.
• OAI-SearchBot – erlauben: Er dient der Suche in ChatGPT. GPTBot kannst du unabhängig davon sperren. (openai.com)
• GPTBot – beobachten oder blockieren: Er sammelt Inhalte, die für das Training generativer Basismodelle verwendet werden können. Eine Sperre verhindert laut OpenAI nicht automatisch die Aufnahme in ChatGPT Search. (openai.com)
• PerplexityBot – erlauben: Er soll Websites in Perplexity-Suchergebnissen auffindbar machen und wird laut Anbieter nicht für das Training von Basismodellen eingesetzt. (docs.perplexity.ai)
• Claude-SearchBot – erlauben: Er verbessert die Qualität und Relevanz von Claude-Suchergebnissen. ClaudeBot lässt sich separat behandeln. (support.anthropic.com)
• ClaudeBot – beobachten oder blockieren: Anthropic ordnet ihn dem möglichen Modelltraining zu. (support.anthropic.com)
• ChatGPT-User, Perplexity-User und Claude-User – erlauben oder zunächst beobachten: Diese Abrufe können dazu führen, dass dein Inhalt unmittelbar in einer Antwort verwendet und verlinkt wird. Bei geschützten Bereichen reicht robots.txt dafür allerdings nicht aus.
• Google-Extended – bewusst entscheiden: Dieser Token beeinflusst weder die Aufnahme in Google Search noch das Google-Ranking. Er steuert aber gemeinsam die Verwendung für das Training künftiger Gemini-Modelle und das Grounding von Gemini mit Inhalten aus dem Google-Suchindex. Wer Google-Extended blockiert, trennt Training und Gemini-Grounding derzeit also nicht voneinander. (developers.google.com)

Gerade Google-Extended zeigt, warum eine einfache Tabelle nie deine Geschäftsentscheidung ersetzen kann. Wenn Gemini-Sichtbarkeit für dich Vorrang hat, kann das Zulassen sinnvoll sein. Wenn du die Trainingsnutzung grundsätzlich ausschließen willst, musst du akzeptieren, dass damit auch eine Form der aktuellen Nutzung in Gemini eingeschränkt wird.

Ein sinnvoller Ausgangspunkt

Wenn du öffentlich auffindbar sein, aber keine Trainingscrawler zulassen möchtest, kann eine robots.txt zunächst so aussehen:

```text User-agent: Googlebot Allow: /

User-agent: OAI-SearchBot Allow: /

User-agent: GPTBot Disallow: /

User-agent: PerplexityBot Allow: /

User-agent: Claude-SearchBot Allow: /

User-agent: ClaudeBot Disallow: / ```

Google-Extended habe ich in diesem Beispiel absichtlich nicht eingetragen. Die Entscheidung darüber solltest du nicht zwischen zwei anderen Regeln verstecken, sondern getrennt dokumentieren. Wenn du sowohl Training als auch Gemini-Grounding ablehnst, ergänzt du:

``text User-agent: Google-Extended Disallow: / ``

Diese Datei schützt keine vertraulichen Inhalte. robots.txt ist eine öffentlich lesbare Anweisung an Bots und kein Zugangssystem; selbst Google weist darauf hin, dass sie hauptsächlich den Abruf steuert und eine Seite nicht zuverlässig aus der Suche oder aus fremdem Zugriff heraushält. Vertrauliche Dokumente gehören hinter Anmeldung, Passwortschutz oder eine andere echte Zugriffskontrolle. (developers.google.com)

So setzt du die Strategie um

Beginne nicht mit einer fremden Musterdatei, sondern mit deinen Inhalten. Die folgende Reihenfolge verhindert, dass du aus Versehen Sichtbarkeit oder wichtige Funktionen abschaltest.

1. Teile die Website nach Schutzbedarf auf. Notiere für jeden Bereich, ob er öffentlich verbreitet werden soll. Leistungsseiten, Ratgeber und öffentlich zugängliche Produktinformationen dürfen meist gefunden und zitiert werden. Kundenportale, interne Suchseiten, Vorschau-URLs, Lizenzdownloads und API-Endpunkte brauchen technischen Zugriffsschutz.

2. Sichere den aktuellen Zustand. Speichere robots.txt, WAF-Regeln und Bot-Einstellungen, bevor du etwas änderst. Prüfe auch Subdomains wie Shop, Hilfe-Center oder Dokumentation, denn robots.txt gilt immer nur für den jeweiligen Host.

3. Werte deine Server- oder CDN-Logs aus. Nimm bei einer kleinen Website mindestens sieben Tage, besser 30 Tage. Gruppiere Zugriffe nach User-Agent, Statuscode, Pfad und Referrer. Achte besonders auf 200, 403 und 429: Viele 403-Antworten zeigen eine Sperre, viele 429-Antworten ein Rate-Limit, das möglicherweise auch erwünschte Suchbots trifft.

4. Ordne jeden erkannten Bot einem Zweck zu. Verwende dafür die aktuelle Dokumentation des Betreibers. Ein Firmenname genügt nicht, weil OpenAI und Anthropic getrennte Bots für Suche, Training und Nutzerabrufe einsetzen. (openai.com)

5. Lege erlauben, beobachten oder blockieren fest. Erlauben bedeutet, dass sowohl robots.txt als auch vorgeschaltete Sicherheitsregeln den Zugriff zulassen. Beobachten heißt, den Bot vorläufig durchzulassen und sein Verhalten zu messen. Blockieren bedeutet, die Anweisung bei Bedarf technisch über die WAF durchzusetzen.

6. Ändere zuerst robots.txt. Damit formulierst du deine Präferenz transparent. OpenAI und Perplexity weisen darauf hin, dass Änderungen an ihren Suchsystemen bis zu ungefähr 24 Stunden benötigen können. Prüfe deshalb nicht fünf Minuten später und erkläre die Regel für wirkungslos. (openai.com)

7. Ergänze die WAF nur dort, wo du durchsetzen musst. Verlasse dich nicht allein auf den Namen im User-Agent, denn dieser lässt sich nachahmen. Perplexity empfiehlt bei WAF-Regeln die Kombination aus User-Agent und veröffentlichten IP-Bereichen; OpenAI veröffentlicht ebenfalls IP-Listen für seine Bots. (openai.com)

8. Teste die vollständige Zugriffskette. Ein erlaubter Suchbot muss robots.txt abrufen und auf öffentlichen Seiten einen erfolgreichen Statuscode erhalten können. Ein blockierter Trainingsbot sollte auf den vorgesehenen Pfaden 403 erhalten. Prüfe zugleich, ob allgemeine Bot-Regeln, JavaScript-Challenges oder Geo-Sperren deine ausdrückliche Freigabe wieder aufheben.

9. Kontrolliere die Wirkung nach 24 Stunden und erneut nach zwei Wochen. Suche nach neuen 403- und 429-Antworten, veränderten Crawl-Mengen sowie Verweisen aus KI-Systemen. Danach reicht für viele KMU eine quartalsweise Prüfung, sofern keine größere technische Änderung stattfindet.

Was die Zahlen zeigen

Nehmen wir eine Website mit 18.000 erkannten KI-Bot-Anfragen in 30 Tagen. Das ist ein Rechenbeispiel und keine Branchenkennzahl. Die Logs zeigen 9.900 Zugriffe von Trainingscrawlern, 5.400 von Suchcrawlern und 2.700 nutzerinitiierte Abrufe.

Wenn du pauschal alle KI-Bots blockierst, unterbindest du 18.000 Anfragen und damit 100 Prozent der möglichen KI-Zugriffe. Sperrst du nur die 9.900 Trainingszugriffe, reduzierst du das gemessene Volumen um 55 Prozent, während 8.100 such- oder nutzerbezogene Abrufe grundsätzlich möglich bleiben. Die fachliche Grundlage dieser Aufteilung sind die getrennten Bot-Zwecke, die OpenAI, Anthropic und Perplexity selbst dokumentieren. (openai.com)

Das Beispiel beweist keinen späteren Besuchergewinn. Es zeigt aber, warum der pauschale Block technisch grob ist: Du verzichtest nicht nur auf unerwünschtes Training, sondern zugleich auf Zugriffe, die Quellenangaben und qualifizierte Besuche auslösen könnten.

Cloudflare richtig einsetzen

Cloudflare hat die Übersicht von AI Crawl Control zuletzt am 14. August 2026 aktualisiert. Das Werkzeug zeigt erkannte KI-Dienste, erlaubt Regeln für einzelne Crawler und überwacht, ob Zugriffe gegen robots.txt-Direktiven verstoßen. Die Grundfunktionen stehen laut Dokumentation auf allen Plänen zur Verfügung. (developers.cloudflare.com)

Für die Praxis ist eine Einschränkung entscheidend: Im kostenlosen Tarif beruht die Erkennung auf User-Agent-Strings, während eine gründlichere Identifikation über Bot Management verfügbar ist. Außerdem zeigt der kostenlose Metrics-Bereich nur einen Zeitraum von 24 Stunden. Für eine belastbare Monatsauswertung brauchst du deshalb eigene Serverlogs, einen passenden Cloudflare-Tarif oder einen anderen längeren Datenbestand. (developers.cloudflare.com)

Cloudflare kann Verstöße sichtbar machen und über WAF-Regeln blockieren. Es nimmt dir aber die inhaltliche Entscheidung nicht ab, denn ein korrekt erkannter Bot kann für deine Ziele trotzdem erwünscht oder unerwünscht sein.

Häufige Fehler

**Alle Bots über User-agent: * sperren.** Du erkennst den Fehler an stark sinkenden Crawls, 403-Antworten und ausbleibender Aktualisierung in Suchmaschinen. Prüfe nach jeder Änderung auch klassische Suchcrawler.

robots.txt mit Zugriffsschutz verwechseln. Wenn eine angeblich geschützte Datei weiterhin ohne Anmeldung im Browser erreichbar ist, ist sie nicht geschützt. Die Lösung liegt in Authentifizierung oder serverseitigen Berechtigungen.

Eine Freigabe nur in robots.txt eintragen. Wenn der Bot trotzdem 403, 429, CAPTCHA oder eine JavaScript-Challenge erhält, blockiert eine andere Schicht. Kontrolliere CDN, WAF, Hosting und Sicherheitsplugins gemeinsam.

User-Agents ungeprüft vertrauen. Auffällig sind vermeintliche bekannte Bots aus nicht dokumentierten Netzen oder mit ungewöhnlich aggressiven Zugriffsmustern. Wo der Betreiber IP-Bereiche veröffentlicht, solltest du beide Merkmale prüfen.

Training und Suche zusammenwerfen. Du erkennst das daran, dass GPTBot und OAI-SearchBot oder ClaudeBot und Claude-SearchBot dieselbe Regel erhalten, obwohl deine Ziele für Training und Auffindbarkeit verschieden sind.

Subdomains vergessen. Eine Regel auf der Hauptdomain gilt nicht automatisch für Shop, Blog oder Dokumentation. Rufe die robots.txt jedes Hosts einzeln ab.

Aufwand und Grenzen

Für eine überschaubare Unternehmenswebsite solltest du für Bestandsaufnahme, Logprüfung, Regeldefinition und Tests ungefähr zwei bis vier Stunden einplanen. Bei mehreren Subdomains, einem Shop, eigener WAF und geschützten Downloadbereichen wird daraus schnell ein bis zwei Arbeitstage; das sind Erfahrungswerte für die Planung, keine Herstellerangaben.

Der Aufwand lohnt sich kaum, wenn deine Website ausschließlich aus einer kleinen digitalen Visitenkarte ohne Fachinhalte besteht und weder organische noch KI-gestützte Auffindbarkeit eine Rolle spielt. Er lohnt sich ebenfalls nicht als Ersatz für echten Schutz: Zugangsdaten, personenbezogene Informationen und kostenpflichtige Inhalte dürfen nie allein durch Crawler-Regeln abgesichert werden.

Auch eine perfekte Freigabe garantiert keine Nennung. KI-Systeme entscheiden selbst, welche Quellen sie abrufen und zitieren. Kontrollierter Zugang schafft nur die technische Voraussetzung – deine Inhalte müssen die Frage weiterhin verständlich beantworten, überprüfbare Angaben enthalten und sauber intern verlinkt sein.

Drei kurze Fragen

Kann ich ChatGPT Search erlauben und OpenAI-Training blockieren? Ja. Erlaube OAI-SearchBot und sperre GPTBot, weil OpenAI beide Verwendungsarten getrennt steuern lässt.

Reicht robots.txt aus, um KI-Crawler sicher zu blockieren? Nein. Sie formuliert Regeln, ist aber keine harte Zugriffskontrolle; für eine technische Sperre brauchst du eine WAF, Serverregeln oder Authentifizierung.

Schadet eine Sperre von Google-Extended meinem Google-Ranking? Laut Google beeinflusst sie weder die Aufnahme in Google Search noch das Ranking, sie kann aber Training und Grounding in Gemini einschränken. (developers.google.com)