Ja, das ist gut möglich – und die meisten Betreiber merken es nicht. Viele Schweizer KMU-Websites sperren die Crawler von ChatGPT, Perplexity oder Claude aus, ohne dass jemand das je entschieden hätte. Drei Ursachen sind typisch: eine robots.txt-Vorlage, die ein Webentwickler oder ein Plugin eingebaut hat; die Standardeinstellungen von Cloudflare, das seit 2025 KI-Crawler von sich aus blockiert; und Firewall-Regeln (WAF), die unbekannte Bots pauschal mit dem Statuscode 403 abweisen. Wer nicht gelesen werden darf, kann nicht zitiert werden. Dieser Beitrag zeigt, welche Crawler es gibt, was sie tun und wie Sie in einer Viertelstunde prüfen, was auf Ihrer Website gilt.
Drei Arten von KI-Crawlern: Training, Suche, Nutzerabruf
«KI-Bot» ist ein Sammelbegriff für sehr unterschiedliche Dinge. Die Anbieter unterscheiden in ihren Dokumentationen drei Zwecke:
- Training: Der Crawler sammelt Inhalte, die in künftige Sprachmodelle einfliessen können. Das bringt Ihnen heute keinen Besucher, trägt aber dazu bei, was ein Modell später über Ihre Branche «weiss».
- Suche: Der Crawler baut einen Index auf, damit die KI-Suche (ChatGPT-Suche, Claude, Perplexity) Ihre Seite finden und verlinken kann. Das ist der Kanal, über den Firmen in KI-Antworten genannt werden.
- Nutzerabruf: Ein Mensch stellt eine Frage, und das System ruft genau in diesem Moment Ihre Seite ab, um sie zu lesen und zu zitieren. Diese Abrufe folgen den robots.txt-Regeln nicht immer, weil sie von einer Person ausgelöst werden.
Die folgende Tabelle führt die Token-Namen auf, wie sie in den offiziellen Dokumentationen stehen. Genau diese Namen suchen Sie nachher in Ihrer robots.txt.
| Anbieter | Token (User-Agent) | Zweck | Hinweis laut Anbieter |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Suche | Zeigt Websites in der ChatGPT-Suche an; gesperrte Sites erscheinen dort nicht. |
| ChatGPT-User | Nutzerabruf | Kein automatisches Crawling; robots.txt-Regeln gelten unter Umständen nicht. | |
| GPTBot | Training | Sperre signalisiert: nicht fürs Modelltraining verwenden. | |
| Anthropic (Claude) | Claude-SearchBot | Suche | Sperre verhindert die Indexierung für die Suche. |
| Claude-User | Nutzerabruf | Ruft Seiten ab, wenn eine Nutzerfrage es erfordert. | |
| ClaudeBot | Training | Sammelt Inhalte für das Modelltraining; respektiert robots.txt. | |
| Perplexity | PerplexityBot | Suche / Index | Nicht fürs Training; Perplexity empfiehlt, ihn zu erlauben. |
| Perplexity-User | Nutzerabruf | Ignoriert robots.txt in der Regel, weil ein Nutzer den Abruf auslöst. | |
| Googlebot | Suche (inkl. AI Overviews) | Für AI Overviews und AI Mode gelten keine zusätzlichen technischen Anforderungen. | |
| Google-Extended | Training / Grounding | Kein eigener Crawler, nur ein Steuer-Token; beeinflusst laut Google weder Aufnahme in die Suche noch das Ranking. |
Quellen für die Tabelle: die Crawler-Dokumentationen von OpenAI, Anthropic, Perplexity und Google sowie Googles Hinweise zu KI-Funktionen in der Suche.
Was ein KMU sinnvollerweise erlaubt
Suche und Nutzerabruf: erlauben. Das sind die Kanäle, über die ein KI-System Ihre Website überhaupt als Quelle nennen kann. Wer OAI-SearchBot sperrt, wird laut OpenAI in ChatGPT-Suchantworten nicht angezeigt; wer Claude-SearchBot sperrt, wird laut Anthropic nicht für die Suche indexiert. Es gibt für einen Dienstleister, der gefunden werden will, kaum einen Grund, diese Crawler auszuschliessen.
Training: eine bewusste Entscheidung. Ob GPTBot, ClaudeBot oder Google-Extended Ihre Inhalte für künftige Modelle verwenden dürfen, ist eine Abwägung zwischen Kontrolle über die eigenen Texte und der Chance, im Grundwissen der Modelle vorzukommen. Ehrlich gesagt: Eine Trainingssperre kostet Sie heute kaum Sichtbarkeit, weil KI-Antworten zu konkreten Firmenfragen überwiegend aus der Live-Suche entstehen, nicht aus dem Trainingswissen (mehr dazu in Wie erscheint meine Firma in ChatGPT?). Zwei Vorsichtsregeln gelten trotzdem: Erstens dürfen die Such-Token nicht versehentlich mitgesperrt werden – eine Gruppe User-agent: * mit Disallow: / trifft alle. Zweitens werden bei Cloudflare Mehrzweck-Crawler wie Googlebot nach allen ihren Verhaltensweisen beurteilt; wer dort die Kategorie Training blockiert, kann Googlebot gleich mitblockieren (dazu gleich mehr).
Der Sonderfall Cloudflare
Läuft Ihre Website über Cloudflare – was bei manchen Hostings und Agentur-Setups der Fall ist –, reicht der Blick in die eigene robots.txt nicht. Cloudflare greift an zwei Stellen ein.
1. Standardmässige Sperre seit Juli 2025
Am 1. Juli 2025 hat Cloudflare den Standard geändert: KI-Crawler werden blockiert, sofern sie nicht für Inhalte bezahlen («changing the default to block AI crawlers unless they pay creators for their content»). Ein Jahr später, am 1. Juli 2026, kündigte Cloudflare feinere Regeln nach drei Kategorien an – Search, Agent und Training –, die seit dem 15. September 2026 als neue Standardwerte gelten. Für neu aufgeschaltete Domains werden Training- und Agent-Bots auf Seiten mit Werbung standardmässig blockiert; Suche bleibt erlaubt. Entscheidend ist ein Nebensatz aus demselben Beitrag: Mehrzweck-Crawler wie Googlebot, Applebot und Bingbot werden nach allen ihren Verhaltensweisen beurteilt. Wer Training blockiert, blockiert laut Cloudflare auch diese Crawler, weil die restriktivste zutreffende Regel gewinnt. Ein gut gemeinter Klick kann so die Google-Sichtbarkeit treffen.
2. Die verwaltete robots.txt
Cloudflare bietet auf allen Plänen eine verwaltete robots.txt an («Bot Preference Sync»). Ist sie aktiv, stellt Cloudflare ihre Regeln vor Ihre eigene Datei: Beide Teile erscheinen in einer einzigen Antwort, und der Cloudflare-Teil steht oben. Das Beispiel in der Dokumentation enthält bei gesperrtem Training Disallow: / für Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot und meta-externalagent. Ihre eigene robots.txt kann also tadellos aussehen, während oben ein Block steht, den Sie nie geschrieben haben. Zu finden ist die Einstellung im Dashboard unter Security Settings → Bot traffic → Configure AI bot policies.
Ergänzend gibt es AI Crawl Control, ebenfalls auf allen Plänen: Es zeigt, welche KI-Dienste auf Ihre Website zugreifen, und erlaubt Allow- oder Block-Regeln für einzelne Crawler. Das ist zugleich das Werkzeug, mit dem Sie eine bestehende Sperre gezielt aufheben, ohne alles zu öffnen.
Die Prüfung in vier Schritten
Schritt 1: robots.txt im Browser öffnen
Rufen Sie ihre-domain.ch/robots.txt auf. Suchen Sie mit der Browser-Suchfunktion nach den Token aus der Tabelle: GPTBot, ClaudeBot, OAI-SearchBot, Claude-SearchBot, PerplexityBot. Achten Sie auf drei Muster: eine Gruppe mit dem Token und Disallow: / (gezielte Sperre); eine Gruppe User-agent: * mit Disallow: / (Sperre für alle); und einen Block am Anfang der Datei, den Sie nicht kennen – das ist typischerweise der vorangestellte Cloudflare-Teil. Wichtig: Ein Crawler, der eine Gruppe mit seinem Namen findet, ignoriert die *-Gruppe komplett. Die Regeln je Gruppe müssen deshalb für sich stimmen.
Schritt 2: Cloudflare-Einstellungen kontrollieren
Falls Cloudflare im Spiel ist: Melden Sie sich im Dashboard an, öffnen Sie die Zone Ihrer Domain und prüfen Sie unter Security Settings die KI-Bot-Richtlinien (Search, Agent, Training), den Status der verwalteten robots.txt und die Regeln in AI Crawl Control. Setzen Sie Search und Agent auf Erlauben. Bei Training entscheiden Sie bewusst – und denken Sie an die Mehrzweck-Crawler.
Schritt 3: Logs oder Crawler-Statistik ansehen
Die robots.txt ist eine Bitte, keine Mauer. Cloudflare schreibt selbst: «robots.txt compliance is voluntary.» Umgekehrt kann eine Firewall-Regel (WAF) Crawler aussperren, obwohl die robots.txt alles erlaubt – sichtbar wird das nur an 403-Antworten in den Serverlogs oder in der Crawler-Übersicht von Cloudflare. Fragen Sie Ihren Hoster oder Webentwickler, ob Anfragen von GPTBot oder PerplexityBot mit 200 oder mit 403 beantwortet werden. Fehlen KI-Crawler in den Logs ganz, ist das ein Hinweis, kein Beweis: Kleine Websites werden schlicht selten besucht.
Schritt 4: Externen Check als Gegenprobe
Als Gegenprobe können Sie einen automatischen Check laufen lassen. Unser Gratis-Sichtbarkeits-Check prüft unter anderem, ob die Such-Crawler von ChatGPT, Perplexity und Claude Ihre Website laut robots.txt abrufen dürfen. Er ersetzt aber weder den Blick ins Cloudflare-Dashboard noch die Logs – eine WAF-Sperre sieht er nicht, weil er die Datei liest und nicht als Crawler auftritt.
Zugang ist die Voraussetzung, nicht das Ziel
Eine ehrliche Einordnung zum Schluss: Wenn Sie alle Sperren beseitigt haben, ist Ihre Website für KI-Suchen erreichbar – mehr nicht. Ob ein System Ihre Firma tatsächlich nennt, hängt vor allem davon ab, wie oft Dritte über Sie schreiben. Ahrefs hat dazu im Dezember 2025 die Daten von 75'000 Marken ausgewertet: Erwähnungen der Marke im Web korrelieren je nach KI-System mit 0,66 bis 0,71 mit den Nennungen in KI-Antworten, deutlich stärker als Backlinks oder die Zahl der eigenen Seiten. Die Zahl der eigenen Seiten lag in derselben Auswertung bei rund 0,19. Korrelation ist nicht Ursache, aber die Richtung ist klar: Was andere über Sie publizieren, wiegt mehr als jede Zeile in der robots.txt. Warum das so ist, erklärt der Beitrag Warum empfiehlt ChatGPT meine Konkurrenz?; wie Sie Ihren Stand dokumentieren, zeigt KI-Sichtbarkeit messen.
Der Crawler-Zugang ist damit der erste, billigste und am häufigsten übersehene Schritt – eine Viertelstunde Prüfung, die alles Weitere überhaupt erst möglich macht. Im Pro-Abo gehört sie zum Leistungsumfang; wer sie selbst macht, braucht dafür weder uns noch ein Werkzeug. Die eigentliche Arbeit beginnt danach: zitierfähige Inhalte und Erwähnungen durch Dritte (siehe Was ist AEO?).
Transparenz: Dieser Beitrag wurde vom RankFabrik-Agenten (einer KI) erstellt und vor der Publikation automatisch geprüft. Inhaltlich verantwortlich ist Maksym Liakhov. Alle Angaben zu Crawlern und Cloudflare stammen aus den verlinkten Dokumentationen, Stand Oktober 2026; die Anbieter ändern diese Regeln laufend.