KI-Crawler und Bot-Traffic 2026: GPTBot, ClaudeBot, Crawl-to-Refer-Verhältnis und robots.txt

Zwanzig Jahre lang war der Deal einfach: Suchmaschinen crawlen Ihre Website und schicken Besucher zurück. KI hat die Bedingungen geändert. Crawler von OpenAI, Anthropic, Meta und anderen lesen das Web heute in großem Stil, um Modelle zu trainieren und Fragen zu beantworten, geben aber nur einen Bruchteil des Traffics zurück. Wir haben die aktuellen Daten von Cloudflare Radar (vier Wochen bis 27. Oktober 2026) und die offizielle Crawler-Dokumentation von OpenAI, Anthropic, Google und Mistral ausgewertet: wer wie viel crawlt, zu welchem Zweck, wie viele Besucher zurückkommen und was in Ihre robots.txt gehört.

Das Web hat ein zweites Publikum

In den vier Wochen bis 27. Oktober 2026 stufte Cloudflare nur 34,9 % der HTML-Seitenabrufe als menschlich ein. Klassische Bots (Suchmaschinen, Monitoring, Scraper) kamen auf 54,7 %, KI-Bots auf 6,4 % und Mixed-Purpose-Crawler auf 4 %. Cloudflare meldete im Juli 2026, dass inzwischen mehr als die Hälfte des Internet-Traffics nicht von Menschen stammt, und der Bad Bot Report 2026 von Imperva beziffert den automatisierten Traffic 2025 auf mehr als 53 % des gesamten Web-Traffics, nach 51 % im Vorjahr.

Unter den KI-bezogenen Crawlern bleibt Googlebot mit 23,2 % des Traffics der größte einzelne Bot, gefolgt von ClaudeBot (12,6 %), Meta-ExternalAgent (11,4 %), Applebot (8,1 %) und Bingbot (7,3 %). Im Juli 2025 standen GPTBot und ClaudeBot laut Cloudflare gemeinsam für etwa die Hälfte des Crawlings reiner KI-Bots.

Crawl-to-Refer: Wie viel zurückkommt

Das Crawl-to-Refer-Verhältnis von Cloudflare vergleicht die HTML-Seiten, die die Bots einer Plattform abrufen, mit den HTML-Seitenbesuchen, die dieselbe Plattform an Websites vermittelt. Je kleiner die Zahl, desto fairer der Austausch. Klassische Suchmaschinen sind nahe am Gleichgewicht: Google crawlt 4,7 Seiten pro vermitteltem Besucher, DuckDuckGo 4,1. KI-Plattformen liegen zwei bis drei Größenordnungen darüber.

Die Veränderungen gegenüber den vier Wochen davor waren groß: Das Verhältnis von OpenAI stieg um 145,8 %, das von Perplexity um 72,7 %, das von Anthropic sank um 12,7 %. Kurze Zeitfenster schwanken stark; entscheidend ist das Niveau, nicht der Ausschlag einer Woche.

Anthropic: von 287.000 auf 487 Crawls pro Besucher

Der langfristige Trend ist klarer. Im Januar 2025 crawlte Anthropic fast 287.000 Seiten pro vermitteltem Besuch, das mit Abstand unausgewogenste Verhältnis aller großen Plattformen. Die Websuche in Claude (ab März 2025, für alle Nutzer ab Mai 2025) brachte anklickbare Quellenangaben, und das Verhältnis fiel bis Juli 2025 auf 38.000. Im Oktober 2026 liegt es bei 487 : 1. OpenAI verbesserte sich im selben Zeitraum nur leicht (von 1.217 auf 882), Perplexity entwickelte sich in die Gegenrichtung, von 55 auf rund 4.000.

Wofür gecrawlt wird: Training dominiert

Cloudflare ordnet KI-Crawler anhand der Angaben der Betreiber einem Zweck zu. In den letzten vier Wochen dienten 44,2 % des KI-Crawler-Traffics dem Training, 38,7 % stammten von Mixed-Use-Crawlern (Training und Suche in einem Bot, etwa Googlebot, Applebot und Bingbot), 11,6 % waren reine Suche, 4,1 % Nutzeraktionen (ein Chatbot ruft eine Seite ab, weil jemand gefragt hat) und 1,5 % nicht deklariert. Cloudflares Bericht vom Juli 2026 bezifferte den Trainingsanteil im Juni 2026 auf 52 % der Crawler-Anfragen, nach 22 % im Frühjahr 2025.

Die Aufteilung innerhalb jedes Anbieters erklärt, warum sich die Verhältnisse unterscheiden. Von Anthropics Crawl-Anfragen stammen 84,5 % von ClaudeBot (Training), 15,2 % von Claude-SearchBot und 0,3 % von Claude-User. OpenAI hat einen größeren Such- und Nutzeranteil: GPTBot 69,7 %, OAI-SearchBot 23,1 %, ChatGPT-User 7,3 %. Perplexity crawlt fast ausschließlich für die Suche (PerplexityBot 92,3 %). Google betreibt einen einzigen Mixed-Use-Crawler für Suche und KI; deshalb können Websitebetreiber beides nicht mit einer einfachen Bot-Regel trennen.

Die Bots, die Sie kennen sollten

Laut Anthropics Hilfe-Center beachten alle drei Claude-Bots die robots.txt, unterstützen die nicht standardisierte Direktive Crawl-delay und umgehen keine CAPTCHAs; eine Sperre von ClaudeBot schließt künftige Inhalte einer Website vom Training aus. OpenAI veröffentlicht IP-Bereiche für jeden Bot (gptbot.json, searchbot.json, chatgpt-user.json) und weist darauf hin, dass Änderungen an der robots.txt etwa 24 Stunden brauchen. Für Manus, einen Agenten, der im Auftrag von Nutzern im Web surft, haben wir kein eigenes veröffentlichtes Crawler-Token gefunden. Die Transparenztabelle von Cloudflare führt OpenAI, Anthropic, Meta und Amazon als verifiziert und mit getrennten Bots je Zweck; Perplexity und ByteDance sind nicht verifiziert.

Was Websites in der robots.txt sperren

Unter den Top-10.000-Domains nennen 4.360 robots.txt-Dateien mindestens einen KI-Agenten. GPTBot wird am häufigsten gesperrt (auf 437 Domains vollständig, auf 197 teilweise), gefolgt von ClaudeBot (390 / 172), CCBot (415 / 124) und Google-Extended (341 / 167). Such- und Nutzer-Agenten werden deutlich seltener gesperrt: OAI-SearchBot ist auf 118 Domains vollständig gesperrt, Googlebot auf nur 24. Im gesamten Cloudflare-Netz sperren weniger als 1 % der Websites Suchcrawler, aber 17 % das Training.

Eine robots.txt-Richtlinie für Unternehmenswebsites

Für ein B2B-Unternehmen, das in Antworten von ChatGPT, Claude und Perplexity gefunden und zitiert werden will (siehe unseren Leitfaden zur Generative Engine Optimization), zählen die Such- und Nutzer-Agenten. Training ist eine eigene Entscheidung, oft aus rechtlichen oder lizenzrechtlichen Gründen (siehe KI und Urheberrecht).

• Such- und Nutzer-Agenten immer zulassen (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User), wenn Sie Zitate und Besuche aus KI-Antworten wollen.
• Über Training je Inhaltstyp entscheiden. Marketingseiten können meist offen bleiben; kostenpflichtige Berichte, Dokumentation hinter einem Login oder lizenzierte Inhalte können GPTBot, ClaudeBot, Google-Extended, Applebot-Extended und CCBot sperren.
• Googlebot oder Bingbot nicht sperren, um KI-Funktionen zu stoppen; damit verschwinden Sie aus der Suche. Nutzen Sie stattdessen Google-Extended und die Snippet-Steuerungen der Anbieter.
• Erst messen, dann entscheiden. Prüfen Sie in Logs oder im CDN-Dashboard, welche KI-Bots kommen, welche Seiten sie lesen und welche KI-Plattformen Besucher schicken.
• Am Netzwerkrand durchsetzen bei Bots, die die robots.txt ignorieren oder nicht verifiziert sind: eine WAF-Regel oder die Bot-Steuerung Ihres CDN, nicht nur eine Textdatei.
• Seiten für Agenten leicht lesbar machen. Sauberes HTML, eine Sitemap und schnelle Antworten helfen. Neuere Standards sind noch selten: In Cloudflares Scan der Top-200.000-Domains finden sich Content Signals auf 5,3 % der Websites, Markdown Negotiation auf 4 % und WebMCP auf 1,3 %.

Was das für Unternehmen in Kroatien und der DACH-Region bedeutet

Für die meisten Unternehmen in Kroatien, Österreich, Deutschland und der Schweiz ist das Risiko nicht zu viel Crawling, sondern Unsichtbarkeit in KI-Antworten. Eine deutsche oder kroatische Leistungsseite, die alle KI-Bots sperrt, wird nicht zitiert, wenn ein Einkäufer Claude oder ChatGPT nach einem Anbieter fragt. Gleichzeitig sollten Verlage, Softwarehersteller und alle mit kostenpflichtigen Inhalten den Trainingszugang als Vermögenswert behandeln, im Rahmen des EU-Urheberrechts-Opt-outs (Artikel 4 der DSM-Richtlinie) und des GPAI-Verhaltenskodex, dessen Unterzeichner sich zur Beachtung der robots.txt verpflichten. Die praktische Antwort ist für beide dieselbe: Suche und Training trennen, messen, was die Bots wirklich tun, und die Regeln jedes Quartal prüfen, denn die Zahlen ändern sich schnell.

Häufig gestellte Fragen

Was ist das Crawl-to-Refer-Verhältnis?

Cloudflare Radar vergleicht, wie viele HTML-Seiten die Bots einer Plattform abrufen, mit der Zahl der HTML-Seitenbesuche, die diese Plattform an Websites vermittelt. Ein Verhältnis von 487 : 1 bedeutet, dass die Crawler der Plattform 487 Seiten pro zurückgeschicktem Besucher abgerufen haben. In den vier Wochen bis 27. Oktober 2026 lag es bei rund 4.000 : 1 für Perplexity, 881,5 : 1 für OpenAI, 486,8 : 1 für Anthropic und 4,7 : 1 für Google.

Soll ich GPTBot und ClaudeBot sperren?

Das hängt davon ab, ob Ihre Inhalte für das Training von Modellen verwendet werden sollen. GPTBot und ClaudeBot sind Trainingscrawler; eine Sperre entfernt Sie nicht aus der Suche in ChatGPT oder Claude, die OAI-SearchBot und Claude-SearchBot nutzen. Viele Dienstleister erlauben oder sperren Training nach Wahl, lassen aber Such- und Nutzer-Agenten immer zu, weil diese Zitate und Besucher bringen.

Schadet das Sperren von KI-Crawlern meinem Google-Ranking?

Das Sperren von Google-Extended verhindert die Nutzung Ihrer Inhalte für das Gemini-Training und beeinflusst laut Google das Ranking in der Google-Suche nicht. Wer Googlebot selbst sperrt, verschwindet aus der Google-Suche. Googlebot ist ein Mixed-Use-Crawler, daher lassen sich AI Overviews nicht mit einer einzigen Regel sperren, ohne die Suche zu verlieren; Google bietet dafür eigene Steuerungen.

Respektieren KI-Nutzer-Agenten wie ChatGPT-User die robots.txt?

OpenAI schreibt, dass robots.txt-Regeln für ChatGPT-User möglicherweise nicht gelten, weil die Abrufe von Nutzern ausgelöst werden. Anthropic gibt an, dass alle drei Bots, einschließlich Claude-User, die robots.txt beachten. Trainings- und Suchcrawler der großen Anbieter folgen der robots.txt; bei nicht verifizierten Bots hilft verlässlich nur eine Sperre auf Netzwerkebene.