AI crawleri i promet botova 2026.: GPTBot, ClaudeBot, omjer crawl-to-refer i robots.txt

Dvadeset godina dogovor je bio jednostavan: tražilice pretražuju vašu web stranicu i šalju vam posjetitelje. AI je promijenio uvjete. Crawleri OpenAI-ja, Anthropica, Mete i drugih danas masovno čitaju web kako bi trenirali modele i odgovarali na pitanja, ali vraćaju tek djelić prometa. Analizirali smo najnovije podatke Cloudflare Radara (četiri tjedna do 27. listopada 2026.) i službenu dokumentaciju crawlera OpenAI-ja, Anthropica, Googlea i Mistrala: tko koliko čita, s kojom svrhom, koliko se posjetitelja vraća i što staviti u robots.txt.

Web sada ima drugu publiku

U četiri tjedna do 27. listopada 2026. Cloudflare je samo 34,9 % zahtjeva za HTML stranicama označio kao ljudske. Klasični botovi (tražilice, nadzor, scraperi) činili su 54,7 %, AI botovi 6,4 %, a crawleri mješovite namjene 4 %. Cloudflare je u srpnju 2026. objavio da je više od polovice internetskog prometa danas neljudsko, a Impervin Bad Bot Report 2026 procjenjuje automatizirani promet na više od 53 % ukupnog web prometa u 2025., u odnosu na 51 % godinu ranije.

Među crawlerima povezanima s AI-jem najveći je i dalje Googlebot s 23,2 % prometa, slijede ClaudeBot (12,6 %), Meta-ExternalAgent (11,4 %), Applebot (8,1 %) i Bingbot (7,3 %). U srpnju 2025. GPTBot i ClaudeBot zajedno su činili otprilike polovicu crawlanja čistih AI botova, prema Cloudflareu.

Crawl-to-refer: koliko se vraća

Cloudflareov omjer crawl-to-refer uspoređuje HTML stranice koje zatraže botovi neke platforme s posjetima HTML stranicama koje ta ista platforma preusmjeri na web stranice. Što je broj manji, razmjena je poštenija. Klasične tražilice blizu su ravnoteže: Google pročita 4,7 stranica po posjetitelju kojeg pošalje, DuckDuckGo 4,1. AI platforme su dva do tri reda veličine iznad toga.

Promjene u odnosu na prethodna četiri tjedna bile su velike: omjer OpenAI-ja porastao je 145,8 %, Perplexityja 72,7 %, a Anthropicov je pao 12,7 %. Kratka razdoblja jako osciliraju, pa gledajte razinu, a ne tjedne skokove.

Anthropic: s 287.000 na 487 crawlova po posjetitelju

Dugoročni trend je jasniji. U siječnju 2025. Anthropic je pročitao gotovo 287.000 stranica po preusmjerenom posjetu, daleko najneuravnoteženiji omjer od svih velikih platformi. Pretraživanje weba u Claudeu (od ožujka 2025., za sve korisnike od svibnja 2025.) donijelo je klikabilne citate, pa je omjer do srpnja 2025. pao na 38.000. U listopadu 2026. iznosi 487 : 1. OpenAI se u istom razdoblju tek malo popravio (s 1.217 na 882), dok je Perplexity išao u suprotnom smjeru, s 55 na oko 4.000.

Čemu služe crawleri: dominira treniranje

Cloudflare razvrstava AI crawlere po svrsi na temelju izjava operatera. U posljednja četiri tjedna 44,2 % prometa AI crawlera služilo je treniranju, 38,7 % dolazilo je od crawlera mješovite namjene (treniranje i pretraživanje u jednom botu, poput Googlebota, Applebota i Bingbota), 11,6 % bilo je čisto pretraživanje, 4,1 % korisničke radnje (chatbot dohvaća stranicu jer je netko pitao), a 1,5 % nedeklarirano. Cloudflareov izvještaj iz srpnja 2026. naveo je da je treniranje u lipnju 2026. činilo 52 % zahtjeva crawlera, u odnosu na 22 % u proljeće 2025.

Podjela unutar svakog pružatelja objašnjava zašto se omjeri razlikuju. Od Anthropicovih zahtjeva 84,5 % dolazi od ClaudeBota (treniranje), 15,2 % od Claude-SearchBota i 0,3 % od Claude-Usera. OpenAI ima veći udio pretraživanja i korisničkih zahtjeva: GPTBot 69,7 %, OAI-SearchBot 23,1 %, ChatGPT-User 7,3 %. Perplexity gotovo u potpunosti crawla za pretraživanje (PerplexityBot 92,3 %). Google koristi jedan crawler mješovite namjene za pretraživanje i AI, zato vlasnici stranica ne mogu odvojiti to dvoje jednostavnim pravilom za bota.

Botovi koje trebate poznavati

Anthropicov centar za pomoć navodi da sva tri Claude bota poštuju robots.txt, podržavaju nestandardnu direktivu Crawl-delay i ne zaobilaze CAPTCHA zaštitu te da blokiranje ClaudeBota isključuje budući sadržaj stranice iz treniranja. OpenAI objavljuje IP raspone za svaki bot (gptbot.json, searchbot.json, chatgpt-user.json) i napominje da promjene robots.txt stupaju na snagu za oko 24 sata. Za Manus, agenta koji pretražuje web u ime korisnika, nismo pronašli zasebno objavljenu oznaku crawlera. Cloudflareova tablica transparentnosti navodi OpenAI, Anthropic, Metu i Amazon kao verificirane i s odvojenim botovima po svrsi; Perplexity i ByteDance nisu verificirani.

Što web stranice blokiraju u robots.txt

Od 10.000 najposjećenijih domena, 4.360 datoteka robots.txt spominje barem jednog AI agenta. GPTBot je najčešće blokiran (na 437 domena potpuno, na 197 djelomično), slijede ClaudeBot (390 / 172), CCBot (415 / 124) i Google-Extended (341 / 167). Botovi za pretraživanje i korisničke zahtjeve blokiraju se znatno rjeđe: OAI-SearchBot potpuno je zabranjen na 118 domena, Googlebot na samo 24. Na cijeloj Cloudflareovoj mreži manje od 1 % stranica blokira crawlere za pretraživanje, dok 17 % blokira treniranje.

Pravila robots.txt za web stranice tvrtki

Za B2B tvrtku koja želi da je ChatGPT, Claude i Perplexity pronađu i citiraju (pogledajte naš vodič za GEO optimizaciju), bitni su botovi za pretraživanje i korisničke zahtjeve. Treniranje je zasebna odluka, često potaknuta pravnim pitanjima ili licenciranjem (pogledajte AI i autorska prava).

• Uvijek dopustite botove za pretraživanje i korisničke zahtjeve (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User) ako želite citate i posjete iz AI odgovora.
• O treniranju odlučite po vrsti sadržaja. Marketinške stranice obično mogu ostati otvorene; plaćeni izvještaji, dokumentacija iza prijave ili licencirani sadržaj mogu zabraniti GPTBot, ClaudeBot, Google-Extended, Applebot-Extended i CCBot.
• Ne blokirajte Googlebot ni Bingbot kako biste zaustavili AI funkcije; time nestajete iz pretraživanja. Umjesto toga koristite Google-Extended i kontrole isječaka samih pružatelja.
• Izmjerite prije odluke. U logovima ili nadzornoj ploči CDN-a provjerite koji AI botovi dolaze, koje stranice čitaju i koje AI platforme šalju posjetitelje.
• Provodite pravila na rubu mreže za botove koji ignoriraju robots.txt ili nisu verificirani: WAF pravilo ili kontrole botova vašeg CDN-a, a ne samo tekstualna datoteka.
• Olakšajte agentima čitanje stranica. Čist HTML, sitemap i brzi odgovori pomažu. Noviji standardi još su rijetki: u Cloudflareovom skeniranju 200.000 najvećih domena content signals se pojavljuju na 5,3 % stranica, Markdown negotiation na 4 %, a WebMCP na 1,3 %.

Što to znači za tvrtke u Hrvatskoj i DACH regiji

Za većinu tvrtki u Hrvatskoj, Austriji, Njemačkoj i Švicarskoj rizik nije previše crawlanja, nego nevidljivost u AI odgovorima. Hrvatska ili njemačka stranica s uslugama koja blokira sve AI botove neće biti citirana kada kupac pita Claude ili ChatGPT za dobavljača. Istodobno izdavači, proizvođači softvera i svi s plaćenim sadržajem trebaju pristup za treniranje tretirati kao imovinu u okviru EU opt-outa za autorska prava (članak 4. Direktive o autorskom pravu na jedinstvenom digitalnom tržištu) i Kodeksa prakse za GPAI, kojim se potpisnici obvezuju poštovati robots.txt. Praktičan odgovor je isti za oboje: odvojite pretraživanje od treniranja, mjerite što botovi stvarno rade i provjeravajte pravila svaki kvartal, jer se brojke brzo mijenjaju.

Često postavljana pitanja

Što je omjer crawl-to-refer?

Cloudflare Radar uspoređuje koliko HTML stranica zatraže botovi neke platforme s brojem posjeta HTML stranicama koje ta platforma preusmjeri na web stranice. Omjer 487 : 1 znači da su crawleri platforme zatražili 487 stranica za svakog posjetitelja kojeg je poslala natrag. U četiri tjedna do 27. listopada 2026. omjer je bio oko 4.000 : 1 za Perplexity, 881,5 : 1 za OpenAI, 486,8 : 1 za Anthropic i 4,7 : 1 za Google.

Trebam li blokirati GPTBot i ClaudeBot?

Ovisi o tome želite li da se vaš sadržaj koristi za treniranje modela. GPTBot i ClaudeBot su crawleri za treniranje; njihovo blokiranje ne uklanja vas iz pretraživanja u ChatGPT-u ili Claudeu, koji koriste OAI-SearchBot i Claude-SearchBot. Mnoge tvrtke koje prodaju usluge treniranje dopuštaju ili blokiraju po izboru, ali uvijek dopuštaju botove za pretraživanje i korisničke zahtjeve, jer oni donose citate i posjetitelje.

Šteti li blokiranje AI crawlera rangiranju na Googleu?

Blokiranje Google-Extended sprječava korištenje vašeg sadržaja za treniranje Geminija i prema Googleu ne utječe na rangiranje u Google pretraživanju. Blokiranje samog Googlebota uklanja vas iz Google pretraživanja. Googlebot je crawler mješovite namjene, pa jednim pravilom ne možete blokirati AI Overviews i zadržati pretraživanje; Google za to nudi zasebne kontrole.

Poštuju li AI korisnički agenti poput ChatGPT-User robots.txt?

OpenAI navodi da se pravila robots.txt možda ne primjenjuju na ChatGPT-User jer posjet pokreće korisnik. Anthropic navodi da sva tri njegova bota, uključujući Claude-User, poštuju robots.txt. Crawleri za treniranje i pretraživanje velikih pružatelja slijede robots.txt; za neverificirane botove pouzdano je samo blokiranje na razini mreže.