Plik robots.txt to zwykły plik tekstowy w katalogu głównym Twojej strony. Mówi crawlerom, do których stron mogą wchodzić, a które są zamknięte. W tradycyjnych wyszukiwarkach robots.txt jest opcjonalny. W przypadku crawlerów AI to główne narzędzie, którym kontrolujesz, czy Twoje treści zostaną zaindeksowane, czy zablokowane.
Ta różnica ma znaczenie. Google respektuje robots.txt, ale i tak przeszukuje zablokowane strony, jeśli linkują do nich inne witryny. Crawlery AI respektują robots.txt bardziej rygorystycznie. Zablokuj GPTBot w robots.txt, a ChatGPT nie zacytuje Twoich treści. Dopuść go, a Twoje treści staną się dostępne dla cytowań AI. Ten rozdział omawia, jak nazywa się każdy główny crawler AI, jak blokować konkretne boty i jaka strategia ma sens dla Twojej marki.
Jak robots.txt działa w przypadku crawlerów AI
Gdy crawler odwiedza Twoją stronę, pierwsze, co robi, to sprawdza plik robots.txt. Czyta go linijka po linijce, szukając reguł, które go dotyczą. Jeśli Twój robots.txt zawiera „disallow: /”, żaden crawler nie wejdzie na żadną stronę. Jeśli zawiera „disallow: /admin/”, crawlery mogą wejść wszędzie poza folderem admin.
Crawlery AI stosują się do tych reguł konsekwentniej niż Googlebot. Jeśli zablokujesz ClaudeBot w robots.txt, Claude nie zaindeksuje Twoich treści. Kropka. Googlebot może nadal przeszukiwać zablokowane strony, jeśli treść jest linkowana z innych witryn, ale crawlery AI zatrzymują się na dyrektywie robots.txt.
Format jest prosty. Piszesz reguły, które wskazują, które user-agenty (nazwy crawlerów) podlegają którym regułom, a potem wymieniasz, do czego te crawlery mogą, a do czego nie mogą mieć dostępu. Plik jest zwykłym tekstem. Bez znaczników. Bez specjalnego formatowania. Same reguły.
Główne crawlery AI i nazwy ich user-agentów
Każdy crawler ma nazwę user-agenta. Gdy odwiedza Twoją stronę, przedstawia się tą nazwą. Używasz jej w pliku robots.txt, by tworzyć reguły dla konkretnego crawlera.
Oto główne crawlery AI, które warto znać:
GPTBot (OpenAI)
GPTBot to crawler OpenAI. Indeksuje treści dla ChatGPT. Gdy użytkownik włącza wyszukiwanie w sieci w ChatGPT, system korzysta ze stron zaindeksowanych przez GPTBot. GPTBot crawluje intensywnie, ale respektuje reguły robots.txt.
Aby dopuścić GPTBot, nie rób nic. Domyślnie crawluje. Aby go zablokować, dodaj te linie do robots.txt:
User-agent: GPTBot
Disallow: /
Ta reguła mówi: „GPTBot, nie masz dostępu do żadnej strony w tej witrynie.” Jeśli chcesz zablokować tylko wybrane sekcje, możesz podać to precyzyjniej. Zablokuj folder /admin/, ale dopuść resztę:
User-agent: GPTBot
Disallow: /admin/
ClaudeBot (Anthropic)
ClaudeBot to crawler Anthropic. Indeksuje treści dla wyszukiwania w sieci w Claude. ClaudeBot jest bardziej intensywny niż GPTBot. Wysyła więcej żądań i crawluje częściej. Jeśli dopuszczasz ClaudeBot, monitoruj zasoby serwera.
ClaudeBot przedstawia się tą nazwą user-agenta. Użyj jej w robots.txt tak samo jak w przypadku GPTBot:
User-agent: ClaudeBot
Disallow: /
PerplexityBot (Perplexity)
PerplexityBot przeszukuje sieć dla Perplexity. To jeden z częściej odwiedzających crawlerów. Aktualizuje treści kilka razy dziennie, bo Perplexity stawia na świeżość. Jeśli zablokujesz PerplexityBot, Twoje treści nie pojawią się w odpowiedziach Perplexity.
User-agent: PerplexityBot
Disallow: /
Googlebot-Extended (Google AI)
Google ma dwa crawlery. Googlebot przeszukuje sieć dla tradycyjnego wyszukiwania. Googlebot-Extended przeszukuje ją dla systemów AI Google, takich jak AI Overviews i Gemini. Możesz zablokować Googlebot-Extended, nadal dopuszczając Googlebot.
User-agent: Googlebot-Extended
Disallow: /
Inne crawlery
Crawlery mają też inne wyszukiwarki, w tym rosyjska, koreańska i ta od Microsoftu. Zasada jest ta sama. Ustal nazwę user-agenta i utwórz regułę.
Strategia: dopuścić czy zablokować?
Większość marek powinna dopuścić crawlery AI do swoich treści. Cytowania AI przyciągają ruch wysokiej jakości. Osoby, które znajdują Twoje treści przez ChatGPT lub Perplexity, już uznały, że Twoja odpowiedź jest wartościowa. Klikają i konwertują częściej niż osoby z tradycyjnego wyszukiwania.
Są wyjątki. Jeśli masz informacje zastrzeżone, tajemnice handlowe albo treści, które chcesz zachować na wyłączność, blokowanie crawlerów AI ma sens. Jeśli masz treści za paywallem, możesz zablokować niektóre crawlery, by nie dawać darmowego dostępu przez streszczenia AI. Jeśli masz treści kłopotliwe lub nieaktualne, możesz zablokować crawlery AI do czasu ich aktualizacji.
Ale dla większości treści rachunek jest prosty. Widoczność w AI daje więcej szans niż ryzyka. Dopuść crawlery. Daj się cytować. Zdobywaj ruch.
Blokowanie wybranych crawlerów przy dopuszczeniu innych
Nie musisz wybierać wszystkiego albo niczego. Możesz dopuścić jedne crawlery AI, a inne zablokować.
Dopuść Perplexity i GPTBot, ale zablokuj ClaudeBot, bo jego częstotliwość crawlowania obciąża Twój serwer:
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow:
User-agent: PerplexityBot
Disallow:
Puste „Disallow:” oznacza brak ograniczeń. Ten crawler ma dostęp do wszystkiego.
Możesz też blokować crawlery AI w wybranych sekcjach. Dopuść GPTBot wszędzie poza panelem administracyjnym:
User-agent: GPTBot
Disallow: /admin/
Pozwól mu crawlować blog, ale nie produkty:
User-agent: GPTBot
Disallow: /products/
Reguła z symbolem wieloznacznym i zachowanie domyślne
Możesz tworzyć reguły dla konkretnych crawlerów i regułę domyślną dla wszystkich pozostałych. Gwiazdka (*) to symbol wieloznaczny, który dotyczy wszystkich crawlerów niewymienionych wprost.
Ta reguła blokuje wszystkim crawlerom dostęp do /private/, ale dopuszcza resztę:
User-agent: *
Disallow: /private/
Ta reguła blokuje wszystkim crawlerom dostęp do czegokolwiek:
User-agent: *
Disallow: /
Dyrektywa crawl-delay
Możesz poprosić crawlery, by zwolniły. Dyrektywa Crawl-delay mówi crawlerowi, by czekał określoną liczbę sekund między żądaniami. Jeśli Twój serwer nie radzi sobie z intensywnym crawlowaniem ClaudeBot, możesz kazać mu zwolnić:
User-agent: ClaudeBot
Crawl-delay: 5
Oznacza to, że ClaudeBot musi czekać 5 sekund między kolejnymi żądaniami. Crawlowanie zwalnia, ale obciążenie serwera maleje.
Jak robots.txt łączy się z Twoją mapą witryny
Twój plik robots.txt może wskazywać mapę witryny (sitemap). Dodaj tę linię na końcu pliku robots.txt:
Sitemap: https://yoursite.com/sitemap.xml
Crawlery sprawdzają Twój robots.txt i widzą odwołanie do mapy witryny. Wiedzą, gdzie znaleźć mapę Twoich treści. To przyspiesza odkrywanie. Nie zmienia tego, do czego crawlery mają dostęp. Mówi im tylko, gdzie patrzeć.
Testowanie pliku robots.txt
Plik robots.txt możesz przetestować przed wdrożeniem. Google Search Console zawiera tester robots.txt. Wpisujesz adres URL i nazwę user-agenta, a narzędzie mówi, czy ten crawler może wejść na tę stronę według Twoich reguł robots.txt.
Większość platform treści, w tym WEMASY, generuje plik robots.txt automatycznie. Sprawdź ustawienia swojej strony. Jeśli możesz go edytować, możesz dodać własne reguły. Jeśli nie, skontaktuj się z dostawcą hostingu.
Najczęstsze pytania
Czy po zablokowaniu wszystkich crawlerów AI moja strona nadal będzie w rankingu Google?
Tak. Blokowanie crawlerów AI (GPTBot, ClaudeBot itd.) nie wpływa na pozycje w Google. Google używa Googlebota do tradycyjnego wyszukiwania, a Googlebot-Extended do funkcji AI. Jeśli chcesz zablokować tylko crawlery AI, a zachować dostęp Google, zablokuj wprost nazwy crawlerów AI, a Googlebot i Googlebot-Extended zostaw odblokowane. W kreatorze stron WEMASY ustawisz to bezpośrednio na swojej stronie.
Czy mogę zablokować crawlery trenujące AI, a dopuścić crawlery wyszukiwania AI?
Granice między crawlerami do trenowania a crawlerami do wyszukiwania są rozmyte. Większość dużych firm AI używa dziś tych samych crawlerów do obu celów. Jeśli zablokujesz crawler AI całkowicie, blokujesz zarówno jego dostęp do trenowania, jak i do wyszukiwania. Za pomocą robots.txt nie zablokujesz wybiórczo tylko trenowania ani tylko wyszukiwania. Crawler blokujesz w całości albo dopuszczasz.
Co się stanie, jeśli nie mam pliku robots.txt?
Jeśli nie masz pliku robots.txt, crawlery zakładają, że mogą wejść wszędzie. Wszystkie crawlery (Google, inne wyszukiwarki, GPTBot, ClaudeBot i każdy inny) zaindeksują całą Twoją stronę. Dla większości stron to pożądane zachowanie. Jeśli chcesz blokować konkretne crawlery lub sekcje, potrzebujesz pliku robots.txt.
Czy crawlery AI mogą ominąć mój plik robots.txt?
Teoretycznie tak, ale tego nie robią. Crawlery AI respektują robots.txt bardziej rygorystycznie niż Googlebot. Jeśli każesz crawlerowi AI trzymać się z daleka, on się trzyma. Twórcy crawlerów wiedzą, że lekceważenie robots.txt psuje ich relacje z wydawcami. Trzymają się zasad.
Jak często muszę aktualizować plik robots.txt?
Aktualizacja jest potrzebna tylko wtedy, gdy zmieniają się Twoje reguły blokowania. Jeśli zdecydujesz się zablokować nowy crawler albo otworzyć dostęp do wcześniej zablokowanej sekcji, zaktualizuj plik. W pozostałych przypadkach, raz ustawiony, możesz go zostawić w spokoju. Crawlery sprawdzają go przy każdej wizycie, więc zmiany działają od razu.
Czy blokować crawlerom AI dostęp do analizy konkurencji lub prywatnych badań?
Tak. Jeśli masz strony z zastrzeżonymi badaniami, analizą konkurencji albo treściami, które nie mają być publicznie dostępne, zablokuj w tych sekcjach wszystkie crawlery. Dodaj regułę disallow dla tego folderu lub tych stron. Crawlery ich nie zaindeksują, a systemy AI nie będą miały do nich dostępu, by je cytować.