Wyszukiwarki stale skanują stronę, podążając za linkami i indeksując podstrony. Ale nie każda strona zasługuje na indeksowanie. Masz strony prywatne, obszary administracyjne, strony testowe i zduplikowane strony, które marnują budżet skanowania. Robots.txt to prosty plik tekstowy, który mówi wyszukiwarkom, które strony mogą, a których nie mogą skanować. To strażnik między stroną a robotami wyszukiwarek.
Robots.txt to zwykły plik tekstowy w katalogu głównym strony (twojastrona.pl/robots.txt). Zawiera instrukcje dla robotów wyszukiwarek o tym, które strony i sekcje mogą skanować. Do robots.txt nie potrzeba logowania. Jest publiczny. Każdy może wejść na twojastrona.pl/robots.txt i zobaczyć instrukcje.
Wyszukiwarki mają przestrzegać reguł robots.txt. Większość to robi. Niektóre nie. Dobrze działające roboty (Google, Bing, renomowane wyszukiwarki) respektują robots.txt. Złośliwe boty często go ignorują.
Jak wygląda robots.txt?
Prosty plik robots.txt wygląda tak:
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /blog/
Sitemap: https://www.example.com/sitemap.xml
To mówi wszystkim botom (User-agent: *), że nie mogą skanować sekcji /admin/ ani /private/. Wprost zezwala na /blog/ (co jest przydatne, gdy folder nadrzędny jest zablokowany). Wskazuje też botom mapę witryny.
Oto kolejny przykład z bardziej szczegółowymi regułami:
User-agent: Googlebot
Disallow: /temp/
User-agent: *
Disallow: /test/
Disallow: /*.pdf
Crawl-delay: 5
To blokuje tylko robota Google w /temp/. Wszystkie pozostałe boty są blokowane w /test/ i dla wszystkich plików PDF. Opóźnienie skanowania mówi botom, by czekały 5 sekund między żądaniami.
Jak robots.txt pomaga SEO
Robots.txt pomaga SEO w jeden główny sposób: oszczędza budżet skanowania. Wyszukiwarki przydzielają każdej stronie ograniczony budżet skanowania. Dla małych stron budżet rzadko jest problemem. Dla dużych stron z tysiącami podstron ma znaczenie.
Jeśli strona ma 10 000 podstron, ale tylko 500 jest ważnych, chcesz, by boty skanowały te 500 ważnych wielokrotnie, zamiast rozpraszać budżet na wszystkie 10 000. Robots.txt blokuje botom marnowanie czasu na nieważne strony.
Typowe strony do zablokowania: obszary administracyjne, strony logowania, strony z podziękowaniem, strony testowe, zduplikowane treści, strony sesji i treści tymczasowe. Blokowanie tych stron mówi botom, by skupiły się na treściach, które mają znaczenie.
Czego nie blokować w robots.txt
Nie blokuj stron, na których pozycjach Ci zależy. Nie blokuj sekcji bloga ani głównych obszarów treści. Nie blokuj plików CSS, JavaScript ani obrazów potrzebnych do poprawnego renderowania stron (chyba że celowo chcesz zapobiec indeksowaniu).
Google zaleca nie blokować plików CSS, JavaScript i obrazów, nawet jeśli nie chcesz ich indeksować. Zablokowanie tych zasobów może uniemożliwić Google poprawne renderowanie i zrozumienie stron.
Nie używaj robots.txt do ukrywania wrażliwych informacji. Robots.txt jest publiczny. Każdy może przeczytać twojastrona.pl/robots.txt. Jeśli naprawdę chcesz coś ukryć, użyj ochrony hasłem lub uwierzytelniania na serwerze, a nie robots.txt.
Jak utworzyć plik robots.txt
Utworzenie robots.txt jest proste. To zwykły plik tekstowy. Większość kreatorów stron i platform CMS generuje go automatycznie.
Jeśli Twój CMS go nie utworzył, zrób to ręcznie. Otwórz edytor tekstu. Wpisz reguły. Zapisz jako „robots.txt” (nie „robots.txt.txt”). Prześlij do katalogu głównego strony (twojastrona.pl/robots.txt).
Przetestuj plik robots.txt. Wejdź do Google Search Console, wybierz usługę, przejdź do narzędzia Robots.txt Tester i wklej reguły. Google pokaże, co plik blokuje, a na co zezwala. To potwierdza, że reguły działają zgodnie z zamiarem.
Typowe reguły robots.txt i przykłady
Oto najczęstsza reguła: zablokuj wszystkie boty w konkretnym katalogu.
User-agent: *
Disallow: /admin/
Oto jak zablokować konkretny typ pliku (jak PDF):
User-agent: *
Disallow: /*.pdf
Oto jak zablokować wszystkie boty poza Google:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
Oto jak dodać opóźnienie skanowania (czekanie X sekund między żądaniami):
User-agent: *
Crawl-delay: 10
Oto jak wskazać botom mapę witryny:
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap2.xml
Ważne ograniczenia robots.txt
Robots.txt nie jest narzędziem bezpieczeństwa. To system grzeczności. Złe boty, hakerzy i złośliwe roboty całkowicie ignorują robots.txt. Nie używaj go do ukrywania wrażliwych danych ani ochrony ważnych stron. Do tego użyj ochrony hasłem.
Robots.txt nie gwarantuje wykluczenia z wyników wyszukiwania. Google czasem indeksuje strony wymienione w robots.txt, jeśli są linkowane z innych zaindeksowanych stron. Blokada zapobiega skanowaniu, ale nie indeksowaniu, jeśli strona jest linkowana gdzie indziej.
Robots.txt to nie noindex. Jeśli chcesz całkowicie zapobiec indeksowaniu, użyj meta znacznika robots lub nagłówka X-Robots-Tag, a nie robots.txt. Robots.txt kontroluje tylko skanowanie, nie indeksowanie.
Najczęściej zadawane pytania
Czy robots.txt wpływa na pozycje w SEO?
Pośrednio. Robots.txt nie wpływa bezpośrednio na pozycje. Ale kierując budżet skanowania na ważne strony, pomagasz wyszukiwarkom częściej skanować i indeksować najlepsze treści. Lepsze skanowanie prowadzi do lepszego indeksowania, które prowadzi do lepszego potencjału pozycji. Robots.txt pomaga więc pozycjom pośrednio, przez zarządzanie budżetem skanowania. Dzięki kreatorowi stron WEMASY kreator stronustawisz to bezpośrednio na swojej stronie.
Czy mogę zablokować Google skanowanie mojej strony?
Tak, ale nie powinno się tego robić. Możesz zablokować Googlebota w robots.txt, ale to uniemożliwia Google indeksowanie strony. Strona zniknie z wyszukiwarki Google. Jedyny powód to wyłączenie strony lub jej przeniesienie, gdy nie chcesz indeksowania starej wersji. Prawie zawsze powinno się pozwolić Google skanować.
Czy robots.txt rozróżnia wielkość liter?
Częściowo. Polecenia User-agent i Disallow nie rozróżniają wielkości liter. Ścieżki, które blokujesz, rozróżniają wielkość liter na większości serwerów. /Admin/ i /admin/ to różne ścieżki. Przetestuj reguły w Google Search Console, by upewnić się, że działają zgodnie z zamiarem.
Czy blokować zduplikowane strony w robots.txt?
To zależy. Robots.txt blokuje skanowanie, ale nie indeksowanie. Jeśli chcesz zapobiec indeksowaniu zduplikowanych stron, użyj znacznika canonical lub meta noindex. Używaj robots.txt do blokowania skanowania nieważnych duplikatów, których znalezienie przez Google nie ma dla Ciebie znaczenia.
Czy muszę powiadamiać Google o zmianie robots.txt?
Nie. Google często skanuje robots.txt. Zmiany zwykle zaczynają działać w ciągu godzin. Nie trzeba ponownie przesyłać strony ani nikogo powiadamiać. Wystarczy zaktualizować robots.txt i poczekać na kolejne skanowanie.
Jaka jest różnica między robots.txt a meta znacznikami robots?
Robots.txt blokuje skanowanie na poziomie pliku. Meta znaczniki robots kontrolują indeksowanie na poziomie strony. Robots.txt mówi, że stronę nie można skanować. Meta znaczniki robots (jak noindex) mówią, że stronę można skanować, ale nie należy jej indeksować. Używaj robots.txt dla dużych sekcji, które chcesz zablokować. Używaj meta znaczników robots dla pojedynczych stron, które mają być skanowane, ale nie indeksowane.