Roboty wyszukiwarek odwiedzają Twoją stronę bez przerwy. Przeglądają podstrony, idą za linkami i sprawdzają aktualizacje. Ale tej aktywności nie zobaczysz w Google Search Console. Zobaczysz ją tylko w logach serwera. Logi serwera zapisują każde żądanie, w tym który bot je wysłał, jaką podstronę przejrzał, ile to trwało i jaki kod odpowiedzi dostał. Analiza logów pokazuje, jak wyszukiwarki naprawdę traktują Twoją stronę.
Czym są logi serwera?
Logi serwera to zapisy każdego żądania wysłanego do Twojego serwera www. Każda linijka to jedno żądanie. Log pokazuje adres IP odwiedzającego, o co prosił, kiedy, jaki kod odpowiedzi zwrócił serwer i ile danych wysłał.
Każda firma hostingowa prowadzi logi serwera. Dostaniesz je w panelu hostingu lub przez FTP. Są różne popularne formaty logów serwera. Większość firm hostingowych pozwala pobrać logi do analizy.
Pliki logów mogą być ogromne. Ruchliwa strona generuje gigabajty logów dziennie. Do ich analizy potrzebne są narzędzia. Nie da się ręcznie przeczytać milionów wpisów.
Jak rozumieć identyfikatory robotów (user-agent)
Każdy bot przedstawia się ciągiem user-agent. Googlebot to robot indeksujący Google. Inne wyszukiwarki mają własne roboty.
Możesz filtrować logi po user-agent, by zobaczyć tylko żądania konkretnych robotów. Dzięki temu wiesz, jak często każda wyszukiwarka przegląda Twoją stronę.
Uważaj na fałszywe user-agenty. Nieuczciwe podmioty udają wyszukiwarki. Ciąg user-agent z napisem „Googlebot” może wcale nie być Googlebotem. Zweryfikuj adres IP. Prawdziwe adresy IP Googlebota są publikowane przez Google.
Czego można się dowiedzieć z logów
Częstotliwość przeglądania: jak często każda wyszukiwarka przegląda Twoją stronę? Codziennie? Co tydzień? Kilka razy dziennie? Częstotliwość pokazuje, jak bardzo Google ceni Twoją stronę.
Schematy przeglądania: które podstrony odwiedza robot? Czy częściej przegląda ważne podstrony? Czy marnuje czas na mało ważne? To pokazuje podział budżetu indeksowania.
Kody odpowiedzi: czy podstrony zwracają 200 (sukces), czy błędy? Wiele błędów 4xx lub 5xx wskazuje na problemy.
Szybkość przeglądania: ile czasu bot spędza na przeglądaniu? Szybkie przeglądanie wskazuje, że podstrony ładują się szybko. Wolne wskazuje na problemy z wydajnością.
Zachowanie botów: czy boty stosują się do robots.txt? Czy respektują nofollow? Czy przeglądają obrazy i CSS? To pokazuje, czy Twoja konfiguracja techniczna jest prawidłowa.
Jak analizować logi
Pobierz logi. Wejdź do panelu hostingu, znajdź sekcję z logami i pobierz logi dostępu z okresu, który chcesz przeanalizować.
Użyj narzędzi do analizy logów. Analizatory plików logów potrafią je przetworzyć i wyciągnąć wnioski. Narzędzia te filtrują po user-agent, adresie IP, kodzie odpowiedzi i innych danych.
Przefiltruj roboty. Skup się na żądaniach botów wyszukiwarek. Odfiltruj zwykły ruch odwiedzających. To pozwala wyodrębnić zachowanie robotów.
Analizuj schematy. Przyjrzyj się trendom częstotliwości przeglądania. Czy rośnie, czy spada? Czy rośnie odsetek błędów? Czy schematy odpowiadają Twoim oczekiwaniom?
Częste wnioski z analizy logów
Mało ważne podstrony przeglądane częściej niż ważne. To wskazuje na problem ze strukturą strony. Ważne podstrony powinny być przeglądane częściej. Użyj robots.txt lub linkowania wewnętrznego, by nadać priorytet ważnym podstronom.
Wysoki odsetek błędów. Wiele odpowiedzi 4xx lub 5xx wskazuje na zepsute podstrony lub problemy z serwerem. Napraw błędy, by poprawić możliwość przeglądania.
Niska częstotliwość przeglądania. Jeśli wyszukiwarki rzadko przeglądają Twoją stronę, może to oznaczać niski autorytet lub słabą jakość treści. Popraw treści i linki zwrotne, by przyciągnąć więcej wizyt robotów.
Boty przeglądające zablokowane podstrony. Jeśli robots.txt blokuje podstrony, a roboty nadal o nie proszą, boty ignorują Twoje reguły blokowania. Zwykle jest to nieszkodliwe.
Ograniczenia analizy logów
Analiza logów pokazuje żądania do Twojego serwera, ale nie całą aktywność robotów. Niektóre wyszukiwarki korzystają z pamięci podręcznej. Mogą nie przeglądać każdego adresu za każdym razem. Przeglądania z pamięci podręcznej nie pojawiają się w logach.
Analiza logów nie pokazuje decyzji o indeksowaniu. To, że podstrona została przejrzana, nie znaczy, że została zaindeksowana. Wyszukiwarki cały czas przeglądają podstrony i je odrzucają.
Duże pliki logów trudno obsłużyć. Ruchliwa strona generuje ogromne logi. Analiza gigabajtów danych wymaga potężnych narzędzi i doświadczenia.
Dane z logów są techniczne. Wymagają znajomości odpowiedzi HTTP, ciągów user-agent i zachowania serwera. To nie jest temat dla początkujących.
Najczęstsze pytania
Gdzie znajdę logi serwera?
Logi serwera ma Twoja firma hostingowa. Zaloguj się do panelu hostingu i poszukaj sekcji o nazwie Logi lub Statystyki. Większość firm pozwala pobrać surowe logi. Niektóre oferują przeglądarki logów. Jeśli ich nie znajdziesz, skontaktuj się z firmą hostingową. W kreatorze stron WEMASY możesz to ustawić bezpośrednio na swojej stronie.
Jak daleko wstecz sięgają logi serwera?
To zależy od hostingu. Niektóre firmy przechowują logi przez 30 dni, inne przez 90. Hostingi dla dużych firm mogą przechowywać logi przez lata. Sprawdź dokumentację swojego hostingu. Jeśli potrzebujesz historycznych logów, pobieraj je i archiwizuj regularnie.
Czy analizować logi samodzielnie, czy zatrudnić specjalistę?
W przypadku większości stron wystarczy Google Search Console. Analiza logów jest zaawansowana i techniczna. Sięgaj po logi tylko wtedy, gdy GSC nie daje odpowiedzi, których potrzebujesz. Jeśli analizujesz logi, użyj specjalnego analizatora plików logów. Jeśli brakuje Ci doświadczenia, zatrudnij konsultanta SEO.
Czy mogę użyć logów do wykrywania złych botów?
Tak. Logi pokazują wszystkie żądania, także od złych botów. Szukaj nietypowych ciągów user-agent, dużej liczby żądań lub schematów przeglądania, które nie mają sensu. Złe boty często przeglądają stronę znacznie szybciej niż legalne roboty. Możesz je zablokować przez robots.txt lub zaporę sieciową.
Czy analiza logów pomaga poprawić pozycje?
Pośrednio. Analiza logów pomaga zrozumieć problemy z indeksowaniem, struktury strony i wąskie gardła wydajności. Naprawa tych problemów poprawia stronę zarówno dla robotów, jak i dla ludzi, co może poprawić pozycje. Ale logi to narzędzie diagnostyczne, a nie czynnik pozycjonowania.
Czym różnią się logi od danych z Search Console?
Logi pokazują każde żądanie do Twojego serwera. Search Console pokazuje, co Google zrobił z tymi żądaniami (zaindeksował, odrzucił itd.). Logi to surowe dane. Search Console to interpretacja tych danych przez Google. Używaj obu razem, by uzyskać pełny obraz.