Certyfikat SSL Twojej strony działa bez zarzutu dla odwiedzających. A jednak crawlery AI, takie jak GPTBot, ClaudeBot i PerplexityBot, w ogóle nie mogą wejść na Twoje treści.
Większość strategii GEO skupia się na pliku robots.txt i optymalizacji treści. Ale zanim crawler AI zdoła odczytać Twój plik robots.txt, musi pomyślnie zakończyć uzgadnianie HTTPS z Twoim serwerem. Jeśli to się nie uda, Twoje treści są dla AI niewidoczne, choćby były świetnie zoptymalizowane.
Ten artykuł wyjaśnia, dlaczego HTTPS i certyfikaty SSL są fundamentem widoczności w AI. Dowiesz się, jakie warstwy zabezpieczeń wpływają na crawlery, które błędy SSL blokują indeksowanie przez AI i jak sprawdzić, czy wszystkie główne platformy AI mają dostęp do Twojej strony.
Czym są HTTPS i certyfikaty SSL
HTTPS to HTTP z dodatkową warstwą zabezpieczeń. Gdy odwiedzający lub crawler łączy się z Twoją stroną, HTTPS szyfruje dane przesyłane między jego przeglądarką (lub crawlerem) a Twoim serwerem. Robi to za pomocą SSL (Secure Sockets Layer) albo jego nowoczesnego następcy, TLS (Transport Layer Security).
Certyfikat SSL to cyfrowy dokument, którym Twój serwer potwierdza, że jest tym, za kogo się podaje. Zawiera nazwę domeny Twojej strony, wystawcę certyfikatu i datę ważności. Gdy crawler trafia na Twoją stronę, serwer pokazuje certyfikat jako dowód tożsamości. Crawler sprawdza go, zanim pobierze jakiekolwiek treści.
Odwiedzający w nowoczesnych przeglądarkach tego procesu nie widzą, zobaczą tylko zieloną kłódkę. Ale jeśli certyfikatu brakuje, wygasł, jest samopodpisany albo nie pasuje do Twojej domeny, uzgadnianie kończy się porażką. A to całkowicie blokuje crawlery.
Dlaczego crawlery AI potrzebują HTTPS, by dotrzeć do Twoich treści
Crawlery AI wysyłają żądania HTTP tak samo jak Googlebot. Podążają za linkami, pobierają strony i analizują HTML. Ale w przeciwieństwie do niektórych starszych crawlerów wszystkie nowoczesne platformy AI (crawler ChatGPT, crawler Perplexity, crawler Claude) wymagają prawidłowego połączenia HTTPS, zanim w ogóle spróbują odczytać robots.txt lub pobrać choćby jedną stronę.
Tak wygląda wizyta crawlera AI na Twojej stronie. Najpierw próbuje nawiązać bezpieczne połączenie z Twoją domeną przez TLS. Serwer odpowiada certyfikatem SSL. Crawler sprawdza, czy certyfikat jest autentyczny i pasuje do Twojej domeny. Dopiero gdy weryfikacja się powiedzie, crawler wysyła prawdziwe żądania o Twoje treści.
Jeśli Twój certyfikat SSL jest nieprawidłowy lub wygasł, crawler zatrzymuje się na drugim kroku i nigdy nie pobiera treści. Z jego perspektywy Twoja strona jest nieosiągalna. Nie spróbuje ponownie jutro. Oznaczy Twoją domenę jako niedostępną i pójdzie dalej.
To coś innego niż w tradycyjnym SEO, gdzie Google ponawia nieudane żądania i w końcu zaindeksuje treści, nawet jeśli wystąpiły chwilowe problemy z połączeniem. Crawlery AI są bardziej surowe przy pierwszej próbie dostępu. Nieudane uzgadnianie SSL przy pierwszym żądaniu często oznacza brak jakiegokolwiek indeksowania.
Jak problemy z certyfikatem SSL blokują crawlery AI
Nie każdy problem z SSL rzuca się w oczy. Certyfikat może być technicznie zainstalowany, a mimo to nie przejść weryfikacji u wybranych crawlerów. Najczęstsze przyczyny blokad to:
Wygasłe certyfikaty
Certyfikat po terminie ważności jest nieprawidłowy. Crawlery odrzucają go od razu. Niektóre strony używają bardzo krótko ważnych certyfikatów (30-90 dni) i odnawiają je automatycznie. Jeśli automatyzacja zawiedzie, certyfikat wygasa, a nikt tego nie zauważa, i crawlery natychmiast tracą dostęp.
Certyfikaty samopodpisane
Certyfikat samopodpisany podpisuje Twój własny serwer, a nie zaufany urząd certyfikacji. Przeglądarki i crawlery nie ufają takim certyfikatom, bo każdy mógłby go wystawić i podszyć się pod kogoś innego. Certyfikaty samopodpisane nadają się do pracy deweloperskiej lub sieci wewnętrznych, ale blokują cały publiczny dostęp crawlerów.
Niezgodność domeny
Jeśli certyfikat wystawiono dla example.com, a wchodzisz na stronę przez www.example.com (lub odwrotnie), domena w certyfikacie nie pasuje do żądanej domeny. Crawlery to odrzucają. Liczy się nawet drobna różnica: certyfikat SSL dla sub.example.com nie przejdzie weryfikacji, jeśli crawler zażąda content.example.com.
Problemy z łańcuchem certyfikatów
Certyfikat SSL jest częścią łańcucha, który prowadzi do głównego urzędu certyfikacji. Jeśli serwer nie wysyła pełnego łańcucha (masz certyfikat końcowy, ale brakuje certyfikatów pośrednich), crawlery mogą nie zdołać zweryfikować Twojej tożsamości. Niektóre crawlery są pobłażliwe i szukają brakującego certyfikatu pośredniego w sieci. Inne od razu odrzucają połączenie.
Problemy z konfiguracją SNI
Server Name Indication (SNI) pozwala jednemu serwerowi obsługiwać wiele stron HTTPS, bo wskazuje, o którą stronę prosi odwiedzający. Jeśli serwer nie jest skonfigurowany pod SNI albo ma błędną konfigurację SNI, crawlery proszące o Twoją domenę mogą dostać certyfikat innej domeny. Wtedy weryfikacja się nie udaje.
Nagłówki bezpieczeństwa, które wpływają na dostęp crawlerów AI
Gdy uzgadnianie SSL się powiedzie, Twój serwer może wysyłać nagłówki bezpieczeństwa, które sterują tym, jak crawlery korzystają z Twoich treści. Te nagłówki nie blokują crawlerów całkowicie, ale wpływają na to, jak crawlery traktują Twoje strony.
Strict-Transport-Security (HSTS)
HSTS nakazuje crawlerom zawsze używać HTTPS przy wejściu na Twoją stronę, nigdy HTTP. To dobre dla bezpieczeństwa i nie blokuje crawlerów. Ale jeśli źle skonfigurujesz HSTS z bardzo długim okresem, a później przejdziesz na nieprawidłowy certyfikat, crawlery będą zmuszone używać HTTPS, lecz nie dokończą uzgadniania. Dopilnuj, by polityka HSTS szła w parze z prawidłowymi certyfikatami przez cały podany okres.
X-Frame-Options i X-Content-Type-Options
Te nagłówki mówią crawlerom, jak traktować Twoje treści. Nie blokują ich pobierania. Mogą jednak wpływać na to, jak crawlery analizują Twoje strony i wyciągają z nich informacje.
Content-Security-Policy
Nagłówki CSP mogą ograniczać, do jakich zasobów crawlery mają dostęp na Twoich stronach. Jeśli masz bardzo restrykcyjne CSP, które blokuje zasoby zewnętrzne, crawlery mogą nie pobrać obrazów, arkuszy stylów lub skryptów, do których odwołują się Twoje strony. Nie blokuje to samego HTML-a, ale ogranicza sygnały, które crawlery mogą odczytać.
Częste błędy SSL i co znaczą dla indeksowania przez AI
Gdy crawler AI nie zweryfikuje Twojego certyfikatu SSL, zapisuje błąd. Zrozumienie tych błędów pomaga ustalić, co jest zepsute. Oto najczęstsze z nich:
Certyfikat wygasł
Twój certyfikat SSL jest po terminie ważności. Crawlery widzą datę ważności w certyfikacie i go odrzucają. To najłatwiejszy do zauważenia i naprawienia problem. Sprawdź datę ważności certyfikatu i odnów go przed jej upływem.
Certyfikat nie pasuje do domeny
Nazwa domeny w certyfikacie nie zgadza się z domeną, o którą prosi crawler. Często zdarza się to po przeniesieniu strony na nową domenę, gdy zapomnisz zaktualizować certyfikat SSL, albo po dodaniu subdomeny, gdy certyfikat obejmuje tylko domenę główną.
Nie można zweryfikować urzędu certyfikacji
Crawler nie może prześledzić Twojego certyfikatu do zaufanego głównego urzędu. Dzieje się tak, gdy certyfikat wystawił niezaufany urząd albo gdy serwer nie wysłał pełnego łańcucha certyfikatów pośrednich.
Certyfikat został unieważniony
Urząd certyfikacji unieważnił certyfikat z powodu incydentu bezpieczeństwa lub błędnej konfiguracji. Crawlery sprawdzają status unieważnienia i odmawiają dostępu. To rzadkie, ale poważne, gdy się zdarzy.
Jak sprawdzić konfigurację HTTPS pod kątem crawlerów AI
Najlepszy sposób, by upewnić się, że crawlery AI mają dostęp do Twojej strony, to samodzielny test. Te kroki diagnostyczne są częścią szerszego technicznego audytu GEO. Oto jak sprawdzić problemy z HTTPS:
Użyj internetowych narzędzi do sprawdzania SSL
Darmowe narzędzia, takie jak SSLLabs lub Qualys SSL Labs, wykonują pełną analizę Twojej konfiguracji SSL. Sprawdzają ważność certyfikatu, kompletność łańcucha, obsługiwane wersje TLS i znane luki. Przepuść swoją domenę przez te narzędzia i napraw zgłoszone błędy.
Przetestuj za pomocą curl lub wget
W terminalu uruchom curl -I https://yourdomain.com albo wget z opcją spider i adresem https://yourdomain.com. Te narzędzia naśladują działanie crawlera. Jeśli zakończą się błędem SSL, crawlery też zawiodą. Komunikat o błędzie pokazuje dokładnie, co jest nie tak.
Sprawdź za pomocą OpenSSL
OpenSSL to standardowe narzędzie do diagnostyki SSL. Uruchom openssl s_client -connect yourdomain.com:443, by zobaczyć dokładnie, jaki certyfikat przedstawia Twój serwer i czy przechodzi weryfikację.
Zweryfikuj kompletność łańcucha certyfikatów
Użyj narzędzi takich jak testssl.sh, by sprawdzić, czy serwer wysyła pełny łańcuch certyfikatów. Jeśli brakuje certyfikatów pośrednich, dodaj je do konfiguracji serwera.
Przetestuj na różnych platformach AI
Niektóre crawlery AI są bardziej surowe w weryfikacji SSL niż inne. Przetestuj stronę, prosząc ChatGPT, Perplexity, Claude i Google Gemini o odpowiedź zawierającą Twoje treści. Jeśli któraś platforma nie ma dostępu do Twojej strony, sprawdź w dokumentacji jej crawlera, jakie wymagania SSL może mieć. Różne platformy AI zachowują się inaczej, o czym więcej znajdziesz w naszych poradnikach o optymalizacji pod wyszukiwarkę ChatGPT i optymalizacji pod platformę Perplexity.
Jak WEMASY dba o SSL i bezpieczeństwo pod kątem dostępności dla crawlerów AI
Każda strona zbudowana w WEMASY ma automatyczne HTTPS z prawidłowym certyfikatem SSL wystawionym przez zaufany urząd. Certyfikat jest tworzony, odnawiany i monitorowany automatycznie. Nie musisz pilnować dat ważności ani cykli odnawiania.
WEMASY konfiguruje też certyfikat tak, by obejmował zarówno Twoją domenę główną, jak i subdomenę www, co eliminuje błędy niezgodności domeny. Pełny łańcuch certyfikatów jest wysyłany automatycznie, więc crawlery mogą zweryfikować Twoją tożsamość bez błędów.
Nagłówki HSTS mają rozsądnie ustawiony okres, więc bezpieczeństwo jest zachowane, a Ty nie wpadniesz w kłopot, gdy trzeba będzie zmienić certyfikat. Dowiedz się więcej o funkcjach bezpieczeństwa i wydajności w każdym pakiecie WEMASY.
Najczęstsze pytania
Czy crawlery AI obsługują zarówno HTTPS, jak i HTTP?
Nie. Wszystkie główne crawlery AI (GPTBot, ClaudeBot, PerplexityBot) wymagają wyłącznie HTTPS. Nie obsługują HTTP. Strona działająca na HTTP jest dla crawlerów AI całkowicie niedostępna. Jeśli masz starszą stronę, która nadal działa na HTTP, przejdź na HTTPS jak najszybciej. HTTPS jest obowiązkowe dla dostępu crawlerów AI. W kreatorze stron WEMASY ustawisz to bezpośrednio na swojej stronie.
Czy certyfikat wildcard SSL działa dla wszystkich subdomen?
Tak. Certyfikat wildcard (*.example.com) obejmuje każdą subdomenę Twojej domeny głównej. Jeśli masz subdomeny takie jak api.example.com czy blog.example.com, jeden certyfikat wildcard pokrywa je wszystkie. Nie obejmuje on jednak samej domeny głównej (example.com), chyba że wyraźnie ją dodano. Upewnij się, że Twój certyfikat wildcard obejmuje zarówno wildcard, jak i domenę główną.
Czy crawlery AI podążają za przekierowaniami z HTTP na HTTPS?
Większość tak. Jeśli serwer przekierowuje żądania HTTP na HTTPS (częsta konfiguracja), crawlery AI podążają za przekierowaniem i kontynuują połączenie HTTPS. Dodaje to jednak jeden krok i zużywa więcej zasobów crawlera. Najlepsza praktyka to całkowite wyłączenie HTTP i przyjmowanie tylko połączeń HTTPS. Dzięki temu nie ma narzutu przekierowań i żaden crawler nie trafi na nieszyfrowaną wersję Twojej strony.
Jak często odnawiać certyfikat SSL?
Nowoczesne certyfikaty SSL zwykle ważne są rok. Większość dostawców hostingu i platform (w tym WEMASY) odnawia je automatycznie. Nie musisz odnawiać ręcznie, chyba że masz bardzo stare środowisko hostingowe. Na wszelki wypadek ustaw przypomnienie w kalendarzu na 30 dni przed wygaśnięciem, ale automatyczne odnawianie powinno całkowicie zapobiec wygaśnięciu.
Czy zły certyfikat SSL zaszkodzi pozycjom w SEO?
Tak. Google wymaga HTTPS i traktuje strony bez prawidłowego HTTPS jako gorszej jakości. Wygasły lub nieprawidłowy certyfikat SSL jest traktowany jak strona na HTTP i obniża pozycje w wynikach. Dla widoczności w AI kara jest jeszcze surowsza, bo crawlery AI w ogóle nie mają dostępu do stron z wygasłym certyfikatem. Nie zaindeksują Twoich treści, choćby były świetnie zoptymalizowane.
Czy mogę użyć certyfikatu samopodpisanego na działającej stronie?
Nie. Certyfikaty samopodpisane odrzucają wszystkie główne crawlery i przeglądarki. Nadają się tylko do pracy deweloperskiej, testów lub sieci wewnętrznych, gdzie kontrolujesz wszystkich klientów łączących się z serwerem. W każdej publicznej stronie używaj certyfikatu wystawionego przez zaufany urząd certyfikacji (CA). Większość urzędów oferuje bardzo tanie lub darmowe certyfikaty do podstawowych zastosowań.