To, czy ChatGPT może znaleźć i zacytować Twoje treści, zależy od trzech osobnych mechanizmów: robots.txt, meta tagów i nagłówków HTTP. Większość osób zna jeden z nich. Gdy poznasz wszystkie trzy, możesz świadomie wybrać strategię widoczności.
Nie chodzi tylko o blokowanie lub zezwalanie. Chodzi o świadomą decyzję. Różne dyrektywy dają różne efekty. Zły zestaw może przynieść odwrotny skutek.
Trzy warstwy kontroli
Masz trzy sposoby, by przekazać crawlerom ChatGPT, co mogą robić z Twoimi treściami.
Warstwa 1: robots.txt
Ten plik w katalogu głównym domeny mówi crawlerom, do czego mają dostęp w całej witrynie lub w wybranych sekcjach. Kontroluje wykrywanie i skanowanie.
Warstwa 2: meta tagi robots
Te meta tagi HTML na pojedynczych stronach mówią crawlerom, co zrobić po znalezieniu i przeczytaniu strony. Kontrolują indeksowanie i wykorzystanie tej jednej strony.
Warstwa 3: nagłówki HTTP X-Robots-Tag
Ten nagłówek w odpowiedzi HTTP serwera pełni tę samą rolę co meta tagi robots, ale można go zastosować w całej witrynie lub dla wybranych typów treści. Przydaje się przy plikach innych niż HTML, na przykład PDF.
Większość osób skupia się na robots.txt i zapomina o pozostałych dwóch. Wszystkie trzy działają razem.
Warstwa 1: jak działa robots.txt i OAI-SearchBot
Twój plik robots.txt komunikuje się z OAI-SearchBot (crawlerem wyszukiwarki ChatGPT). ChatGPT przestrzega standardowych dyrektyw robots.txt.
Jak zezwolić OAI-SearchBot na dostęp do Twoich treści
User-agent: OAI-SearchBot
Allow: /
To ustawienie domyślne. OAI-SearchBot przeskanuje całą Twoją stronę, a Twoje treści staną się widoczne w wyszukiwarce ChatGPT.
Jak całkowicie zablokować OAI-SearchBot
User-agent: OAI-SearchBot
Disallow: /
To uniemożliwia wyszukiwarce ChatGPT znalezienie Twoich treści. Twoje strony nie pojawią się w odpowiedziach ChatGPT.
Jak zezwolić OAI-SearchBot, ale ograniczyć tempo skanowania
User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 1
Dyrektywa Crawl-delay mówi botowi, by czekał 1 sekundę między zapytaniami. Pomaga to kontrolować obciążenie serwera, gdy crawler ChatGPT odwiedza go zbyt często.
Jak zablokować wybrane sekcje
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /private/
Allow: /
To blokuje skanowanie katalogów /admin/ i /private/, a cała reszta pozostaje dostępna.
Główna zasada: robots.txt kontroluje wykrywanie i skanowanie. Jeśli tu zablokujesz crawlera, nie ma on dostępu do strony, więc nie przeczyta też żadnych meta tagów na tej stronie.
Warstwa 2: meta tagi robots, czyli kontrola po wykryciu strony
Gdy OAI-SearchBot przeskanuje Twoją stronę (czyli nie został zablokowany w robots.txt), meta tagi robots mówią mu, co zrobić z treścią.
Struktura meta tagu robots
<meta name="robots" content="directive1, directive2">
Najważniejsze dyrektywy dla crawlerów AI
noindex : nie indeksuj tej strony i nie uwzględniaj jej w podsumowaniach. Crawler widzi stronę, ale jej nie używa.
nofollow : nie podążaj za linkami z tej strony. Crawler widzi stronę, ale nie skanuje zawartych w niej linków.
noai : nie używaj tej treści do trenowania modeli AI. Strona może pojawiać się w wynikach wyszukiwania, ale OpenAI nie może jej użyć do trenowania modeli językowych.
noimageai : nie używaj obrazów z tej strony do trenowania modeli generujących obrazy.
Przykład
<meta name="robots" content="noindex">
To mówi wszystkim crawlerom (Google, Bing, ChatGPT i innym), by nie indeksowały tej strony. ChatGPT jej nie zacytuje, Google jej nie pokaże, a Bing jej nie uwzględni.
Dotyczy tylko OAI-SearchBot
<meta name="robots" content="noai">
To mówi konkretnie OAI-SearchBot, by nie używał treści do trenowania. Strona nadal może być cytowana w wynikach wyszukiwania ChatGPT, ale OpenAI nie może jej użyć do trenowania modeli.
Kluczowa zasada: nie łącz robots.txt z noindex
To najważniejsza zasada techniczna. Nigdy tak nie rób:
User-agent: OAI-SearchBot
Disallow: /article/
A jednocześnie na stronie artykułu:
<meta name="robots" content="noindex">
Dlaczego: jeśli zablokujesz OAI-SearchBot w robots.txt przed dostępem do /article/, crawler nigdy nie pobierze tej strony. Nigdy nie przeczyta meta tagu. Dyrektywa noindex nie działa, bo crawler jej nie widzi. Co więcej, jeśli inne strony linkują do Twojej, niektóre crawlery mogą ją zaindeksować mimo to, bo znalazły ją przez linki, nawet jeśli Twój robots.txt mówił „nie”.
Zasada: używaj albo robots.txt, albo meta tagów, nie obu naraz dla tej samej dyrektywy.
Dobra praktyka: używaj robots.txt do kontroli skanowania w całej witrynie (zezwalanie lub blokowanie całych sekcji). Używaj meta tagów do kontroli na poziomie strony (pojedyncze strony ze specjalnymi regułami).
Warstwa 3: nagłówki HTTP X-Robots-Tag
Jeśli chcesz kontrolować zachowanie crawlerów dla treści innych niż HTML (PDF, obrazy i tym podobne) albo zastosować reguły do wielu stron bez edytowania każdej z nich, użyj nagłówka HTTP X-Robots-Tag.
Przykład:
X-Robots-Tag: noindex, nofollow
Działa on na poziomie serwera i mówi wszystkim crawlerom, by nie indeksowały i nie podążały za linkami na żadnej stronie serwowanej z tym nagłówkiem.
Możesz użyć go wybiórczo:
X-Robots-Tag: OAI-SearchBot: noai
To mówi tylko OAI-SearchBot, by nie używał Twoich treści do trenowania, a jednocześnie pozwala mu je pokazywać w wyszukiwaniu.
Wybory strategiczne: czego naprawdę chcesz
Twój wybór zależy od celu.
Cel 1: jak najwięcej cytowań w ChatGPT
Allow robots.txt, no noindex meta tags. Let OAI-SearchBot find and cite you.
User-agent: OAI-SearchBot
Allow: /
Brak restrykcyjnych meta tagów.
Cel 2: pojawianie się w wyszukiwarce ChatGPT bez trenowania modeli
Allow robots.txt, use noai meta tag.
User-agent: OAI-SearchBot
Allow: /
<meta name="robots" content="noai">
Cel 3: ukrycie przed ChatGPT, ale widoczność w innych wyszukiwarkach
Zablokuj OAI-SearchBot, pozostałym zezwól.
User-agent: OAI-SearchBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Cel 4: ukrycie przed wszystkimi crawlerami AI
Zablokuj kilka botów.
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
Problem ze zgodnością: nie wszystkie crawlery AI przestrzegają tych zasad
Niewygodna prawda: różne crawlery AI w różnym stopniu przestrzegają zasad.
Testy pokazują, że ChatGPT przestrzega robots.txt i części meta tagów. Perplexity przestrzega obu konsekwentnie. Inne systemy AI zachowują się różnie. Niektóre starsze scrapery AI w ogóle nie przestrzegają robots.txt.
Crawlerami OpenAI możesz skutecznie sterować. Nie możesz w pełni kontrolować każdego systemu AI, który może pobierać Twoje treści.
Jak WEMASY pomaga zarządzać dostępem crawlerów
Kreator stron WEMASY ma edytor robots.txt, w którym ustawisz uprawnienia dla OAI-SearchBot bez edytowania surowych plików. Meta tagi robots dodasz do pojedynczych stron w panelu ustawień SEO. Kreator wstępnie konfiguruje sprawdzone ustawienia: zezwala OAI-SearchBot na widoczność w wyszukiwaniu, a Ty możesz dodać noai, jeśli nie chcesz trenowania modeli. Sprawdzaj logi skanowania, by zobaczyć, które crawlery odwiedzają Twoją stronę, i odpowiednio dostosowuj uprawnienia. Zobacz narzędzia WEMASY do zarządzania crawlerami.
Najczęściej zadawane pytania
Jeśli zablokuję OAI-SearchBot w robots.txt, czy moje treści mogą mimo to pojawić się w ChatGPT przez linki?
Raczej nie. OAI-SearchBot to główny crawler wyszukiwarki ChatGPT. Jeśli jest zablokowany, nie masz obecności w wyszukiwarce ChatGPT. Jeśli jednak inny system linkuje do Twoich treści, może je pobrać inny crawler. Jest to nieprzewidywalne. Dzięki kreatorowi stron WEMASY możesz to ustawić bezpośrednio na swojej stronie.
Co właściwie robi meta tag noai?
Mówi OpenAI, by nie używało Twoich treści do trenowania modeli językowych. Twoje treści nadal mogą pojawiać się w wynikach wyszukiwania ChatGPT wraz z cytatami. Bez tego tagu OpenAI może używać Twoich treści do trenowania ChatGPT i innych modeli.
Czy powinno się użyć noindex, jeśli nie chcę pojawiać się w ChatGPT?
Tak, ale pamiętaj, jak działa: noindex mówi wszystkim crawlerom (Google, Bing, ChatGPT i innym), by nie indeksowały strony. Użyj go, jeśli chcesz ukryć stronę we wszystkich wynikach wyszukiwania. Jeśli chcesz ukryć ją tylko przed ChatGPT, a zachować widoczność w Google, nie używaj noindex. Zamiast tego zablokuj OAI-SearchBot w robots.txt.
Po jakim czasie zmiany w robots.txt lub meta tagach zaczynają działać?
Zmiany w robots.txt są zwykle uwzględniane w ciągu 24 godzin. Zmiany meta tagów są uwzględniane przy następnej wizycie crawlera na stronie. Do szybkiego testu możesz użyć narzędzia OpenAI do testowania crawlera albo Bing Webmaster Tools.
Czy mogę zablokować wszystkie crawlery AI, a zezwolić Google?
Tak. W robots.txt zablokuj GPTBot, OAI-SearchBot, ChatGPT-User i inne boty AI, a zezwól Googlebot i Bingbot. To nie powstrzyma jednak systemów AI, które nie przestrzegają robots.txt, przed dostępem do Twoich treści.
Co jeśli crawler widzi X-Robots-Tag i robots.txt, które są ze sobą sprzeczne?
Najpierw oceniany jest robots.txt. Jeśli robots.txt blokuje crawlera, nie pobiera on strony, więc nigdy nie widzi X-Robots-Tag. Jeśli robots.txt zezwala, obowiązują dyrektywy X-Robots-Tag. Zadbaj, by były spójne.