Jak zablokować GPTBot, ClaudeBot i PerplexityBot?
Dodanie trzech reguł Disallow jest proste, ale może mieć różne skutki. GPTBot i ClaudeBot są opisywane jako crawlery związane z rozwojem modeli, natomiast PerplexityBot służy wyszukiwaniu i linkowaniu do stron. Najpierw wybierz cel polityki, a dopiero potem kopiuj konfigurację.
Szybka odpowiedź
Aby zablokować wskazanego crawlera w całej domenie, utwórz dla jego tokenu osobną grupę w pliku /robots.txt i dodaj regułę Disallow: /. Jeżeli chcesz pozostać widoczny w wyszukiwaniu AI, oddziel boty treningowe od crawlerów Search i klientów działających na żądanie użytkownika. Po publikacji sprawdź odpowiedź serwera oraz rzeczywisty ruch w logach.
Dla wydawców, ecommerce, właścicieli baz wiedzy i zespołów technicznych, które chcą ograniczyć wykorzystanie treści przez wybrane systemy AI bez przypadkowego wyłączenia całej widoczności w AI Search.
1. Rozpoznaj cel crawlera przed blokadą
Nazwa dostawcy nie opisuje jeszcze klienta ani celu żądania. OpenAI rozdziela GPTBot, który pobiera treści mogące zostać wykorzystane do rozwoju modeli, od OAI-SearchBot używanego przez funkcje wyszukiwania. ChatGPT-User może pobierać stronę w wyniku działania konkretnego użytkownika i według dokumentacji reguły robots.txt mogą wtedy nie mieć zastosowania.
Anthropic analogicznie rozdziela ClaudeBot, Claude-SearchBot i Claude-User. PerplexityBot służy indeksowaniu treści do wyników Perplexity i według dostawcy nie zbiera treści do treningu modeli bazowych. Perplexity-User obsługuje pobrania inicjowane przez użytkownika i według aktualnej dokumentacji generalnie ignoruje robots.txt. Zapisuj te cele jako deklaracje dostawców z datą źródła, a nie jako cel udowodniony dla każdego pojedynczego żądania.
- Training/model development: GPTBot i ClaudeBot
- AI Search: OAI-SearchBot, Claude-SearchBot i PerplexityBot
- Pobranie na żądanie użytkownika: ChatGPT-User, Claude-User i Perplexity-User
- Kontrola wykorzystania przez Google: Google-Extended, który nie ma osobnego User-Agenta w żądaniach HTTP
2. Opublikuj reguły we właściwym pliku
Plik musi być dostępny pod adresem /robots.txt w głównym katalogu danego hosta, na przykład https://example.com/robots.txt. Reguły z domeny głównej nie zarządzają automatycznie subdomeną, dlatego politykę trzeba sprawdzić osobno dla każdego hosta udostępniającego treści.
RFC 9309 wskazuje kodowanie UTF-8 i typ text/plain. Odpowiedź 404 nie oznacza blokady — zgodny crawler może wtedy uznać, że nie ma reguł ograniczających. Nie blokuj dostępu do samego /robots.txt, jeżeli oczekujesz, że crawler odczyta politykę.
3. Pełna blokada trzech wskazanych crawlerów
Poniższy wariant prosi każdy z trzech automatycznych klientów o niepobieranie żadnej ścieżki w obrębie danego hosta. Oddzielne grupy są czytelne i pozwalają później zmienić decyzję tylko dla jednego dostawcy.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: PerplexityBot
Disallow: /4. Zachowaj AI Search, ale zablokuj crawlery treningowe
Polityka „allow search / block training” wymaga osobnych tokenów. W przykładzie wyszukiwarki OpenAI, Anthropic i Perplexity mogą indeksować publiczną treść, natomiast GPTBot, ClaudeBot i Google-Extended otrzymują zakaz dla całego hosta.
Google-Extended jest tokenem sterującym wykorzystaniem treści przez określone produkty Gemini, a nie osobnym User-Agentem widocznym w logach. Jego blokada nie wpływa według Google na obecność ani ranking w Google Search.
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /5. Ogranicz tylko wybrane katalogi
Nie każda treść musi mieć tę samą politykę. Możesz pozostawić publiczne artykuły dostępne, a ograniczyć archiwum premium, dokumentację dla klientów albo zasoby o innej wartości biznesowej. Reguły odnoszą się do ścieżek URL, nie do kategorii prawnej lub semantycznej treści.
User-agent: GPTBot
Disallow: /archiwum-premium/
Disallow: /dane-produktowe/
Allow: /baza-wiedzy/
User-agent: ClaudeBot
Disallow: /archiwum-premium/
Disallow: /dane-produktowe/
Allow: /baza-wiedzy/6. Rate limit i twardą blokadę ustaw poza standardem robots.txt
Standard RFC 9309 definiuje przede wszystkim grupy User-Agent oraz reguły Allow i Disallow. Nie zapewnia uwierzytelnienia, limitowania częstotliwości ani technicznego wymuszenia odmowy. Anthropic deklaruje obsługę niestandardowego Crawl-delay, ale nie wolno zakładać, że pozostali dostawcy zinterpretują go tak samo.
Jeżeli polityka ma być egzekwowana, potrzebujesz reguł na CDN-ie, reverse proxy, WAF-ie lub w aplikacji. Łącz deklarowany User-Agent z oficjalnymi zakresami IP, gdy dostawca je publikuje, i regularnie aktualizuj źródła. Sama nazwa nagłówka może zostać podszyta.
7. Zweryfikuj plik i obserwuj logi
Po publikacji otwórz /robots.txt bez logowania, sprawdź kod 200, poprawność treści oraz to, czy CDN nie podaje starszej wersji. Następnie wyszukaj w logach dokładne tokeny crawlerów i porównaj źródło żądania z oficjalnymi danymi dostawcy, jeśli są dostępne.
- sprawdź osobno domenę główną, www i każdą subdomenę z treścią
- zachowaj datę, treść i właściciela każdej zmiany polityki
- odróżnij pobranie robots.txt od żądania właściwej strony
- monitoruj kody odpowiedzi i żądania po wejściu nowej wersji reguł
- nie opisuj samego User-Agenta jako zweryfikowanej tożsamości
8. Dokumentuj ograniczenia decyzji
robots.txt komunikuje preferencję współpracującym crawlerom. Nie potwierdza, do czego dostawca ostatecznie użył wcześniej pobranych danych, nie usuwa treści z istniejących zbiorów i nie rozstrzyga, czy doszło do naruszenia prawa.
W praktycznym rejestrze zapisz token, deklarowany cel, zakres ścieżek, wersję polityki, zaobserwowane żądanie i wykonaną akcję. Dzięki temu zespół może odtworzyć stan techniczny bez przedstawiania go jako automatycznej oceny prawnej lub dowodu tożsamości operatora.
Czytaj także
Źródła i dalsza weryfikacja
Prawo, dokumentacja platform i standardy techniczne mogą się zmieniać. Przed działaniem sprawdź aktualne źródła oraz kontekst swojej organizacji.