Ruch botów przekroczył ruch ludzi. Ile naprawdę kosztują crawlery i agenci AI?
W obserwacji Cloudflare ruch automatyczny przekroczył ruch ludzi w maju 2026 r. Nie znaczy to, że każdy serwis ma taką proporcję ani że cały ten ruch pochodzi od AI. Dla właściciela strony ważniejsze jest pytanie: ile żądań i zasobów zużywa dany klient automatyczny — oraz jaką może przynieść wartość?
Szybka odpowiedź
Nie ma jednej ceny requestu ani jednej wartości crawlera. Koszt zależy od transferu, obsługi przez cache i serwer źródłowy, złożoności strony oraz natężenia żądań. Potencjalna korzyść zależy od celu: widoczności w wyszukiwarce, możliwego cytowania w AI, działania agenta użytkownika albo wykorzystania treści do treningu. Dlatego polityka powinna rozdzielać tożsamość, cel, częstotliwość, koszt i wartość, zamiast sprowadzać ruch do allow lub block.
Dla wydawców, ecommerce, właścicieli serwisów z rozbudowaną treścią oraz zespołów SEO, infrastruktury i security, które chcą ocenić obciążenie automatycznym ruchem bez blokowania użytecznych crawlerów w ciemno.
Co naprawdę pokazują dane Cloudflare o ruchu botów?
W liście założycieli z 27 września 2026 r. Cloudflare podał, że obserwowany przez firmę ruch automatyczny wyprzedził ruch ludzi w maju 2026 r. To obserwacja z infrastruktury Cloudflare, a nie spis całego internetu ani pomiar udziału botów na Twojej stronie. Kategoria obejmuje automatyzację szerzej niż same crawlery AI.
Cloudflare rozważa też scenariusz, w którym — jeśli obecny trend się utrzyma — ruch automatyczny może w ciągu pięciu lat być 1000 razy większy od ludzkiego. Jest to warunkowy scenariusz Cloudflare, nie zmierzony stan, prognoza Bot Protection ani podstawa do wyliczenia przyszłego rachunku konkretnego serwisu.
Human, Search, AI Search, Agent i Training — podobny request, różna wartość
Jedno żądanie HTTP nie mówi, czy pobranie będzie kosztowne lub opłacalne. Poniższe role są modelem oceny, nie automatyczną klasyfikacją każdego żądania. Deklarowana nazwa User-Agent sama nie potwierdza tożsamości ani celu klienta.
| Rola | Typowy wzorzec | Koszt do sprawdzenia | Możliwa wartość |
|---|---|---|---|
| Human traffic | Użytkownik przechodzi własną ścieżkę; jedna sesja może obejmować wiele żądań | Transfer i obsługa strony, formularza lub zakupu | Możliwy lead, zakup albo inna interakcja — bez gwarancji konwersji |
| Search crawler | Indeksuje publiczne zasoby i okresowo do nich wraca | Częstotliwość crawl, transfer, cache i obciążenie origin | Możliwa indeksacja i przyszły ruch z wyszukiwarki, bez gwarancji pozycji |
| AI Search crawler | Pobiera treść do wyszukiwania i odpowiedzi AI | Zakres pobrań oraz powtórzeń wobec zmian treści | Możliwa widoczność lub cytowanie w AI, bez gwarancji referral |
| AI agent | Może sprawdzić wiele stron w ramach jednego zadania użytkownika | Liczba żądań na zadanie, zasoby i piki ruchu | Możliwy jeden końcowy wybór lub przejście użytkownika; często brak widocznego wyniku dla pozostałych witryn |
| Training crawler | Pobiera treści deklarowane do rozwoju modeli | Skala i powtarzalność pobrań, transfer oraz koszt origin | Brak bezpośredniego referral wynikającego z samego pobrania; inne korzyści wymagają osobnej oceny |
Porównaj role Search, Agent i Training przed wyceną ruchuSprawdź granice deklarowanej tożsamości bota
Jeden wybór agenta może wymagać wielu pobrań
Agent wykonujący zadanie użytkownika może porównywać wiele witryn, zanim wskaże jedną. Cloudflare ilustruje to przykładem 1000 menu sprawdzonych dla jednej rekomendacji restauracji. To przykład obrazujący możliwą asymetrię kosztu i korzyści, nie pomiar typowej liczby żądań każdego agenta.
Dla witryn pominiętych w końcowej odpowiedzi pozostaje koszt obsługi żądań bez oczywistego przejścia użytkownika. Nie należy jednak uznawać całego ruchu agentowego za bezwartościowy: agent może przynieść kontakt, sprzedaż lub użyteczną widoczność, których nie da się odczytać z samego access logu.
Powtórne pobranie niezmienionej treści też zużywa zasoby
Według danych Cloudflare ponad połowa treści pobieranych przez określane przez firmę „good bots” nie zmieniła się od poprzedniej wizyty. Nie jest to wynik dla każdej domeny ani miara wyłącznie crawlerów AI. Pokazuje jednak, dlaczego sama liczba nowych URL-i nie wystarcza do oceny obciążenia.
Własny pomiar powinien odróżnić żądania obsłużone z cache od tych trafiających do origin, sprawdzić częstotliwość ponownych wizyt, wielkość odpowiedzi, koszt generowania strony i to, czy zasób rzeczywiście się zmienił. Publicznie znany bot nadal może generować nieproporcjonalny koszt.
Jak policzyć koszt i wartość ruchu we własnym serwisie?
Zacznij od okresu pomiarowego i dostępnych logów serwera, CDN oraz analityki. Grupuj żądania według trasy, czasu, deklarowanej tożsamości i wiarygodności tego sygnału. Porównuj klasy ruchu, nie przypisuj kosztu wyłącznie na podstawie User-Agent.
Koszt to nie tylko rachunek za transfer: istotne bywają requesty do origin, praca aplikacji i bazy danych, obciążenie w szczycie oraz cache miss. Potencjalną wartość sprawdzaj osobno przez indeksację, widoczne odesłania, jakościowe sesje i wyniki biznesowe. Brak mierzalnego referral nie dowodzi zerowej wartości, a cytowanie w AI nie dowodzi sprzedaży.
- ile żądań i bajtów przypada na typ klienta, trasę oraz porę dnia?
- jaki odsetek odpowiedzi trafia do origin, a jaki obsługuje cache?
- które zasoby są pobierane ponownie bez istotnej zmiany treści?
- czy identyfikacja operatora jest potwierdzona, deklarowana czy nieznana?
- jakie korzyści da się zaobserwować, a czego nie da się wiarygodnie przypisać?
Przejdź do polityki dostępu dla crawlerów AIOddziel koszt legalnego crawlera od niepożądanego scrapingu
Od allow/block do polityki opartej na celu, koszcie i wartości
Pierwszy poziom decyzji to ALLOW / BLOCK. Drugi dodaje WHO / PURPOSE: kto wysyła żądanie i po co. Trzeci uwzględnia WHO / PURPOSE / FREQUENCY / COST / VALUE, czyli częstotliwość, koszt obsługi i możliwą korzyść dla danego typu zasobu.
Wynikiem takiej oceny może być ALLOW / RATE-LIMIT / BLOCK, zależnie od polityki właściciela i dostępnych mechanizmów technicznych. PAID ACCESS to osobny, rozwijający się model rynkowy udostępniany przez niektóre zewnętrzne platformy — przykładowo Cloudflare opisuje Pay Per Crawl jako usługę w prywatnej becie. Nie jest to funkcja Bot Protection ani ogólny standard rozliczeń za każdy crawl.
Zbyt szeroka blokada może ograniczyć indeksację, cytowanie lub pobranie strony w zadaniu użytkownika. Zbyt szerokie allow może podnieść koszty. Dlatego polityka powinna mieć wyjątki, limit i termin ponownej oceny, a cel nieznany powinien pozostać Unknown, jeśli dostępne dowody nie wystarczają.
Granice produktu i następny krok
Ten artykuł nie oznacza, że Bot Protection mierzy koszt każdego crawlera, przypisuje mu wartość biznesową, oferuje Pay Per Crawl albo pobiera opłaty za dostęp.
Audyt może zacząć się od dostępnych logów i obecnej polityki, aby ustalić, które klienty i zasoby wymagają dalszego pomiaru lub zmiany reguł. Możliwość policzenia kosztu oraz przypisania korzyści zależy od danych i konfiguracji konkretnej witryny; zakres wniosków trzeba uzgodnić przed analizą.
Czytaj także
Źródła i dalsza weryfikacja
Prawo, dokumentacja platform i standardy techniczne mogą się zmieniać. Przed działaniem sprawdź aktualne źródła oraz kontekst swojej organizacji.