42 procent naszego crawlu AI to były skanery. Jak zmierzyć to u siebie

Przez sierpień byliśmy przekonani, że modele AI pobrały treści z seedlight.eu 6600 razy. Liczba wyglądała dobrze i pasowała do tezy, że w tym kanale nam idzie. Po rozbiciu logów na ścieżki okazało się, że 2842 z tych pobrań to skanery szukające kluczy, podszywające się w nagłówku pod crawlery AI. Zostało 3934. Poniżej trzy błędy pomiaru, przez które ta liczba była zawyżona, i to, jak sprawdzić swoje.

Trzy liczby, które nie znaczyły tego, co myśleliśmy

Pomiar na własnych logach seedlight.eu, okno 30 dni zamknięte 27 sierpnia 2026. Kolumna po prawej to ta sama surowa liczba po odjęciu żądań pod ścieżki, które nigdy nie są treścią.

seedlight.eu, 29 lipca do 27 sierpnia 2026. Za „realne" uznaliśmy ścieżki będące stroną serwisu, za resztę żądania pod pliki konfiguracyjne i katalogi systemowe.

Najciekawsza jest ostatnia kolumna. Z 348 pobrań przypisanych Anthropic aż 296 dostało odpowiedź inną niż 200, czyli trafiło w nieistniejący adres. Prawdziwy crawler chodzi po mapie witryny i po linkach, więc prawie zawsze trafia w stronę, która istnieje.

Bot Score pokazuje 99 dla wszystkiego

Cloudflare opisuje Bot Score jako skalę od 1 do 99, gdzie 1 znaczy „niemal na pewno automat", a 99 „niemal na pewno człowiek". Brzmi to jak gotowe sito i tak też je wykorzystaliśmy: ruch z wynikiem poniżej 30 leciał do kosza jako bot.

Sito nigdy się nie odpaliło.

Sprawdziliśmy rozkład zapisanych wartości i przez 30 dni wyszło z tego jedno:

• 4516 odsłon serwerowych z wynikiem 99
• 470 potwierdzonych odsłon z wynikiem 99
• Zero żądań z jakąkolwiek inną wartością

Wynik 99 dostały węzły wyjściowe sieci Tor, maszyny z Alibaba Cloud i crawler Ahrefs. Powód podaje sama dokumentacja: granularny Bot Score dostają wyłącznie klienci Enterprise z wykupionym Bot Managementem, a pozostali mają dostęp jedynie do grup w Bot Analytics. Pole w obiekcie żądania istnieje i wygląda jak dane, tylko nic nie mierzy.

To gorsze niż brak sygnału. Brakujące pole rzuca się w oczy przy pierwszym wykresie, a stała wygląda jak działający filtr i potrafi tak wyglądać miesiącami.

Skaner podszywa się pod Amazonbota

Nazwa crawlera siedzi w nagłówku User-Agent, który każdy ustawia sobie sam. Nie ma w tym żadnej weryfikacji i nic nie stoi na przeszkodzie, żeby skaner szukający cudzych kluczy przedstawił się jako bot Amazona. Adresy, pod które pukał u nas ruch etykietowany jako AI:

• /.env, /.env.backup, /app/.env, /api/.env
• /.git/HEAD i /.svn/entries
• /firebase-adminsdk.json oraz /env.json
• /@fs/proc/self/environ

Żaden model językowy nie potrzebuje Twoich haseł do bazy.

To są sygnatury skanera, który leci po liście typowych wycieków konfiguracji, licząc na to, że gdzieś ktoś wystawił plik z hasłami razem z resztą serwisu. Etykietę AI dostał wyłącznie dlatego, że tak się przedstawił, a nikt tego nie sprawdził.

Po odsianiu tych ścieżek ranking czytelników zmienił się nie do poznania. Amazon i Anthropic, dwie największe pozycje w surowym zestawieniu, okazały się niemal w całości podszyciem. Naszym realnym czytelnikiem jest Perplexity: 724 pobrania pod istniejące adresy, w większości z odpowiedzią 200.

GPTBot, OAI-SearchBot i ChatGPT-User to trzy różne zdarzenia

Trzeci błąd jest najbardziej kosztowny, bo zaciera jedyny sygnał, który cokolwiek zapowiada. Dostawcy modeli publikują osobne boty do osobnych zadań i sami opisują różnicę.

Opisy za dokumentacją OpenAI i Perplexity, dostęp 1 września 2026.

Większość konfiguracji analitycznych, łącznie z naszą do zeszłego tygodnia, dopasowuje fragment nazwy do dostawcy i na tym kończy. Wtedy wszystkie trzy boty OpenAI lądują pod jedną etykietą, a razem z nimi ginie odpowiedź na pytanie, czy ktoś w ogóle o Ciebie pyta.

Plik, którego nigdy nie widzieliśmy

Na koniec błąd, który wygląda niewinnie. Nasz middleware logował wyłącznie odpowiedzi z typem text/html, bo interesowały nas odsłony stron. Rozsądne założenie, dopóki nie zada się pytania o llms.txt.

Ten plik jest serwowany jako text/plain. W konsekwencji ani jedno jego pobranie przez 60 dni nie zostawiło żadnego śladu w naszych danych. Napisaliśmy plik specjalnie dla modeli i sami odcięliśmy się od jedynego dowodu, czy którykolwiek po niego sięgnął.

Przy okazji wyszła druga rzecz. Astro generuje mapę witryny pod nazwą sitemap-index.xml, a boty pukały pod /sitemap.xml i /sitemap_index.xml, dostając 404 ze stroną błędu. Adres w robots.txt był poprawny, ale nie każdy fetcher czyta najpierw robots.

Jak zmierzyć to u siebie

Nie potrzebujesz do tego narzędzia ani abonamentu. Potrzebujesz czterech kolumn w logach i jednej zasady: nie ufaj temu, co żądanie mówi o sobie.

• Loguj status odpowiedzi. Filtr na 200 usuwa większość skanerów bez żadnej listy nazw, bo one z definicji strzelają w adresy, których nie masz.
• Loguj sieć pochodzenia. Nazwa operatora (u Cloudflare asOrganization) jest twardsza niż User-Agent: podszycie się pod Chrome jest darmowe, wynajęcie łącza konsumenckiego nie.
• Zapisuj pełną nazwę bota, nie samego dostawcę. Inaczej stracisz różnicę między treningiem a pytaniem zadanym na żywo.
• Loguj odpowiedzi inne niż HTML. Bez tego llms.txt, robots.txt i mapa witryny są dla Ciebie niewidzialne.

Zderz potem dwie rzeczy: kto Cię czyta i czy z tego cokolwiek wraca. U nas z 60 dni wyszło siedem wejść z asystentów AI, przy tysiącach pobrań. Ta dysproporcja jest normalna i sama w sobie nie jest złą wiadomością, ale bez rozdzielonych liczb nie da się powiedzieć, czy się poprawia.

Czego z tych liczb nie wolno wyczytać

To pomiar jednej witryny, w dodatku małej i młodej. Proporcje u Ciebie będą inne, zwłaszcza jeśli masz dużo starszą domenę albo sklep z tysiącami kart produktu. Powtarzalny jest mechanizm, nie konkretne 42 procent.

Dwa zastrzeżenia dodatkowe. Odsiew po nazwie sieci jest heurystyką, więc razem ze skanerami łapie część realnego ruchu z firmowych łączy, VPN-ów i sieci korporacyjnych postawionych w chmurze; ten błąd działa w drugą stronę niż wcześniejsze i część prawdziwych ludzi u nas wypadła. Sama liczba pobrań nie mówi też nic o cytowaniach, bo model może pobrać stronę i jej nie użyć, a równie dobrze może zacytować Cię z pamięci, nie pobierając niczego.

Jeżeli chcesz zacząć od strony sklepu, a nie od logów, sprawdź najpierw, czy agent w ogóle ma z czego u Ciebie kupić. Pomiar ruchu ma sens wtedy, gdy jest po co przychodzić. Szerszy kontekst tego, jak w ogóle trafia się do odpowiedzi modeli, opisaliśmy w tekście o GEO dla eCommerce, a to, co modele o Tobie mówią, jest osobnym wskaźnikiem, który opisuje wpis o Brand Visibility.

W Seedlight ten pomiar prowadzimy w etapie Maintenance and Growth frameworku BEAM, razem z rekordem produktowym, bo jedno bez drugiego niewiele znaczy. Uczciwe zastrzeżenie: żadne z tych działań nie gwarantuje, że model zacznie Cię cytować, bo tego nie kontroluje nikt. Kontrolujesz to, czy Twoje liczby mówią prawdę.

Warto też pamiętać, że coraz większa część widoczności dzieje się poza Twoją domeną, gdzie żadnych logów nie zobaczysz. Na marketplace decyduje o niej algorytm platformy i mierzy się ją zupełnie inaczej; tę stronę prowadzi nasza siostrzana agencja Amazonway w obsłudze kont marketplace.