Prečo to stojí za kontrolu
Môžete mať bezchybný robots.txt, čitateľné HTML aj štruktúrované dáta — a agent na váš web napriek tomu nikdy nepríde. Dôvod býva prozaický: web je nový, nikto naň neodkazuje, alebo ho ochranná vrstva pred botmi zablokovala skôr, než sa dostal k obsahu.
Tá posledná možnosť je nepríjemná, lebo ju nevidno. Ochrana pred botmi je zapnutá, aby chránila web, a robí presne to, čo má — len nerozlišuje medzi škodlivým skenovaním a agentom, ktorý vás chce citovať.
Tri spôsoby, ako to zistiť
1. Serverové logy — najspoľahlivejšie
Každá požiadavka na web zanechá záznam s adresou, časom, stavovým kódom a identifikáciou klienta. Hľadáte v ňom mená ako GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot.
Čo z toho vyčítate: či prišli, kedy naposledy, čo si vypýtali a hlavne aký stav dostali. Séria stavov 403 alebo 429 pri agentovi je odpoveď na otázku, prečo vás model nepozná.
Prístup k logom má hosting alebo poskytovateľ CDN. Pri niektorých lacných hostingoch nie sú dostupné vôbec — potom zostávajú ďalšie dva spôsoby.
2. Search Console — len pre Google
Ukáže štatistiku prehľadávania Googlebotom: koľko požiadaviek, aké odpovede, ako rýchlo. Netýka sa to ostatných agentov, ale ak má problém Googlebot, majú ho pravdepodobne aj oni.
3. Priamy test — najrýchlejšie
Vypýtajte si vlastný web a predstavte sa ako agent:
curl -A "GPTBot" -I https://vasadomena.sk/
Očakávaná odpoveď je 200. Ak dostanete 403, niečo agenta blokuje — a nie je to robots.txt, ten sa takto neprejaví.
Rýchla kontrola, ktorú zvládnete hneď
Porovnajte dve odpovede — ako bežný prehliadač a ako agent:
curl -I https://vasadomena.sk/
curl -A "GPTBot" -I https://vasadomena.sk/
Ak sa stavy líšia, máte odpoveď. Ak nie, agent sa aspoň dostane dnu — či príde, je iná otázka.
Porovnajte aj dĺžku odpovede, nielen stav: curl -A "GPTBot" -s https://vasadomena.sk/ | wc -c oproti tomu istému bez -A. Ak agent dostane výrazne kratšiu odpoveď, servíruje sa mu okresaná stránka — a to je horší problém než rovné zablokovanie, lebo vyzerá ako úspech.
Ako spoznať pravého agenta od podvodníka
Hlavička s menom agenta sa dá napísať ľubovoľne — ktokoľvek sa môže predstaviť ako GPTBot. V logoch teda uvidíte aj návštevy, ktoré od OpenAI nepochádzajú.
Poskytovatelia preto zverejňujú rozsahy IP adries, z ktorých ich agenti chodia. Ak riešite, či máte blokovať alebo púšťať, overujte podľa IP, nie podľa mena. Pre bežnú kontrolu „chodia ku mne vôbec?“ to netreba — tam stačí meno.
Čo robiť, keď nechodia
Ak je prístup v poriadku a agenti aj tak nechodia, príčinou býva neviditeľnosť webu ako takého: nikto naň neodkazuje a nie je v žiadnom zozname, z ktorého by ho agent objavil. Vtedy nepomôže technická oprava, ale to, aby o vás niekto napísal — katalógy, registre, profily, zmienky.
Druhá častá príčina je rýchlostné obmedzenie na strane CDN. Agent príde, dostane 429, skúsi to ešte raz a prestane. V logoch to vyzerá ako pár návštev, v skutočnosti nezískal nič.
Buďme presní: ani jeden z týchto spôsobov nepovie, či vás model spomenie v odpovedi. Hovoria len o tom, či agent dostal obsah. Je to nutná podmienka, nie postačujúca.