Problém, ktorý rieši
Klasický robots.txt pozná jednu otázku: smie robot na stránku? Neexistuje v ňom spôsob, ako povedať „môžeš ma citovať vo výsledkoch, ale nechcem, aby si na mne trénoval“. Pritom pre väčšinu firiem sú to dve úplne rozdielne rozhodnutia.
Časť poskytovateľov to obišla samostatnými menami agentov — jedno pre vyhľadávanie, iné pre tréning. Content-Signal je pokus vyjadriť to priamo, jedným riadkom, nezávisle od toho, ako sa agent volá.
Ako to vyzerá
Riadok v robots.txt, ktorý vyjadruje účel:
Content-Signal: search=yes, ai-input=yes, ai-train=no
Tri bežne uvádzané účely:
- search — zaradenie do vyhľadávania a odkazovanie,
- ai-input — použitie ako podklad pri generovaní odpovede, teda to, čo umožňuje citáciu,
- ai-train — použitie na trénovanie modelu.
Riadok patrí k bloku User-agent, ktorého sa týka. Osamote bez kontextu je nejednoznačný a agent nemusí vedieť, na koho sa vzťahuje.
Ako sa rozhodnúť
| situácia | rozumné nastavenie |
|---|---|
| firma, ktorá chce byť viditeľná | search=yes, ai-input=yes, ai-train=no |
| firma, ktorej je to jedno | neuvádzať nič |
| médium, obsah je produkt | search=yes, ai-input=no, ai-train=no |
Druhý riadok je legitímna voľba. Ak vám na rozlíšení nezáleží, nič nestratíte tým, že to nevyplníte — na viditeľnosť to vplyv nemá.
Tretí riadok si zaslúži varovanie: ai-input=no znamená „necituj ma“. Pre médium, ktoré žije z návštev, to môže dávať zmysel. Pre firmu, ktorá chce, aby ju model odporúčal, je to strela do vlastnej nohy.
Čo Content-Signal nie je
Tu treba byť opatrný, lebo sa okolo toho tvorí viac nádeje než istoty.
- Nie je to technická zábrana. Rovnako ako zvyšok
robots.txtje to vyjadrenie vôle. Kto ho nerešpektuje, prejde. - Nie je to všeobecne prijatý štandard. Nemôžeme tvrdiť, že ho všetci veľkí poskytovatelia dodržiavajú — takú informáciu nemáme.
- Nie je to právny nástroj sám o sebe. Či má váš zápis právne dôsledky, závisí od jurisdikcie a od zmluvných podmienok, nie od formátu riadku.
- Nenahrádza menovité bloky agentov. Ak chcete mať istotu, že váš postoj je zrozumiteľný aj agentom, ktoré Content-Signal nečítajú, uveďte oboje.
Ako si overíte, čo máte
Otvorte vasadomena.sk/robots.txt a hľadajte riadok začínajúci Content-Signal. Väčšina webov ho nemá — nie je to chyba, len ste to nevyjadrili.
Ak ho pridávate, skontrolujte dve veci: je pod správnym blokom User-agent a neprotirečí si s menovitými pravidlami? Riadok, ktorý povoľuje ai-input, a zároveň Disallow: / pre toho istého agenta, je rozpor — a agent sa zariadi podľa zákazu.
Oplatí sa to nastaviť?
Náklad je jeden riadok. Prínos je neistý — nikto negarantuje, že ho agenti čítajú. Zmysel má z dvoch dôvodov, ktoré nezávisia od toho, či sa formát ujme.
Po prvé je to písomný záznam vášho rozhodnutia. O rok už nikto nebude vedieť, či ste súhlas s tréningom zvažovali, alebo to nikto neriešil. Po druhé, ak sa formát ujme, máte to pripravené a nemusíte to riešiť pod tlakom.
Ak vám na rozlíšení tréningu a citovania nezáleží, pokojne to preskočte. Je to poistka, nie nástroj viditeľnosti — na tú nemá vplyv žiadny.