Prečo na to nie je nástroj
Modely nezverejňujú, čo o kom vedia, a odpoveď generujú zakaždým nanovo. Neexistuje rozhranie, ktoré by vrátilo „vaša pozícia je siedma“. Preto sa to meria ručne a preto to nikto nerobí zadarmo desaťkrát denne.
Druhý dôvod je, že odpoveď nie je deterministická. Tá istá otázka položená dvakrát dá dve rôzne odpovede a v jednej sa objavíte, v druhej nie. Preto sa nemeria jeden dopyt, ale sada dopytov — a preto má jednorazový test malú výpovednú hodnotu.
Tri druhy otázok a každý meria niečo iné
Značková otázka
„Čo vieš o firme [meno] z [mesto]?“ — zisťuje, či vás model vôbec pozná ako entitu. Pozor na dve pasce: model si môže vymyslieť pravdepodobne znejúce detaily, a môže vás pomýliť s inou firmou podobného mena. Preto vždy porovnajte odpoveď s tým, čo je pravda, riadok po riadku.
Kategóriová otázka
„Odporuč mi [typ služby] v [mesto].“ — toto je tá otázka, na ktorej záleží. Ak sa v odpovedi neobjavíte, na tom sa dá pracovať. Pýtajte sa tak, ako sa pýta zákazník, nie ako sa opisujete vy: nie „poskytovateľ GEO služieb“, ale „kto mi pomôže, aby ma našli ľudia“.
Problémová otázka
„Mám [problém]. Kto mi s tým vie pomôcť?“ — najbližšie k tomu, ako sa ľudia naozaj pýtajú. Meno firmy sa v nej nevyskytuje vôbec a práve preto je najtvrdšia.
Ako to spraviť poriadne
Každú otázku v novom rozhovore. Ak sa pýtate v jednom vlákne, model si pamätá predchádzajúce odpovede a bude vás spomínať preto, že ste o sebe hovorili — nie preto, že vás pozná.
Bez prihlásenia alebo v anonymnom okne, ak sa dá. Personalizácia podľa histórie výsledok skresľuje. Ak nástroj vyžaduje účet, aspoň vypnite pamäť a personalizáciu v nastaveniach.
Vypnite vyhľadávanie na webe, ak to ide, a spravte druhý beh so zapnutým. Sú to dve rôzne veci: prvá meria, čo má model v znalostiach, druhá čo nájde teraz. Firma môže obstáť v jednej a prepadnúť v druhej.
Zapíšte odpoveď doslovne, aj s menami konkurentov. To je tá najcennejšia časť — dozviete sa, koho model považuje za vhodnú odpoveď namiesto vás.
Ako čítať výsledok
| čo vidíte | čo to znamená | čo s tým |
|---|---|---|
| značková áno, kategóriová nie | model vás pozná, ale nespája si vás s tým, čo predávate | obsah a štruktúrované dáta |
| vymyslené detaily | málo overiteľných zdrojov, model dopĺňa odhadom | registre, profily, konzistentné údaje |
| zámena s inou firmou | kolízia mien | identifikátor a geografia všade |
| nič ani na značkovú | o firme neexistuje takmer nič | začať od základov, rátať v mesiacoch |
Čo si zapisovať, aby sa to dalo porovnať
Bez zápisu je to zvedavosť, nie meranie. Minimálna tabuľka má päť stĺpcov: otázka, nástroj, dátum, boli sme spomenutí, kto bol spomenutý namiesto nás. Šiesty stĺpec, ktorý sa najčastejšie vynecháva a je najcennejší: bolo to, čo model povedal, pravda?
Otázky si po zostavení zmrazte. Ak ich pri druhom behu preformulujete, meriate niečo iné a porovnanie stráca zmysel.
Koľko dopytov stačí a ako často
Na prvý obraz stačí desať až dvadsať otázok naprieč tromi typmi. Menej než desať je náhoda. Viac než tridsať už väčšinou neprinesie nový poznatok, len potvrdí, čo prvá dvadsiatka ukázala.
Rátajte s tým, že vám to zaberie asi tri hodiny sústredenej práce, ak to robíte poctivo v dvoch nástrojoch. Opakovať má zmysel trikrát do roka — znalosti modelov sa nemenia zo dňa na deň a častejšie meranie len spotrebuje čas.