Pomiar i utrzymanie

Sygnały zewnętrzne z poprzedniego rozdziału mają jedną niewygodną cechę: pracują wolno i w dużej części poza Twoją kontrolą. Dotyczy to zresztą wszystkiego, co zrobiłeś wcześniej. Dane produktowe, treść i wzmianki zaczynają działać dopiero wtedy, gdy modele je pobiorą, a Ty dowiesz się o tym wyłącznie wtedy, gdy sprawdzisz. Audyt z rozdziału 2 był zdjęciem stanu na jeden dzień. Ten rozdział zamienia go w proces: co mierzyć, jak często, jak zapisywać wyniki, żeby dało się je porównać za pół roku, i w jakiej kolejności naprawiać to, co pomiar pokaże.

Co mierzyć: kilka pytań zamiast jednej liczby

Pokusa jest taka, żeby sprowadzić widoczność w AI do jednego procenta na slajdzie. Odradzam, bo jeden procent nie mówi, co naprawić. Praktyczny pomiar odpowiada na kilka pytań zadawanych osobno przy każdym zapytaniu z zestawu kontrolnego.

Pięć kolumn w arkuszu wystarczy na start. Ważniejsze od narzędzia jest to, żeby definicje pozostały identyczne przy każdym kolejnym pomiarze.

Nazewnictwo jest wtórne, ale warto je znać, bo pojawia się w ofertach narzędzi. W branży używa się między innymi określenia Share of Model na udział marki w odpowiedziach na ustalony zestaw zapytań. My w usłudze pracujemy na trzech pojęciach: Brand Visibility (czy marka zostaje nazwana), Product Mention Rate (czy pada konkretny produkt, gdy pytanie do niego pasuje) i Store Attribution (czy zakup zostaje przypisany do Twojego sklepu). Świadomie nie podaję tu żadnych wartości odniesienia, bo sensownych benchmarków nie ma: wynik zależy od kategorii, języka, składu zestawu pytań i modelu. Jedyne uczciwe porównanie to porównanie z własnym poprzednim pomiarem.

Co musi zostać stałe

Zestaw pytań zbudowany przy audycie staje się teraz aktywem, a jego największą wartością jest niezmienność. Przy każdym kolejnym pomiarze stałe muszą pozostać cztery rzeczy: treść pytań co do słowa, język i rynek, lista modeli oraz sposób oceny. Nowe pytania dopisuj jako osobną grupę i porównuj dopiero od ich pierwszego pomiaru, zamiast mieszać je ze starą pulą i psuć porównywalność całości.

Warunki zadawania pytań też są częścią metody, choć rzadko się je opisuje. Pytaj w sesji bez historii rozmów i bez personalizacji, najlepiej wylogowanej, inaczej zmierzysz własne wcześniejsze ślady zamiast tego, co widzi obcy użytkownik. Notuj również, czy model korzystał w danej odpowiedzi z wyszukiwania w sieci, ponieważ odpowiedź z wyszukiwaniem i bez niego to w praktyce dwa różne pomiary, których nie należy uśredniać.

Jak często mierzyć

Miesięcznie, jeśli aktywnie pracujesz nad danymi, treścią i sygnałami zewnętrznymi, bo wtedy chcesz widzieć skutki własnych zmian. Kwartalnie, jeśli katalog i marka są stabilne, a pomiar ma głównie pilnować, czy nic się nie psuje. Rzadziej niż raz na kwartał traci sens: przy takim odstępie zmian w wyniku nie połączysz już z żadną konkretną przyczyną.

Częściej niż raz w miesiącu zwykle nie ma po co, i to z prozaicznego powodu: zmiana na stronie musi zostać pobrana, przetworzona i odłożyć się w źródłach, z których korzysta model, a to trwa. Poza stałym rytmem warto zmierzyć w czterech sytuacjach: po migracji platformy, po zmianie nazwy albo domeny, po dużej przebudowie katalogu i po głośnej zmianie po stronie dostawcy modelu.

Jak zapisywać wyniki

Format ma jeden cel: żeby za pół roku dało się odtworzyć, co dokładnie widziałeś. Minimum to data pomiaru, nazwa i wersja modelu, jeśli jest widoczna, rynek i język, dokładna treść pytania, pełna odpowiedź skopiowana w całości, ocena według pytań z tabeli powyżej oraz lista źródeł, które model podał.

Dwa błędy powtarzają się najczęściej. Pierwszy to zapisywanie samej oceny bez surowej odpowiedzi; po kwartale nikt już nie odtworzy, dlaczego kontekst uznano wtedy za neutralny, a spór o to zabiera więcej czasu niż sam pomiar. Drugi to gromadzenie zrzutów ekranu zamiast tekstu, przez co wyników nie da się przeszukać ani policzyć. Zwykły arkusz z jedną odpowiedzią na wiersz wystarcza znacznie dłużej, niż się wydaje, i przenosi się do dowolnego narzędzia później.

Dlaczego pojedynczy pomiar nic nie znaczy

Odpowiedzi modeli są niedeterministyczne: to samo pytanie zadane dwa razy pod rząd potrafi dać inną odpowiedź, inny zestaw poleconych marek i inny zestaw źródeł. Składa się na to sposób generowania tekstu, kierowanie zapytania do różnych wariantów modelu, obecność lub brak wyszukiwania w sieci oraz zwykła aktualizacja źródeł w tle. Wg źródeł branżowych porównania odpowiedzi na te same pytania pokazują, że rozbieżność dotyczy nie tylko sformułowań, ale też tego, kogo model wymienia i na co się powołuje.

Wniosek metodyczny jest prosty: zadaj każde pytanie kilka razy i notuj częstość wystąpień, a nie sam fakt, że raz się pojawiło. Pojedyncze wystąpienie marki nie jest sukcesem, a pojedynczy brak nie jest porażką. Sygnałem staje się dopiero powtarzalność wewnątrz jednego pomiaru i kierunek zmian w kolejnych.

Co robić z wynikiem: kolejność napraw

Pomiar zwykle produkuje długą listę rzeczy do zrobienia i właśnie tu najłatwiej utknąć. Kolejność, którą stosujemy, wynika z prostego rachunku: najpierw to, co szkodzi najbardziej i naprawia się najszybciej.

1. Błędne fakty. Model podaje nieaktualną cenę, twierdzi, że nie dowozisz do danego kraju, myli Cię z inną firmą albo opisuje ofertę sprzed rebrandingu. To naprawiaj natychmiast, bo taki błąd aktywnie odbiera sprzedaż, a jego źródło zwykle da się wskazać i poprawić u siebie albo w konkretnym serwisie zewnętrznym.

2. Braki w danych. Model nie ma czego pobrać: brakuje atrybutów, feed jest niekompletny, dane strukturalne obejmują tylko część katalogu. To praca z rozdziału 3, jednorazowo kosztowna, ale działająca długo i na cały katalog naraz.

3. Treść. Dane są, tylko nikt nie odpowiedział wprost na pytanie, które zadaje klient. To rozdział 4, czyli najwięcej pracy redakcyjnej i efekt rozłożony w czasie, za to najbardziej trwały.

4. Sygnały zewnętrzne. Recenzje, rankingi i wzmianki z rozdziału 5. Najwolniejsza warstwa, więc uruchamiaj ją równolegle z pozostałymi, ale nie oczekuj, że zdąży zmienić wynik kolejnego miesięcznego pomiaru.

Samodzielnie czy z partnerem

Samodzielnie ma sens częściej, niż sugerują sprzedawcy narzędzi. Jeden rynek, jeden język, kilkadziesiąt pytań kontrolnych i osoba w zespole, która realnie utrzyma rytm: to arkusz i mniej więcej godzina miesięcznie. Największe ryzyko nie leży w braku narzędzia, tylko w tym, że po trzecim miesiącu nikt już tego nie robi, a wtedy przestaje istnieć jakikolwiek punkt odniesienia.

Partner albo narzędzie zaczynają się opłacać przy kilku rynkach i językach, dużym katalogu, kilku modelach do sprawdzenia oraz wtedy, gdy z pomiaru mają wynikać konkretne naprawy w danych i na stronie, a nie sam wykres na spotkaniu. Tak prowadzimy to w Seedlight w ramach usługi AI Visibility (GEO): stały zestaw zapytań, pomiar per model, Brand Visibility, Product Mention Rate i Store Attribution, a do tego naprawy w warstwie danych i treści. Zastrzeżenie stawiam wprost, bo należy je postawić: nikt nie gwarantuje pozycji, wzmianki ani cytowania, to zmienne, których nie kontroluje żaden dostawca.

Cała ścieżka w jednym akapicie

Zaczęliśmy od tego, skąd modele biorą wiedzę o sklepie i dlaczego Twoja strona jest tylko jednym ze źródeł (rozdział 1). Potem był audyt, czyli sprawdzenie, co AI mówi o Tobie dziś, i zapisanie punktu wyjścia (rozdział 2). Na tym fundamencie porządkujesz dane produktowe, feed i dane strukturalne jako jedno źródło prawdy o produktach (rozdział 3). Następnie piszesz treść, z której da się wyjąć gotową odpowiedź, zamiast treści, która wyłącznie ładnie brzmi (rozdział 4). Rozdział 5 wyprowadził tę pracę poza własną domenę, do recenzji, rankingów i wzmianek, które potwierdzają to, co mówisz o sobie. Ten rozdział spina całość w rytm: mierzysz, zapisujesz, naprawiasz w ustalonej kolejności i mierzysz ponownie.

Na koniec rzecz, którą trzeba powiedzieć wprost, bo bez niej cały przewodnik byłby nieuczciwy. Nie kontrolujesz tego, co model odpowie. Dostawcy zmieniają modele i źródła bez zapowiedzi, sposób doboru cytowań pozostaje nieprzejrzysty, a wzmianki ani cytowania nie zagwarantuje Ci nikt, łącznie z nami. Kontrolujesz za to poprawność faktów o sobie, kompletność i dostępność danych, jakość odpowiedzi na realne pytania klientów, spójność marki w sieci oraz regularność pomiaru. To lista wystarczająco długa, żeby zająć rok pracy, i wystarczająco konkretna, żeby zacząć od jutra. Reszta, łącznie z tym, że część klientów podejmie decyzję, nie odwiedzając Twojej strony, jest już konsekwencją, o której piszemy osobno w tekście o zero-click commerce.