Atrybucja mówi, który kanał dostaje zasługę za konwersję. Ale czy kanał naprawdę ją wywołuje, czy zdarzyłaby się i tak? Testy przyrostowe odpowiadają na to pytanie przez eksperymenty: jednej grupie użytkowników pokazujesz kanał (grupa testowa), innej nie (grupa kontrolna) i mierzysz różnicę współczynników konwersji. Ta różnica to prawdziwy wpływ przyrostowy. Ten rozdział opisuje testy przyrostowe i kiedy ich użyć.
Atrybucja a przyrostowość
Atrybucja: wśród osób, które kupiły, który kanał dotknął ich jako ostatni? Prosta w pomiarze, ale nie dowodzi związku przyczynowego.
Przyrostowość: gdybyśmy całkiem usunęli ten kanał, ile przychodu byśmy stracili? To dowodzi przyczynowości i mierzy prawdziwy wpływ.
Przykład: kupiło 100 osób. Google Ads według ostatniego kliknięcia: 60 dostaje zasługę. Ale test przyrostowy pokazuje: gdybyśmy nie prowadzili Google Ads, 50 z tych 60 i tak by kupiło (innymi kanałami). Prawdziwa przyrostowość Google Ads = 10 konwersji, nie 60.
Rodzaje testów przyrostowych
Testy geograficzne
Wyświetlaj reklamy w niektórych regionach (grupa testowa), a w innych nie (grupa kontrolna). Porównaj współczynniki konwersji. Przykład: prowadź Google Ads w San Francisco (grupa testowa), a w Berkeley nie (grupa kontrolna). Jeśli SF ma wyższą konwersję, reklamy są przyrostowe.
Zaleta: proste, szybkie. Wada: różnice geograficzne mogą zakłócać wyniki (SF jest zamożniejsze, co zawyża konwersję).
Grupy wyłączone (holdout)
Wyświetlaj reklamy wszystkim poza losowymi 10% (grupa kontrolna). Porównaj współczynniki konwersji: użytkownicy widzący reklamy a użytkownicy z grupy wyłączonej. Różnica to przyrostowość.
Zaleta: dokładne, kontroluje czynniki zakłócające. Wada: wymaga dużego budżetu (nie docieramy do 10% odbiorców, by zmierzyć wpływ).
Testy czasowe
Wyświetlaj reklamy w niektórych okresach (grupa testowa), a w innych nie (grupa kontrolna). Przykład: płatne wyszukiwanie od poniedziałku do czwartku, bez piątku i weekendu. Porównaj współczynniki konwersji. Jeśli pon-czw jest wyższy, reklamy są przyrostowe.
Zaleta: proste. Wada: wpływ dnia tygodnia (w weekendy konwersja jest naturalnie niższa).
Jak przeprowadzić test przyrostowy
Krok 1: zdefiniuj hipotezę. „Google Ads generuje konwersje przyrostowe ponad poziom bazowy.”
Krok 2: wybierz rodzaj testu. Grupy wyłączone są najdokładniejsze, użyj ich, jeśli pozwala na to budżet.
Krok 3: dobierz wielkość testu. Potrzebna jest próba wystarczająca do wykrycia różnicy. Jeśli bazowa konwersja = 5%, a chcesz wykryć wzrost o 2%, potrzebujesz ok. 10 000 osób w grupie. Zapytaj statystyka lub użyj kalkulatora mocy testu.
Krok 4: prowadź test 2-4 tygodnie. Dłuższe testy zmniejszają wpływ dziennych wahań.
Krok 5: przeanalizuj wyniki. Czy różnica jest istotna statystycznie? (p < 0,05). Jeśli tak, przyrostowość jest udowodniona.
Wyzwania testów przyrostowych
Koszt: grupy wyłączone oznaczają celową utratę przychodu (nie docieramy do 10% odbiorców). Warto tylko przy kanałach o wysokich wydatkach, gdzie ta wiedza jest cenna.
Kanibalizacja: jeśli użytkownik nie zobaczy Twojej reklamy, może skorzystać z wyszukiwania organicznego lub wejść bezpośrednio. Test przyrostowy to uwzględnia (zawiera się to w zachowaniu grupy kontrolnej).
Efekty długoterminowe: reklamy mogą budować markę, co widać po dniach lub tygodniach. Większość testów jest krótkoterminowa i pomija wpływ długoterminowy.
Jak zdecydować, czy przeprowadzić test przyrostowy?
Test przyrostowy jest drogi (grupa wyłączona kosztuje). Przeprowadzaj go dla: kanałów o wysokich wydatkach (Google Ads, Facebook Ads), gdzie atrybucja jest niejednoznaczna i gdzie podejmujesz duże decyzje budżetowe. Nie testuj: małych kanałów, gdzie atrybucja jest jasna. Budżet: 10-50+ tys. $ na test. Zachowaj go na pytania o największym znaczeniu.
Jaka wielkość próby jest potrzebna do testu przyrostowego?
Zależy od bazowego współczynnika konwersji i wzrostu, który chcesz wykryć. Zasada praktyczna: potrzeba 5000-10 000 osób na grupę (kontrolną i testową). Jeśli bazowa konwersja to 5%, a chcesz wykryć wzrost o 2% (nowy poziom 7%), potrzeba ok. 10 000 osób na grupę. Użyj kalkulatora mocy testu (wyszukaj „statistical power calculator”), by poznać dokładną liczbę dla swojego przypadku.
Jak długo prowadzić test przyrostowy?
Minimum 2-4 tygodnie (by uśrednić wahania dzienne). Lepiej 4-8 tygodni (uchwyci wzorce tygodniowe). Dłuższe testy = wyższy koszt, ale większa wiarygodność. Jeśli Twój cykl sprzedaży trwa 30 dni, prowadź test ponad 30 dni, by objąć cały cykl.
Czy mogę użyć testów przyrostowych do pomiaru interakcji kanałów (jak jeden kanał pomaga drugiemu)?
Tak, ale to bardziej złożone. Schemat testu: (1) kontrola (żadnych kanałów), (2) grupa A (tylko kanał A), (3) grupa B (tylko kanał B), (4) grupa A+B (oba kanały). Porównaj wyniki. Jeśli A+B > A + B, jest synergia. Wymaga to większych prób i bardziej złożonej analizy.
Czym różni się grupa wyłączona (holdout) od grupy kontrolnej w testach?
Holdout: część Twojej bazy klientów, która celowo nie widzi kanału. Grupa kontrolna: w eksperymencie grupa, która nie otrzymuje oddziaływania (do porównania). To ta sama idea, inna terminologia. Holdout jest ciągły (stała grupa wyłączona), a grupa kontrolna dotyczy czasu trwania konkretnego testu.
Jak przedstawić wyniki testu przyrostowego zarządowi?
Pokaż: konwersję bazową (5%), konwersję w grupie testowej (6%), wzrost (1 punkt procentowy, 20% wzrostu względnego). Pokaż przedział ufności: wzrost wynosi 0,5-1,5 punktu procentowego (jesteśmy pewni tego zakresu). Wpływ na budżet: jeśli przyrostowość jest o 20% niższa, niż twierdziła atrybucja, przelicz zwrot. To uzasadnia koszt testu lepszymi decyzjami.