Masz nagłówek na stronie produktu. Myślisz, że inny nagłówek mógłby konwertować lepiej. Możesz zgadywać. Albo pokazać połowie odwiedzających stary nagłówek, a połowie nowy, zmierzyć konwersję dla każdego i pozwolić danym zdecydować, który jest lepszy. To właśnie analityka testów A/B.
Testy A/B używają danych do porównywania wariantów i znajdowania zwycięzcy. Ten artykuł wyjaśnia, jak działają testy A/B, co znaczy istotność statystyczna, dlaczego liczy się wielkość próby, jakie są częste błędy w testowaniu i jak wybierać warianty warte testowania.
Test A/B (zwany też testem podzielonym) porównuje dwie wersje czegoś, by sprawdzić, która działa lepiej. Wersja A (kontrolna): obecny nagłówek. Wersja B (wariant): inny nagłówek. Dzielisz ruch 50/50, mierzysz, który nagłówek konwertuje więcej, i ogłaszasz zwycięzcę.
Test A/B odpowiada: czy ta zmiana naprawdę jest lepsza, czy różnica to tylko przypadek? Bez testów polegasz na przeczuciu. Z testami polegasz na danych.
Czym jest test A/B i na co odpowiada
Test A/B porównuje dwie wersje i mierzy, która działa lepiej według konkretnej metryki. Współczynnik klikalności. Współczynnik konwersji. Czas na stronie. Przychód na odwiedzającego. Prowadzisz test, aż będziesz mieć dość danych, by zdecydować.
Test A/B odpowiada: czy różnica między tymi wersjami jest realna, czy losowa? Czy warto wprowadzić tę zmianę, czy spróbować czegoś innego? Odpowiedź pochodzi z danych, a nie z opinii.
Jak działa istotność statystyczna
Testujesz dwa nagłówki. Nagłówek A konwertuje 10 procent (100 z 1000). Nagłówek B konwertuje 10,5 procent (105 z 1000). Nagłówek B jest lepszy. Ale czy różnica jest realna, czy to losowa zmienność?
Istotność statystyczna odpowiada: gdyby między tymi nagłówkami nie było różnicy, jak prawdopodobne jest, że zobaczysz tak dużą różnicę przypadkiem? Jeśli prawdopodobieństwo jest bardzo niskie (mniej niż 5 procent), różnica jest statystycznie istotna. Możesz zaufać, że jest realna.
Jeśli prawdopodobieństwo jest wysokie (więcej niż 5 procent), różnica może być losowym przypadkiem. Nie należy na jej podstawie działać.
Większość testów wymaga 95 procent pewności, czyli tylko 5 procent szansy, że różnica jest losowa. Niektóre testy wymagają 99 procent pewności (tylko 1 procent szansy na losowość).
Dlaczego wielkość próby ma znaczenie w testach
Testujesz nagłówek B na 20 osobach i dostajesz 20 procent konwersji (4 konwersje). Nagłówek A miał 10 procent (2 konwersje). Nagłówek B jest lepszy, prawda? Może. A może to losowy przypadek przy tak małej próbie.
Przetestuj te same nagłówki na 10 000 osób. Nagłówek A ma 1000 konwersji z 10 000 (10 procent). Nagłówek B ma 950 konwersji z 10 000 (9,5 procent). Teraz lepszy jest nagłówek A. Przy większej próbie przypadkowość się wygładza i wyłaniają się prawdziwe wzorce.
Większe próby dają większą pewność wyniku. Mniejsze próby są zaszumione i niewiarygodne.
Częste błędy w testach A/B
Zbyt wczesne zatrzymanie testu: Po dwóch dniach widzisz, że jeden wariant wygrywa. Ogłaszasz zwycięstwo i go włączasz. Ale po dwóch tygodniach wzorzec się odwraca i wygrywa oryginał. Wczesne dane były losową zmiennością. Pozwól testowi trwać dość długo (co najmniej dwa tygodnie, najlepiej cztery).
Prowadzenie zbyt wielu testów naraz: Testujesz nagłówek, kolor przycisku i długość formularza jednocześnie. Wygrywa jeden wariant, ale nie wiesz, który element to spowodował. Testuj jedną rzecz naraz.
Testowanie nieistotnych zmian: Testujesz kolor przycisku (niebieski kontra nieco ciemniejszy niebieski). Test potrzebuje 100 000 odwiedzających, by pokazać statystycznie istotną różnicę. Testuj zmiany, które mają znaczenie (nagłówek kontra inna propozycja wartości, a nie niebieski kontra nieco mniej niebieski).
Ignorowanie sezonowości: Prowadzisz test od listopada do stycznia. Twój wariant wygrywa. Ale styczeń to wolniejszy sezon. Gdy prowadzisz go przez cały rok, przegrywa. Zawsze prowadź testy przez kilka sezonów.
Mylenie korelacji z przyczynowością: Wygrywa wariant B. Zakładasz, że zmiana spowodowała wygraną. Ale w trakcie testu uruchomiono też kampanię marketingową. Wygraną spowodowała kampania, a nie wariant. Kontroluj czynniki zewnętrzne.
Jak wybierać, co testować
Testuj zmiany o dużym potencjalnym wpływie. Małe zmiany mogą nie ruszyć wyniku, nawet jeśli wygrają. Zmiana koloru przycisku może zwiększyć konwersję o 0,5 procent. Zmiana nagłówka może zwiększyć konwersję o 5 procent. Najpierw testuj większe zmiany.
Testuj zmiany zgodne z hipotezą. Jeśli hipoteza brzmi „mylący formularz zamówienia powoduje odpadanie”, przetestuj prostszy formularz. Nie testuj przypadkowych kolorów i pozycji przycisków.
Testuj zmiany jedna po drugiej. Jeśli zmieniasz nagłówek, tekst przycisku i pola formularza jednocześnie, nie powiesz, co spowodowało poprawę.
Jak czytać wyniki testu A/B
Wynik pokazuje: wariant A miał współczynnik konwersji 10 procent. Wariant B miał współczynnik konwersji 11 procent. B jest o 10 procent lepszy (poprawa względna). Poziom ufności wynosi 95 procent, z wartością p 0,03.
Co to znaczy: wariant B jest lepszy. Mamy 95 procent pewności, że ta różnica jest realna, a nie losowym przypadkiem.
Jeśli poziom ufności wynosi 85 procent (wartość p 0,15), wynik nie jest statystycznie istotny. Nie należy ogłaszać zwycięzcy; potrzeba więcej danych.
Kiedy testować dalej, a kiedy przestać
Testuj dalej, jeśli: wynik nie jest statystycznie istotny i nie osiągnięto docelowej wielkości próby albo dowiedziano się czegoś nieoczekiwanego i chce się to zbadać głębiej.
Przestań testować, jeśli: osiągnięto istotność statystyczną i można ogłosić zwycięzcę albo test trwa cztery tygodnie lub dłużej, a wyniki nie zbliżają się do istotności. Wtedy warianty są zapewne równie dobre.
Najczęściej zadawane pytania
Ilu odwiedzających potrzebuję do rzetelnego testu A/B?
To zależy od bazowego współczynnika konwersji i tego, jak dużą zmianę chcesz wykryć. Przy małej stronie ze 100 odwiedzającymi dziennie możesz potrzebować dwóch tygodni, by osiągnąć istotność statystyczną. Przy dużej stronie z 10 000 odwiedzającymi dziennie możesz ją osiągnąć w dwa dni. Użyj kalkulatora wielkości próby (większość narzędzi do testów A/B ma wbudowany). Dzięki kreatorowi stron WEMASY możesz to ustawić bezpośrednio na swojej stronie.
Co oznacza wartość p 0,05?
Oznacza 5 procent szansy, że widoczna różnica jest losowym przypadkiem. Poziom ufności 95 procent. Większość osób przyjmuje 0,05 jako próg: jeśli wartość p jest poniżej 0,05, wynik jest statystycznie istotny.
Czy mogę oglądać wyniki w trakcie testu i zatrzymać go wcześniej, jeśli jeden wariant wygrywa?
Nie. To tak zwane podglądanie i prowadzi do błędnych wniosków. Jeśli zatrzymasz test wcześniej, gdy jeden wariant prowadzi, możesz przeoczyć prawdziwego zwycięzcę. Zawsze pozwól testowi trwać przez zaplanowany czas.
A jeśli test pokazuje bardzo dużą poprawę, ale niską istotność statystyczną?
Zwykle oznacza to, że próba jest za mała. Masz obiecujący sygnał, ale za mało danych, by go potwierdzić. Prowadź test dłużej albo zdobądź więcej ruchu.
Testować jeden element czy kilka naraz?
Testuj jeden element naraz (testy wielowariantowe są złożone i zwykle niewarte zachodu, chyba że masz bardzo duży ruch). Testowanie jednej rzeczy mówi, co spowodowało zmianę.
Ile testów A/B prowadzić jednocześnie?
Zasadniczo jeden naraz, zwłaszcza jeśli dopiero zaczynasz testować. Gdy zdobędziesz doświadczenie i masz duży ruch, możesz prowadzić kilka testów na różnych stronach jednocześnie. Nie prowadź dwóch testów na tej samej stronie w tym samym czasie.