Krok pierwszy: napisz konkretną hipotezę
Niejasna hipoteza zawodzi
Nie tak: zmiana formularza zamówienia poprawi konwersję.
Konkretna hipoteza wygrywa
Lepiej: uważamy, że uproszczenie zamówienia z pięciu kroków do jednostronicowego formularza zwiększy liczbę ukończonych zakupów o co najmniej trzy procent, ponieważ klienci porzucają zamówienie, gdy formularz wydaje się długi.
Hipoteza powinna określać. Co zmieniasz. Dlaczego sądzisz, że to pomoże. Jaki wskaźnik ma się poprawić. O ile.
Niejasna hipoteza prowadzi do niejasnych wyników. Konkretną hipotezę można przetestować.
Krok drugi: ustal liczebność próby przed startem
Matematyka ma znaczenie
Ilu odwiedzających potrzebujesz, żeby zobaczyć prawdziwą różnicę.
Wzór. Potrzebujesz minimum pięciuset konwersji na wariant. Czyli tysiąca łącznie, jeśli testujesz dwie wersje.
Oblicz czas trwania testu
Jeśli konwertujesz na poziomie dwóch procent i masz dwa tysiące odwiedzających miesięcznie, dostajesz czterdzieści konwersji miesięcznie. Dojście do pięciuset konwersji zajmuje dwanaście miesięcy. Test nie skończy się na czas.
Jeśli konwertujesz na poziomie dziesięciu procent i masz pięć tysięcy odwiedzających miesięcznie, dostajesz pięćset konwersji miesięcznie. Dojście do tysiąca zajmuje dwa miesiące. Test kończy się szybko.
Znaj harmonogram z góry
Strony z niskim współczynnikiem konwersji potrzebują dłuższych testów. Strony z wysokim współczynnikiem kończą szybciej.
Użyj kalkulatora liczebności próby. Wpisz swój współczynnik konwersji i ruch. Kalkulator powie, ile potrwa test.
Jeśli test trwa dłużej niż trzy miesiące, zastanów się. Czy zmiana jest warta trzymiesięcznego czekania. Czy może lepiej przetestować coś innego, co skończy się szybciej.
Krok trzeci: wybierz podział ruchu w teście
Pół na pół to standard
Przydziel pięćdziesiąt procent do wersji kontrolnej. Pięćdziesiąt procent do wariantu.
Ostrożny podział spowalnia wyniki
Niektórzy przydzielają dziewięćdziesiąt do dziesięciu. Dziewięćdziesiąt procent do obecnej, dobrej wersji, dziesięć procent do nowej, której nie są pewni. To ostrożne, ale spowalnia test.
Pół na pół to standard. Najszybsze wyniki.
Krok czwarty: ustal czas trwania testu przed startem
Zobowiąż się do harmonogramu
Minimum jeden tydzień. Dwa tygodnie to standard. Miesiąc dla stron o bardzo dużym ruchu.
Nie decyduj o czasie trwania w trakcie testu. Zdecyduj wcześniej. Zapisz to. Dotrzymaj tego.
Wczesne podglądanie psuje testy
Wczesne podglądanie psuje testy. Sprawdzasz wyniki po tygodniu. Wygląda na to, że wariant wygrywa. Kończysz test. Wdrażasz zmianę. Później okazuje się, że wyniki nie były prawdziwe. Wdrożono coś, co w rzeczywistości nie działa.
Przeprowadź test przez cały zaplanowany czas.
Krok piąty: wprowadź zmianę w wariancie
Tylko jedna zmiana
Tylko jedna zmiana. Nie kilka naraz.
Jeśli testujesz uproszczenie zamówienia, uprość formularz. Nie zmieniaj w tym samym czasie koloru, tekstu ani układu. Jedna zmienna naraz.
Zadbaj, by zmiana była widoczna
Zmiana powinna być wyraźna. Odwiedzający powinni zauważyć różnicę. Jeśli zmiana jest tak subtelna, że nikt jej nie widzi, test nie zadziała.
Krok szósty: skonfiguruj test w narzędziu
Wybierz platformę
Użyj platformy do testów. . . .
Zainstaluj i skonfiguruj
Połącz z witryną. Zainstaluj kod śledzący. Zwykle to jedna linijka kodu lub instalacja wtyczki.
Utwórz wersje i wskaźniki
Utwórz wersję kontrolną. To obecna wersja.
Utwórz wersję testową. Wprowadź swoją zmianę.
Ustaw podział ruchu. Po pięćdziesiąt procent.
Ustaw czas trwania. Dwa tygodnie lub tyle, ile ustalono.
Ustaw wskaźnik sukcesu. Co mierzysz. Ukończenie zamówienia. Wysłanie formularza. Przewinięcie strony.
Krok siódmy: pozwól testowi działać bez podglądania
Oprzyj się pokusie
To trudne. Oprzyj się chęci sprawdzania wyników.
Wyniki po kilku dniach nic nie znaczą. Losowe wahania przy małej próbie są ogromne. Zobaczysz wyniki, które później znikną.
Ustaw przypomnienie w kalendarzu
Sprawdź wyniki dokładnie w dniu zakończenia. Nie wcześniej.
Ustaw przypomnienie w kalendarzu na dzień końca testu. Sprawdź wtedy.
Krok ósmy: poprawnie przeanalizuj wyniki
Szukaj istotności statystycznej
Test się kończy. Patrzysz na wyniki. Wariant konwertował na poziomie jedenastu procent. Wersja kontrolna na poziomie dziesięciu. Wariant jest lepszy. Prawda.
Ale czy wynik był istotny statystycznie. Czy to prawda, czy przypadek.
Szukaj przedziału ufności lub wartości p. Powinien być powyżej dziewięćdziesięciu pięciu procent ufności lub poniżej zera przecinek zero pięć wartości p.
Co oznacza istotność statystyczna
Jeśli istotność statystyczna mówi tak, wynik jest prawdziwy. Wdróż wariant.
Jeśli istotność statystyczna mówi nie, wynik jest niejasny. Mógł być przypadkiem. Mógł być prawdziwy, ale potrzebował więcej czasu. Przedłuż test lub spróbuj innej zmiany.
Krok dziewiąty: wdróż i udokumentuj
Jeśli wariant wygrywa
Jeśli wariant wygrywa, wdróż go na stałe.
Udokumentuj wnioski. Dlaczego sądzono, że to zadziała. Co się stało. Co przetestujesz dalej.
Zbuduj podręcznik działań. Z czasem pojawiają się wzorce. Uczysz się, co działa u Twoich odbiorców.
Jeśli wygrywa wersja kontrolna
Jeśli wygrywa wersja kontrolna, cofnij zmianę.
Udokumentuj, dlaczego wygrała wersja kontrolna. Może hipoteza była błędna. Może zmiana była za mało zauważalna. Może odbiorcom zmiana się nie spodobała.
Przegrany test to nadal nauka.
Częste błędy w pierwszym teście
Za krótki test
Po tygodniu brakuje Ci cierpliwości. Przerywasz. Wyniki jeszcze nie są prawdziwe.
Testowanie kilku zmian naraz
Zmieniono formularz, przycisk i tekst. Wygrywa wariant, ale czy to zasługa formularza, czy przycisku. Teraz nie wiadomo.
Brak wymogu istotności
Wariant jest o jeden procent lepszy. To może być przypadek. Wdrażasz. Później wynik się nie utrzymuje.
Testowanie na wszystkich
Obawiasz się zmiany. Testujesz na dziewięćdziesięciu procentach obecnej wersji i dziesięciu nowej. Test trwa w nieskończoność.
Brak zobowiązania do wdrożenia
Test się kończy. Wariant wygrywa. Mówisz: wdrożymy to później. Nigdy tego nie robisz. Test nie przyniósł żadnej wartości.
Co odróżnia zwycięzców od reszty
Nie mądrzejsze testowanie
Nie mądrzejsze testowanie. Konsekwentne testowanie.
Wzorzec zwycięzców
Zwycięskie firmy przeprowadzają test. Wyniki spływają. Wdrażają od razu. Uruchamiają następny test.
Zobowiązują się do programu testów. Nie do pojedynczych testów. Do ciągłego testowania. Miesiąc po miesiącu.
Budują wewnętrzną wiedzę. Po pięćdziesięciu testach znają swoich odbiorców. Wiedzą, co działa. Wiedzą, co nie. Poruszają się szybciej niż konkurencja.
Wzrost złożony
Jeden test i nic się nie dzieje. Pięćdziesiąt testów i zmienia się wszystko.
Najczęściej zadawane pytania
Co zrobić, gdy w połowie odkryję, że test jest zepsuty. Na przykład przestało działać śledzenie. Czy zacząć od nowa?
Tak. Zepsuty test jest bezużyteczny. Zacznij od nowa. Jeśli śledzenie nie działa, nie masz prawdziwych danych. Dlatego warto od czasu do czasu sprawdzić test (nie obsesyjnie, ale przynajmniej raz). Wyłap awarię wcześnie. Z kreatorem stron WEMASY możesz skonfigurować to bezpośrednio na swojej stronie.
Czy mogę zmienić hipotezę testu w trakcie jego trwania, jeśli pojawią się nowe informacje?
Nie. Napisz hipotezę przed startem testu. Trzymaj się jej. Jeśli w trakcie hipoteza wydaje się błędna, zanotuj to. Ale dokończ test z pierwotną hipotezą. Nową hipotezę sprawdź w kolejnym teście.
Czy mogę wcześniej przerwać test, jeśli wariant jest wyraźnie gorszy?
Tylko jeśli coś psuje. Jeśli wariant powoduje błędy, zatrzymaj go. W przeciwnym razie nie. Nawet gdy przegrywa o dużą różnicę, przeprowadź test przez cały czas. Dowiedz się, dlaczego przegrał. Wykorzystaj tę wiedzę.
Co zrobić, gdy istotność statystyczna mówi nie, ale uważam, że wynik jest prawdziwy?
Przeprowadź test jeszcze raz. Ta sama zmiana. Ale dłużej lub z większym ruchem. Jeśli wynik jest prawdziwy, pojawi się ponownie. Jeśli nie, intuicja była błędna, a matematyka miała rację.
Skąd mam wiedzieć, która wersja w wynikach jest kontrolna, a która testowa?
Narzędzie do testów je oznaczy. Upewnij się przed startem, która jest która. Zrób zrzut ekranu. Wersja kontrolna to wersja A. Wariant testowy to wersja B. Gdy pojawią się wyniki, zajrzyj do notatek.
Czy muszę informować przełożonych, że prowadzę testy, czy wystarczy pokazać wyniki?
Poinformuj ich. Zrozumieją, że testy wymagają czasu. Ustal oczekiwania. Test trwa dwa tygodnie. Jeśli wariant wygra, wdrożymy go. Jeśli nie, spróbujemy czegoś innego. Przejrzystość zapobiega zaskoczeniu, gdy nie wdrożysz zmiany, której się spodziewali.