Za krótki test (błąd podglądania)
Błąd
Największy błąd: sprawdzanie wyników po tygodniu, gdy test zaplanowano na dwa tygodnie.
Dlaczego to błąd
Jeden tydzień daje czterysta konwersji na wariant. Dwa tygodnie dają osiemset. Przy czterystu losowy szum jest większy. Widzisz różnice, które znikają przy większej ilości danych.
Przykład: po pierwszym tygodniu wariant ma konwersję na poziomie dziewięciu procent. Wersja kontrolna osiem procent. Przewaga jednego procenta wygląda na prawdziwą. Podglądasz wyniki i się ekscytujesz. W drugim tygodniu wariant spada do ośmiu i pół procent. Wersja kontrolna zostaje na ośmiu procentach. Przewaga pół procenta. Nadal istotna statystycznie, ale dużo mniejsza, niż pokazał pierwszy tydzień.
Przy zakończeniu testu po pierwszym tygodniu korzyść z wariantu zostałaby przeszacowana o pięćdziesiąt procent.
Jak tego uniknąć
Ustal czas trwania przed startem testu. Dwa tygodnie to standard. Zapisz to. Nie podglądaj. Ustaw przypomnienie w kalendarzu na dzień zakończenia.
Testowanie kilku zmian naraz
Błąd
Zmieniasz nagłówek. Zmieniasz kolor przycisku. Zmieniasz tekst przycisku. Zmieniasz pola formularza. Cztery zmiany jednocześnie.
Dlaczego to błąd
Wariant konwertuje na poziomie dwunastu procent. Wersja kontrolna na poziomie dziesięciu. Przewaga dwóch procent. Wdrażasz wszystkie cztery zmiany.
Miesiąc później konwersja spada do dziewięciu procent. Coś się zepsuło. Ale która zmiana. Nagłówek. Przycisk. Formularz. Zmieniono cztery rzeczy i nie wiadomo, która zaszkodziła. Nie dowiesz się, która zmiana pomogła, a która zaszkodziła.
Jak tego uniknąć
Tylko jedna zmiana. Zmień tylko nagłówek. Przetestuj go. Wdróż, jeśli wygra. Potem przetestuj kolor przycisku. Potem formularz. Jedna zmienna naraz.
Błędy śledzenia i zepsute testy
Błąd
Test trwa dwa tygodnie. Wyniki pokazują, że wariant wygrywa o pięć procent. Wdrażasz zmianę. Miesiąc później okazuje się, że śledzenie nie działało. Piksel konwersji nie uruchomił się u dziewięćdziesięciu procent odwiedzających.
Dlaczego to błąd
Wyniki są bezwartościowe. Wdrożenie opierało się na złych danych. Zasoby inżynierskie poszły na wdrożenie czegoś, co opiera się na nieprawidłowych wynikach.
Jak tego uniknąć
Sprawdź wyrywkowo konfigurację testu. Przejdź prosty ręczny scenariusz. Czy zdarzenie się uruchamia. Sprawdź logi śledzenia. Zweryfikuj, czy piksel działa. Zrób audyt śledzenia, zanim ogłosisz zwycięzcę.
Zbyt mała próba
Błąd
Prowadzisz test z zaledwie pięciuset konwersjami łącznie. Dwieście pięćdziesiąt na wariant. Przy tak małej próbie losowy szum jest ogromny. Różnice rzędu pięciu procent są częste. Różnice rzędu dziesięciu procent nie dziwią.
Widzisz, że wariant jest o pięć procent wyższy niż wersja kontrolna. Brak istotności statystycznej. Uznajesz test za nieprzesądzający.
Dlaczego to błąd
Od początku brakowało mocy testu. Należało wiedzieć, że test potrzebuje dwóch tygodni, a nie jednego. Testy bez wystarczającej mocy marnują czas i dają nieprzesądzające wyniki.
Jak tego uniknąć
Oblicz liczebność próby przed startem. Ile konwersji potrzebujesz. Ile potrwa test, żeby tyle zebrać. Jeśli test trwa trzy miesiące, rozważ przetestowanie czegoś innego, co da szybsze wyniki.
Brak kontroli czynników zewnętrznych
Błąd
Prowadzisz test od wtorku do czwartku. Wyniki z poniedziałku są sprzed testu. Wyniki z piątku są po teście. Porównujesz piątek z poniedziałkiem.
Ale w piątek ruch jest inny niż w poniedziałek. Piątek to weekendowe, swobodne przeglądanie. Poniedziałek to przeglądanie podczas pracy. Inni odbiorcy. Inne współczynniki konwersji. Przypisujesz różnicę testowi, a to w rzeczywistości różnica w składzie ruchu.
Dlaczego to błąd
Wdrożono zmianę na podstawie różnicy w składzie ruchu, a nie skuteczności wariantu. Gdy pojawia się nowy skład ruchu, wyniki się nie utrzymują.
Jak tego uniknąć
Prowadź test na tyle długo, by wyrównać skład ruchu. Dwa tygodnie obejmują dni robocze i weekendy. Jeden tydzień może być zniekształcony.
Zmiana hipotezy w trakcie testu
Błąd
Zaczynasz test z hipotezą: krótszy formularz zwiększa liczbę zgłoszeń.
W połowie dostajesz nowe dane od obsługi klienta. Klienci chcą więcej opcji w polach. Zmieniasz hipotezę: więcej pól może jednak pomóc. Masz teraz test zaprojektowany pod jedną hipotezę, analizowany jako inna hipoteza.
Dlaczego to błąd
Myli wyniki. Nie wiadomo, którą hipotezę test faktycznie sprawdzał. Możesz wdrożyć zmianę na podstawie pomylonej interpretacji.
Jak tego uniknąć
Napisz hipotezę przed startem testu. Zobowiąż się do niej. Jeśli pojawią się nowe informacje i chcesz sprawdzić inną hipotezę, dokończ obecny test. Potem uruchom nowy.
Niewdrażanie zwycięzców
Błąd
Test się kończy. Wariant wygrywa. Mówisz: „wdrożymy to później”. Później nigdy nie nadchodzi. Test nie przyniósł żadnej wartości. Czas poszedł na marne.
Dlaczego to błąd
Zwycięzcy tworzą wartość tylko wtedy, gdy zostaną wdrożeni. Program testów się kumuluje tylko wtedy, gdy konsekwentnie wdrażasz zwycięzców. Jeden niewdrożony zwycięzca zabija rozpęd i wiarę zespołu w testowanie.
Jak tego uniknąć
Zobowiąż się do wdrożenia przed uruchomieniem testu. Jeśli wariant wygra, wdróż go w ciągu tygodnia. Jeśli wygra wersja kontrolna, od razu cofnij zmianę. Nie pozwól, by zwycięzcy leżeli odłogiem.
Brak segmentowania wyników
Błąd
Ogólne wyniki pokazują, że wariant wygrywa. Wdrażasz go wszędzie.
Ale segmentacja pokazuje: na komputerach wariant wygrywa. Na urządzeniach mobilnych wariant przegrywa. Wśród odwiedzających z zagranicy wariant nie ma wpływu. Globalne wdrożenie szkodzi odwiedzającym z urządzeń mobilnych i z zagranicy.
Dlaczego to błąd
Zoptymalizowano pod ogólną średnią, ale zaszkodzono konkretnym segmentom. Ruch mobilny może rosnąć szybciej niż ruch z komputerów. Wdrażając wariant, szkodzisz segmentowi przyszłego wzrostu.
Jak tego uniknąć
Zawsze sprawdzaj wyniki segmentów, zanim ogłosisz globalnego zwycięzcę. Zwycięzca może nie być uniwersalny. Wdróż go w segmentach, w których wygrywa. Pomiń segmenty, w których nie wygrywa.
Mylenie zwycięzcy z kierunkiem przyczynowości
Błąd
Test pokazuje, że wariant pokonuje wersję kontrolną. Zakładasz, że wariant jest lepszy. Ale co, jeśli wersja kontrolna jest po prostu zepsuta. Przycisk w wersji kontrolnej nie działa. Wszyscy są zdezorientowani. Przycisk w wariancie działa dobrze. Wariant wygrywa, bo wersja kontrolna jest zepsuta, a nie dlatego, że sam wariant jest lepszy.
Dlaczego to błąd
Wyciągasz złą lekcję. Myślisz, że wygrywa styl przycisku, a w rzeczywistości dowiadujesz się tylko, że „działający przycisk bije zepsuty przycisk”. To ma inne konsekwencje dla przyszłych testów.
Jak tego uniknąć
Zrozum, dlaczego wariant wygrał. Czy dlatego, że wariant jest lepszy, czy dlatego, że wersja kontrolna jest gorsza. Konsekwencje są różne.
Powtarzanie tego samego testu w poszukiwaniu innego wyniku
Błąd
Test pierwszy: wariant przegrywa z wersją kontrolną. Próbujesz ponownie z niewielką zmianą. Test drugi: ten sam wynik. Wersja kontrolna znowu wygrywa. Próbujesz jeszcze raz. Test trzeci: ten sam wzorzec. Wersja kontrolna nadal wygrywa.
Testujesz ciągle to samo i dostajesz ten sam wynik.
Dlaczego to błąd
Marnujesz budżet na testy na podejście, które nie działa. Lepiej zmienić kierunek niż dalej testować tę samą przegrywającą strategię.
Jak tego uniknąć
Przestań testować to samo. Potrzebna jest inna strategia. Obecne podejście nie działa. Przejdź do innego wariantu.
Brak dokumentowania wyników i wniosków
Błąd
Test się kończy. Wyniki pokazują zwycięzcę. Wdrażasz. Potem zapominasz o sprawie.
Sześć miesięcy później nowa osoba w zespole pyta: „czego dowiedzieliśmy się o nagłówkach”. Nie masz dokumentacji. Zaczynasz od zera.
Dlaczego to błąd
Tracisz wiedzę instytucjonalną. Każdy test powinien Cię czegoś nauczyć. Bez dokumentacji wiedza znika, gdy ktoś odchodzi z zespołu.
Jak tego uniknąć
Dokumentuj każdy test. Hipoteza. Wyniki. Wnioski. Dziel się nimi z zespołem. Buduj wiedzę instytucjonalną.
Najczęściej zadawane pytania
Czy podglądam, jeśli sprawdzam wyniki testu raz w tygodniu?
Nie, jeśli trzymasz się dwutygodniowego czasu trwania i nie zmieniasz zachowania na podstawie wyników z pierwszego tygodnia. Monitorujesz, ale nie przerywasz wcześniej. Sprawdzanie jest w porządku. Wcześniejsze zakończenie to podglądanie. Przykład: po pierwszym tygodniu wariant ma dziewięć procent, wersja kontrolna osiem procent. Wariant wygląda na zwycięzcę. Nie wdrażaj jeszcze. Zobowiąż się do pełnych dwóch tygodni. W drugim tygodniu wariant może mieć osiem i osiem dziesiątych procent, wersja kontrolna osiem procent. Pojawia się mniejsza różnica. Przy zakończeniu testu po pierwszym tygodniu korzyść zostałaby przeszacowana o pięćdziesiąt procent. Zobowiąż się do czasu trwania, sprawdzaj co tydzień, jeśli chcesz, ale nie działaj na podstawie wstępnych wyników. Z kreatorem stron WEMASY możesz skonfigurować to bezpośrednio na swojej stronie.
Czy mogę testować jednocześnie dwie podobne rzeczy (różne nagłówki w różnych regionach)?
Tak, jeśli regiony są naprawdę oddzielne i ich nie porównujesz. Testuj nagłówek A kontra B na ruchu z USA. Testuj nagłówek C kontra D na ruchu z UE. Osobne testy. Testowanie równoległe jest w porządku. Ale nie porównuj A z C między regionami, bo skład ruchu jest inny. Odbiorcy regionalni konwertują na różnych poziomach. USA mogą mieć bazę dwunastu procent. UE może mieć bazę ośmiu procent. Nagłówek A wygrywa w regionie USA. Nagłówek C wygrywa w regionie UE. Nie możesz wnioskować, że nagłówek A jest uniwersalnie lepszy, bo regiony mają różne bazy. Testuj równolegle, ale analizuj osobno.
Jeśli wyniki nie pokazują istotnej różnicy, czy mam przyjąć, że warianty są identyczne?
Nie. Przyjmij, że różnica jest niejasna. Mogą być identyczne. Mogą się różnić, ale do wykrycia różnicy potrzeba więcej danych. Przykład: wersja kontrolna pięćset konwersji. Wariant pięćset pięć konwersji. Różnica jednego procenta. Osiemdziesiąt osiem procent ufności. Brak istotności. Nie możesz wnioskować, że są identyczne. Możesz tylko wnioskować, że różnica jest niejasna. Opcje: prowadź test dłużej, by zebrać więcej danych. Albo jeśli wariant jest łatwiejszy do wdrożenia niż wersja kontrolna, przejdź na wariant, bo w najgorszym razie są identyczne, a w najlepszym wariant jest lepszy. Jeśli łatwiejsza jest wersja kontrolna, zostaw ją.
Co zrobić, gdy test pokazuje istotny statystycznie wynik, ale intuicyjnie wydaje się błędny?
Zaufaj statystyce, nie intuicji. Matematyka jest mądrzejsza od intuicji. Jeśli statystyka mówi, że wynik jest prawdziwy (dziewięćdziesiąt pięć procent ufności), prawdopodobnie jest. Twoja intuicja może się mylić. Opiera się na ograniczonym doświadczeniu. Statystyka opiera się na tysiącach punktów danych od odwiedzających. Wdrażaj na podstawie statystyki. Przykład: sądzisz, że czerwony przycisk działa lepiej niż niebieski. Test pokazuje, że niebieski przycisk wygrywa istotnie. Intuicja się myliła. Wdróż niebieski przycisk. Zaufanie intuicji i zignorowanie danych z testu oznaczałoby wdrożenie czerwonego przycisku i spadek konwersji.
Czy mogę połączyć kilka małych, nieistotnych wyników w jeden duży, istotny wynik?
Nie. Każdy test stoi osobno. Nie możesz połączyć nieprzesądzających testów w jeden przesądzający wynik. Test pierwszy pokazuje osiemdziesiąt pięć procent ufności, że wariant wygrywa. Test drugi pokazuje osiemdziesiąt procent ufności, że ten sam wariant wygrywa. Razem dziewięćdziesiąt pięć procent ufności? Nie. Statystyka tak nie działa. Każdy test jest niezależny. Łączenie ich to statystyczny nonsens. Od początku przeprowadź test o właściwej wielkości i odpowiedniej mocy. Albo masz istotność, albo jej nie masz.
Jeśli test pokazuje mocny wynik dla segmentu, ale słaby ogółem, co wdrożyć?
Wdróż tylko dla segmentu, jeśli mocny wynik jest istotny statystycznie dla tego segmentu. Jeśli segment jest mały (dziesięć procent ruchu), próg istotności trudniej osiągnąć. Może to być fałszywie pozytywny wynik dla segmentu. Sprawdź istotność konkretnie dla segmentu, a nie tylko ogółem. Przykład: ogólny test pokazuje wariant dziewięć procent, wersja kontrolna osiem i dziewięć dziesiątych procent. Ledwo istotne. Ale segment komputerów pokazuje wariant dziesięć procent, wersja kontrolna osiem procent. Przewaga dwóch procent na komputerach. Mocna i istotna dla komputerów. Segment mobilny pokazuje wariant osiem procent, wersja kontrolna osiem procent. Brak różnicy. Wdróż tylko dla komputerów. Nie wdrażaj dla urządzeń mobilnych. Różne segmenty mają różne optymalne warianty.