Różnica między projektami testowymi a kulturą testowania
Projekt testowy
Przeprowadzasz kilka testów. Sprawdzasz, co działa. Idziesz dalej. Testowanie to narzędzie, po które sięgasz, gdy jest potrzebne. Potem przestajesz.
Kultura testowania
Testujesz bez przerwy. Zwycięzcy testów podpowiadają kolejny test. Wiedza się kumuluje. Rok po roku testowanie procentuje.
Każda zmiana jest testowana. Każda decyzja opiera się na danych. Testowanie to sposób podejmowania decyzji, a nie projekt, który od czasu do czasu uruchamiasz.
Firmy z kulturą testowania wyprzedzają konkurentów, którzy jej nie mają. Nie o dużo przy pojedynczym teście. Ale w ciągu lat przekłada się to na ogromną przewagę.
Zdobycie poparcia kierownictwa
Problem
Większość programów testowych kończy się porażką, bo kierownictwo nie rozumie testowania albo się do niego nie zobowiązuje.
Co słyszy kierownictwo
Gdy proponujesz program testowy, kierownictwo słyszy: to zajmie czas i będzie kosztować pieniądze.
Co kierownictwo musi usłyszeć
Pokaż pieniądze. Przeprowadź jeden test. Udowodnij, że działa. Policz wpływ na przychody. Ten test poprawił konwersję o dwa procent. To daje pięćdziesiąt tysięcy dolarów dodatkowych rocznych przychodów. Narzędzie do testów kosztuje dwanaście tysięcy. Zysk netto to trzydzieści osiem tysięcy.
Teraz kierownictwo widzi w testowaniu inwestycję, a nie koszt.
Budowanie planu testów
Nie prowadź przypadkowych testów
Zaplanuj mapę testów. Mapa wskazuje obszary o dużym wpływie. Formularze. Nagłówki. Oferty. Finalizacja zamówienia. Każdy obszar dostaje priorytet testowania.
Układaj kolejność według wpływu
Mapa ustala kolejność testów. Najpierw testuj elementy o dużym wpływie. Potem o średnim. Na końcu o małym.
Zaangażowanie zespołów
Mapa zobowiązuje zespoły do testowania. Projektanci wiedzą, że testują wygląd przycisków. Produkt wie, że testuje ofertę. Wszyscy wiedzą, co nadchodzi.
Stwórz mapę kwartalną. Aktualizuj ją co miesiąc na podstawie wyników. Planowanie kwartalne utrzymuje skupienie zespołu.
Przydzielanie własności i odpowiedzialności
Problem
Testowanie zawodzi, gdy nikt się nim nie opiekuje. Marketing mówi, że odpowiada produkt. Produkt mówi, że odpowiada dział techniczny. Testowanie nigdy się nie odbywa.
Rozwiązanie
Wyznacz właściciela testowania. Może to być osoba odpowiedzialna za wzrost. Może to być osoba odpowiedzialna za produkt. Jedna osoba odpowiada za program testowy.
Właściciel testowania ustala mapę testów. Prowadzi testy. Dokumentuje wyniki. Dzieli się wiedzą. Koordynuje pracę zespołów. Bez właściciela testowanie zamiera.
Szkolenie zespołów z myślenia statystycznego
Problem
Większość osób nie ma przeszkolenia ze statystyki. Patrzą na liczby i oceniają intuicyjnie.
Wariant testowy ma dziewięć procent. Kontrola ma osiem i osiem dziesiątych procent. Wygląda, jakby wygrał wariant testowy. Osoba bez wiedzy statystycznej uważa, że jest lepszy.
Statystyk sprawdza poziom ufności. Osiemdziesiąt dwa procent. Poniżej progu dziewięćdziesięciu pięciu procent. Wynik nieistotny. Różnica może być dziełem przypadku.
Rozwiązanie
Szkolenie zespołów z podstaw statystyki zapobiega błędnym decyzjom. Tematy szkolenia: czym jest istotność statystyczna. Dlaczego liczy się dziewięćdziesiąt pięć procent. Jak czytać przedziały ufności. Co oznacza wielkość próby.
Dobry program testowy uczy zespół statystyki.
Wspólna nauka i dokumentacja
Dlaczego dokumentacja ma znaczenie
Każdy test czegoś uczy. Wiedza znika, jeśli nie jest udokumentowana.
Jak dokumentować
Stwórz repozytorium testów. Każdy test dostaje stronę. Hipoteza. Wyniki. Wnioski.
Po pięćdziesięciu testach masz pięćdziesiąt stron wiedzy. Nowa osoba w zespole czyta pięćdziesiąt stron i rozumie, co działa na Twoich odbiorców.
Dobra dokumentacja: hipoteza, wyniki, wniosek, co testować dalej.
Zła dokumentacja: test pierwszy wygrał, test drugi przegrał. Bez wniosku.
Włączenie testowania do procesu
Testowanie opcjonalne zawodzi
Jeśli testowanie jest opcjonalne, kończy się, gdy jest dużo pracy. Zespoły odkładają je na rzecz pilnych projektów.
Testowanie obowiązkowe przetrwa
Uczyń testowanie obowiązkowym. Każda zmiana przechodzi przez proces testowy. Zmiana bez testu nie zostaje zatwierdzona.
Wymaga to zmiany procesu. Ale zapewnia, że testowanie odbywa się konsekwentnie.
Przykładowy proces
Pierwszy: zaproponuj zmianę z hipotezą. Drugi: uzyskaj zgodę na test. Trzeci: prowadź test przez dwa tygodnie. Czwarty: wyniki zatwierdza właściciel testowania. Piąty: jeśli są istotne, wdróż zmianę. Szósty: udokumentuj wnioski. Siódmy: zaprojektuj kolejny test.
Świętowanie i komunikowanie wygranych
Problem
Program testowy umiera, jeśli wygrane przechodzą bez echa.
Rozwiązanie
Świętuj wygrane. Dziel się wynikami. Pokazuj wpływ. Miesięczny e-mail: „Nasz program testowy poprawił konwersję o siedem procent w tym kwartale. Oto pięć testów, które coś zmieniły. Dziękujemy zespołom, które je przeprowadziły.”
Świętowanie buduje rozpęd. Buduje kulturę. Buduje wiarę, że testowanie działa.
Radzenie sobie z polityką wokół testowania
Konflikt
Ktoś proponuje zmianę. Test pokazuje, że zmiana to zły pomysł. Osoba, która ją zaproponowała, jest sfrustrowana. Testowanie tworzy konflikt, gdy wyniki przeczą założeniom.
Rozwiązanie
Przedstawiaj testowanie jako narzędzie uczenia się. A nie jako sposób na udowodnienie komuś błędu. Mów: „testujmy i uczmy się razem”.
Gdy test pokazuje, że ktoś się mylił, powiedz: „czegoś się nauczyliśmy”. Przedstaw to jako wygraną, a nie porażkę. Ludzie się bronią, jeśli testowanie postrzegają jako zagrożenie. Ludzie wspierają testowanie, jeśli postrzegają je jako naukę.
Zarządzanie tempem testów
Podejście agresywne
Prowadzisz dziesięć testów miesięcznie. Kończysz każdy test w tydzień. Szybka nauka. Większa szansa na fałszywe wyniki pozytywne. Wyższy odsetek błędów.
Podejście ostrożne
Prowadzisz trzy testy miesięcznie. Kończysz każdy test w dwa do trzech tygodni. Wolniejsza nauka. Niższy odsetek błędów. Bezpieczniej.
Podejście wyważone
Większość firm powinna wybrać podejście wyważone. Pięć do sześciu testów miesięcznie. Czas trwania dwa tygodnie. Rozsądny odsetek błędów. Rozsądne tempo nauki. Nie poświęcaj jakości dla szybkości. Jeden test wysokiej jakości jest lepszy niż dziesięć testów niskiej jakości.
Zrozumienie malejących zysków
Wzorzec
Pierwsze dwadzieścia testów coś zmienia. Każdy test coś poprawia. Mapa testów jest pełna okazji o dużym wpływie.
Testy od dwudziestego do czterdziestego zmieniają mniej. Nadal się uczysz, ale poprawy są mniejsze. Jest mniej oczywistych okazji.
Testy po czterdziestym: okazje są małe. Poprawy są drobne. To normalne.
Rozwiązanie
Nie traktuj malejących zysków jako porażki testowania. Traktuj je jako dojrzałość. W fazie malejących zysków zmień ukierunkowanie. Zamiast szerokiego testowania prowadź testy w nowych obszarach. Nowe produkty. Nowe segmenty. Nowe rynki.
Trwałość programu testowego w dłuższym czasie
Ryzyko
Program testowy działa mocno przez sześć miesięcy. Potem zwalnia. Ludzie mają dużo pracy. Testowanie traci priorytet. Program wygasa.
Jak go utrzymać
Trwały program wymaga ciągłego zaangażowania. Wymaga zasobów. Wymaga właściciela. Zaplanuj budżet na narzędzia do testów. Zaplanuj budżet na osobę od testowania. Wpisz testowanie w roczne cele.
Jeśli testowanie jest priorytetem rocznym, testowanie się odbywa. Jeśli jest dodatkiem, testowanie się kończy.
Najczęściej zadawane pytania
Jak przekonać sceptycznych członków zespołu, że testowanie działa?
Pokaż im jeden test. Przeprowadź prosty test na elemencie o dużym ruchu. Zdobądź wyniki. Pokaż zwycięską poprawę. Pokaż wpływ na przychody. Jeden udany test przekonuje sceptyków. Wyniki mówią głośniej niż słowa. Przykład: przeprowadź test koloru przycisku. Pokaż wyniki: niebieski przycisk daje dziewięć procent konwersji, czerwony osiem i pięć dziesiątych procent. To osiem procent poprawy. Policz wpływ: jeśli strona ma dziesięć tysięcy odwiedzających miesięcznie i dwa procent z nich konwertuje, to dwieście konwersji miesięcznie. Osiem procent poprawy to szesnaście dodatkowych konwersji miesięcznie. Jeśli średnia wartość zamówienia to sto dolarów, daje to tysiąc sześćset dolarów dodatkowych przychodów miesięcznie. Dziewiętnaście tysięcy dolarów rocznie. Pokaż to sceptycznej osobie z zespołu. Sceptycyzm znika, gdy w grę wchodzą pieniądze. Dzięki kreatorowi stron WEMASY możesz to skonfigurować bezpośrednio na swojej stronie.
Jeśli mamy dużo projektów, czy odłożyć testowanie?
Nie. Testowanie powinno być częścią realizacji projektu. Każda zmiana w projekcie jest testowana przed wdrożeniem. Testowanie nie dodaje czasu, jeśli jest wbudowane w proces. Chroni przed wdrażaniem rzeczy, które nie działają. Przykład: wypuszczasz nowy proces finalizacji zamówienia. Bez testów: wdrażasz, uruchamiasz, odkrywasz, że dziewięćdziesiąt procent odwiedzających jest zdezorientowanych nowym procesem, cofasz, poprawiasz, uruchamiasz ponownie. W sumie trzy tygodnie. Z testami: testujesz nowy proces przez tydzień przed startem, odkrywasz problemy, poprawiasz, uruchamiasz sprawdzony proces. W sumie dwa tygodnie. Testowanie oszczędza czas, bo zapobiega nieudanym startom. Wbuduj testowanie w harmonogram od początku, a nie jako dodatek na końcu.
Jak często wracać do starych wyników testów?
Wracaj, gdy zmieniają się warunki. Nowy sezon. Nowy konkurent. Duża zmiana w firmie. W pozostałych przypadkach każdy wynik testu jest ważny dla swojego okresu. Nie trzeba testować ciągle od nowa. Przykład: w styczniu testowano ofertę. Gwarancja zwrotu pieniędzy pokonała zniżkę dziesięciu procent. Wdrożono gwarancję zwrotu pieniędzy. Przychodzi lipiec i konkurent wprowadza własną gwarancję zwrotu pieniędzy. Twoja przewaga znika. Czy warto ponownie przetestować ofertę? Być może. Ruch konkurenta zmienił rynek. Twój zwycięzca może przestać być aktualny. Powroty sezonowe: testuj oferty w okresie Black Friday. W lipcu, gdy zachowania zakupowe są inne, wyniki mogą się różnić. Przetestuj oferty ponownie w lipcu. Wyniki wyznaczą strategię na lipiec.
Czy testować pod przeciętnego odwiedzającego, czy pod konkretny segment?
Zacznij od przeciętnego odwiedzającego. Ustal punkt odniesienia. Potem przejdź do konkretnych segmentów. Jeśli optymalizujesz tylko pod jeden segment, ogólne wyniki cierpią. Przykład: testujesz optymalizację tylko na urządzeniach mobilnych, bo ruch mobilny jest największy. Punkt odniesienia dla komputerów to dziesięć procent. Dla urządzeń mobilnych siedem procent. Optymalizujesz pod mobile i wynik mobilny rośnie o osiem procent. Ale wynik na komputerach spada do dziewięciu procent, bo zmiany tam nie działają. Na urządzeniach mobilnych jest zysk, ale na komputerach strata. Ogólnie wynik jest gorszy. Najpierw testuj szeroko, żeby zrozumieć uniwersalny wpływ. Potem testuj segmenty, żeby optymalizować dla każdego z nich.
Jak utrzymać rozpęd, jeśli testy ciągle przegrywają?
Przegrane testy uczą, co nie działa. To cenne dane. Wygrane testy przyjdą. Testuj dalej. Buduj na wnioskach z porażek. Przykład: testujesz pięć nagłówków. Trzy przegrywają z obecnym nagłówkiem. Dwa wygrywają. Wygrane mówią, co działa. Porażki mówią, na co odbiorcy nie reagują. Teraz wiesz, że przekaz „pilne” przegrywa (ludzie nie lubią presji). Wiesz, że przekaz „konkretna korzyść” wygrywa (ludzie lubią jasność). Kolejny test buduje na tej wiedzy. Przetestuj jeszcze bardziej konkretne korzyści. Testy się kumulują. Przegrane testy nie są porażkami. To punkty danych.
Jeśli testy pokazują, że całe nasze podejście jest błędne, co robić?
Świętuj. Wiesz już czegoś cennego. Teraz zmień kierunek. Lepiej dowiedzieć się tego z testów niż z cichej utraty przychodów. Przykład: uważasz, że Twoi odbiorcy chcą produktu premium. Test pokazuje, że wolą tańszą opcję. Twoje pozycjonowanie premium było błędne. Moment do świętowania: właśnie poznajesz coś, co kosztowałoby Cię pieniądze przez lata, gdybyś nie testował. Teraz dostosuj strategię. Zmień przekaz na przyjazny budżetowi. Przetestuj nowe pozycjonowanie. Lepiej odkryć to przy utracie pięćdziesięciu tysięcy dolarów przychodów niż pięciu milionów dolarów.