Kierownik produktu wypuszcza funkcję. Funkcja ma rozwiązać problem klientów i wzmocnić utrzymanie.
Dwa tygodnie po premierze: czy funkcja zmniejsza rezygnacje. Czy więcej klientów jej używa. Czy klienci spędzają w niej więcej czasu.
Bez panelu produktu kierownik czeka sześć tygodni na raport miesięczny, by zobaczyć wpływ funkcji. Do tego czasu opinie klientów stygną. Nie da się iterować.
Z panelem produktu kierownik widzi po dwóch tygodniach: wykorzystanie funkcji wynosi pięć procent (cel to dwadzieścia procent do drugiego tygodnia). Problem widać od razu. Kierownik bada sprawę. Okazuje się, że funkcję trudno znaleźć. Dodaje komunikat we wdrożeniu. Wykorzystanie rośnie do piętnastu procent do czwartego tygodnia.
Panele produktu: wykorzystanie funkcji i zaangażowanie
Wskaźnik wykorzystania funkcji
Funkcja wystartowała dwa tygodnie temu. Uprawnionych użytkowników: dziesięć tysięcy. Użytkowników, którzy skorzystali z funkcji: pięciuset. Wskaźnik wykorzystania: pięć procent. Cel to dwadzieścia procent do czwartego tygodnia. Obecnie w tyle. Potrzebne zbadanie.
Zaangażowanie w funkcję
Z pięciuset użytkowników, którzy wypróbowali funkcję, ilu używa jej codziennie. Dwustu. Ilu co tydzień. Trzystu. Ilu ją porzuciło. Dwustu. Wskaźnik zaangażowania: czterdzieści procent codziennie, sześćdziesiąt procent co tydzień, czterdzieści procent porzuciło. Porzucanie jest zbyt wysokie. Funkcja nie wciąga.
Czas spędzony w funkcji
Średnia sesja w funkcji trwa dwie minuty. Przed funkcją średni czas sesji na stronie wynosił dziesięć minut. Funkcja odciąga użytkowników od innych funkcji. Czy to zamierzone. Czy funkcja zastąpiła starszą, czy jest dodatkiem.
Wpływ na utrzymanie
Klienci, którzy zaczęli używać funkcji: osiem procent rezygnacji miesięcznie. Klienci, którzy nie zaczęli: dwanaście procent rezygnacji miesięcznie. Funkcja działa. Poprawa rezygnacji o cztery punkty procentowe. Przy bazie tysiąca klientów to czterdziestu klientów mniej miesięcznie. Czterdziestu razy pięćdziesiąt (średnia wartość klienta) to dwa tysiące zaoszczędzonego przychodu miesięcznie.
Panele operacji: kondycja i wydajność systemu
Dostępność systemu
Strona działała w zeszłym tygodniu przez 99,95 procent czasu. Cel to 99,99 procent. Jesteśmy poniżej celu. Dwie awarie: jedna dziesięciominutowa, jedna piętnastominutowa. Razem dwadzieścia pięć minut przestoju. Co spowodowało awarie. Czy można im zapobiec.
Czas odpowiedzi
Średni czas odpowiedzi API to dwieście milisekund. Czas odpowiedzi P95 to pięćset milisekund (95 procent żądań jest szybszych, pięć procent wolniejszych). P99 to jedna sekunda. Wolne odpowiedzi zdarzają się czasem. Czy są akceptowalne.
Odsetek błędów
Jeden procent żądań API zwrócił błąd. W górę z zero przecinek pięć procent w zeszłym tygodniu. Odsetek błędów się podwoił. Co się zmieniło. Zapytanie do bazy jest wolniejsze. Czasy odpowiedzi wzrosły. Klienci trafiają na przekroczenie czasu i próbują ponownie. Potrzebne zbadanie.
Pula połączeń z bazą danych
Pula ma sto połączeń. Obecnie otwartych sto (w pełni wykorzystana). Brak wolnych połączeń. Jeśli wpłynie jeszcze jedno żądanie, trafi do kolejki. Użytkownik czeka. Pula jest na granicy. Trzeba zwiększyć pulę lub zmniejszyć użycie.
Trafienia w pamięć podręczną (cache)
Cache trafia w pięćdziesięciu procentach przypadków. Pięćdziesiąt procent ruchu nie potrzebuje zapytania do bazy. Pięćdziesiąt procent chybień cache jest akceptowalne dla większości stron. Poniżej czterdziestu procent baza jest przeciążona. Powyżej siedemdziesięciu procent cache jest nadużywany.
Prawdziwy przykład: panel produktu i operacji SaaS
Wskaźniki produktu
Nowa funkcja panelu: wystartowała w pierwszym miesiącu. Uprawnionych użytkowników: pięć tysięcy (klienci z więcej niż dziesięcioma punktami danych). Użytkowników, którzy utworzyli panel: tysiąc. Wskaźnik wykorzystania: dwadzieścia procent. Zgodnie z celem.
Z tysiąca, którzy utworzyli panel: Codziennie aktywnych: sześciuset. Dobre zaangażowanie. Co tydzień aktywnych: dziewięciuset. Większość używa go co najmniej raz w tygodniu. Porzuciło: stu. Dziesięć procent rezygnacji.
Wpływ na utrzymanie: klienci z aktywnymi panelami mają dwa procent rezygnacji miesięcznie. Klienci bez paneli mają cztery procent rezygnacji miesięcznie. Panel zmniejsza rezygnacje o dwa punkty. Przy bazie tysiąca klientów to dwudziestu klientów. Przy wartości sto dolarów miesięcznie na klienta to dwa tysiące zaoszczędzonego przychodu miesięcznie. Dwadzieścia cztery tysiące rocznie.
Wskaźniki operacji
Dostępność w zeszłym miesiącu: 99,92 procent. Cel: 99,95 procent. Cel nie został osiągnięty.
Awarie: Jeden incydent: dziesięć minut, przestój obsługi płatności. Przyczyna: przełączenie awaryjne bazy trwało zbyt długo. Jeden incydent: piętnaście minut, skok przekroczeń czasu API. Przyczyna: nagły wzrost ruchu plus wolne zapytanie do bazy.
Czas odpowiedzi: Średnio: sto pięćdziesiąt milisekund. Dobrze. P95: trzysta milisekund. Akceptowalne. P99: jedna sekunda. To za dużo. Jeden procent klientów czeka sekundę. Potrzebna optymalizacja.
Odsetek błędów: zero przecinek osiem procent. W górę z zero przecinek cztery procent dwa tygodnie temu. Badanie pokazuje: błędy obsługi płatności wzrosły, bo dostawca płatności miał awarię w zeszłym tygodniu (nie z naszej winy), błędy API wzrosły, bo wdrożyliśmy zmianę w kodzie, która zepsuła jeden punkt końcowy (z naszej winy).
Baza danych: Średni czas zapytania: trzydzieści milisekund. Wykorzystanie puli połączeń: osiemdziesiąt procent. Zdrowo. Odsetek wolnych zapytań: zero przecinek dwa procent. Akceptowalne.
Trafienia w cache: sześćdziesiąt pięć procent. Zdrowo.
Łączenie paneli produktu i operacji
Wykorzystanie funkcji zależy od wydajności systemu. Jeśli system jest wolny, cierpi wykorzystanie funkcji. Nowa funkcja panelu ma niskie wykorzystanie. Sprawdź panel operacji. Czas odpowiedzi P99 to jedna sekunda. Użytkownicy doświadczają opóźnienia przy otwieraniu panelu. Dodaj do badania: czy wolne działanie powoduje niskie wykorzystanie. Jeśli tak, najpierw zoptymalizuj wydajność systemu. Potem ponownie zmierz wykorzystanie.
Wydajność systemu mierzy się pod kątem dostępności, a nie wpływu na funkcje. Ale wpływ funkcji zależy od dostępności. Połącz oba panele. Gdy wskaźniki operacji się pogarszają, pogarszają się też wskaźniki produktu.
Najczęstsze pytania
Jak często kierownik produktu powinien sprawdzać wykorzystanie funkcji?
Pierwszy tydzień: codziennie. Funkcja dopiero wystartowała, krzywa wykorzystania jest najbardziej stroma. Trzeba wcześnie wychwycić problemy. Tygodnie od drugiego do czwartego: trzy razy w tygodniu. Krzywa wykorzystania się wypłaszcza. Wystarczą cotygodniowe aktualizacje. Po pierwszym miesiącu: co tydzień. Wykorzystanie się ustabilizowało lub rośnie stabilnie. Wystarczy kontrola raz w tygodniu. Wyjątek: jeśli funkcja jest krytyczna lub wczesne wykorzystanie jest poniżej celu, codzienne monitorowanie trwa do rozwiązania problemu. Z kreatorem stron WEMASY możesz to ustawić bezpośrednio na swojej stronie.
Jaki wskaźnik wykorzystania funkcji jest akceptowalny w danym tygodniu?
Tydzień pierwszy: pięć do piętnastu procent (ludzie próbują). Tydzień drugi: dziesięć do trzydziestu procent (rozchodzi się poczta pantoflowa). Pierwszy miesiąc: dwadzieścia do pięćdziesięciu procent (ustalony poziom). Różni się dla różnych funkcji. Funkcje w grach mogą osiągać dziewięćdziesiąt procent wykorzystania. Funkcje zgodności mogą osiągnąć tylko dziesięć procent. Cel powinien opierać się na segmencie użytkowników i znaczeniu funkcji, a nie na ogólnym wzorcu. Przed startem zdecyduj: czy ta funkcja jest dla wszystkich, czy tylko dla segmentu. To wyznacza cel.
Jak odróżnić wykorzystanie od zaangażowania?
Wykorzystanie to wypróbowanie funkcji (czy użyto jej choć raz). Zaangażowanie to wielokrotne używanie (codziennie, co tydzień, co miesiąc). Funkcja może mieć wysokie wykorzystanie i niskie zaangażowanie (wszyscy wypróbowali, niewielu zostało). Funkcja może mieć niskie wykorzystanie i wysokie zaangażowanie (niewielu wypróbowało, ale ci, którzy wypróbowali, ją pokochali). Oba wskaźniki mają znaczenie. Wysokie wykorzystanie i wysokie zaangażowanie to sukces. Niskie zaangażowanie oznacza, że funkcja nie rozwiązuje prawdziwego problemu. Niskie wykorzystanie oznacza problem z odkrywalnością.
Czy panel produktu powinien zawierać opinie klientów, czy tylko wskaźniki?
Oba. Wskaźniki mówią, co robią klienci. Opinie mówią dlaczego. Pięciuset użytkowników porzuciło funkcję (wskaźnik). Opinie mówią „funkcję trudno znaleźć” lub „funkcja nie rozwiązuje mojego problemu” (dlaczego). Wskaźniki bez opinii są niepełne. Dodaj sekcję opinii pokazującą trzy główne powody rezygnacji lub porzucenia na podstawie zgłoszeń do wsparcia i ankiet. Wdrożenie: dodaj pole komentarza do funkcji. Co tydzień: przeczytaj dwadzieścia najważniejszych komentarzy użytkowników i pogrupuj w tematy. Raportuj tematy na panelu.
Jak ustawić cele dla dostępności i czasu odpowiedzi?
Opieraj cele na wpływie na klientów i standardach branżowych. Dla kasy w sklepie internetowym: dostępność 99,9 procent, czas odpowiedzi poniżej dwóch sekund. Dla strony marketingowej: dostępność 99 procent, czas odpowiedzi poniżej trzech sekund. Dla narzędzi wewnętrznych: dostępność 95 procent, czas odpowiedzi poniżej pięciu sekund. Im bardziej krytyczna usługa, tym ostrzejszy cel. Ustalając cel, wiedz, jakie nakłady są potrzebne. Dostępność 99,99 procent (cztery dziewiątki) kosztuje trzy do czterech razy więcej niż dostępność 99 procent (dwie dziewiątki). Upewnij się, że cel jest wart kosztu.
Czy panel operacji ma wywoływać alerty, czy tylko pokazywać status?
Oba. Panel pokazuje bieżący status. Alerty uruchamiają się po przekroczeniu progów. Jeśli odsetek błędów przekroczy jeden procent na pięć minut, alert się uruchamia. Alert trafia do inżyniera na dyżurze, który bada sprawę. Panel służy do monitorowania w normalnych godzinach. Alert jest na godziny poza pracą lub sytuacje krytyczne. Żadne samo nie wystarczy. Panel bez alertów oznacza, że problemy odkrywa się w godzinach pracy. Alert bez panelu oznacza, że zespół nie widzi powolnego pogarszania, dopóki alert się nie uruchomi. Używaj obu razem.