Wykrywanie anomalii: automatyczne wychwytywanie nietypowych zmian w danych

We wtorek konwersja spada o 15%. Nie zauważasz tego aż do czwartku, gdy zaglądasz do panelu. Dwa dni utraconych przychodów, a nadal nie wiesz dlaczego. System wykrywania anomalii dałby Ci znać w środę rano: "Konwersja spadła wczoraj o 15%, dotyczy to kasy mobilnej". Teraz badasz sprawę od razu. Okazuje się, że wdrożenie zepsuło płatności mobilne. Naprawiasz to po południu. Wykrywanie anomalii to różnica między znajdowaniem problemów po kilku dniach a znajdowaniem ich po kilku godzinach.

Wykrywanie anomalii to system, który stale obserwuje Twoje wskaźniki i alarmuje, gdy dzieje się coś nietypowego. Nie czeka, aż zajrzysz do panelu. Zna Twój punkt odniesienia (jak wygląda "normalnie"), porównuje z nim każdy dzień i oznacza odchylenia. Skok ruchu, spadek konwersji, malejące zaangażowanie: to wszystko jest wychwytywane automatycznie i pokazywane, zanim stanie się katastrofą.

Co właściwie robi wykrywanie anomalii?

Weź dowolny wskaźnik, a zobaczysz ten sam wzorzec: naturalnie się waha. Konwersja nigdy nie jest dokładnie taka sama każdego dnia. Ruch zmienia się zależnie od dnia tygodnia. Telefon konwertuje inaczej niż komputer. Jeśli ustawisz alert na "konwersja poniżej 2,5%", dostaniesz fałszywe alarmy, bo konwersja naturalnie spada czasem do 2,4%. Wykrywanie anomalii rozwiązuje to, ucząc się, jak wygląda normalna zmienność, i alarmując tylko wtedy, gdy wartość wychodzi poza ten naturalny zakres.

System uczy się Twojego punktu odniesienia na danych historycznych. Odpowiada na pytanie: jaki jest oczekiwany zakres dla tego wskaźnika, w ten dzień tygodnia, przy takim wolumenie ruchu? Konwersje w środy zwykle mieszczą się między 2,1% a 2,9%. Konwersja mobilna zwykle między 1,8% a 2,4%. Ruch z e-maili zwykle konwertuje między 4% a 6%. System buduje model normalnego zachowania dla każdej kombinacji warunków.

Gdy pojawia się nowy punkt danych, system porównuje go z oczekiwanym zakresem. Czy dzisiejsza konwersja mieści się w normalnym zakresie dla środy? Tak, to 2,5%, zupełnie normalnie. Czy jutrzejsza konwersja mieści się w normalnym zakresie dla czwartku? Nie, to 1,2%, czyli anomalia. Zespół dostaje alert. Bada sprawę i okazuje się, że kasa mobilna przestała działać. Bez wykrywania anomalii odkryliby to w piątek po południu. Z nim wiedzą w środę rano.

Różne rodzaje anomalii wywołują różne alerty. Nagły skok (ruch 200% powyżej normy) jest oznaczany. Nagły spadek (konwersja 50% poniżej normy) jest oznaczany. Stopniowy spadek (konwersja powoli maleje przez tydzień) jest oznaczany. Powtarzalny wzorzec, który nagle się załamuje (telefon zawsze konwertuje o 20% lepiej niż komputer, ale w tym tygodniu wynik jest taki sam), jest oznaczany. System pilnuje ich wszystkich.

Dlaczego wczesne wychwycenie problemów ma takie znaczenie?

Zobacz, jak większość marek odkrywa problemy, a dostrzeżesz wzorzec: odkrywanie po fakcie. Klient pisze e-mail, że kasa nie działa. Zaglądasz do panelu i to potwierdzasz. Albo w czwartek zauważasz, że poniedziałek był dziwny, i próbujesz ustalić, co się stało. To godziny lub dni straconych szans.

W dużej skali koszt opóźnienia rośnie. Sklep internetowy z dziennym przychodem 1 milion USD, który przez błąd traci 15% konwersji, traci 150 000 USD dziennie. Dwa dni zwłoki to 300 000 USD. Jeśli wykrywanie anomalii wychwyci problem 6 godzin wcześniej, oszczędzasz 37 500 USD. Serwis SaaS z 5 000 użytkowników, w którym odejścia rosną o 2 punkty procentowe, traci 100 użytkowników. Dwa tygodnie zwłoki to 1 400 straconych użytkowników. Natychmiastowe wychwycenie to 100. Różnica to tysiące dolarów w rocznych przychodach cyklicznych (ARR).

Szybkość wpływa też na reputację. Zespół obsługi klienta chce wiedzieć o problemach, zanim zgłoszą je klienci. Dzięki wykrywaniu anomalii możesz napisać do klientów: "W środę rano wykryliśmy problem na Twoim koncie i naprawiliśmy go do popołudnia". Bez niego klienci narzekają w piątek, Ty odpowiadasz "sprawdzimy to", a oni już przeszli do konkurencji. Psychologia "zauważyliśmy to" kontra "dowiedzieliśmy się od klienta" zmienia sposób, w jaki klienci Cię postrzegają.

Szybkość umożliwia eksperymentowanie. Jeśli wdrożysz zmianę i w ciągu godzin zobaczysz jej wpływ, możesz szybciej iterować. Bez wykrywania anomalii prowadzisz eksperyment przez tydzień, sprawdzasz wyniki i dopiero potem poprawiasz. Z nim widzisz w ciągu 24 godzin, czy zmiana pomogła, czy zaszkodziła. W skali roku ta szybkość procentuje.

Jakie anomalie naprawdę warto wychwytywać?

Nie każda anomalia jest warta wychwycenia. Niektóre wahania są oczekiwane. Ale niektóre mają znaczenie dla decyzji biznesowych. Klucz to ustawić wykrywanie anomalii dla wskaźników, których nieoczekiwana zmiana wymaga natychmiastowej reakcji.

Anomalie wpływające na przychody to priorytet numer jeden. Spadek konwersji, malejąca średnia wartość zamówienia, skok porzuconych koszyków: to wszystko bezpośrednio uderza w przychody. Ustaw alerty na każde z nich. Jeśli konwersja spadnie o 10%, chcesz wiedzieć od razu, a nie po weekendzie.

Anomalie zaangażowania użytkowników są ważne, bo zapowiadają problemy. Krótsze sesje, spadające korzystanie z funkcji, rzadsze logowania to wczesne ostrzeżenia przed odejściami. Spadek zaangażowania w tym tygodniu zapowiada spadek retencji w przyszłym miesiącu. Złap go teraz, a będziesz miał czas, by zareagować.

Anomalie ruchu są ważne, bo ujawniają problemy z zasięgiem lub pozyskiwaniem. Skok ruchu organicznego oznacza, że SEO działa (dobrze). Spadek ruchu organicznego oznacza, że coś zepsuło się w wyszukiwarce (źle). Malejący ruch płatny oznacza, że kampanie reklamowe radzą sobie słabo (źle). Ustaw alert na nieoczekiwane zmiany źródeł ruchu.

Anomalie jakości są ważne, bo to ciche zabójcy. Rosnący współczynnik odrzuceń oznacza, że strona traci trafność. Mniej podstron na sesję oznacza, że użytkownicy szybciej znajdują to, czego potrzebują (dobrze), albo nie mogą znaleźć tego, czego chcą (źle). Skok błędów w sesjach oznacza, że strona się psuje. Tego nie widać, jeśli nie patrzysz uważnie.

Jak ustawić wykrywanie anomalii bez fałszywych alarmów?

Zapytaj dowolny zespół analityczny o fałszywe alarmy, a usłyszysz tę samą skargę: zmęczenie alertami. Jeśli każde drobne wahanie wywołuje alert, zespół przestaje je czytać. Staje się na nie odporny. Prawdziwe problemy giną w szumie. Klucz do dobrego wykrywania anomalii to progi, które wychwytują prawdziwe problemy i ignorują naturalną zmienność.

Zacznij od wskaźników, które są najważniejsze dla Twojego biznesu. Nie każdy wskaźnik potrzebuje wykrywania anomalii. Skup się na wskaźnikach przychodów (konwersja, wartość zamówienia, odejścia), kondycji użytkowników (zaangażowanie, retencja, korzystanie z funkcji) i kondycji systemu (błędy, opóźnienia, dostępność). To one wymagają natychmiastowej reakcji, gdy się zmienią.

Ustaw czułość zależnie od zmienności. Niektóre wskaźniki są naturalnie zmienne. Ruch skacze z dnia na dzień. Ustaw progi anomalii na tyle szerokie, by wchłaniały tę naturalną zmienność. Dla konwersji odchylenie o 20% może być normalne, więc oznaczaj dopiero 30% lub więcej. Dla przychodów normalne może być odchylenie o 5%. Dla zaangażowania o 15%. Progi zależą od Twoich danych historycznych.

Uwzględnij kontekst. Dzień tygodnia ma znaczenie. Sobota zwykle ma inne wzorce niż środa. Święta mają inne wzorce niż zwykłe dni. Wykrywanie anomalii powinno to uwzględniać. "Konwersja poniżej 1,5% w niedzielę" może być normalna. "Konwersja poniżej 1,5% w środę" to anomalia. Dobre systemy uczą się tych wzorców automatycznie.

Zacznij ostrożnie i z czasem zaostrzaj. Jeśli nie masz pewności co do progów, ustaw je szeroko. Lepiej przegapić kilka anomalii niż zalać zespół fałszywymi alarmami. Gdy nabierzesz zaufania do systemu, a zespół przyzwyczai się do czytania alertów, zaostrz progi i wychwytuj mniejsze anomalie.

Jakie są ograniczenia wykrywania anomalii?

Wykrywanie anomalii znajduje odchylenia od normy. Ale "norma" to to, co mówią o niej Twoje dane historyczne. Jeśli dane są błędne lub zniekształcone, system przeoczy prawdziwe problemy albo zgłosi fałszywe alarmy. Jeśli przez trzy miesiące występował błąd, który sztucznie zawyżał konwersję, system nauczył się tego zawyżonego poziomu jako "normy". Gdy naprawisz błąd, konwersja spadnie do prawdziwego poziomu, a system oznaczy to jako anomalię.

Wykrywanie anomalii nie wyjaśnia przyczyn. Mówi, że coś się zmieniło. Nie mówi dlaczego. Jeśli konwersja spadła, nadal musisz zbadać sprawę. Czy to problem techniczny? Zmiana rynku? Ruch konkurenta? Konkurencja ze strony nowego gracza? Wykrywanie anomalii pokazuje problem. Diagnoza nadal jest pracą człowieka.

Wykrywanie anomalii słabo działa w bardzo małej skali. Jeśli masz 100 odwiedzających dziennie, losowa zmienność jest ogromna. Każdy dzień wygląda anomalnie w porównaniu z pozostałymi. Wykrywanie anomalii działa najlepiej w większej skali, gdzie wzorce są stabilne. Serwis SaaS z 50 000 użytkowników miesięcznie ma czyste, stabilne wzorce. Serwis SaaS z 500 użytkownikami miesięcznie ma zbyt dużo szumu.

Stopniowe zmiany mogą ukryć się przed wykrywaniem anomalii. Jeśli konwersja powoli spada (o 0,5% tygodniowo), system może tego nie oznaczyć, bo każdy tydzień odbiega tylko nieznacznie od poprzedniego. Możesz nie zauważyć, dopóki łącznie nie spadniesz o 10%. Żeby wychwycić stopniowe pogarszanie, potrzebujesz analizy trendów obok wykrywania anomalii w danym momencie.