Kontekst historyczny. Metodologia testów A/B, która stała się złotym standardem analityki cyfrowej od lat 2010, traci skuteczność przy globalnych zmianach modelu biznesowego, które dotyczą jednocześnie całej bazy użytkowników. W takich warunkach analitycy produktowi zwracają się ku quasieksperymentalnym metodom ekonometrycznym: Difference-in-Differences, Synthetic Control Method oraz Propensity Score Matching, opracowanym w celu oceny polityk w naukach społecznych. Te podejścia pozwalają na izolowanie efektów przyczynowo-skutkowych w przypadku endogennego samowyboru oraz braku randomizacji.
Postawienie problemu. Wprowadzenie opcji subskrypcyjnej napotyka fundamentalny problem samowyboru: na subskrypcję przechodzą najbardziej lojalni użytkownicy o wysokiej intensywności użytkowania produktu. Proste porównanie LTV subskrybentów i jednorazowych kupujących daje wypaczoną ocenę, ponieważ ignoruje podstawowe różnice w zachowaniach. Dodatkowe wypaczenia wprowadzają szoki makroekonomiczne i sezonowość, które korelują z momentem uruchomienia funkcji i wpływają na zdolność płatniczą odbiorców niezależnie od modelu biznesowego.
Szczegółowe rozwiązanie. Optymalna strategia łączy Propensity Score Matching w celu zrównoważenia obserwowanych cech między kohortami przed i po uruchomieniu z Difference-in-Differences, aby kontrolować trendy czasowe. Do budowy skoringu prawdopodobieństwa subskrypcji stosuje się Gradient Boosting zamiast regresji logistycznej, co pozwala uwzględnić nieliniowe interakcje między cechami behawioralnymi. Wariancję makroekonomiczną absorbuje się przez stałe efekty w okresach czasowych lub indeksy Google Trends jako zmienne kontrolne, a sezonowość usuwa się poprzez dekompozycję STL szeregów czasowych przed zastosowaniem głównego modelu.
Platforma edukacji online wprowadziła taryfę „Subskrypcja Unlimited” równolegle z możliwością zakupu pojedynczych kursów przez katalog. Biznes obawiał się, że użytkownicy przejdą na tanią subskrypcję zamiast drobnych zakupów, co doprowadzi do spadku przychodów. Wydanie zbiegło się z początkiem niestabilności gospodarczej, co dodatkowo utrudniło czyste porównanie z danymi historycznymi i wymagało izolacji zewnętrznych szoków.
Opcja 1: Bezpośrednie porównanie subskrybentów i nie-subskrybentów. Zbieramy dane o aktualnych subskrybentach i porównujemy ich LTV z historycznymi jednorazowymi kupującymi w tym samym wieku. Plusy: skrajnie szybka realizacja w jeden dzień, intuicyjnie zrozumiałe dla biznesu. Minusy: całkowicie ignoruje fakt samowyboru zmotywowanych użytkowników do grupy subskrybentów oraz zewnętrzny kryzys gospodarczy, który obniża podstawowy popyt, co prowadzi do zawyżonej oceny efektu subskrypcji.
Opcja 2: Analiza kohort przed/po bez kontroli. Porównujemy LTV kohort użytkowników, którzy przystąpili w ciągu trzech miesięcy przed uruchomieniem, z kohortami po uruchomieniu, uznając różnicę za efekt subskrypcji. Plusy: prostota obliczeń i brak potrzeby modelowania propensji. Minusy: niemożność oddzielenia wpływu subskrypcji od degradacji zdolności płatniczej spowodowanej kryzysem i sezonowymi wzrostami związanymi ze świątecznymi wyprzedażami, co prowadzi do wypaczonej oceny z nieznanym znakiem.
Opcja 3: Połączone podejście PSM + DiD z Synthetic Control. Budujemy model propensji subskrypcyjnej na kohortach przed uruchomieniem, znajdujemy bliźniaków dla rzeczywistych subskrybentów, a następnie stosujemy DiD z syntetyczną kontrolą, która waży historyczne kohorty w celu imitacji kontrfaktyczności. Plusy: izoluje efekt subskrypcji od szoków makroekonomicznych poprzez kontrole czasowe i eliminuje wypaczenia samowyboru poprzez zrównoważenie kowariat. Minusy: wymaga silnych założeń dotyczących równoległych trendów i jest obliczeniowo złożone do interpretacji przez nietechnicznych interesariuszy.
Wybrano Opcję 3 z wykorzystaniem Causal Forest do oceny heterogeniczności efektu w segmentach, ponieważ była to jedyna opcja, która pozwoliła oddzielić prawdziwy inkrementalny efekt od szumów kryzysowych i samowyboru. To podejście zapewniło wymaganą dokładność do podjęcia strategicznej decyzji o ukierunkowaniu subskrypcji, pomimo złożoności realizacji.
Końcowy wynik pokazał, że subskrypcja zwiększa LTV o 40% dla użytkowników z historią zakupu ponad trzech kursów, ale zmniejsza o 15% dla przypadkowych kupujących. Rekomendacja wprowadzenia progu aktywności dla dostępu do subskrypcji została zrealizowana poprzez A/B-test gatingu, co przyniosło +12% do przychodów portfela bez spadku w pierwszym kwartale.
Jak zweryfikować założenie o równoległych trendach w DiD, gdy czas przetwarzania zmienia się między użytkownikami (staggered adoption)?
Należy przeprowadzić testy placebo, sztucznie przesuwając „leczenie” na okresy historyczne i sprawdzając brak istotnych efektów w epoce pre-treatment. Krytyczne jest budowanie rysunków badań wydarzeń do wizualizacji dynamiki współczynników przed i po zdarzeniu. Kandydaci często ignorują naruszenie SUTVA (Stable Unit Treatment Value Assumption): subskrypcja jednych użytkowników może wpływać na zachowanie innych poprzez efekt uczenia się lub kanibalizację zakupów jednorazowych, co wymaga klasteryzacji błędów standardowych na poziomie geograficznym lub kohorty.
Dlaczego standardowa regresja logistyczna dla Propensity Score zawiedzie w danych produktowych o wysokiej wymiarowości i czym ją zastąpić?
Klasyczna regresja logistyczna cierpi na przekleństwo wymiarowości przy setkach cech behawioralnych i nie jest w stanie uchwycić nieliniowych interakcji między cechami, krytycznymi dla przewidywania samowyboru. Należy stosować Generalized Random Forest do oceny propensji lub Coarsened Exact Matching (CEM), który zapewnia równowagę przy kluczowych metrykach bez założeń o formie funkcjonalnej. Młodsi analitycy często pomijają konieczność weryfikacji covariate balance poprzez Standardized Mean Differences (SMD), wymagającą wartości poniżej 0.1 dla wszystkich kluczowych kowariat po dopasowaniu.
Jak poprawnie obsługiwać prawą cenzurację (right-censoring) w analizie LTV, gdy kohorty subskrybentów są „świeże” i nie przeszły pełnego cyklu życia?
Nie można porównywać zrealizowanych przychodów, ponieważ nowi subskrybenci po prostu nie mieli okazji do dokonania wszystkich możliwych płatności. Należy stosować krzywe przetrwania Kaplana-Meiera lub modele proporcjonalnych hazardów Coxa do oceny intensywności odpływu z późniejszym dyskontowaniem przyszłych przepływów pieniężnych. Kluczowym błędem jest ignorowanie różnic w wzorcach odpływu między subskrybentami a jednorazowymi kupującymi, co prowadzi do zawyżania LTV subskrypcji we wczesnych miesiącach z powodu efektu „miodowego miesiąca”.