Jaką metodą należy ilościowo ocenić efekt przyczynowo-skutkowy wprowadzenia obowiązkowej zgody na używanie stron trzecich cookies (mechanizm zgody opt-in) na dokładność atrybucji kanałów marketingowych i obserwowaną konwersję, jeśli odmowa śledzenia jest skorelowana z poziomem świadomości prywatności użytkowników (self-selection), a grupa kontrolna z pełnym śledzeniem jest prawnie niedostępna?

Odpowiedź na pytanie

Kontekst historyczny kształtuje się poprzez ewolucję regulacji dotyczących prywatności (GDPR, CCPA, dyrektywa ePrivacy), które zobowiązały firmy do uzyskiwania wyraźnej zgody użytkowników na przetwarzanie danych. Do 2018 roku analitycy polegali na atrybucji deterministycznej z pełnym śledzeniem ścieżek użytkowników, jednak wprowadzenie platform zarządzania zgodą (CMP) doprowadziło do systematycznego znikania danych (missing not at random), co zniekształcało lejki i metryki LTV.

Problem polega na endogeniczności self-selection: użytkownicy, którzy odmawiają cookies, systematycznie różnią się zachowaniem (wyższa wrażliwość na cenę, korzystanie z ad-blockerów, rzadziej klikają w reklamy), tworząc zniekształcenie przetrwania (survival bias) w obserwowanych danych. Standardowe porównanie kohort z zgodą i bez niej prowadzi do przeszacowania efektywności kanałów, ponieważ „zagubieni” użytkownicy nie są losową próbą.

Rozwiązanie opiera się na wnioskowaniu przyczynowym z wykorzystaniem zmiennych instrumentalnych (IV) lub regresji opartej na nieciągłości (RDD) przy wartościach progowych skłonności do zgody (propensity score). Zastosowano dwustopniowe najmniejsze kwadraty (2SLS), gdzie instrumentem jest wariant projektu banera CMP (np. położenie przycisku „Akceptuj”), wpływający na prawdopodobieństwo zgody, ale nie korelujący bezpośrednio z konwersją. Do oceny długoterminowego efektu zastosowano metodę syntetyczną (Synthetic Control Method), tworzącą ważoną kombinację regionów lub segmentów z wysokim poziomem zgody jako „darczyńców” do modelowania kontrfaktowego scenariusza bez wprowadzenia ścisłej zgody. Dodatkowo wdrożono atrybucję probabilistyczną opartą na danych pierwszej strony i śledzeniu po stronie serwera, umożliwiającą odtworzenie części „zagubionych” łańcuchów poprzez modele probabilistyczne (łańcuchy Markowa lub wartość Shapleya dla kanałów).

Sytuacja z życia

Zespół platformy e-commerce stanął w obliczu kryzysu po wprowadzeniu banera zgody zgodnego z GDPR w regionie UE: wskaźnik odmowy śledzenia osiągnął 60%, a obserwowana konwersja na płacącego użytkownika spadła o 35%. Biznes przewidywał katastrofalny spadek efektywności marketingu, jednak należało oddzielić prawdziwy spadek popytu od artefaktu utraty danych atrybucji.

Pierwsza rozważana opcja — proste porównanie metryk przed i po wprowadzeniu (analiza przed-po). Zalety: natychmiastowa realizacja i zrozumiała interpretacja. Wady: całkowite ignorowanie sezonowości (uruchomienie zbiegło się z początkiem letniego spadku), zewnętrznych konkurencyjnych kampanii i zmian w algorytmach iOS App Tracking Transparency, co czyniło wynik nieważnym.

Druga opcja — porównanie ruchu z UE z ruchem z krajów spoza UE (geo-eksperyment). Zalety: obecność grupy kontrolnej z pełnym śledzeniem. Wady: fundamentalna nieporównywalność regionów ze względu na różnice w zachowaniach zakupowych, wahaniach walutowych i różnej fazie rozwoju rynku, co doprowadziłoby do zniekształcenia oceny o 15-20%.

Trzecia opcja — zastosowanie CausalImpact z wykorzystaniem modelu szeregów czasowych opartego na bayesowskim. Zalety: uwzględnienie zależności czasowych i sezonowości. Wady: wrażliwość na wybór kowariatów (predictors) oraz założenie o braku synchronicznych szoków, co jest ryzykowne w okresie globalnych zmian polityki prywatności.

Wybrane rozwiązanie — metoda syntetyczna (SCM) z wykorzystaniem segmentów użytkowników z wysokim historycznym wskaźnikiem zgody (darczyńców) do zbudowania ważonego syntetycznego EU. Dodatkowo zastosowano zmienne instrumentalne na poziomie kohorty: zrealizowano losowe testy A/B projektu banera (kolor przycisku, ustawienia domyślne) jako narzędzie do oceny lokalnego efektu leczenia (LATE). To pozwoliło odizolować czysty efekt posiadania danych, a nie projektu banera.

Ostateczny wynik pokazał, że prawdziwy spadek konwersji wyniósł tylko 8% (a nie 35%), pozostałe to artefakt utraty atrybucji. Został przekształcony model MTA (Multi-Touch Attribution) z zastosowaniem kalibracji opartej na incrementality poprzez geo-based holdouts, co przywróciło dokładność prognozowania ROAS na poziomie ±3% od wartości sprzed zgody.

Co kandydaci często pomijają

Jak korygować skos w atrybucji, gdy część użytkowników zgadza się tylko na częściową zgodę (tylko niezbędne cookies), tworząc niepełne ścieżki użytkowników?

Kandydaci często proponują po prostu wykluczenie użytkowników, którzy nie wyrazili zgody, z analizy, wzmacniając selection bias. Prawidłowe podejście — wykorzystanie pattern-mixture models lub multiple imputation by chained equations (MICE) z uwzględnieniem mechanizmu braków (MNAR). Należy modelować prawdopodobieństwo konwersji jako funkcję obserwowanych sygnałów behawioralnych (first-party events) nawet przy braku identyfikatorów stron trzecich, stosując surrogate outcomes do odtworzenia causal estimand.

Dlaczego standardowe metryki click-through rate (CTR) mogą pokazywać wzrost po wprowadzeniu ścisłej zgody, i jak to interpretować?

To klasyczny survivorship bias: pozostają tylko wysoko zmotywowani użytkownicy, którzy zgodzili się na śledzenie, którzy już mieli wysoki CTR. Kandydaci pomijają konieczność oceny efektu intention-to-treat (ITT) w całej populacji, a nie tylko w grupie per-protocol. Należy zastosować analizę complier average causal effect (CACE) z wykorzystaniem losowego projektu banera zgody jako narzędzia do oceny efektu na „komplajerach.”

Jak odróżnić efekt utraty danych od prawdziwego spadku popytu podczas wprowadzania mechanizmu zgody w warunkach, kiedy prawnie nie można stworzyć grupy kontrolnej bez banera?

Tutaj krytycznie ważne jest zastosowanie różnicy w różnicach (difference-in-differences, DiD) przy staggered adoption lub syntetycznej kontroli z wykorzystaniem „wczesnych” i „późnych” adopters w różnych jurysdykcjach. Kandydaci często nie uwzględniają założenia o równoległych trendach, które należy zwalidować przez specyfikację badania zdarzeń z „leady” i „laki.” Również ważne jest wykorzystanie zmiennych proxy (np. danych o wydatkach kartą kredytową zbiorczo lub panelowych danych od dostawców) jako alternatywnego źródła prawdy do walidacji wewnętrznych metryk, korygując na szum differential privacy.