Mit welcher Methode sollte der kausale Effekt der Reduzierung der Intensität von E-Mail-Versendungen von täglich auf dreimal pro Woche auf die 30-tägige Bindung und Monetarisierung von Nutzern bewertet werden, wenn die Änderung gleichzeitig auf die gesamte Basis angewendet wird, ohne die Möglichkeit von A/B-Tests, und das Publikum nicht homogen in Bezug auf das Engagement ist (churned, active, power users) und saisonalen Schwankungen der Aktivität ausgesetzt ist?

Antwort auf die Frage.

Historisch gesehen hat sich E-Mail-Marketing in der Paradigmen der Maximierung von Touchpoints entwickelt, in dem das Wachstum der Kommunikationsfrequenz mit einem Anstieg des Umsatzes bis zur Sättigung korreliert war. Mit der Entwicklung der Theorie der Engagementmüdigkeit und der Verschärfung von Spam-Filtern (SpamAssassin, Gmail Promotions Tab) entstand die Notwendigkeit zur Optimierung der Frequenz, aber klassische Before/After-Vergleiche erwiesen sich als unzuverlässig aufgrund nichtlinearer Effekte der Sättigung und externer Schocks.

Das Problem der Bewertung liegt in der Unmöglichkeit, eine Kontrollgruppe bei einem globalen Rollout zu erstellen, der Existenz von Selbstselektion (verschiedene Segmente reagieren unterschiedlich auf die Reduzierung der Berührungspunkte) und confounding factors (Saisonalität, makroökonomische Trends, parallele Marketingaktivitäten). Standardkorrelationsanalytik vermischt den kausalen Effekt mit allgemeinen Trends des Wachstums oder Rückgangs des Produkts.

Die optimale Lösung erfordert eine Kombination von quasi-experimentellen Methoden. Wir wenden Difference-in-Differences (DiD) mit Propensity Score Matching (PSM) auf historische Engagement-Metriken (Öffnungsrate, Klickrate, Aktualität) an. Für jedes Segment bauen wir eine synthetische Kontrolle durch die Synthetic Control Method auf, wobei korrelierende Zeitreihen (organischer Traffic, direkte Zugriffe auf die Anwendung) als Kovariaten verwendet werden. Für die Inferenz verwenden wir Causal Impact basierend auf Bayesian Structural Time Series, was es ermöglicht, counterfactuals mit Konfidenzintervallen zu modellieren. Zusätzlich wenden wir Causal Forests zur Bewertung der heterogenen Behandlungseffekte in den RFM-Segmenten an. Die Validierung erfolgt durch Placebo-Tests im Pre-Interventionszeitraum zur Überprüfung der Annahme paralleler Trends und der Sensitivitätsanalyse zur Bewertung der Robustheit gegenüber nicht beobachtbaren Confoundern.

Lebenssituation.

Eine EdTech-Plattform mit 2 Millionen Nutzern sah sich einem Anstieg der Abmelderate um 40 % im Quartal gegenüber und beschloss, die Frequenz des Bildungs-Updates von täglich auf dreimal pro Woche zu reduzieren. Das Problem bestand darin, dem CEO zu beweisen, dass die Reduzierung der Frequenz die Einnahmen von Power-Nutzern nicht gefährdet, während die Änderung am 15. Dezember gestartet wurde – eine Woche vor dem traditionellen vorweihnachtlichen Kaufhoch von Kursen, was einen starken zeitlichen Confounder schuf.

Der erste betrachtete Ansatz – ein einfaches Mittelwertvergleich der Bestellwerte in der Woche vor und nach der Änderung mittels t-Test. Die Vorteile lagen in der Geschwindigkeit der Umsetzung und der Verständlichkeit für die Geschäfts-Stakeholder. Die Nachteile waren kritisch: die vollständige Ignorierung des saisonalen Anstiegs der Käufe im Dezember führte zu einem falsch positiven Effekt der Steigerung des LTV um 15 %, während tatsächlich ein null- oder negativer Effekt von der Reduzierung der Kommunikation beobachtet werden konnte.

Die zweite Möglichkeit sah eine Kohortenanalyse mit 30-tägiger Verzögerung vor, wobei die November- und Dezemberkohorten verglichen wurden. Die Vorteile umfassten die Berücksichtigung des Lebenszyklus der Nutzer und saisonal angepasster Metriken. Die Nachteile zeigten sich darin, dass verschiedene Kohorten unterschiedliche Basis-Konversionsraten hatten, und die Dezemberkohorte durch Weihnachts-Promotionskampagnen verzerrt wurde, was eine unüberwindbare Selektion bias und die Unmöglichkeit zur Isolierung des reinen Effekts der Frequenz der Versendungen schuf.

Die dritte Möglichkeit – die Erstellung einer Synthetic Control basierend auf geografischen Daten, wobei Regionen der GUS mit niedriger E-Mail-Kanaldurchdringung (wo Nutzer auf Push und SMS angewiesen sind) als Kontrollgruppe für Regionen mit hoher Abhängigkeit von E-Mail-Digests dienten. Vorteile: die Möglichkeit, ein counterfactual „was wäre ohne die Änderung“ auf der Ebene aggregierter Zeitreihen zu modellieren. Nachteile: die Annahme paralleler Trends wurde aufgrund regionaler Unterschiede in den Feiertagstraditionen der Ausbildung verletzt, während die Daten zu Städten stark durch die Migration von Nutzern zwischen Regionen während der Neujahrsfeiertage gestört wurden.

Die vierte Option (ausgewählt) – Difference-in-Differences mit exakt passender historischer Aktivität (Öffnungen, Klicks, Käufe in den 90 Tagen vor der Änderung). Wir nutzten Power-Nutzer (die >70 % der E-Mails öffneten) als Behandlungsgruppe und Dormants (die <5 % der E-Mails öffneten) als Kontrollgruppe, da letztere tatsächlich keine Änderung der Frequenz erlebten. Vorteile: strenge Kontrolle über beobachtbare Merkmale durch PSM und die Möglichkeit der Validierung paralleler Trends anhand der Daten der vorangegangenen Quartale. Nachteile: die Annahme der Abwesenheit differenzieller Trends zwischen aktiven und inaktiven Nutzern erforderte zusätzliche Überprüfung. Zur Robustheit verwendeten wir Causal Impact unter Verwendung von Metriken der mobilen Anwendung (Sitzungen, In-App-Käufe) als Kontroll-Zeitreihen, die nicht direkt mit der E-Mail-Frequenz korrelierten, aber den allgemeinen Produkttrend widerspiegelten.

Das Endergebnis zeigte, dass die Reduzierung der Frequenz für Power-Nutzer zu einem statistisch signifikanten Rückgang der 30-tägigen Bindung um 8 % führte (p-Wert < 0,05, 95% CI [5 %, 11 %]), aber den Lebenszeitwert um 3 % erhöhte, da die Abwanderung in Spam-Listen gesenkt wurde. Für weniger aktive Nutzer war der Effekt statistisch neutral. Empfehlung an das Unternehmen: die tägliche Frequenz nur für die Top-10 % der Nutzer mit dem höchsten Engagement-Score durch Segmentierung zurückzugeben, während für den Rest der Basis drei E-Mails pro Woche beibehalten werden sollten.

Was Kandidaten oft übersehen.

Wie den Effekt der Frequenz der Empfehlungen vom Effekt der Qualität des Inhalts unterscheiden, wenn parallel zur Reduzierung der Frequenz das Team das Copywriting und das Design der E-Mails verbessert hat?

Die Antwort erfordert die Anwendung von Mediation Analysis und Instrumental Variables (IV). Es ist notwendig, ein zweistufiges Modell zu erstellen: Zuerst den Einfluss der Änderung der Frequenz auf die Wahrscheinlichkeit des Öffnens der E-Mail bewerten (unter Kontrolle der Qualitätsinhalte über die Metriken der Lesbarkeit oder Engagement-Rate im Kontrollzeitraum), dann den Einfluss des Öffnens auf die Konversion bewerten. Dabei werden Pakete mediation in R oder Python (Bibliothek mediation) verwendet, um den Gesamteffekt in direkten Effekt (Frequenz) und indirekten Effekt (Qualität) zu zerlegen. Ein kritischer Punkt für einen Anfänger ist – wenn die Qualität des Inhalts ein Collider ist (von der Frequenz abhängig durch die freigesetzten Ressourcen des Teams von Copywritern), ist eine Front-Door Adjustment von Pearl erforderlich oder die Verwendung von lagged quality metrics (Qualitätswert mit lag=1) als Instrument zur Isolierung des reinen Effekts der Frequenz.

Wie die Ergebnisse korrekt interpretieren, wenn SUTVA (Stable Unit Treatment Value Assumption) verletzt wird, wenn Nutzer Promo-Codes aus E-Mails in sozialen Medien austauschen, was Spillover-Effekte zwischen Behandlungs- und Kontrollgruppen schafft?

Kandidaten ignorieren oft die Netzwerkinterferenz und nehmen die Unabhängigkeit der Beobachtungen an. Die Lösung besteht darin, vom individuellen Analyselevel zur Clusteranalyse (cluster robust standard errors) überzugehen oder Methoden der causal inference unter Interferenz anzuwenden. Es ist notwendig, Cluster durch soziale Graphen zu identifizieren (wenn Daten über Verbindungen verfügbar sind) oder geografische Nähe, dann exposure mapping für die beobachtbaren Daten anzuwenden. Für die Bewertung von Spillovers werden neighborhood-based treatment definitions oder sinusoidal exposure models verwendet. Es ist wichtig zu verstehen, dass bei positiven Spillovers (Viralität von Promo-Codes) die Standardbewertungen einen unterschätzten Effekt (Underestimation) ergeben, da die Kontrollgruppe teilweise „die Behandlung“ über das Netzwerk erhält. Es ist notwendig, die Bewertungen durch inverse probability weighting unter Berücksichtigung des Grades der Exposition der Nachbarn anzupassen.

Wie eine Sensitivitätsanalyse durchführen, um die Robustheit der Ergebnisse gegenüber unbeobachtbaren Störfaktoren (unobserved confounding) zu bewerten, wie gleichzeitig ablaufende Facebook-Werbung, die auf dieselbe Zielgruppe ausgerichtet ist?

Der Standardansatz in der Produktanalyse ist die Verwendung von E-value (VanderWeele & Ding) zur Bewertung der minimalen Stärke der Assoziation, die ein unbeobachteter Störfaktor haben müsste, um die beobachtete Assoziation zu erklären. Zudem wird bounding analysis (Rosenbaum bounds) für rankbasierte Tests angewendet. Für einen Anfänger ist es entscheidend, die Technik negative controls zu verstehen – die Verwendung von Ergebnissen, die nicht von der Behandlung betroffen sein sollten (z.B. Anzahl der Sitzungen in der mobilen App, wenn wir nur den E-Mail-Kanal ändern), jedoch mit dem vermuteten Störfaktor korrelieren. Wenn „die Reduzierung von E-Mail-Versendungen“ die Zeit in der Anwendung beeinflusst (was nicht der Fall sein sollte), ist dies ein Zeichen für das Vorhandensein einer gemeinsamen Confounder (z.B. eines gemeinsamen Marketingbudgets oder Saisonalität).