Die Personalisierung von Inhalten ist seit der Mitte der 2010er Jahre ein integraler Bestandteil moderner E-Commerce-Plattformen, als Amazon und Netflix die wirtschaftliche Rentabilität von Investitionen in Empfehlungssysteme nachwiesen. Klassische Ansätze zur Bewertung der Wirksamkeit beinhalten die Durchführung kontrollierter Experimente, jedoch stoßen wir in der realen Infrastruktur häufig auf technische Einschränkungen, die ein standardmäßiges A/B-Testing ohne Leistungseinbußen unmöglich machen.
Die Aufgabe des Analysten besteht darin, den tatsächlichen Effekt der Implementierung des ML-Empfehlungssystems auf die wichtigsten Produktmetriken in Abwesenheit einer Kontrollgruppe zu isolieren. Dabei müssen drei verzerrende Faktoren berücksichtigt werden: der zeitliche Verzögerungsfaktor beim Trainieren des Modells für kalte Nutzer (cold start problem), der kurzfristige Anstieg der Aktivität aufgrund der Änderung des Interfaces (novelty effect) sowie systematische Unterschiede zwischen den Kohorten neuer und zurückkehrender Nutzer, was zu selection bias führt.
Der optimale Ansatz besteht aus einer Kombination der Difference-in-Differences-Methode (DiD) und Synthetic Control Method. Die Kontrollgruppe besteht aus der Kohorte neuer Nutzer, die nach der Implementierung der Änderung registriert wurden, angepasst durch die Differenz in den Basismerkmalen über Propensity Scoring. Um cold start zu berücksichtigen, wird die Analyse nach der Nutzerlaufzeit stratifiziert mit separatem Modellieren der Lernkurve des Algorithmus. Der Neuheitseffekt wird durch die Analyse der Metriken in den ersten 14 Tagen nach dem Release isoliert, gefolgt von einem Vergleich mit einer stabilen Periode. Zusätzlich wird der triple difference approach angewendet, der geografische Regionen mit unterschiedlicher Einführungsgeschwindigkeit als natürliches Experiment nutzt.
Bei einem großen Mode-Marktplatz war die Ersetzung der statischen Startseite mit manueller Trendauswahl durch einen dynamischen Feed, der von einem ML-Modell basierend auf kollaborativer Filterung generiert wird, geplant. Das technische Team berichtete, dass aufgrund der Edge Cache-Konfiguration auf Cloudflare eine Benutzerverkehrsteilung ohne erhebliche Leistungseinbußen des Systems und Verletzung der SLA-Reaktionszeit nicht möglich sei. Der Release sollte gleichzeitig für alle Nutzer in der Hochsaison (November) stattfinden, was die Bewertung zusätzlich komplizierte aufgrund von Black Friday und dem vorweihnachtlichen Ansturm, die die historischen Verhaltensmuster verzerrten.
Der erste Ansatz sah die Verwendung einer einfachen before-after Analyse mit Anpassung an die Saisonalität der Vorjahre durch Indizes vor. Diese Methode war operativ einfach und erforderte keine komplexe Dateninfrastruktur, litt jedoch gravierend unter der Annahme der Unveränderlichkeit des Basis-Trends zwischen den Perioden. In einem wachsenden E-Commerce-Markt führte dies zu einer Überbewertung des Effekts um 40-60 % aufgrund makroökonomischer Faktoren und Nachfrageinflation.
Die zweite Variante umfasste den Aufbau eines synthetischen Kontrolldatenmodells basierend auf dem Nutzerverhalten der mobilen Anwendung, wo die Personalisierung früher implementiert wurde und stabil funktionierte. Diese Methode ermöglichte es, die Spezifik der Produktmetriken und saisonale Schwankungen durch eine gewichtete Kombination historischer Daten zu berücksichtigen. Sie erforderte jedoch eine starke Annahme über parallele Trends zwischen Web und Mobile, die aufgrund der unterschiedlichen Demografie der Zielgruppen und Unterschiede in den Nutzungsszenarien nicht erfüllt war (Web wurde für tiefe Suche genutzt, die App für schnelle Käufe).
Der dritte Ansatz sah vor, ein quasi-experimentelles Differenzmodell (DiD) zu verwenden, das die Metrikdynamik zwischen Nutzern mit reicher Geschichte und Neulingen im cold start-Zustand vergleicht. Diese Methode erlaubte es, den Effekt des Empfehlungssystems vom Effekt des Modelltrainings zu isolieren, indem die Interaktion zwischen Zeit und Nutzertyp als Variationsquelle genutzt wird. Die entscheidende Einschränkung war die Notwendigkeit, die Annahme über das Fehlen systematischer Schocks, die beide Gruppen unterschiedlich beeinflussen, zu treffen, was eine sorgfältige Überprüfung der parallel trends im prä-interventionellen Zeitraum erforderte.
Ein hybrider Ansatz wurde gewählt, der DiD mit Stratifizierung nach Kohorten und Anpassung an die learning curve des Algorithmus kombinierte. Diese Lösung ermöglichte die Kontrolle sowohl über individuelle Heterogenität zwischen den Nutzungssegmenten als auch über zeitliche Trends auf Marktebene. Ein entscheidender Faktor war die Möglichkeit, natürliche Variationen in der Anpassungsgeschwindigkeit zu nutzen: Erfahrene Nutzer erhielten sofort relevante Empfehlungen, während neue Nutzer 5-7 Sitzungen benötigten, um Signale zu accumulieren, was eine "natürliche Kontrolle" für die Bewertung des reinen Effekts des Systems ohne Verzerrungen durch den novelty effect schuf.
Die Analyse ergab, dass der tatsächliche Personalisierungseffekt +8,3 % auf die Kaufkonversion und +12 % auf den durchschnittlichen Warenkorbwert beträgt, jedoch erst ab dem 21. Tag nach dem ersten Besuch des Nutzers. In den ersten zwei Wochen wurde ein paradoxen Rückgang der Konversion um 3 % bei neuen Nutzern aufgrund des cold start-Modells beobachtet, der durch einen Anstieg der Aktivität bei bestehenden Kunden (+15 %) kompensiert wurde. Ohne Berücksichtigung der zeitlichen Struktur der Daten hätte das Unternehmen die Änderung möglicherweise irrtümlich zurückgerollt, ohne auf die Stabilisierung der Metriken zu warten, was zu einem Verlust des prognostizierten Jahresumsatzes von 240 Millionen Rubel geführt hätte.
Wie kann die Lernphase des Modells korrekt berücksichtigt werden, wenn es keine klare Trennung zwischen Trainings- und Testdaten in der Produktion gibt?
Kandidaten ignorieren oft, dass ML-Modelle in der Produktion sich in einem Zustand kontinuierlichen Online-Trainings (online learning) befinden, in dem Hyperparameter sich in Echtzeit an strömende Daten anpassen. Der richtige Ansatz umfasst die Modellierung der Lernkurve durch die Bewertung der Empfehlungsqualität (NDCG, MAP) als intermediäre Mediatorvariable. Es ist notwendig, ein zweistufiges Modell zu erstellen, in dem zunächst der zeitliche Effekt auf die Empfehlungsqualität bewertet wird und dann der Effekt der Qualität auf die Geschäftszahlen, unter Verwendung instrumental variabler zur Behebung der Endogenität. Ohne dies wird der Analyst den Effekt der Algorithmusverbesserung mit dem Effekt der Datenakkumulation über den Nutzer verwechseln, was zu falschen Schlussfolgerungen über den optimalen Bewertungszeitraum führen wird.
Warum ist es in quasi-experimentellen Designs mit Personalisierung entscheidend, die Annahme der parallelen Trends (parallel trends) nicht nur vor, sondern auch nach der Intervention zu überprüfen?
Die Standardpraxis zur Überprüfung der parallel trends assumption in DiD beschränkt sich auf den prä-interventionellen Zeitraum, jedoch besteht bei Systemen mit Personalisierung das Risiko der Divergenz der Trends nach der Implementierung aufgrund unterschiedlicher Nachfragelastizität bei Segmenten. Zum Beispiel können hochpreisige Nutzer das Wachstum ihrer Käufe unter dem Einfluss der Personalisierung beschleunigen, während churned Nutzer weiterhin einen linearen Rückgang der Aktivität erleben. Kandidaten sollten die Methode event study mit dynamischen Effekten (dynamic DiD) verwenden, um Abweichungen der Trends in der Nachperiode zu visualisieren und eine Korrektur für heterogeneous treatment effects durch Modelle mit festen Effekten für Nutzer und Zeit anwenden.
Wie kann der Simpson-Paradoxon bei der Aggregation von Ergebnissen über Segmente mit unterschiedlicher Basis-Konversionsrate und unterschiedlicher Anfälligkeit für Personalisierung vermieden werden?
Ein typischer Fehler ist die Berechnung des gewichteten Durchschnittseffekts für die gesamte Zielgruppe ohne Berücksichtigung der Kompositionsverschiebungen in der Verkehrsstruktur. Wenn die Personalisierung in einem Zeitraum mit wachsendem Anteil neuer Nutzer (mit niedriger Basis-Konversionsrate und hohem relativen Anstieg durch Empfehlungen) implementiert wird, kann der aggregierte Effekt negativ ausfallen, selbst wenn jeder Segment einen positiven Effekt hebt. Es ist notwendig, stratification mit anschließender standardisierter Durchschnittsberechnung (standardized mean treatment effect) anzuwenden oder doubly robust estimation zu verwenden, das das Propensity-Scoring-Modell mit dem Outcome-Modell kombiniert und die Robustheit gegen Spezifikationsfehler gewährleistet.