Der historische Kontext solcher Änderungen reicht bis ins Jahr 2017 zurück, als Netflix auf die Fünf-Sterne-Skala zugunsten von binären „Daumen hoch/runter“ umstieg und YouTube diesem Beispiel folgte, indem es Dislikes verbarg. Diese Veränderungen wurden damit begründet, dass die Fünf-Sterne-Bewertungen eine „asiatische“ Inflation zeigten (Ansammlung um 4-5 Sterne) und schlecht mit dem tatsächlichen Konsum von Inhalten korrelierten. Das Problem besteht darin, den reinen Effekt des Wechsels des Feedback-Mechanismus von confounding Faktoren zu isolieren: Saisonalität der Kategorien, Selbstselektion aktiver Benutzer und zeitliche Degeneration der Collaborative Filtering-Modelle aufgrund der Spärlichkeit neuer Signale.
Zu diesem Zweck wird Staggered Difference-in-Differences (DiD) mit Inhaltskategorien angewendet, wobei die behandelten Kategorien (treatment) mit noch nicht umgestellten Kategorien (control) verglichen werden, wobei verschiedene Einführungszeiten berücksichtigt werden. Für Kategorien ohne direkte Analoga wird die Synthetic Control Method verwendet, die eine gewichtete Kombination von Kontrollkategorien erstellt, um ein kontrafaktisches Szenario zu simulieren. Die Endogenität der sich selbst auswählenden bewertenden Benutzer wird mithilfe der Heckman-Korrektur oder Propensity Score Matching basierend auf der Viewing-Historie und der Verweildauer angepasst. Zur Bewertung der Empfehlungsqualität wird eine Counterfactual Evaluation mit den Metriken NDCG und MAP auf Hold-out-Stichproben durchgeführt, wobei der Burn-in-Zeitraum von 2-4 Wochen ausgeschlossen wird, um die Faktor-Matrix zu stabilisieren.
Der Streaming-Dienst „CinemaFlow“ plante den Wechsel von einem veralteten Fünf-Sterne-System zu einem binären, um die Engagement-Rate zu erhöhen. Das Hauptproblem bestand darin, dass das Team befürchtete, die Vorhersagekraft der Empfehlungen aufgrund der verringerten Granularität des Signals zu verlieren, und befürchtete einen plötzlichen Rückgang der Aktivität der Benutzer, die an die detaillierte Skala gewöhnt waren. Es war erforderlich, eine Bewertungsmethode zu finden, die den schrittweisen Rollout nach Genres (zuerst Dokumentarfilme, dann Komödien) und Netzwerk-Effekte berücksichtigte, bei denen die Sichtbarkeit bestehender Bewertungen das Wollen neuer Benutzer, an Umfragen teilzunehmen, beeinflusste.
Eine Option war das klassische A/B-Testing mit der Trennung von Benutzern auf der Ebene user_id. Die Vorteile des Ansatzes umfassten die Reinheit des Experiments und die Einfachheit der Interpretation des kausalen Effekts. Die Nachteile waren kritisch: Der Collaborative Filtering-Algorithmus verlor die Integrität wegen der Vermischung zweier Signaltypen in einer Matrix, was Artefakte in den Empfehlungen für beide Gruppen erzeugte; es bestand das Risiko der Kreuzkontamination durch soziale Funktionen (Benutzer sahen die Bewertungen von Freunden aus einer anderen Gruppe); das Unternehmen fürchtete negative Reaktionen auf das fragmentierte UX innerhalb eines Produkts.
Eine Alternative war die Vorher/Nachher-Analyse des Vergleichs der Metriken vor und nach dem Übergang für jede Kategorie separat. Die Vorteile lagen in der technischen Einfachheit und der Notwendigkeit, das alte System für einen Teil der Benutzer nicht aufrechtzuerhalten. Die Nachteile umfassten die Unfähigkeit, den Effekt der Intervention von saisonalen Schwankungen der Ansichten zu trennen (z. B. werden Weihnachtsfilme anders im Dezember bewertet), die Ignorierung des Herdenverhaltens und der Selbstselektion früher Anhänger des neuen Systems, was zu einer verzerrten Bewertung führte.
Es wurde ein hybrider Ansatz Staggered DiD mit Synthetic Controls und Instrumental Variables ausgewählt. Diese Methode ermöglichte die Nutzung von Kategorien, die noch nicht auf das binäre System umgestiegen waren, als Kontrollgruppen für bereits umgestiegene Kategorien unter Anpassung der zeitlichen Trends. Synthetic Control kompensierte die Heterogenität zwischen Genres, während der IV-Ansatz mit der Zeit des Contents (wenn weniger Online-Benutzer und schwächeres Herding aktiv waren) als Instrument half, den reinen Einfluss der Bewertungsoberfläche zu isolieren. Die Wahl wurde durch die Notwendigkeit bedingt, die Funktionsfähigkeit des Empfehlungssystems während des Übergangs aufrechtzuerhalten und unverzerrte Bewertungen bei teilweiser Datenverfügbarkeit zu erhalten.
Das endgültige Ergebnis zeigte, dass das Volumen der Bewertungen aufgrund der Verringerung der kognitiven Belastung um 220 % gestiegen ist, die Genauigkeit der Empfehlungen (gemessen an NDCG@10) jedoch in den ersten drei Wochen um 12 % gesunken ist. Dieser Zeitraum korrelierte mit dem Überlernen des Matrix-Faktorisierungsmodells, nach dem sich die Metriken dank der Erhöhung der Dichte der Matrix wieder auf den Basiswert erholten. Basierend auf diesen Daten entschied sich das Produktteam für einen vollständigen Rollout mit zusätzlichem Budget für einen Kaltstart für neue Benutzer.
Wie kann der Zeitraum der Verschlechterung der Empfehlungsqualität während des Überlernens des Modells korrekt berücksichtigt und von dem wahren Effekt des neuen Systems getrennt werden?
Antwort: Es ist notwendig, den Begriff „Burn-in-Zeitraum“ zu formalisieren, der üblicherweise 2-4 Wochen dauert, in dem die Metriken der Empfehlungsqualität aus der Hauptursachenanalyse ausgeschlossen werden. Verwenden Sie die Counterfactual Evaluation auf historischen Hold-out-Sets, indem Sie Offline-Metriken (NDCG, MAP, Precision@K) vor und nach dem Übergang vergleichen, jedoch geschichtet nach Benutzeraktivitätsniveau. Es ist wichtig, die Metriken Coverage und Diversity getrennt von der Genauigkeit zu verfolgen, da binäre Signale die populäritätsbedingte Verzerrung (popularity bias) bei unzureichender Regularisierung erhöhen können.
Wie geht man mit der Endogenität der Selbstselektion von Benutzern um, die bereit sind, unter dem neuen System Bewertungen abzugeben, und unterscheidet ihr Verhalten vom Effekt der Benutzeroberfläche selbst?
Antwort: Benutzer, die Inhalte unter dem binären System bewerten, unterscheiden sich systematisch von „Sterne“-Bewertenden (neigen zu extremen Präferenzen). Verwenden Sie die Heckman-Korrektur (zwei Phasenmodell mit Auswahlgleichung) oder Inverse Probability Weighting basierend auf Propensity Scores, die nach beobachtbaren Merkmalen (Viewing-Historie, Tenure, Session-Dauer) berechnet werden. Verwenden Sie zufällige Variationen der Benutzeroberfläche (Reihenfolge der Platzierung der Likes/Dislikes) oder A/B-Tests zur Sichtbarkeit aggregierter Bewertungen als Instrumentalvariable, um den reinen Effekt des Datensammelmechanismus zu isolieren.
Wie kann der Effekt des Herdenverhaltens (herding) quantitativ bewertet und von der wahren Präferenz des Benutzers bei der Analyse des Bewertungsvolumens getrennt werden?
Antwort: Teilen Sie die Benutzer in „Vorreiter“ (first-movers), die einen leeren Zähler sehen, und „Nachfolger“, die eine nicht-null-Anzahl von Stimmen sehen. Wenden Sie das Regression Discontinuity Design (RDD) an, das sich um die Schwellenwerte der Sichtbarkeit von Bewertungen dreht (z. B. wenn Inhalte in die Top-10-Kategorie gelangen). Vergleichen Sie die Wahrscheinlichkeiten der Bewertung von Benutzern, die das aggregierte Ergebnis sehen, mit denen, die „Sei der Erste“ sehen. Für eine dynamische Anpassung verwenden Sie Thompson Sampling oder bayesische Methoden zur Bewertung der tatsächlichen Qualität des Inhalts und filtern Netzwerk-Effekte durch zeitliche Verzögerungen zwischen Veröffentlichung und Bewertung.