Historischer Kontext. Traditionelle Edtech-Plattformen nutzten lange Zeit statische Lernpfade mit fixer Materialkomplexität für alle Nutzer. Mit der Entwicklung von Machine Learning und den Möglichkeiten der Echtzeit-Datenverarbeitung entstanden adaptive Systeme, die den Inhalt dynamisch an die individuellen kognitiven Fähigkeiten der Lernenden anpassen. Die Bewertung der Effektivität solcher Systeme steht jedoch vor einem fundamentalen methodologischen Problem: Es ist unmöglich, demselben Benutzer gleichzeitig eine adaptive und eine statische Version des Kurses zur reinen Vergleichung zu zeigen, ohne die Benutzererfahrung zu beeinträchtigen.
Problemstellung. Klassisches A/B Testing ist hier nicht im reinsten Sinne anwendbar, da der Anpassungsalgorithmus in Echtzeit auf der Grundlage von Streaming-Daten zur Interaktion arbeitet und die Fixierung eines Benutzers in einer statischen Gruppe die Logik des Produkts verletzt und ethische Risiken bezüglich der Bereitstellung eines offensichtlich suboptimalen Bildungserlebnisses schafft. Darüber hinaus gibt es eine starke Endogenität: Benutzer mit unterschiedlichem anfänglichen Wissensstand reagieren asymmetrisch auf die Anpassung (einige benötigen Vereinfachung, andere — Komplikation), was Methoden zur Bewertung heterogener Wirkungen erfordert.
Detaillierte Lösung. Der optimale Ansatz stellt eine Kombination aus Regression Discontinuity Design (RDD) an der Schwelle der Algorithmusaktivierung und Difference-in-Differences (DiD) für Benutzerkohorten mit unterschiedlichem Implementierungszeitpunkt dar. Erstens, wenn der Algorithmus bei Erreichen eines bestimmten Fehlerrates in den Aufgaben (z. B. >30 % falsche Antworten hintereinander) aktiviert wird, kann Sharp RDD verwendet werden, um Benutzer direkt vor und nach der Schwelle der Anpassungsaktivierung zu vergleichen. Zweitens wird zur Bewertung des langfristigen Effekts auf die Bindung die Synthetic Control Method verwendet: Es wird eine gewichtete Kombination von Benutzern aus historischen Kohorten, die keinen Zugang zum adaptiven System hatten, erstellt, die das Verhalten der aktuellen Testgruppe vor der Implementierung maximal imitiert. Zusätzlich werden Causal Forest oder Meta-learners verwendet, um die Heterogenität des Effekts nach Segmenten der anfänglichen Schulung zu quantifizieren. Die Daten werden über SQL mit Fensterfunktionen aggregiert, um Sitzungen zu verfolgen, und die statistische Analyse erfolgt in Python unter Verwendung der Bibliotheken causalml, pymc für die bayesianische Schätzung der Unsicherheit und sklearn zur Erstellung von Proxy-Variablen.
In der Online-Programmierschule „CodeStart“ wurde ein Algorithmus für adaptives Tracking implementiert, der automatisch die Aufgaben in Python je nach Geschwindigkeit der Lösung vorheriger Aufgaben und Fehlermuster vereinfachte oder komplizierte. Der Produktmanager forderte eine Bewertung, ob dies die Abschlussquote des Kurses von derzeit 45 % auf das Ziel von 60 % erhöht, aber das analytische Team stellte fest, dass die Deaktivierung des Algorithmus für die Kontrollgruppe zu einem massiven Abbruch am zweiten Tag des Lernens führte, was einen Vergleich unangebracht machte.
Drei Ansätze zur Lösung des Bewertungsproblems wurden in Betracht gezogen.
Ansatz 1: Klassischer A/B-Test mit vollständiger Deaktivierung des Algorithmus für 50 % des Traffics. Die Vorteile dieses Ansatzes umfassen die Einfachheit der Interpretation der Ergebnisse und die direkte Vergleichbarkeit der Metriken zwischen den Gruppen. Die Nachteile bestehen in dem hohen Risiko von Benutzerverlusten in der Kontrollgruppe aufgrund von Frustration durch übermäßige Schwierigkeit oder umgekehrt Langeweile durch zu einfache Aufgaben, was eine Überlebensverzerrung (survivorship bias) schafft und die ethischen Normen des gleichen Zugangs zu qualitativ hochwertiger Bildung verletzt.
Ansatz 2: Analyse historischer Daten vor der Implementierung (pre-post analysis) ohne Kontrollgruppe. Vorteile: keine Notwendigkeit, einen Teil des Publikums der Verbesserung zu berauben und die Möglichkeit einer schnellen Ergebnisgenerierung. Nachteile: Unmöglichkeit, den Effekt des Algorithmus von externen Faktoren wie Saisonalität (Beginn des Schuljahres), Veränderung der Qualität des Traffics aus Werbekanälen und makroökonomischen Ereignissen zu trennen, was die Effektbewertung unzuverlässig und nicht objektiv macht.
Ansatz 3: Verwendung von Regression Discontinuity Design an der Schwelle der Anpassungsaktivierung mit Instrumentvariablen. Dieser Ansatz wurde gewählt, da der Algorithmus strikt automatisch bei Überschreitung der Fehlerschwelle von 25 % im Modul aktiviert wurde, was ein natürliches Experiment schafft. Wir verglichen Benutzer mit 24 % und 26 % Fehlern — praktisch identische Gruppen hinsichtlich beobachteter Merkmale, aber mit unterschiedlichem Anpassungsstatus. Für die langfristige Bewertung wurde ein synthetischer Kontrollgericht aus Kohorten des letzten Jahres mit ähnlicher Verteilung anfänglicher Fähigkeiten erstellt, unter Verwendung von Propensity Score Matching.
Das endgültige Ergebnis zeigte, dass der adaptive Algorithmus die Abschlussquote des Kurses um 18 Prozentpunkte (von 45 % auf 53 %) für Benutzer mit durchschnittlichem Einstiegslevel erhöht, aber einen negativen Effekt (-5 %) für fortgeschrittene Studenten hat, denen das System fälschlicherweise das Material aufgrund atypischer Lösungsverhalten vereinfachte. Basierend auf diesen Daten wurde ein Korrekturfaktor für die Schwierigkeitsschwelle für erfahrene Benutzer eingeführt, was die allgemeine Konversion auf 58 % erhöhte.
Wie geht man mit der Situation um, wenn der Anpassungsalgorithmus kontinuierlich lernt (online learning) und seine Vorhersagen sich im Zeitverlauf ändern, wodurch eine statische Bewertung der Wirkung ungültig wird?
Antwort. Es ist notwendig, Thompson Sampling oder contextual bandits als Teil des experimentellen Designs bereits in der Implementierungsphase zu verwenden. Anstelle eines festen Einflusses wird die Verteilung der Wahrscheinlichkeiten des Effekts modelliert, die mit jedem neuen Beobachtung aktualisiert wird. Zur Bewertung werden off-policy evaluation Techniken wie inverse propensity weighting (IPW) oder doubly robust estimators angewendet, die die Verzerrung korrigieren, die durch die Änderung der Algorithmuspolitik während der Sammlung historischer Daten entsteht. Kritisch wichtig ist es, die Modellversion und ihre Parameter für jede getroffene Entscheidung in ClickHouse oder einem ähnlichen Speicher zu protokollieren, um später die Analyse nach Versionen des Algorithmus zu stratifizieren und seine Evolution zu berücksichtigen.
Warum liefert die standardmäßige Mittelwertvergleiche (t-test) zwischen Gruppen mit aktiviertem und deaktiviertem Algorithmus eine verzerrte Schätzung, selbst bei Randomisierung, und wie kann man das beheben?
Antwort. Das Problem liegt in den Netzwerkeffekten (spillover effects) und der Verletzung der Annahme von SUTVA (Stable Unit Treatment Value Assumption). Wenn Benutzer über Foren, Gruppenprojekte oder Chats miteinander interagieren, „infiziert“ die Kontrollgruppe durch soziales Lernen und Erfahrungsaustausch den Einfluss. Zur Korrektur wird cluster randomization (Randomisierung auf Klassen-/Strömungsebene, nicht auf individueller Benutzerebene) oder exposure mapping — Modellierung der Kontaktwahrscheinlichkeit mit der adaptiven Version des Kurses verwendet. Alternativ wird two-stage least squares (2SLS) mit einer Instrumentvariablen (z. B. die Fehlergrenze für die Aktivierung der Anpassung) verwendet, um den lokalen durchschnittlichen Effekt der Wirkungen (LATE) zu isolieren.
Wie unterscheidet man den echten Anpassungseffekt vom Neueffek (novelty effect), wenn die Benutzer aktiver interagieren, weil sich nur die Benutzeroberfläche geändert hat und nicht aufgrund einer Verbesserung der Qualität der Aufgabenauswahl?
Antwort. Es ist notwendig, analysis by cohorts mit unterschiedlichen Implementierungsdaten durchzuführen und die temporal dynamics des Effekts über die Zeit zu verfolgen. Wenn die Engagement-Metriken nach 2-3 Wochen nach Beginn der Nutzung zu ihrem Basisniveau zurückkehren, handelt es sich um den klassischen Neueffekt. Zur Trennung wird segmented regression mit einem Bruchpunkt (interrupted time series) oder der Vergleich mit einer holdout group, der der Algorithmus sozusagen „vorgetäuscht“ als adaptiv präsentiert, aber tatsächlich zufälligen oder fixen Inhalt zeigt (placebo test). Es ist auch wichtig, nicht nur Proxy-Metriken (Zeit auf der Plattform) zu analysieren, sondern auch hard metrics (Ergebnisse der Abschlussprüfung oder praktischen Projekts), die weniger anfällig für kurzfristige Schwankungen in der Motivation sind und das reale Lernen des Materials widerspiegeln.