Die Evolution des E-Commerce hat zur Entwicklung von Omnichannel-Logistik geführt, bei der Click&Collect und Abholpunkte (Pickup Points, PVs) zu Werkzeugen werden, um die Kosten für die letzte Meile der Lieferung zu senken. Im Gegensatz zu digitalen Funktionen sind diese Änderungen jedoch geografisch diskret und unterliegen dem Selbstselektionseffekt – Kunden mit hohem Zeitwert ignorieren die PVs, während preisbewusste Nutzer von der Kurierlieferung auf Abholung wechseln. Klassische User-Level-A/B-Tests sind hier aufgrund fehlender Randomisierung auf Standortebene und dem Vorhandensein von Netzwerkeffekten innerhalb von Stadtvierteln nicht möglich.
Die Analyse steht vor drei zentralen Herausforderungen. Erstens, Endogenität der Standorte: Abholpunkte werden in Gebieten mit hoher Bestellfrequenz eröffnet, was eine umgekehrte kausale Beziehung schafft (hohe Nachfrage → Eröffnung von PVs). Zweitens, Kannibalisierung: Ein Teil der Nutzer ändert einfach die Art der Abholung von Lieferung auf Abholung, ohne den Gesamtumsatz zu steigern. Drittens, Verletzung der SUTVA (Stable Unit Treatment Value Assumption): Ein Benutzer sieht die Eröffnung eines Standorts in seiner Nähe und wirbt über soziale Netzwerke für Nachbarn, was zu einer Kreuzkontamination zwischen „behandelten“ und „Kontroll“-Stadtvierteln führt.
Es wird eine mehrstufige Strategie der quasi-experimentellen Bewertung empfohlen. Auf Makroebene (Städte) wird die Methode Synthetic Control Method angewendet – wir erstellen eine gewichtete Kombination von „Spender“-Städten ohne PVs, die die Dynamik der Metriken der Teststadt vor der Intervention möglichst genau imitiert. Die Gewichte werden durch konvexe Optimierung auf vorinterventionalen Daten (12-18 Monate) angepasst, einschließlich Saisonalität, makroökonomischen Indikatoren und Kategorienstruktur.
Auf Mikroebene (Nutzer) verwenden wir Difference-in-Differences mit Propensity Scoring (Propensity Score Matching) zur Kontrolle beobachteter Merkmale, wobei die Einführung von Instrumentalvariablen (IV) entscheidend ist. Das Instrument ist die kürzeste Entfernung vom Wohnort des Nutzers bis zum nächstgelegenen PV, berechnet nach dem Straßennetz. Diese Variable korreliert mit der Wahl der Selbstabholung (erste Phase der zweistufigen OLS), korreliert jedoch nicht mit der latenten Kaufneigung, wodurch der reine Local Average Treatment Effect (LATE) isoliert wird.
Um hybride Bestellungen (Zwischenlager) zu berücksichtigen, erstellen wir CausalForest-Modelle, die den Effekt auf Subpopulationen aufteilen: immediate adopters, delayed users und never-takers. Schließlich korrigieren wir die Standardfehler für Cluster auf Bezirksebene (clustered standard errors) und überprüfen die Sensitivität gegenüber Spillover-Effekten durch eine Analyse der Konzentration im Radius von 500 Metern.
Kontext: Ein großer Mode-Marktplatz plante die Einführung eines Netzwerks von 120 Pickup Points in 15 Teststädten mittlerer Größe (500-800k Einwohner) mit dem Ziel, die Logistikkosten um 25% zu senken. Die Geschäftsführung verlangte die Bewertung, ob die Präsenz von PVs die Kaufhäufigkeit (purchase frequency) unter bestehenden Kunden erhöht oder nur den Verkehr von der Kurierlieferung umschaltet.
Option 1: Einfache Vergleich „Stadt mit PV vs Stadt ohne PV“ Vorteile: Maximale Einfachheit in der Umsetzung, erfordert keine historischen Daten, schnelle Antwort für das Geschäft. Nachteile: Städte mit PVs sind ursprünglich wohlhabender und aktiver (selection bias), Unterschiede in Saisonalität und Wettbewerbsumfeld können bis zu 40% Verzerrung in der Effektbewertung erzeugen. Das Ergebnis ist für Skalierungen unzuverlässig.
Option 2: Before-After-Analyse nur in Teststädten Vorteile: Kontrolliert städtische Unterschiede, fokussiert sich auf Trendveränderungen. Nachteile: Berücksichtigt keine allgemeinen Markttrends im E-Commerce-Wachstum (im Pandemiejahr könnte der Basis-Trend bei +30% Jahr zu Jahr liegen), der Endpunkt könnte mit lokalen Feiertagen und Aktionen übereinstimmen, was das Bild verzerrt.
Option 3: Synthetic Control auf Stadtebene + IV auf Nutzerebene Vorteile: Synthetic Control schafft ein kontrafaktisches Szenario „was wäre ohne PVs“, korrigiert für makro-Trends, und Instrumentalvariablen (Abstand zum Punkt als zufälliger Schock für „faule“ Nutzer) isolieren den kausalen Effekt von einfacher Korrelation. Nachteile: Erfordert mindestens 12 Monate vorinterventionale Daten für jede Stadt, die Komplexität der Interpretation von LATE für nicht-technische Stakeholder, rechenintensiv.
Ausgewählte Lösung und Begründung Wir wählten eine Kombination aus Synthetic Control für die zwischenstädtische Validierung und Two-Stage Least Squares (2SLS) mit geografischem Instrument für die Nutzer-Metrik. Dies ermöglichte es, den Effekt der Infrastruktur (structural effect) vom Effekt bewusster Wahl (behavioral self-selection) zu trennen. Kritisch wichtig war es nachzuweisen, dass selbst „faule“ Nutzer, die in 200 Metern Nähe zu einem neuen Punkt wohnen, häufiger kaufen, ohne ihre wirtschaftlichen Merkmale zu ändern.
Endergebnis Die Bewertung zeigte einen tatsächlichen inkrementellen Anstieg der Kaufhäufigkeit um 12% bei Nutzern, die im Einzugsbereich des PV wohnen (ITT), während die Kannibalisierung der Kurierlieferung 18% betrug, was durch einen Anstieg des durchschnittlichen Einkaufswerts um 8% aufgrund des Fehlens von Versandkosten kompensiert wurde. Der Effekt war jedoch heterogen: nur für die Kategorien „Schuhe“ und „Accessoires“, während für „Hausgeräte“ kein signifikanter Effekt festgestellt wurde. Dies ermöglichte es, die Strategie zur Eröffnung von Punkten zu korrigieren, sich auf Mode-Malls zu konzentrieren und auf Punkte in Wohngegenden mit einem Übergewicht an Technik zu verzichten.
Wie unterscheidet man den Effekt der Eröffnung von PVs vom Effekt einer Marketingkampagne, die diese Punkte ankündigt, wenn die Kampagne gleichzeitig mit der Eröffnung startet?
Antwort: Ein typischer Fehler ist die Ignorierung der treatment contamination über den Marketingkanal. Es ist notwendig, die Methode Difference-in-Difference-in-Differences (DDD) zu nutzen oder die Stichprobe in zwei Kontrollgruppen aufzuteilen: Städte mit Kampagne (Medienunterstützung), aber ohne physische PVs (nur die Ankündigung „coming soon“) und Städte mit vollständiger Einführung. Wenn der Effekt nur in der zweiten Gruppe beobachtet wird, beweist das die kausale Rolle der Logistik und nicht der Kommunikation. Es ist auch wichtig, brand search als Kontrollvariable zu verfolgen – wenn er in beiden Gruppen gleich steigt, wird der Umsatzanstieg in der Testgruppe durch den Komfort des Services und nicht durch Bewusstsein verursacht.
Warum kann man eine einfache Zuordnung von Nutzern basierend auf der Entfernung zu PVs (weniger als 500m vs weiter als 2km) nicht als Proxy für den Test und die Kontrolle verwenden, auch wenn man demografische Faktoren kontrolliert?
Antwort: Dies verletzt die positivity assumption und selection on unobservables. Nutzer, die in der Nähe von Einkaufszentren (wo PVs normalerweise platziert sind) wohnen, unterscheiden sich systematisch in Bezug auf Einkommen, Beschäftigung und Lebensstil von Bewohnern der Vororte. Selbst mit Propensity Score Matching bleibt eine hidden bias von unobserved confounders (z.B. Budgetplanung). Der korrekte Ansatz ist die Verwendung des Regression Discontinuity Design (RDD), wobei die Grenzen der Lieferzonen oder die administrativen Grenzen der Stadtviertel als zufällige Schwelle betrachtet werden, wobei sich auf der einen Seite der Straße Häuser in 300 Metern (treatment) und auf der anderen – in 900 Metern (Kontrolle) befinden, aber die sozioökonomischen Merkmale identisch sind.
Wie berücksichtige ich korrekt die zeitliche Verzögerung zwischen der Eröffnung von PVs und der Bildung von Verhaltensgewohnheiten (habit formation), wenn die standardisierten Attributionsfenster (7-30 Tage) den langfristigen Effekt unterschätzen?
Antwort: Ein klassischer Fehler ist die Verwendung eines festen Postzeitraums. Es ist erforderlich, das Event Study Design mit dynamischen Verzögerungen anzuwenden und den Effekt getrennt für den ersten, dritten und sechsten Monat nach der Eröffnung zu modellieren. Dies ermöglicht es, die treatment effect heterogeneity over time zu erfassen – oft nimmt der Effekt zu, während sich eine Gewohnheit bildet (learning curve), und erreicht dann ein Plateau. Es ist wichtig, Modelle der Cox Proportional Hazards für die Zeit bis zur ersten Nutzung des PV zu verwenden, wobei konkurrierende Risiken (Nutzer können bis zur Anpassung abdampfen) berücksichtigt werden. Außerdem sollten wir survivorship bias korrigieren – Nutzer, die beginnen, PVs zu nutzen, könnten definitionsgemäß eine niedrige Abwanderungsrate haben, und sie sollten mit einer Kontrollgruppe mit ähnlichen Überlebensmustern verglichen werden, und nicht mit der gesamten Basis.