Historische context. Sinds de jaren 2020 is de evolutie van e-commerce verschoven van onmiddellijke levering (same-day) naar duurzame logistiek, waarbij consolidatie van bestellingen de koolstofvoetafdruk en kosten op de laatste mijl verlaagt. Vroegere experimenten zoals Amazon Day en vergelijkbare diensten hebben aangetoond dat vrijwillige consolidatie van leveringen leidt tot zelfselectie van gebruikers met een lage urgentie van consumptie, wat endogeniteit creëert bij het evalueren van effecten op productmetrics. Traditionele A/B-testmethoden zijn niet toepasbaar bij gedwongen consolidatie, aangezien de logistieke infrastructuur massale route-optimalisatie op het niveau van de gehele zone vereist, en niet per individuele gebruiker.
Probleemstelling. Bij de implementatie van een consolideringssysteem (bijvoorbeeld, levering alleen op dinsdag en vrijdag) ontstaat het probleem van een gebrek aan willekeurige toewijzing: gebruikers in de zones waar het systeem wordt geïmplementeerd onderscheiden zich systematisch qua geografische afstand tot magazijnen en tolerantie voor wachtijd. Bovendien bestaat het risico van ruimtelijke vervuiling (spillover), waarbij gebruikers hun afleveradres wijzigen naar werk of vrienden in naburige regio's zonder consolidatie, waardoor de assumptie SUTVA (Stable Unit Treatment Value Assumption) wordt geschonden. Seizoensinvloeden en correlatie van lanceringen met logistieke optimalisatie in hoogrenderende regio's vervormen bovendien de schatting van het werkelijke causale effect.
Uitgebreide oplossing. Voor het isoleren van het effect wordt Staggered Difference-in-Differences (DiD) toegepast met geleidelijke uitrol (rollout) per logistieke zone, waarbij periodes vóór de implementatie dienen als controle voor periodes erna. Het is belangrijk om de aanname van parallelle trends te verifiëren via een event study die de dynamiek van de metrics vóór de invoering analyseert, om te bevestigen dat er geen differentiële trends zijn tussen toekomstige treatment- en controlgroepen. Voor elke zone wordt een Synthetic Control opgebouwd uit donorregio's met een vergelijkbare historische dynamiek van bestellingen, maar zonder geplande invoering, wat helpt om een contrafactie te modelleren en de robuustheid van de schattingen te verhogen.
Voor correctie op partiële naleving (partial compliance) wordt IV-regressie (Instrumental Variables) gebruikt, waarbij de instrument (Z) bestaat uit het behoren van de gebruiker tot de zone van invoering (assignment), wat het daadwerkelijke gebruik van consolidatie (D) voorspelt, terwijl de uitkomst (Y) retentie of aankoopfrequentie is. Dit maakt het mogelijk om LATE (Local Average Treatment Effect) te schatten - het effect voor degenen die hun gedrag hebben veranderd door de invoering (compliers), in tegenstelling tot ITT (Intent-to-Treat), dat het effect van het aanbod van de dienst toont. Analyse van heterogeniteit op basis van productcategorieën (impulse versus stock-up goods) helpt om de werkelijke daling van de vraag te scheiden van intertemporele substitutie.
Een huishoudelijke apparaten-marktplaats startte een pilot voor de consolidatie van leveringen in drie grote steden met als doel logistieke kosten met 30% te verlagen. Analisten stuitten op vervormingen bij het vergelijken van gebruikers die instemden met de consolidatie (treatment) met afwijzers (control): adopters hadden historisch gezien een lagere aankoopfrequentie en een hogere gemiddelde besteding, wat duidde op zelfselectie van plannende kopers. Eenvoudige vergelijking zou een valse daling van de retentie tonen, terwijl het gedrag in werkelijkheid stabiel kon zijn, maar verstoord door selectieve bias.
Eerste optie - directe vergelijking van metrics voor en na de invoering (pre-post analyse) binnen de zone. De voordelen zijn de eenvoud van implementatie en de snelheid van resultaat zonder dat er gegevens uit andere regio's verzameld hoeven te worden. De nadelen zijn duidelijk: het is onmogelijk om het effect van consolideren te scheiden van seizoensgebonden schommelingen in de vraag en algemene groei-trends van de gebruikersbasis, wat leidt tot systematische bias in de schatting wanneer de lancering samenvalt met feestdagen of marketingcampagnes.
Tweede optie omvat cross-sectionele vergelijking van zones met en zonder invoering op een vast moment. Voordelen zijn onder andere de mogelijkheid om temporele trends te controleren via een momentopname van gegevens zonder langetermijnhistorie van controlegroepen. Nadelen hangen samen met het feit dat de regio's voor invoering zijn gekozen op basis van hoge bestellingsdichtheid en loyaliteit van het publiek, wat een sterke selectiebias creëert en de groepen niet vergelijkbaar maakt qua oorspronkelijke kenmerken.
Derde optie maakt gebruik van Staggered DiD met propensity score matching en Synthetic Control. Voordelen zijn onder meer het gebruik van regio's zonder implementatie als controlegroep, waardoor regionale en temporele vaste effecten behouden blijven, terwijl matching de vergelijkbaarheid van pre-trend kenmerken verbetert. Nadelen omvatten de complexiteit van het valideren van de aanname van parallelle trends bij heterogene effecten over de tijd en het risico van ruimtelijke correlatie (spatial spillover) tussen naburige zones, waar gebruikers afleveradressen kunnen wijzigen.
Gekozen oplossing en resultaat: De derde benadering werd gekozen met daarnaast het gebruik van IV-regressie bij de grenzen van logistieke zones (RDD-stijl grensanalyse) voor lokale validiteit. Dit maakte het mogelijk om het effect te isoleren van regionale verschillen in aankoopgedrag en serviceniveau. De analyse toonde aan dat het werkelijke effect van consolidatie een daling van de transactiefrequentie met 8% was (niet 15% zoals in de naïeve analyse), maar een stijging van de gemiddelde besteding met 22% door de consolidatie van kleine bestellingen. Retentie bleef op het niveau van de controlegroep, wat de opschaling van de functie naar andere regio's rechtvaardigde met een verwachte economische impact.
Als gevolg van de invoering verlaagde het bedrijf zijn logistieke kosten met 35% door optimalisatie van routes, waardoor de daling van de frequentie van bestellingen werd gecompenseerd door de stijging van de gemiddelde besteding. Het voorspellende model op basis van de verkregen coëfficiënten maakte het mogelijk om het break-evenpunt voor uitrol in nieuwe regio's met verschillende bevolkingsdichtheid te berekenen. De methodologie werd als standaard geaccepteerd voor de evaluatie van logistieke innovaties waar klassiek A/B-testen onmogelijk is.
Hoe het werkelijke verlies van aankoopfrequentie te onderscheiden van intertemporele substitutie, wanneer gebruikers gewoon hun aankoop uitstellen tot het volgende levervenster?
Antwoorden van kandidaten negeren vaak de dynamische aard van de vraag en veronderstellen dat de daling van de frequentie binnen de maand gelijk staat aan het verlies van een klant. Het is noodzakelijk om cohortanalyse uit te voeren voor gebruikers met een lange lag (180+ dagen) en categorieën van producten te onderscheiden: voor bederfelijke of impulsieve producten (snacks, accessoires) is uitstel gelijk aan verlies, terwijl voor geplande aankopen (huishoudelijke apparaten) dit simpelweg een verschuiving in de tijd is. Methodologisch zou men moeten werken met distributed lag models of het 'stockpiling' gedrag analyseren via de metric van voorraaddagen thuis, berekend op basis van de aankoopgeschiedenis van categorieën met regelmatig verbruik. Als het totale aantal producten in 90 dagen is gedaald, is dit verlies van vraag; als het gelijk is gebleven, maar het interval tussen bestellingen is toegenomen, is dit substitutie.
Hoe rekening te houden met ruimtelijke vervuiling (spillover effects), wanneer gebruikers hun afleveradres veranderen naar werk of vrienden in een naburige zone zonder consolidatie, om het product sneller te ontvangen?
Standaard DiD veronderstelt dat er geen invloed van treatment op de controlegroep is, maar in de praktijk kunnen gebruikers uit de "treatment"-groep adressen in de "control"-groep gebruiken voor dringende bestellingen, waardoor de controlemetrics omhoog worden verstoord. Een oplossing is het geografische filter: alleen gebruikers met een "stabiel" thuisadres (historie >6 maanden zonder wijzigingen) analyseren en hybride bestellingen uitsluiten (levering in een andere zone). Alternatief kan men spatial DiD gebruiken met gewichten die omgekeerd evenredig zijn aan de afstand tot de grens van de zone, of alleen regio's analyseren die meer dan 50 km van de grenzen verwijderd zijn (donut RDD), waar spillover minimaal is.
Hoe de verschillen tussen ITT (Intent-to-Treat) en LATE (Local Average Treatment Effect) correct te interpreteren in de context van partiële naleving (partial compliance), wanneer niet alle gebruikers in de implementatiezone consolidatie gebruiken?
Kandidaten verwarren vaak het effect van "aanbod van de dienst" en "daadwerkelijk gebruik". ITT evalueert het effect op alle gebruikers in de invoeringszone, inclusief degenen die de functie negeren, en is nuttig voor het business-casus van opschaling. LATE (via IV-regressie met het instrument "beschikbaarheid van de dienst in de zone") evalueert het effect alleen voor compliers - degenen die hun gedrag hebben veranderd door de invoering. Als de compliance laag is (bijvoorbeeld 30% gebruikt consolidatie), zal ITT drie keer lager zijn dan het werkelijke effect voor de gebruikers van de functie. Het is belangrijk om beide indicatoren te rapporteren: ITT voor de voorspelling van het totale zakelijke effect bij opschaling, LATE voor het begrijpen van de waarde voor een specifiek segment dat besluit om gebruik te maken van de dienst.