Tarihi bağlam, dijital ürünlerin evrimini, izole yerel uygulamalardan hibrit etkileşim modellerine geçişle gösterir. Progresif Web Uygulaması, bir web sitesinin çevrimdışı erişim ve bildirimlerle tam işlevsel bir uygulama olarak çalışmasını sağlayan bir teknoloji olup, bu, tarihi olarak mobil web ile yerel deneyim arasındaki sınırı belirsizleştirmiştir. Bu tür uygulamaların etkinliğini değerlendirmek için klasik yöntemler, basit kohort analizleri veya A/B testi gibi yöntemler, kontrol grubunun SEO etkilerinden izole edilmesi ve kullanıcı düzeyinde rastgeleliğin bozulması gibi temel kısıtlamalarla karşı karşıya kalmaktadır.
Problemin tanımı, platformun kendiliğinden seçilmesi koşulları altında neden-sonuç ilişkilerini belirleme çok boyutlu bir problemi çözmeyi gerektirir. Kullanıcılar PWA mı yoksa yerel uygulama mı kullanacaklarına kendileri karar verir, bu da teknik yeterlilik ve katılımla korele olan kendi seçim etkisi yaratır. Aynı zamanda, PWA'nın başlatılması, iyileştirilmiş Core Web Vitals ve hizmet işçisinin dizinlenmesi aracılığıyla organik trafik oluşturur ve analiz edilen kohortlardaki temel trafik seviyesini çarpıtır. Platformlar arasında kanibalizasyon, yerel uygulamadan PWA'ya oturum akışını artırarak göze çarpmakta ve bu da göç etkisinin gerçek büyümesini ayırt etmeyi gerektirir.
Detaylı çözüm, Synthetic Control Method (SCM) ve Difference-in-Differences ile proporsiyonel ağırlıklandırılmış Propensity Score Matching yönteminin sentezine dayanır. İlk aşamada, PWA'nın ertelenmiş lansmanı olan coğrafi bölgeler veya kullanıcı segmentlerinden sentetik bir kontrol oluşturulur ve bu da müdahale olmadan metriğin karşıfaktürel bir yolunu modellememizi sağlar. Daha sonra Causal Impact analizi, mevsimsellik ve pazarlama aktiviteleri gibi kovaryatlarla düzeltme yaparak geçici etkileri izole etmek için uygulanır. Kanibalizasyonu değerlendirmek için, araç olarak PWA'nın teknik erişilebilirliğini (hizmet işçilerini destekleyen tarayıcı versiyonu) kullanan instrumental variables approach uygulanır; bu, kullanıcı tercihinden bağımsız bir şekilde yarı deneysel varyasyon sağlar. Çapraz platform tutma, platform içi defisitet risklerini interplatform göçten ayıran survival analysis ile modellenir.
En büyük elektronik pazarında, yeni kullanıcıların girişi için engellerin azaltılması amacıyla PWA'nın başlatılması gerekliliği doğmuştu, ancak yerel uygulamanın yüksek gelirli kullanıcılarının potansiyel kanibalizasyonuna dair kritik bir iş hipotezi vardı. Ekip, A/B testinin teknik özelliklerinden dolayı, kullanıcıları kanallar arasında yeniden dağıtmak yerine gerçek artışı ayırabilecek bir değerlendirme metodolojisi seçimiyle karşı karşıya kaldı.
İlk değerlendirilen seçenek, PWA'nın lansmanından önce ve sonra siteyi ziyaret eden kullanıcılar arasında conversion rate ve retention day 7 gibi ana metriklerin basit karşılaştırmasını içeriyordu. Bu yaklaşımın artıları, sonuçların hızla elde edilmesi ve veri altyapısı için minimum gereksinimler içeriyordu. Eksileri, elektronik talebindeki mevsimsel dalgalanmalara karşı kritik bir vulnerabiliteye sahip olması ve PWA'nın etkisinin, eş zamanlı başlatılan televizyon reklam kampanyasından ayrıştırılamamasıydı; bu da sonuçları istatistiksel olarak anlamlı olmayan ve iş riskli hale getiriyordu.
İkinci seçenek, Google Optimize aracılığıyla ve IP adreslerine göre coğrafi segmentasyon ile kademeli bir dağıtım yoluyla coğrafi A/B testi yapmayı içeriyordu; burada test bölgeleri PWA'ya erişim sağlarken, kontrol gruplarına erişim verilmedi. Artılar, deneysel mantığın yeniden üretilebilirliği ve paydaşlar için anlaşılabilir olmasıydı. Eksiler, SEO etkisini izole etme imkânının olmamasından kaynaklandı; çünkü Core Web Vitals’daki iyileştirme, kullanıcının coğrafyasından bağımsız olarak tüm alan adının dizine eklenmesine yayıldı ve spillover efekti yaratarak organik trafiği kontrol grubunu boğdu.
Son olarak, sonucu gerçekleştiren üçüncü seçenek, mobil tarayıcı versiyonu (Chrome 90+) üzerindeki eşik ile Synthetic Control Method ile Regression Discontinuity Design kombinasyonu olmuştur. Ekip, PWA'nın lansmanından önce Safari ve eski Chrome sürümleri kullanıcılarının davranışlarını ağırlaştırarak sentetik bir kontrol oluşturmuştur; bu da müdahale olmaksızın karşıfaktürel tutma oranını modellememizi sağladı. Artılar, yarı deneyin içsel geçerliliği ve platformlar arasında kanibalizasyonu izole etme imkânıydı. Eksiler, sentetik ağırlıklar oluşturmak için önemli hesaplama kaynakları gerektirdi ve ürün ekipleri için yorumlamada karmaşıklık yarattı.
Sonuç olarak, PWA'nın lansmanından sonra mobil web için +%8.3'lük bir tutma artışı (retention day 30) ve yerel uygulama faaliyetinde -2.1%'lik bir kanibalizasyon düzeltildiği açıklandı. Kullanıcıların toplam LTV üzerinde nötr etki, PWA'nın tam bir dağıtımının kabulüne ve interplatform sürtünmeyi azaltmak için deeplinks'in optimizasyonunu sağladı.
PWA ve yerel uygulama arasındaki gerçek kanibalizasyon ve tamamlayıcılık etkisini hangi noktalarda ayırt etmeli?
Cevap, kullanıcı yolculuğu seviyesinde incrementality anlayışını gerektirir; bu nedenle, oturumların ardışık durumlardaki dizilimleri (Web → PWA → App) olarak kodlandığı bir multi-touch attribution modeli oluşturulmalıdır. Etki, ürün içindeki toplam zaman değişikliğinin (total time spent) ve ana olay sıklığının analizi ile değerlendirilmelidir. Önemli bir nokta, surge analizi kullanarak tamamlayıcılığı belirlemektir: Eğer PWA'nın uygulaması, 24 saat içinde yerel oturumların sıklığını artırıyorsa (cross-platform triggering), bu sinerjik bir etkiyi gösterir ve kanibalizasyon değildir. Yeni analistler genellikle dağıtımın son kanalına göre metrikleri toplar, bu da kritik bir zaman uyumunu kaybettirir.
Bir iki yönlü pazarda (network effects) PWA'nın benimseme oranı hesaplamalarında, bir segmentteki PWA'nın lansmanının diğer segmentlerin deneyimini etkilediğinde etkiyi nasıl düzeltebiliriz?
Burada, doğrudan etkiyi spillovers'tan ayırmak için panel veri yöntemlerini sabit etkilerle uygulamak gereklidir. SUTVA (Stable Unit Treatment Value Assumption) ihlal edilmiştir, bu nedenle peer etkilerini modellemekte spatial autoregressive models veya two-stage least squares (2SLS) kullanılmalıdır; burada araç olarak bölgedeki PWA'nın teknik erişilebilirliği, bağımlı değişken ise aynı bölgede PWA’yı kullanmayanların etkinliği olacaktır. Belirgin bir nokta, piyasa segmentleri arasındaki etkileşim yoğunluğunu belirleyecek exposure mapping oluşturmak, böylece dolaylı ağ etkilerini niceliksel olarak değerlendirmek ve doğrudan değeri dışsal etkiler üzerinden düzeltmek gerekir.
Benimseme oranında ‘self-selection bias’ nasıl ele alınır? Erken benimseyenler, ortalama kullanıcıdan sistematik olarak farklılık gösterdiğinde, tedavi ortalamasının (ATE) tahminini saptırmaktadır.
Hayati önem taşımaktadır, Heckman düzeltmesi veya Inverse Probability Weighting (IPW) kullanılmak suretiyle gözlemlenen ve gözlemlenmeyen özellikler üzerinden düzeltme yapılmalıdır. Kendiliğinden seçme sürecini probit modeli ile modellemek; burada bağımlı değişken PWA'nın kurulum gerçeği, bağımsız değişkenler ise cihazın teknik özellikleri, ürün ile etkileşim geçmişi ve demografik değişkenler olacaktır. İlk denklemin Inverse Mills oranı ikinci çıkış denkleme eklenerek bias düzeltmesi sağlanmalıdır. Alternatif olarak, coarsened exact matching (CEM) uygulaması benimseyen ve benimsemeyen gruplar arasındaki kovaryatların dengelenmesini sağlar. Yeni uzmanlar, bu bias'ı genellikle göz ardı eder ve yüksek benimseyen metriklerini teknolojinin neden olduğu etkiler olarak yorumlar; gerçekte ise bu, kitlenin teknolojik hazırlığında heterojenliği yansıtır.