역사적 배경: 분할 결제 기능은 전통적으로 여행 및 B2B 서비스에서 우세했지만, 모바일 결제의 증가와 함께 클래식 전자상거래 (전자기기, 패션)에서의 대규모 도입이 최근 시작되었습니다. 주요 분석 난제는 사용자가 결정을 집단적으로 내리는 사회적 클러스터 (청소년 그룹, 가족)를 자가 선택하게 된다는 점입니다. 이는 테스트 그룹과 통제 그룹 간의 간섭을 발생시켜 표준 A/B 테스트를 무효화합니다.
문제 제기: 분할 결제가 유닛 경제 메트릭에 미치는 순수한 인과 효과를 (1) 비싼 상품에 대한 계절적 수요 변화, (2) 젊은 코호트에서 평균 장바구니 증가의 자연적인 경향, (3) 사회적 관계의 내생성 (부자 친구는 또 다른 부자 친구를 초대함), (4) 카테고리별 점진적인 롤아웃으로 인해 발생하는 시계열 왜곡으로부터 분리해야 합니다.
상세 해결 방안: 최적의 접근법은 사회적 그래프 수준에서의 **차이의 차이 (Difference-in-Differences, DiD)**와 함께 **퍼지 회귀 불연속 설계 (Fuzzy Regression Discontinuity Design, RDD)**의 조합입니다. 분할 기능 활성화를 위한 기준 가격 (예: 30,000 ₽)에 대한 내생성을 조정하기 위해 IV (Instrumental Variables) 접근법이 사용되며, 이때 도구 변수는 롤아웃 계획에서 카테고리의 순서 번호 (외생적 변화)에 해당합니다. 효과의 이질성을 평가하기 위해 **인과 숲 (Causal Forest)**을 사용하여 다양한 사용자 클러스터에 대한 조건부 평균 효과 (CATE)를 추출합니다. 메트릭은 두 가지 모드로 평가됩니다: 치료 의도 (Intent-to-Treat, ITT) - 버튼의 존재로 인한 효과, 그리고 치료받은 효과 (Treatment-on-the-Treated, TOT) - 실제 사용에 따른 효과로, 이는 **2단계 최저 제곱 (Two-Stage Least Squares, 2SLS)**를 통해 비순응을 정확히 처리해야 합니다.
맥락: 대규모 전자기기 마켓플레이스가 50,000 ₽ 이상의 구매를 위한 "장바구니 공유" 기능을 시작하며, 두 사용자가 결제를 равна 나누는 것을 허용합니다. 파일럿은 "스마트폰" 카테고리에서 시작되며, "노트북"으로 확장할 계획입니다. 첫 달이 지난 후 상업 부서는 테스트 카테고리에서 평균 장바구니가 25% 증가했다고 보고했지만, 분석가는 기능 사용자 중 70%가 역사적으로 낮은 ARPU를 갖고 있는 18-22세 대학생들이었고, 이들이 파일럿에서 iPhone을 공동으로 구매하며 "공동 구매의 효과"를 창출했을 것으로 의심하고 있습니다.
해결 방안 1: 사전/사후 간단 비교 (t-test). 장점: 즉각적인 실행 가능성, 복잡한 인프라 필요 없음. 단점: 계절성을 완전히 무시합니다 (학기 시작 시 전자기기 수요 증가), 모바일 상업의 일반적 성장 추세 및 50,000 ₽ 기준치 아래의 고가 주문의 자가 선택을 고려하지 않습니다. 결과적으로 15-18% 포인트 이상의 긍정적 편향이 발생합니다.
해결 방안 2: 모바일 액세서리 카테고리를 통제군으로 한 Difference-in-Differences. 장점: 일반적인 시간 추세를 불식시킵니다, 간단한 해석이 가능합니다. 단점: 평행 추세 가정 위반 - 스마트폰 카테고리는 액세서리와 다른 수요 탄력성과 가격 역학을 가집니다. 또한, spillover effect가 있으며, 사용자가 스마트폰을 공동 구매하더라도 케이스는 이미 통제 카테고리에서 분할 결제가 없이 구매될 수 있어 통제 그룹이 오염될 수 있습니다.
해결 방안 3: 50,000 ₽ 기준 가격에 대한 엄격한 회귀 불연속 설계 (RDD). 장점: 외생적 기준점을 사용하여 준 실험을 진행하며, 기준에서의 지역 효과 (LATE)를 평가합니다. 단점: 전체 가격 범위에 대한 확장이 어렵고, 80,000 ₽ 주문을 무시하게 돼 그곳에서 효과가 다를 수 있습니다. 또한, 퍼지 속성으로 인해 사용자는 조건을 충족하기 위해 가격 조작 (액세서리 추가 구매 등)을 할 수도 있습니다.
선택된 해결책 및 이유: 하이브리드 접근법이 구현됐습니다: 45,000–55,000 ₽ 범위 내 주문에 대한 퍼지 RDD (기준에서 순수 식별 가능) + DiD를 위한 일반 추세의 synthetic control method (SCM), 롤아웃 전 스마트폰의 역학을 재현하는 다른 카테고리의 가중된 인공 통제체를 만듭니다. 사회적 효과를 위해 device ID를 기준으로 클러스터링하여 사회적 관계의 프록시로 사용합니다.
최종 결과: 실제로 인크리멘탈 효과는 평균 장바구니에 대해 +8.4% (관찰된 +25% 대신)로 나타났고, 18-25세 세그먼트에서의 전환율은 12% 증가했지만, 다음 분기 구매 빈도는 5% 감소했습니다 (구매 지연 효과). 이 기능은 효과가 통계적으로 유의미한 40,000–70,000 ₽ 카테고리에만 롤아웃되었습니다.
1. 사회적 그래프를 통한 간섭 문제: 통제군의 사용자가 실험군의 친구로부터 공동 구매를 제안받을 수 있습니다.
답변: 전통적인 A/B 테스트에서는 Stable Unit Treatment Value Assumption (SUTVA) — 단위의 독립성을 가정합니다. 분할 결제의 경우, 한 사용자의 처치는 다른 사용자의 행동에 영향을 미치기 때문에 이 가정이 위반됩니다 (초대하는 것). 올바른 해결책은 사회적 구성 요소 (친구 네트워크) 수준에서의 군집 무작위화(cluster randomization)이거나, exposure mapping을 통한 네트워크 효과 분석입니다. 이 경우 노출은 기능에 접근하는 친구의 비율로 정의됩니다. 대안으로 실험 전 고립된 클러스터로 그래프를 나누기 위한 이분 그래프 클러스터링을 사용할 수 있습니다.
2. 저수준 침투에서의 ITT (Intent-to-Treat)와 TOT (Treatment-on-the-Treated) 효과 사이의 차이.
답변: 많은 분석가들이 버튼을 본 모든 사람 (ITT)에 대한 효과를 버튼을 사용한 사람 (TOT)에 대한 효과로 잘못 평가합니다. 버튼을 본 사람 중 오직 10%만이 "공유" 버튼을 클릭할 경우, ITT는 실제 효과를 10배 낮추게 됩니다. TOT를 평가하려면, 버튼 노출 사실 (무작위로 정해진 것)과 사용 사실 (내생적 변수) 사이에서 IV 접근법이 필요합니다. 2SLS 평가는 조건부 수혜자에 대한 지역 평균 치료 효과 (LATE)를 제공합니다 - 기능을 사용할 수 있었던 사람들. 이는 비즈니스 케이스에 있어 매우 중요합니다: 공동 구매 경향이 있는 자에 대한 효과가 평균 효과보다 3-4배 더 높습니다.
3. 장기적인 잠식과 미래 지향 편향: 분할 결제가 새로운 수요를 창출하는 것이 아니라 현재의 공동 구매를 통해 미래의 개별 구매를 재배치할 수 있습니다.
답변: 후보자들은 종종 즉각적인 거래 메트릭만 살펴봅니다. cohort analysis가 필요하며 90일 이상의 기간을 가지고, 분할 결제를 이용한 사용자와 매칭된 통제군의 구매 빈도를 비교해야 합니다. 이는 사전 처리 특성 (체크 이력, 계절성)을 기반으로 한 **propensity score matching (PSM)**을 구축해야 합니다. 추가적으로 compositional shift를 확인하는 것이 중요합니다 — 고마진이지만 낮은 반복 구매를 가진 상품 (예: 게임 대신 콘솔)의 비율이 급증하여, LTV 하락과 함께 장바구니 증가의 환상을 만들어냈는지.