무작위화 없이 효과를 측정하기 위해 Propensity Score Matching (PSM)을 통해 합성 대조군을 구성한 다음 Difference-in-Differences (DiD) 방법을 적용해야 합니다. 먼저, 전사 데이터(활동, 인구 통계, 유지율)를 바탕으로 배지 획득 확률(로지스틱 회귀)을 평가하여 "처치"한 사용자와 유사한 "대조군" 사용자와 비교합니다. 그런 다음 이러한 그룹 간의 목표 지표(참여 깊이)의 동향을 비교하여 배지의 효과를 일반적인 성장 추세와 분리할 수 있습니다.
병렬 추세에 대한 가정이 비판적으로 중요하며, 이를 통해 event-study 분석을 수행해야 합니다: 지연 및 선처리를 포함한 회귀를 구축하고 도입 전에 계수가 통계적으로 유의미하지 않은지 확인합니다. 감도를 높이기 위해 CUPED를 Python 또는 R에서 사용하여 실험 전 공변량의 분산을 줄입니다. 최종 ATT (Average Treatment Effect on the Treated) 평가가 게이미피케이션의 순수 효과를 편향되지 않게 측정합니다.
회사가 "EduTech"라는 프로그램을 시작했으며, 사용자는 코스에 대한 피드백을 남기면 디지털 배지를 받을 수 있었습니다. 레거시 백엔드의 기술적 제약으로 인해 청중을 무작위로 분할할 수 없었고, 따라서 분석가는 강한 자기 선택이 있는 "참여 깊이" 지표(주당 평균 시청한 수업 수)에 미치는 영향을 측정하는 데 어려움을 겪었습니다: 가장 적극적인 학생이 피드백을 남겼기 때문에 명백한 편향이 발생했습니다.
네 가지 접근 방법이 고려되었습니다.
도입 후 배지를 받은 그룹과 받지 않은 그룹 간의 평균 단순 비교. 주된 장점은 데이터 준비 없이 SQL로 계산 속도가 빠르다는 점입니다. 치명적인 단점은 자기 선택을 완전히 무시한다는 것입니다: 적극적인 사용자는 더 빠르게 성장하며(성숙 효과), 이로 인해 효과의 과대 평가와 잘못된 결론이 도출됩니다.
배지가 있는 그룹에서만 "전후" 분석. 장점은 그룹 간 차이를 제외하고 동일한 사용자에 대한 응답 t-테스트를 사용하는 것입니다. 그러나 배지 효과를 일반적인 계절적 활성화 성장(학년 시작) 또는 추천 알고리즘의 동시 변경으로부터 분리할 수 없어 결론이 신뢰할 수 없게 됩니다.
과거 활동에 대한 변수를 추가하여 공변량을 제어한 OLS 회귀. 이는 statsmodels에서 신속하게 구현되며 이해하기 쉬운 계수를 제공합니다. 하지만 이 방법은 의존성의 엄격한 선형성이 요구되며, 이상치에 민감하고 사용자의 시간에 따른 개별적 성장 추세를 고려하지 않아 평가가 왜곡될 수 있습니다.
PSM + Difference-in-Differences (선택된 해결책). 우리는 배포 전 예측 변수에 대한 Propensity Score Matching을 BigQuery에서 수행하고, 그 후 logistic regression을 사용했습니다(로그인 빈도, 수료한 과정). 그런 다음 사용자와 주의 고정 효과가 포함된 DiD를 적용했습니다. 장점은 관찰된 특성에 대한 선택 편향 최소화와 병렬성 유지에 의한 시간 추세 제거입니다. 단점은 계산 복잡도가 높고, 병렬 추세의 가정이 검증이 필요하다는 것입니다: event-study 그래프를 통해
해결책은 관찰 데이터만으로 가장 편향되지 않은 평가를 제공하는 능력 때문에 선택되었습니다. 분석 결과 배지가 참여도를 12% 증가시키지만, 경과가 3개월 미만인 사용자에게만 해당됨을 알게 되었습니다. "베테랑" 사용자에게는 효과가 통계적으로 유의하지 않았으며, 이를 통해 제품 팀은 적립 규칙을 재검토하고 온보딩에 집중할 수 있게 되었습니다.
DiD에서 병렬 추세 가정이 위반되지 않았는지 어떻게 확인할 수 있나요, 실험이 없는 경우?
후보자들은 종종 그래프의 시각적 비교로만 제한하여 형식적인 검증을 놓칩니다. event-study 회귀를 구축해야 하며, 처리 전후의 각 기간에 대한 더미 변수를 포함해야 합니다. "전" 기간의 계수가 통계적으로 유의미하면(p-value < 0.05) 가정이 위반된 것입니다. 이 경우 CUPED를 적용하여 사전 추세를 조정하거나 Synthetic Control Method를 사용하여 개입 전 처리 그룹의 추세와 가장 가까운 추세를 가진 대조 그룹을 구축할 수 있습니다.
왜 Propensity Score Matching이 숨겨진 특성에 대한 내생성 문제(selection on unobservables)를 해결하지 못합니까?
PSM은 관찰된 공변량(나이, 활동)만 균형을 맞추지만, 측정하기 어려운 숨겨진 동기(예: "학습에 대한 사랑")가 있다면 여전히 편향이 남습니다. 이를 해결하기 위해서는 도구 변수가 필요하며(IV), 예를 들어 배지 획득 확률에 상관 있지만 직접적으로 참여도에 영향을 주지 않는 오프라인 센터와의 지리적 거리 등이 있습니다. 대안으로는 배지 획득의 기준이 엄격한 경우(예: 정확히 3개의 리뷰) Regression Discontinuity Design (RDD)을 사용할 수 있으며, 이는 외생적 변화를 생성합니다.
소셜 그래프를 통한 효과 "전파"로 인해 게이미피케이션에서 SUTVA(Stable Unit Treatment Value Assumption) 위반을 어떻게 처리합니까?
친구들이 배지를 보고 피드백을 작성하게 되면, 표준 DiD는 직접적 및 간접적 효과를 혼합하여 편향된 평가를 제공합니다. 해결책은 친구 그룹에 대한 클러스터 표준 오류를 사용하거나, "처리된" 사용자와 관련된 사용자들을 대조 그룹에서 제외하는 두 단계 샘플링을 사용하는 것입니다. Python의 causalml 또는 mediation 라이브러리를 통해 중재 분석을 수행하여 전반적인 효과를 직접(사용자 자신에게) 및 간접(친구에게) 효과로 나누어 진정한 효과의 과소 평가를 피할 수 있습니다.