광고 대시보드의 전환에는 광고가 없어도 일어났을 구매가 섞일 수 있다. 증분효과 실험은 광고를 받을 수 있는 집단과 광고를 보류한 통제 집단의 결과를 비교해 광고가 추가로 만든 변화를 추정한다.
어떤 단위로 통제군을 만들지는 편의보다 질문에 따라 정해야 한다. 특정 플랫폼이나 캠페인의 추가 기여를 알고 싶다면 사용자 홀드아웃이 가깝다. 지역별 매출·방문·가입처럼 집계된 사업 결과를 묻고 지리별 집행을 통제할 수 있다면 지역 실험을 검토할 수 있다.
플랫폼 안의 추가 기여라면 사용자 홀드아웃부터 본다
플랫폼이 광고 대상 사용자를 실험군과 통제군으로 나눌 수 있고, 알고 싶은 결과도 그 플랫폼 광고의 추가 전환이라면 사용자 홀드아웃이 출발점이다. Google Ads의 전환 상승도 안내는 광고를 보는 사용자와 보지 않는 사용자의 전환 차이로 상승도를 측정한다고 설명한다. TikTok의 Conversion Lift Study 안내도 같은 비교 구조를 제시하며, 연구 범위를 특정 캠페인이나 TikTok 전체 광고로 정할 수 있다고 밝힌다.
이 결과는 해당 플랫폼과 연구 범위의 예산을 판단하는 근거다. 다른 매체, 자연 유입, 오프라인 판촉까지 합친 전체 마케팅의 증분효과로 확대해서는 안 된다. 한 캠페인만 시험할지 플랫폼 광고 전체를 시험할지도 시작 전에 고정해야 한다.
지역 KPI와 집행 통제가 함께 있어야 지역 실험이 된다
지역 실험은 광고를 집행하는 지역과 보류하는 지역을 나눈 뒤 매출·주문·방문 같은 집계 KPI의 차이를 추정한다. 사용자 단위 연결이 어렵거나 오프라인 결과를 포함해야 할 때 유용하다. Google Ads도 지역 집계 데이터로 집단을 나누고 오프라인 데이터를 지원하는 방식으로 지역 기반 전환 상승도를 설명한다.
지역명이 붙은 매출 파일만으로는 부족하다. 날짜·지역별 KPI가 있어야 하며, 같은 지리 단위로 광고 구매를 켜고 끌 수 있어야 한다. Rockerbox의 증분효과 실험 안내가 제시하는 두 조건도 지역별 KPI와 지리 집행 통제다. GeoLift Walkthrough는 사전 기간 KPI를 이용해 시장 조합, 검정력, 최소탐지효과와 예산을 검토하도록 안내한다.
다섯 조건을 대입하면 선택 범위가 좁아진다
| 확인할 조건 | 사용자 홀드아웃 | 지역 실험 |
|---|---|---|
| 답하려는 질문 | 특정 플랫폼·캠페인의 추가 기여 | 선택한 지역·기간의 집계 성과에 대한 추가 기여 |
| 나눌 수 있는 단위 | 노출 가능 사용자를 실험군과 통제군으로 분할 | 비교 가능한 지역을 집행 지역과 보류 지역으로 분할 |
| 핵심 결과 데이터 | 연구에서 미리 정의한 전환 | 날짜·지역별 매출·방문·주문 등 집계 KPI |
| 주요 오염 위험 | 연구 밖 채널까지 결과를 일반화하는 해석 | 지역 간 이동, 매체 누출, 한쪽 지역의 동시 판촉 |
| 결과를 쓸 범위 | 해당 플랫폼과 연구 범위의 예산 판단 | 실험에 포함한 지역·기간·채널의 운영 판단 |
질문이 플랫폼 안에 머물고 사용자 분할이 가능하면 사용자 홀드아웃을 우선 검토한다. 오프라인이나 지역 단위 결과가 질문에 포함되고 지리별 집행을 실제로 통제할 수 있다면 지역 실험 쪽으로 기운다. 어느 쪽도 분할할 수 없다면 단순 전후 비교를 증분효과 실험으로 부르기 어렵다.
차분의 차분 같은 관찰 자료 분석은 대안이 될 수 있다. 다만 비교 지역의 사전 추세가 평행하다는 가정과 실험 기간 중 다른 충격이 없다는 조건을 따로 점검해야 하므로, 무작위 통제 실험과 같은 수준의 설계로 취급해서는 안 된다.
지역 데이터가 있어도 지역 실험이 부적합할 수 있다
인접 지역의 소비자가 오가거나 전국 단위 검색·소셜 광고가 두 지역에 함께 노출되면 통제군이 오염된다. 가격, 재고, 영업시간, 쿠폰, CRM 발송을 한쪽 지역에서만 바꿔도 광고 효과와 운영 효과를 분리하기 어렵다. 지역 경계를 정하기 전에 이런 이동과 동시 변경을 목록으로 남겨야 한다.
사용자 홀드아웃에도 실행 조건이 있다. Google Ads는 일부 계정에만 전환 상승도를 제공하며 계정 담당자 문의를 안내한다. TikTok은 목표와 연구 범위에 따른 최소 광고비, 통계적 판단에 필요한 기간, 계정 적격성을 요구하고 담당자와 연구를 설계하는 관리형 서비스라고 설명한다. 고정된 최소 예산이나 기간을 모든 계정에 적용할 수는 없다.
실험 전에 최소탐지효과를 정한다
통제군만 만든다고 유용한 결과가 나오지는 않는다. 의사결정에 필요한 가장 작은 순증을 최소탐지효과로 정하고, 사전 전환량이나 지역 KPI의 변동을 바탕으로 표본·기간·예산을 설계해야 한다. GeoLift의 절차와 Designing Experiments to Measure Incrementality on Facebook은 검정력과 필요 표본을 사전 설계의 과제로 다룬다.
계산에는 최소한 기준 전환율이나 KPI 변동성, 목표 최소탐지효과, 유의수준, 검정력, 집단 배분 가정이 필요하다. 이 값이 없으면 특정 최소 예산이나 기간을 계산할 수 없다. 실제 효과가 목표보다 작거나 표본이 부족한 실험에서 유의한 차이가 나오지 않았다는 사실은 효과가 정확히 0이라는 뜻도 아니다.
보고서에는 결과의 경계를 함께 적는다
종료 보고서에는 순증 전환이나 KPI 변화뿐 아니라 추정치의 불확실성, 실험 단위, 기간, 포함한 캠페인과 제외한 범위를 남겨야 한다. 사용자 홀드아웃은 “이 플랫폼의 이 연구 범위에서”, 지역 실험은 “이 지역·기간·집행 조건에서” 얻은 결과라고 밝혀야 재사용 과정의 과대해석을 막을 수 있다.
선택 기준은 질문과 통제 가능성이다. 플랫폼 광고의 추가 기여를 묻고 사용자 분할이 가능하면 사용자 홀드아웃이 맞다. 지역 집계 성과를 묻고 비교 가능한 지역과 집행 통제를 확보했다면 지역 실험이 맞다. 두 경우 모두 필요한 데이터와 검정력이 부족하다면 실험 방식보다 그 결손을 먼저 보완해야 한다.