증분 실험으로 마케팅 믹스 모델 보정하기: ROAS를 파라미터로

증분 실험 결과를 마케팅 믹스 모델에 넣는 가장 깔끔한 방법은, 모델이 재려는 ROAS를 모델 파라미터로 직접 세우고 그 사전분포에 실험값을 꽂는 것이다. Google 연구진이 2024년 1월에 낸 Media Mix Model Calibration With Bayesian Priors^[1]가 이 재매개변수화를 제안한다. 시뮬레이션에서 보정한 모델의 사후 ROAS 표준편차는 보정 없는 모델의 약 5분의 1로 줄었다^[1]. 단, 근거는 시뮬레이션이고, 교란 변수가 관측되지 않으면 편향이 완전히 사라지지는 않는다.

이 글은 arXiv가 아닌 research.google 공개 PDF(2024년 1월, 저자 7인)^[1]를 끝까지 읽고 수치를 원문과 대조해 쓴다. 인과 해석은 모든 교란을 통제했다는 검증 불가능한 가정에 기댄다는 점을 저자들이 먼저 밝힌다. 우리는 다단계 측정 파이프라인을 직접 돌리는 쪽이라 이 주제에 이해관계가 있다.

문제: 왜 실험 결과를 MMM에 넣기 어려운가

마케팅 믹스 모델과 증분 실험은 같은 광고 효과의 다른 면을 잰다. MMM은 집계된 과거 데이터로 기준 매출 위에서 채널별 장기 평균 효율을 재고, 지출 변동이 적은 작은 채널에서는 정밀도가 떨어진다^[1]. 증분 실험은 노출 집단과 비노출 집단을 무작위로 갈라 특정 채널의 단기 인과 효과를 특정 시점에 잰다. 하나는 넓고 길게, 다른 하나는 좁고 짧게 본다.

베이지안 MMM의 장점은 이 실험 결과를 사전분포로 흡수할 수 있다는 것이다^[2]. 그런데 실제로 넣는 과정이 애매하다. 관행적 방법은 응답 계수 ${\beta }_m$의 사전분포를 여러 조합으로 바꿔 가며, 거기서 함축되는 ROAS의 사전분포가 실험값에 맞을 때까지 반복하는 것이다^[1]. 이 방식은 두 가지가 걸린다. ${\beta }_m$은 포화·이월 파라미터와 얽혀 있어 해석적으로 맞춰야 해서 느리고 전문성이 필요하다. 그리고 원하는 ROAS 사전분포의 표준편차가 작으면, 그에 맞는 독립적 ${\beta }_m$ 사전분포가 아예 존재하지 않을 수 있다. ${\beta }_m$ 하나가 ROAS 분산을 다 만드는 게 아니기 때문이다.

마케팅 믹스 모델과 ROAS의 정의

기반 모델은 Geo-level Bayesian Hierarchical MMM(GBHMMM)이다^[2]. 지역 $g$, 시점 $t$의 매출 $y_{t,g}$를 기준항, 매체항, 통제항의 합으로 본다.

여기서 $x_{t,m,g}^{\ast }$는 매체 $m$의 지출 시계열, $z$는 통제 변수, ${\tau }_g$는 지역별 기준 매출이다. 광고의 포화와 이월은 두 변환으로 들어간다.

Hill 함수는 지출이 늘수록 효과가 체감하는 포화를 담고, $K$는 반포화점이다. Adstock은 보유율로 과거 지출의 효과가 최대 $L$기간 동안 감쇠하며 누적되는 이월을 담으며, 보유율은 0과 1 사이 값이다^[2].

ROAS는 광고비 1달러당 증분 매출이다. 저자들은 이를 Rubin 인과 모델의 잠재적 결과 틀로 정의한다. 채널을 켠 세계의 매출에서 끈 세계의 매출을 빼고 지출로 나눈 값이다^[1]. 모델 식으로 풀면 ROAS는 다음과 같다.

여기서 $C_{t,m,g}$는 지출, $F$는 켠 세계와 끈 세계의 변환 차이다. 핵심은 ROAS가 ${\beta }_{m,g}$를 비롯한 여러 파라미터의 함수라는 것이다. 그래서 ROAS에 직접 손댈 길이 모델 안에 없었다.

핵심 아이디어: ROAS를 모델 파라미터로 재매개변수화

이 논문의 방법은 모델을 다시 세워 ROAS 자체를 파라미터로 만드는 것이다. 먼저 ${\beta }_{m,g}={\beta }_m+{\eta }_m{Z}_{m,g}$로 풀고, 위 ROAS 식을 ${\beta }_m$에 대해 역으로 정리하면 ${\beta }_m$이 ROAS의 닫힌 형식 함수가 된다.

지출 $C_{t,m,g}$와 구간 $[T_0,T_1]$이 알려진 값이므로 $H$는 닫힌 형식으로 계산된다. 이제 원래 모델에서 ${\beta }_m$ 자리에 이 $H$를 넣으면, 모델이 ${\beta }_m$ 대신 ${\mathrm{ROAS}}_m$을 파라미터로 갖는다. 전에는 ${\beta }_m$에 사전분포를 두었지만, 이제는 ${\mathrm{ROAS}}_m$에 사전분포를 둔다. 증분 실험이 주는 범위(평균·신뢰구간)를 음수를 막는 로그정규 분포로 바꿔 ROAS 사전분포에 바로 꽂으면 된다^[1].

이 틀은 두 가지 까다로운 경우도 다룬다. 실험이 단기 효과만 재서 모델링 구간 ROAS와 어긋나면, 보정 구간 $[T_0,T_1]$을 실험 구간으로 좁히거나 전체 구간으로 넓혀 선택할 수 있다^[1]. 한 채널에 실험이 여러 개면 실험별 ROAS는 서로 구별되지 않아(같은 ${\beta }_m$을 주는 조합이 여럿이다) 식별이 안 되므로, 저자들은 지출로 가중한 집계 ROAS 하나로 합치기를 권한다^[1]. 같은 재매개변수화는 BMMM^[3] 등 ROAS와 한 파라미터 사이에 일대일 대응이 있는 다른 베이지안 MMM에도 적용된다.

실험 설정과 결과

근거는 시뮬레이션이다. 매체 1개, 통제 변수 1개, 지역 100개, 104주(2년) 데이터를 모델 식에서 생성했다^[1]. 통제 변수는 계절성을 흉내 내는 사인파에 잡음을 더했고, 매체 지출은 그 통제 변수와 양의 상관을 갖게 해 교란 구조를 심었다. 보정은 비정보 사전분포를 쓴 기본 모델과 ROAS 사전분포를 쓴 보정 모델을 비교한다.

결과의 핵심 수치는 불확실성이다. 보정 없는 모델의 사후 ROAS 표준편차는 보정한 모델의 약 5배였다^[1]. 전체 구간 사전분포와 부분 구간(3분기) 사전분포 둘 다 사후 분포가 비슷하게 좁아졌고, 전체 구간 쪽이 신뢰구간이 조금 더 좁았다.

편향은 더 조심스럽다. 교란 변수를 관측하지 못하고 잡음 섞인 대리 변수로만 재는 상황을 흉내 내자, 보정을 하든 안 하든 ROAS 추정이 편향됐다^[1]. 다만 ROAS 사전분포를 쓴 보정이 그 편향을 크게 줄였고, 전체 구간 사전분포가 단기 부분 구간 사전분포보다 편향 감소에 더 효과적이었다. 이 시뮬레이션은 누락 변수와 모델 오지정이 없는 이상적 경우라고 저자들이 분명히 적는다.

한계

이 논문의 근거는 전부 시뮬레이션이고, 실제 광고주 데이터로 검증한 결과는 없다^[1]. 저자들이 직접 짚는 한계가 몇 가지 있다.

• 인과 해석은 조건부 교환가능성이라는 검증 불가능한 가정에 기댄다. 모든 교란을 통제해야 하고, 매개 변수나 충돌 변수를 잘못 통제하면 오히려 편향이 들어온다.
• 교란이 관측되지 않으면 보정으로도 편향을 완전히 없애지 못한다. 줄일 뿐이다.
• ROAS 사전분포는 참값 근처에 놓여야 한다. 실험 추정이 단기라서 장기 효과를 과대·과소평가하면, 편향된 값을 사전분포로 주입하는 셈이다.
• 한 채널의 여러 실험은 개별 ROAS가 식별되지 않아, 집계 ROAS 하나로 합치는 우회가 필요하다.

즉 이 방법은 실험을 모델에 넣는 통로를 깨끗하게 만들 뿐, 실험 자체의 품질과 교란 통제를 대신해 주지는 않는다.

TRAIL에서 보는 것

이 논문에서 내게 남는 것은 그 수치보다 그것이 나온 방식이다. 핵심은 하나다. 재고 싶은 양을 모델 깊숙한 곳에 묻어 두고 대리 지표로만 더듬지 말고, 재는 양을 곧 파라미터로 세우라는 것. ROAS는 비즈니스가 관심 있는 양이고 실험이 재는 양인데, 모델은 아무도 직관이 없는 계수 ${\beta }_m$으로 적혀 있었다. 그래서 실험 지식을 넣으려면 ${\beta }_m$ 사전분포를 더듬어 맞춰야 했다. ROAS를 파라미터로 세우자 실험값이 곧장 들어간다.

나는 AI 검색 가시성을 재는 일을 한다. 그래서 이 구조가 남 일 같지 않다. GEO 대시보드가 보여 주는 노출 점수나 점유율은 경쟁사 활동, 모델 업데이트, 질문 구성이 한데 얽힌 대리 지표다. 거기에는 "우리가 이 페이지를 이렇게 바꿨더니 인용이 늘었다"는 인과 실험의 결과를 바로 꽂을 자리가 없다. 광고 성과 쪽은 이미 실험을 사전분포로 꽂는 데까지 와 있는데, AI 인용을 재는 쪽은 아직 대리 지표에 머물러 있는 셈이다.

그래서 우리가 만드는 측정은 대시보드 숫자 하나가 아니라 루프다. 프롬프트 세트를 엔진별로 정기 추적하고, 바꾼 것을 실험처럼 전후로 재서, 그 결과가 다음 추적의 기준이 되게 하는 것. 이 논문은 그 루프가 광고 측정에서 어떤 모양으로 성숙했는지 보여 준다. 구성요소 점수와 루프 안의 성과가 갈라진다는 주제는 검색 풀에는 들어가는데 인용은 안 되는 현상이나 고립 정확도가 에이전트 루프 성공을 예측하지 못하는 결과에서 이미 본 것과 같다. 인용을 무엇으로 셀지부터가 측정 설계라는 점은 생성 엔진 최적화의 측정 정의에서 다뤘다. 어느 영역이든 믿을 수 있는 숫자는 자기 루프 안에서, 바꾼 것을 실험으로 재서 나온 숫자다.

증분 실험의 최신 설계는 Google의 trimmed match geo 실험^[4]에서, 측정을 디지털 광고의 새 기준으로 보는 관점은 HBR의 2023년 글에서 이어진다.