Marcom Valuation : A / B 테스트의 대안

차원 구

그래서 우리는 항상 방법을 알고 싶어 마르콤 (마케팅 커뮤니케이션)은 매개체와 개별 캠페인 모두에서 성과를 내고 있습니다. marcom을 평가할 때 간단한 A / B 테스트를 사용하는 것이 일반적입니다. 이것은 무작위 샘플링이 캠페인 처리를 위해 두 개의 셀을 채우는 기술입니다.

한 셀은 테스트를 받고 다른 셀은 그렇지 않습니다. 그런 다음 두 셀간에 응답률 또는 순 수익이 비교됩니다. 테스트 셀이 컨트롤 셀을 능가하는 경우 (상승도, 신뢰도 등의 테스트 매개 변수 내에서) 캠페인은 중요하고 긍정적 인 것으로 간주됩니다.

다른 이유는 무엇입니까?

그러나이 절차에는 통찰력 생성이 부족합니다. 아무것도 최적화하지 않고 진공 상태에서 수행되며 전략에 영향을주지 않으며 다른 자극에 대한 제어도 없습니다.

둘째, 너무 자주, 테스트는 적어도 하나의 셀이 우연히 다른 제안, 브랜드 메시지, 커뮤니케이션 등을 수신했기 때문에 오염됩니다. 테스트 결과가 결정적이지 않고 무의미하다고 여겨지는 횟수는 몇 번입니까? 그래서 그들은 반복해서 테스트합니다. 그들은 테스트가 작동하지 않는다는 것을 제외하고는 아무것도 배우지 않습니다.

그렇기 때문에 다른 모든 자극을 제어하기 위해 일반 회귀를 사용하는 것이 좋습니다. 회귀 모델링 또한 ROI를 생성 할 수있는 marcom 평가에 대한 통찰력을 제공합니다. 이것은 진공 상태에서 수행되는 것이 아니라 예산 최적화를위한 포트폴리오로 옵션을 제공합니다.

예제

테스트 대 제어라는 두 개의 이메일을 테스트했는데 결과가 의미가 없다고 가정 해 보겠습니다. 그런 다음 브랜드 부서가 실수로 (대부분) 통제 그룹에 DM을 보냈다는 사실을 알게되었습니다. 이 조각은 테스트 셀을 무작위로 선택하는 데 (우리가) 계획하거나 설명하지 않았습니다. 즉, 평상시와 같은 비즈니스 그룹은 일반적인 DM을 받았지만 제외 된 테스트 그룹은받지 못했습니다. 이것은 한 그룹이 다른 사업부와 일하지 않거나 통신하지 않는 회사에서 매우 일반적입니다.

따라서 각 행이 고객인지 테스트하는 대신 기간 (예 : 매주)별로 데이터를 롤업합니다. 우리는 주별로 테스트 이메일, 제어 이메일 및 발송 된 DM의 수를 합산합니다. 또한 계절을 설명하기 위해 이진 변수를 포함합니다 (이 경우 분기 별). 표 1은 10 주차부터 이메일 테스트가 포함 된 집계의 일부 목록을 보여줍니다. 이제 모델을 수행합니다.

net \ _rev = f (em \ _test, em \ _cntrl, dir \ _mail, q_1, q_2, q_3 등)

위에서 공식화 한 일반 회귀 모델은 표 2 출력을 생성합니다. 관심있는 다른 독립 변수를 포함합니다. 특히 (순) 가격은 독립 변수로 제외된다는 점에 유의해야합니다. 이는 순수익이 종속 변수이고 다음과 같이 계산되기 때문입니다. (순) 가격 * 수량.

표 1

em_test em_cntrl dir_mail q_1 q_2 q_3 net_rev
9 0 0 55 1 0 0 $ 1,950
10 22 35 125 1 0 0 $ 2,545
11 23 44 155 1 0 0 $ 2,100
12 30 21 75 1 0 0 $ 2,675
13 35 23 80 1 0 0 $ 2,000
14 41 37 125 0 1 0 $ 2,900
15 22 54 200 0 1 0 $ 3,500
16 0 0 115 0 1 0 $ 4,500
17 0 0 25 0 1 0 $ 2,875
18 0 0 35 0 1 0 $ 6,500

가격을 독립 변수로 포함한다는 것은 방정식의 양쪽에 가격이 있다는 것을 의미하며 이는 부적절합니다. (내 책, 마케팅 분석 : 실제 마케팅 과학에 대한 실용적인 가이드,이 분석 문제에 대한 광범위한 예제와 분석을 제공합니다.)이 모델의 수정 된 R2는 64 %입니다. (더미 트랩을 피하기 위해 q4를 삭제했습니다.) emc = 제어 이메일 및 emt = 테스트 이메일. 모든 변수는 95 % 수준에서 유의합니다.

표 2

q_3 q_2 q_1 dm emc 구급차 const를
코프 -949 -1,402 -2,294 12 44 77 5,039
성 오류 474.1 487.2 828.1 2.5 22.4 30.8
t 비율 -2 -2.88 -2.77 4.85 1.97 2.49

이메일 테스트 측면에서 테스트 이메일은 제어 이메일보다 77 대 44보다 성능이 우수했으며 훨씬 더 중요했습니다. 따라서 다른 사항을 고려하여 테스트 이메일이 작동했습니다. 이러한 통찰력은 데이터가 오염 된 경우에도 제공됩니다. A / B 테스트는 이것을 생성하지 않았을 것입니다.

표 3은 순수익 측면에서 각 차량의 기여도 인 마르코 밸류에이션을 계산하기 위해 계수를 취합니다. 즉, DM의 가치를 계산하기 위해 계수 12에 109의 평균 DM 발송 수를 곱하여 $ 1,305를 얻습니다. 고객은 평균 4,057 달러를 지출합니다. 그러므로 $ 1,305 / $ 4,057 = 26.8 %. 즉, DM이 총 순수익의 거의 27 %를 차지했습니다. ROI 측면에서 109 개의 DM이 $ 1,305를 생성합니다. 카탈로그 비용이 $ 45이면 ROI = ($ 1,305 – $ 55) / $ 55 = 2300 %!

가격은 독립 변수가 아니기 때문에 일반적으로 가격의 영향은 상수에 묻혀 있다고 결론을 내립니다. 이 경우 상수 5039에는 가격, 기타 누락 된 변수 및 임의 오류 또는 순수익의 약 83 %가 포함됩니다.

표 3

q_3 q_2 q_1 dm emc 구급차 const를
코프 -949 -1,402 -2,294 12 44 77 5,039
평균 0.37 0.37 0.11 109.23 6.11 4.94 1
$ 4,875 - $의 352 - $의 521 - $의 262 $ 1,305 $ 269 $ 379 $ 4,057
가치 -7.20 % -10.70 % -5.40 % 26.80% 5.50% 7.80% 83.20%

결론

일반 회귀 분석은 기업 테스트 계획에서 흔히 볼 수 있듯이 더티 데이터에 대한 통찰력을 제공하는 대안을 제공했습니다. 회귀는 또한 순수익에 기여할뿐만 아니라 ROI에 대한 비즈니스 사례를 제공합니다. 보통 회귀는 마르코 밸류에이션 측면에서 대체 기법입니다.

ir? t = marketingtechblog 20 & l = as2 & o = 1 & a = 0749474173

댓글 2

  1. 1

    실용적인 문제에 대한 좋은 대안, 마이크.
    당신이 한 방식으로, 나는 직전 몇 주 동안 대상 커뮤니케이터가 겹치는 것이 없다고 생각합니다. 그렇지 않으면 자동 회귀 및 / 또는 시간 지연 구성 요소가 있습니까?

  2. 2

    최적화에 대한 귀하의 비판을 마음에 새기고이 모델을 사용하여 채널 지출을 최적화하는 방법은 무엇입니까?

당신은 어떻게 생각하십니까?

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터 처리 방법 알아보기.