Marketing Metrics(Conversion, Retention , Segmentation, A/B Test)

본 글은 Datacamp에 있는 Marketing 강의 내용을 작성한 것 입니다.

강의명은 Analyzing Marketing Campaigns With Pandas 입니다.

 

우리는 비즈니스의 문제를 실제 측정 가능하도록 만들 필요가 있습니다. 가장 많이 쓰이는 질문은 아마도

 

"이번 광고 캠페인은 성공적이었나?"

 

하는 질문일 것입니다. 캠페인의 성공 여부를 평가할 지표는 여러가지가 있습니다. 

 

보통은 Conversion rate, 전환율이라고 하는 지표로 평가합니다. 전환율은 마케팅 캠페인에 노출된 사람 중 상품을 구매한 사람들의 비율을 의미합니다. 여기서 상품을 구매하는 것은 당연히 도메인에 따라 보험에 가입하거나, 서비스를 구독하는 것 등으로 바뀔 수 있습니다. 

 

많은 구독 서비스들은 Retention Rate에도 관심이 있습니다. 한번 구독한 고객이 계속 1개월, 3개월, 1년 계속해서 구독하는지를 의미합니다. 이는 측정을 위해 꽤 긴 기간을 필요로 합니다. 예를 들어 90일 Retention을 계산한다고 하면, 90일이 지날 때 까지는 계산할수가 없기 때문입니다.

 

Segmentation은 고객들을 특성에 따라 나누는 것을 의미합니다. 앞서 등장했던 Conversion Rate나, Retention 같은 용어들을 전체 고객을 대상으로 보는 것이 아니라, 연령, 거주지역, 성별 등이 있겠죠. 어떤 광고 캠페인이 전반적으로는 낮은 전환율을 갖음에도 불구하고 55세 이상 연령층의 사람들에게서는 높은 전환율을 보일수도 있습니다. 연령별로 나눠서 보지 않았다면 실패로 판단했을 마케팅 캠페인을 55세 이상의 사람들을 대상으로 마케팅을 할 방법을 새로 발굴했다고 평가할수도 있겠죠.

 

A/B Testing은 어떤 선택지가 더 좋은지를 평가하는 일종의 랜덤 실험입니다. 실험이 의미를 갖기 위해서는, 테스트하고자 하는 주제가 실제 Production에서 운영중인 것이어야 합니다. 실험의 각 선택지는 비교, 평가하고자 하는 한 가지 대상에서만 차이를 보여야 합니다. 페이지의 버튼이 될 수도 있고, 어떤 이미지나 문구가 될 수도 있겠죠. 그렇지 않으면 평가지표가 어떤 것에 영향을 받아서 차이가 나는 것인지를 알기가 어렵습니다. 

 

실험을 하기 전에, 가설을 설정하고 평가 지표를 설정해야 합니다. 반드시 긍정적인 결과를 내야하는 상황이라면 회고 과정에서 실험의 성공을 재정의할수도 있습니다. A/B Test의 장점은 실제 비교를 통해 어떤 것이 평가 지표에 긍정적인 영향을 미쳤는지를 비교할 수 있다는 점입니다.

 

A/B Test에서 중요하게 생각하는 지표는 Lift입니다. 

Lift는 어떤 변화를 주기 전의 Conversion rate에 비해, 변경된 안의 Conversion rate가 얼만큼 상승했는지를 비율로 나타내는 것입니다. 기초통계 수업을 들어보신 분들이라면 실험군, 대조군 개념에 대해서 알고 있을텐데, 대조군에 비해 실험군 Conversion rate의 변화량이라고 할 수 있겠습니다. 실험군의 Conversion rate가 크게 상승했다면, 실험군의 안을 유지할 수도 있겠죠. 하지만 통계적인 검증이 필요합니다. 이때 활용되는 것이 Two-Sample T-Test 입니다.

 

T-Test는 표본의 평균과 표준편차를 사용해서 두 샘플의 차이가 우연히 발생할 가능성을 측정합니다. 

위의 그림을 한번 봅시다. Sample1과 2가 검은색으로 칠한 부분만큼 겹쳐있죠. 이 두 Sample이 겹쳐진 공간이 적으면 적을수록, 두 집단이 명확한 차이를 보일 가능성은 증가합니다. 표본평균과 표준편차, 그리고 샘플 수를 기반으로 T-Statistics, 우리말로는 T-통계량이라는 것을 계산합니다. 보통 이 값이 1.96일때 통계적 유의성이 95% 있다고 판단합니다. 95%의 신뢰수준이 가장 많이 활용되고, 높게는 99% 낮게는 90% 등의 값이 쓰이곤 합니다. Python에서는 scipy의 stats에 있는 ttest_ind() 함수를 많이 사용합니다.

 

A/B Testing의 가장 큰 함정은 실험군에 해준 처리가 전체 모집단에 동일하게 영향을 미친다는 것입니다. 다른 모든 마케팅 전략들과 동일하게, 어떤 변화나 처리는 특정 집단(연령, 나이, 성별 등)에만 영향을 미칠 수 있습니다. 따라서 인구통계학적으로 잘게 나누는 과정을 통해 실험 결과에 대한 전반적인 이해를 할 필요가 있습니다. 모든 유저, 고객들이 다 비슷하지는 않기 때문이죠.