광고 소재 ab테스트 승자, 타겟이 바뀌어도 통할까?

광고 소재 ab테스트에서 A가 B를 이겼다면, 다음 고객층에도 A를 내보내면 될까? 테스트 결과는 소재만이 아니라 그 소재를 본 사람들에 관한 결과이기도 하다. 크리에이티브 테스트는 실제 잠재고객을 대상으로 메시지가 의도한 고객에게 전달되는지 살펴보는 과정이며, 한 캠페인의 최고 성과 소재는 그 캠페인 안에서 비교 기준이 된다. 두 설명 모두 ‘승자’를 모든 고객에게 통하는 정답으로 읽어서는 안 된다는 점을 일깨운다. 1 3

광고 소재 ab테스트 결과가 다른 타겟에서 달라질 수 있는 이유

예를 들어 제품 사진을 앞세운 A와 브랜드를 소개하는 B를 비교한다고 하자. 처음 테스트한 고객층에서 A가 앞섰더라도, 다른 고객층이 B에 어떻게 반응할지는 그 결과만으로 알 수 없다. 이는 실제 성과 사례가 아니라, 소재의 차이와 광고 타겟팅의 차이를 구분해야 하는 이유를 보여 주는 가정이다. Outset의 크리에이티브 테스트 설명도 ‘의도한 잠재고객’에게 메시지가 통하는지를 핵심 질문으로 제시한다. 1

타겟과 광고 목적을 함께 바꾸면 해석은 더 어려워진다. 라쿠텐 TDA 광고를 설명하는 자료는 설정한 세그먼트에 배너를 노출할 수 있으며, 브랜드 인지 확대와 당장의 매출을 위한 세그먼트·배너를 별도로 검토한다. 따라서 새 고객층에서 수치가 달라졌다고 해서 원인을 소재 하나로 단정할 수는 없다. 2

승자를 확장하기 전, 이렇게 다시 비교하자

1. 먼저 질문을 정한다. ‘A가 어느 고객층에서든 B보다 나은가?’처럼 비교할 두 소재와 고객층을 명확히 적는다.
2. 고객층별로 A와 B를 모두 비교한다. 가능하면 광고 목적, 게재 위치, 집계 기간, 판단 지표를 맞춘다. 그래야 타겟 외의 차이를 줄일 수 있다.
3. 각 고객층 안에서 승패를 읽는다. 한 고객층의 클릭 수와 다른 고객층의 클릭 수를 그대로 맞대기보다, 같은 고객층에서 A와 B가 어떻게 달랐는지 본다. 관측치가 적거나 차이가 미미하다면 승자를 확정하기보다 판단을 보류한다.

광고 성과 분석에서 남겨야 할 기록은 ‘A가 이겼다’ 한 줄이 아니다. 누구에게, 어떤 목표로 보여 줬을 때 A가 이겼는지까지 기록해야 다음 타겟으로 넓힐 때 다시 검증할 질문이 생긴다.