디지털 마케팅 AB 테스트 가설수립을 위한 데이터분석 방법

전환되지 않는 트래픽은 ‘전혀’ 쓸모 없다.

만약 웹사이트에 방문자를 유입시키는데 상당한 시간과 자본을 투자했는데, 방문자가 전환되지 않는다면 귀하의 웹사이트는 밑 빠진 독이 되고 비용이 새어 나가는 것이다.

귀하는 전환을 높이기 위해서 어떤 활동을 하고 있는가?

디지털마케팅을 하고 있는 마케터들이 많이 활용하는 방법은 ‘A/B 테스팅’이다.

점점 많은 디지털마케터들에게 A/B 테스팅은 하지 않으면 안되는 밴드웨건 Bandwagon 현상이 되고 있다.

구글, 유투브, 페이스북, 인스타그램, 넷플릭스와 같은 서비스에 들어가는 순간 우리는 특정 테스트의 대조군에 들어가게 된다. AB테스트의 대상이 되는 것이다. 잘 알려져 있듯이 넷플릭스는 거의 모든 것을 AB 테스트하고 있다.

아마존, 구글, 페이스북과 같이 온라인에 기반한 글로벌 기업들은 매년 1만 건이 넘는 AB테스트를 진행하고, 월마트, 싱가포르 항공같은 전통산업의 기업들도 정기적으로 AB테스트를 진행한다.

“모든 것을 실험해 보는 접근 방식이 놀라울 정도로 큰 성과를 가져올 수 있음을 알게 되었다” 라고 하니, 위대한 기업들은 언제나 여러가지의 테스트를 지금도 진행 중이다.

가장 보편적인 A/B 테스트는 무엇일까?

동일한 오디언스에 2개 이상의 유사한 콘텐츠로 보내어 반응을 보고 어떤 것이 가장 적합한 전환을 만들어 내는지 확인하는 것이다.

게스워크(Guess works)는 더이상 필요없다.

많은 기업들은 아직까지도 마케팅의 중요 의사결정에 있어서 HiPPO (Highest Paid Person’s Opinion) 룰을 따른다. 안타깝지만 현실에서 HiPPO는 마케팅 의사결정의 처음이자 끝이다.

아주 다행스럽게도 현재 우리는 추측할 필요가 없는 시대에 와 있다.

감으로 찍어 누르는 의견을 맹목적으로 받아들일 필요가 없어졌다.(필요는 없어졌지만, 선택은 각자의 몫이다.)

결정에 대한 다음과 같은 데이터검증을 할 수 있게 된다면 말이다.

• 디지털 분석도구를 사용하여 방문자가 어디로 이동하는지 파악함.
• 사용자 테스트 및 설문조사 도구를 통해 문제를 파악함.
• 쉽게 A/B 테스트를 구현하여, 어떤 베리에이션 Variation이 더 나은지 확인함.

A/B 테스트를 설정하는 것은 점점 쉬어지고 있다.

하지만, 훌륭한 테스트 아이디어를 만들고 우선 순위를 정하는 과정은 결코 쉽지 않다.

사용자가 웹사이트에서 하는 행동은 거의 측정 가능하다. 사용자/방문자가 무엇을 원하고, 어떻게 구매하는지에 대한 데이터를 얻을 수 있다.

그렇다면 이러한 데이터를 수집하고 분석하여 사용하는 효과적인 방법은 무엇인가?

길을 건너고 싶다고 가정해 보자.

어떤 정보가 필요한가? 습도, 태양의 위치, 풍속, 전선의 수, 옆 사람의 정치성향 등 많은 정보가 있더라도, 실제로 필요한 것은 자동차가 오는지 안 오는지와 자동차의 속도가 있으면 된다.

웹사이트 데이터도 동일하다.

시작할 수 있는 목표는 단순하다.

매출증대, 트라이얼 증대, 더 많은 리드 확보 등과 같은 것이다.

목표를 정했다면, 목표 달성에 대한 인사이트를 얻을 수 있는 질문을 정한다. 예를 들어, 이러한 질문들이다.

• 우리는 현재 ‘누구(고객)’의 문제를 해결하고 있는가?
• 고객(누구)은 무엇이 필요한가?
• 고객(누구)은 무엇을 원한다고 생각하는가? 왜?
• 고객(누구)은 어떻게 결정을 내리는가? 왜?
• 고객(누구)은 우리의 제안/오퍼에 대해서 어떻게 생각하는가?
• 우리가 판매하는 제품/솔루션이 확실히 어떻게 다른가?
• 우리의 웹사이트에서 비용만 계속 투입되는 곳은 어디인가?
• 우리의 웹사이트에서 무엇이 효과를 내고 무엇이 효과를 못 내고 있는가?
• 더 많은 고객(누구)을 행동하게 하는 것은 무엇인가?

올바른 질문을 하기 시작하면 시간을 낭비하지 않고 현명한 결정을 내리는 데 필요한 데이터를 식별해 낼 수 ​​있다.

관건은 행동을 취할 수 있는 데이터가 필요하다는 것이다.

수집이전에 수집할 모든 데이터에 대해 정확히 어떻게 사용하는지 알아야 한다. 데이터가 너무 많으면 악마의 분석(시간과 노력의 투입이 인사이트 도출과 비례하는 것은 아니므로, 필요이상의 시간과 노력은 자제해야 한다.)이 발생할 수 있다. 인사이트를 이끌어 낼 수 있는 데이터에 집중해야 한다.

인사이트는 테스트 가설로 바꿀 수 있는 것을 말한다.

즉, AB테스트를 집행하기 전 반드시 데이터분석을 통한 인사이트를 끌어내어 이를 가설로 만드는 작업이 필요하다.

더 나은 AB 테스트를 위한 다섯가지 데이터 분석법

문제를 식별하고 이를 테스트 할 수 있는 가설로 전환하기 위해 5 가지 유형의 분석을 사용한다.

1. 휴리스틱 분석
2. 테크니컬 분석
3. 디지털행동 분석
4. 디지털 정성조사
5. 마우스 트래킹

각각을 살펴 보자.

1. 휴리스틱 Heuristic 분석

휴리스틱분석 Heuristic Analysis 은 전문가가 이론과 경험을 근거로 하여 일련의 규칙을 만들어 놓고 평가 대상 웹사이트가 그러한 규칙들을 얼마나 잘 지키고 있는가를 확인하는 평가 방법이다. 전문가 검토라고도 하는 휴리스틱 평가는 웹 사이트가 사용자에게 친숙한지 확인하는 방법이다. 전문가적 시각에서 사이트에 대한 문제점을 파악하여 웹사이트 개선에 인사이트를 도출한다.

휴리스틱분석을 위한 프레임 워크는 다음을 기준으로 웹페이지를 판단한다.

• 관련성 : 페이지가 사용자 기대치를 충족하는가?
• 명확성 : 페이지의 컨텐츠 /제안은 명확한가?
• 가치성 : 페이지가 사용자에게 가치를 전달하고 있는가?
• 저항력 : 페이지에서 의심, 망설임, 불확실성을 유발하고 있는 것이 무엇인가?
• 주의산만 : 페이지에 무엇이 사용자의 행동을 돕는데 방해가 되는가?

2. 테크니컬 분석

웹사이트가 모든 브라우저 버전과 모든 기기에서 완벽하게 작동한다고 생각한다면 오산이다.

많은 사이트들은 덜 인기있는 브라우저 버전을 무시하고 있는데, 사실 그로 인해 많은 영업기회를 잃고 있다. 당신은 이미 가장 설득력 있는 사이트를 보유하고있을 수도 있지만 사용자들이 이용하는 브라우저나 디바이스에 제대로 표시되지 않는다면 전환이 충분히 가능한 트래픽 원천을 얻을 수 없다.

이에 대한 해결책은 매우 간단하다.

기술적 분석을 위해서 간단하게 구글애널리틱스 Google Analytics 를 활용해 보자.

구글애널리틱스 Google Analytics 를 열고, ‘고객 > 기술 > 브라우저 및 OS 보고서’ 로 이동한 후, 브라우저당 전환율을 확인한다.

예를 들어 브러우저간 전환율의 차이가 보인다면, 기술적으로 브라우저 혹은 브라우저의 버전간 문제가 있을 수 있는 것이다. 문제가 있는 브라우저의 표시방식을 조사해 볼 수 있다.

브라우저 테스트 외에도 사이트의 속도가 트래픽 전환성과에 영향을 줄 수 있다.

사이트의 속도 테스트는 '페이지로드 시간'과 '페이지반응 시간'으로 나뉜다.

• 페이지로드 시간 은 페이지의 모든 요소가 로딩될 때까지의 시간
• 페이지반응 시간 은 사이트를 최초 사용할 수 있을 때까지의 시간

페이지반응 시간이 훨씬 더 중요하게 관리되어야 하는 지표이다. 왜냐하면, 페이지를 로딩하는 데 시간이 걸리더라도 페이지반응이 시작된다면 사용자 인식경험은 향상된다.

Jakob Nielsen 에 따르면, 사용자는 최대 10초의 로딩 타임을 핸들링할 수 있다. 이커머스의 경우 모든 사용가능한 콘텐츠가 로딩될 때까지 평균 4.9초가 소요된다. (이미 수년전 지표이기 때문에, 이 보다 훨씬 빨라야 할 것이다.)

구글애널리틱스 Google Analytics 를 열고, 여기에서 ‘행동 > 사이트 속도 > 페이지타이밍’ 을 확인한다. 더 느린 페이지를 비교하여 발견한다.

여기서 방문수 대비 속도의 이슈가 있는 페이지를 발견할 수 있다.

이제 Google Pagespeed Insights를 사용하여 사이트를 진단해 보고 구체적으로 어떠한 문제점들이 있는지 확인해 보고, 즉시 개선할 수 있는 것들을 작업한다.

3. 디지털 행동분석

디지털 데이터분석에서도 주로 구글애널리틱스 Google Analytics 를 활용한다.

무엇보다 중요한 것은 분석이전에, 분석을 위한 설정이 올바르게 되었는지를 확인하는 것이다.

데이터분석에 대한 구성이 올바르지 못하면, 데이터가 유의미하지 않을 수 있고, 데이터가 완전하지 않으며, 정확하지 않을 수 있다.

구글애널리틱스 Google Analytics 사용설정에서 최초에 Property 설정과, View 설정이 데이터분석에 대한 구성에 해당된다. 여기서 중요한 점은 올바른 데이터를 수집하려면 모든 것이 올바르게 설정되고 올바른 보고서를 설정하는 기술이 있어야 한다는 것이다. 

구글애널리틱스 Google Analytics를 통해서, 고객 혹은 사이트 방문자의 상당히 구체적인 행동에 대해서 파악할 수 있다. 이러한 이해를 통해서 웹사이트의 경험을 상당부분 최적화를 할 수 있다.

보다 심오한 데이터분석을 위해 구글애널리틱스 Google Analytics 무료강의를 들어보는 것은 어떨까?

구글애널리틱스분석은 Google Analytics ABC 로 알려져 있듯이, 획득 Acquisition – 행동 Behavior – 전환 Conversion 을 데이터분석할 수 있다.

구글애널리틱스 Google Analytics 를 통해서 알 수 있는 것들은 아래와 같다.

• 사람들(고객/오디언스/방문자)가 하는 행동
• 페이지 및 우리가 제공하는 기능의 영향도와 성능
• 사이트내에서 ROI가 좋은 곳과 그렇지 않은 곳

그렇지만, 구글애널리틱스를 통해서 알 수 없는 것은 바로 ‘원인’ 이다.

무엇을, 어디서, 언제, 누가 보았는지 혹은 행동했는지 알 수 있지만 그 원인을 분석하는 것은 다른 분석방법을 활용해야 한다.

구글애널리틱스를 통해서 "무엇"과 "어디"에 대해서 발견 했다면, 한단계 더 나아가 “그 원인”도 찾아 보자.

정성조사를 통해서…

4. 디지털 정성조사

디지털 정성조사는 웹사이트 방문자와 기존고객을 대상으로 진행할 수 있다.

정성설문조사를 위해서는 설문 Polling 도구가 필요하다.

웹사이트 설문조사

첫번째, 사람들이 전환하지 않는 이유 혹은 구매하지 않는 이유를 이해하는데 도움이 되는 것 중 하나는 페이지내 웹사이트 설문조사이다. 웹페이지내에서 가능한 정성조사에는 두 가지 방식이 있다.

1. 출구조사 : 사이트를 떠나려고 할 때 팝업메시지를 표시
2. 온페이지 서베이 : 특정 페이지를 방문할 때 설문조사를 작성하도록 요청

다양한 온라인 서베이를 가능하게 해 주는 도구들이 있고, 대부분 설정하기 쉽고 직관적이지만 조사 전략을 세우는 것만큼 중요한 것은 없다.

고객에게 질문을 보내기 전에 반드시 준비해야 하는 것은 다음과 같다.

• 설문조사를 실시할 페이지를 구성하라.
• 사전 작성된 템플릿 말고, 우리만의 질문을 작성하라.
• 설문조사가 표시되는 행동조건의 기준을 결정하라.

설문 조사가 사람들을 성가시게 할 수도 있지만, 여기에서 얻을 수 있는 통찰력은 매우 높은 가치가 있다는 점을 주목해야 한다. 설문조사의 목표는 전환 가능성에 대한 병목 현상과 이탈 지점을 찾아내는 것이다.

사람들을 주저하게 만드는 것이 무엇인지 식별하는 것으로 시작하는 것이 좋다. 특정 페이지에 있는 방문자의 두려움, 의심, 불확실성은 과연 무엇인지를 이해하는 것이다.

예를 들어, "지금 가입을 방해하는 것이 있습니까?" 라고 묻는 것이다.

페이지가 명확하고 충분한 정보가 있는지 확인하고자 한다면, “이 페이지에 원하는 정보가 있지만 찾을 수 없습니까?” 라고 물을 수 있다.

특정 목표에 따른 페이지내 설문조사의 예제는 아래와 같다.

이탈률이 높은 페이지의 경우, "이 페이지가 기대에 부응했습니까?", 혹은 "이 페이지에 원하는 정보가 포함되어 있습니까?"라고 묻는다.

 

누락된 컨텐츠를 발견하기 위해서는, "다른 제품을 원하십니까?", 혹은 "이 페이지에서보고 싶은 다른 정보는 무엇입니까?"라고 물을 수 있다.

 

고객만족도에 대해서는, "친구나 동료에게 회사를 추천할 가능성은 얼마나 됩니까?", "서비스를 1-10 점으로 어떻게 평가 하시겠습니까?"라고 표현 가능하다.

 

구매의 동인에 대해서 파악하기 위해, "우리에게서 구매할 때 가장 큰 두려움이나 걱정은 무엇입니까?", 혹은 "지금 구매하지 않았다면 그 이유를 알 수 있습니까?", "우리 제품사용에 대한 가장 큰 두려움이나 걱정은 무엇입니까?"라는 질문이 유효하다.

기존 고객 설문 조사

두번째, 기존 고객에 대한 이메일 설문 조사이다.

기존고객 설문조사는 현재 혹은 기존 고객으로부터 답변을 받는다는 점에서 페이지 방문자를 대상으로 하는 웹페이지 설문조사와 다르다. 조사설계는 대부분의 경우, 전문조사업체를 통해서 진행할 정도로 수년간 연구해온 복잡한 주제이지만, 노력여하에 따라 충분히 자체 실행해 볼 수 있다.

다음을 따라해 보자.

• 최근 1~2개월내 첫 구매자에게 이메일 설문조사를 보냄. (이전경험 기억신뢰도 저하우려 방지)
• 결과 왜곡을 방지하기 위해, 반복 구매자를 필터링함.
• 최소 200 개의 응답을 얻음.
• 단순한 ‘예 / 아니오’ 질문은 회피함.
• 대량데이터 수량화/코딩의 목적이 아닌 경우, 객관식 선택을 피함.
  

가장 중요한 것은 목표에 따라 질문을 설계하는 것이다.

고객으로부터 알고자 하는 것을 명확히 하는 것이 설계와 정량화의 난이도를 고려하는 것보다 훨씬 중요하다. 나무만 보고 숲은 보지 못하는 우를 피하기 위해서이다.

5. 마우스트래킹

마우스트래킹은 매우 다양한 통찰력을 얻을 수 있다. 다양한 유형의 마우스트래킹 기술은 다음과 같다.

마우스 움직임 히트맵 Heatmap

히트맵은 일반적으로 행렬의 개별 값이 색상으로 표시되는 데이터의 그래픽 표현을 말한다. 빨간색은 동작이 많고, 파란색은 동작이 없는 것을 의미한다. 트래픽이 적은 경우, 알고리즘 도구를 사용하여 히트맵을 생성 할 수 있다.

마우스클릭맵 Click map

클릭하는 위치를 추적할 수 있도록 하여, 사용자가 의도하는 링크를 클릭하는지, 링크가 아닌 것들을 클릭하는지 식별할 수 있다. 사람들이 클릭하고 싶지만 링크가 아닌 무언가 (이미지, 문장 등)를 발견 한 경우 분석을 통해서 추후 링크로 만들거나 링크처럼 보이지 않는 조치를 취할 수 있다.

마우스스크롤맵 Scroll map

스크롤이 표현되는 깊이는 사람들이 스크롤하는 거리를 나타낸다. 사람들의 이동거리를 파악하여 콘텐츠를 재배치하거나 디자인에 대한 인사이트를 확보할 수 있다.

사람들이 원하는 것보다 빨리 이탈하는 것을 발견하면 컨텐츠의 중요성과 위치를 다시 평가하거나 더 나은 시각적인 경로와 적절한 이정표 Signpost를 추가하여 페이지 아래로 안내 할 수 있다.

사용자 세션 재생

많은 도구가 사용자의 비디오 세션을 녹화하는 기능도 제공한다. 웹사이트를 탐색하는 사용자의 비디오를 재생할 수 있다. 특히, 사용자가 구매까지 여정을 마치는 과정을 통해서 어떤 경로로 어느 지점에서 주저하는지 어떤 것들을 확인하고 구매클릭을 하는지 등에 대해서 새로운 통찰력을 얻을 수 있다.

반대로, 유입경로상 많은 사람들이 빠져나가는 단계가 있는 경우, 해당 URL을 도달하는 사람들이 보이는 행동을 비디오를 통해 관찰하고 이에 대한 답을 구할 수 있다.

AB 테스트 바로 시작하기

1. 주요 페이지에서 휴리스틱 분석을 수행한다. 관련성, 가치성, 저항력, 주의산만 사항 등을 확인한다.
2. 모든 브라우저 및 장치에서 사이트가 올바르게, 빠르게 표시되는지 확인한다.
3. Google 웹 로그 분석을 사용하여 상태 확인을 통해 올바르게 설정되었는지 확인한다. 필요한 것을 수집하는지? 수집되는 데이터를 신뢰할 수 있는지?
4. 정성설문조사 (출구조사 또는 페이지내 설문조사)를 통해 원인을 이해한다. 의심 및 불확실성 요인을 식별하는 데 중점을 둔다.
5. 마우스 추적, 세션 재생 및 양식 분석을 사용하여 문제를 발견한다. 사람들이 링크가 아닌 무언가를 클릭하고 있는지 파악한다. 어느 시점에서 스크롤다운하고, 어떤 양식 필드에서 망설이는지 파악한다.
6. 사람들이 사이트에서 특정 행동을 완료하거나, 광범위한 여정 및 퍼널을 만들어 내는 것을 관찰한다. 이제 올바른 이해가 가능해 진다.
7. 이제 데이터분석 인사이트에 기반한 가설을 개발하고, 검증할 가설들간의 우선순를 정한다.
8. AB테스트 도구를 통해서 실험한다. AB테스트의 적절 샘플수는 여기를 참조해 본다.
9. 실험은 상시로 진행한다.

자, 이제 퍼포마스에서 제공하는 AB 테스트가 가능한 도구들을 더 알아보세요.