[IT 이야기] A/B 테스트
[IT 이야기] A/B 테스트
이 기사를 공유합니다

김홍철 기술경영학 박사

 

A/B테스트는 두 개의 변형 A와 B를 사용하는 종합대조 실험이며, 버킷테스트 혹은 분할/실행 테스트라고 불리기도 한다. 이것은 인과관계를 찾는 일종의 통계적 가설 설정을 통한 결과 확인 작업을 의미한다. 즉 인터넷상에서의 웹이나 앱에서 A버전과 B버전을 무작위로 사용자들에게 보여주고 어떠한 선택 혹은 연결 행위를 하는지를 실험하여 그 결과를 실행에 반영하는 것이다. 경영통계학적으로 설명해 보면, 예를 들어 정부에서 어떤 기업지원정책을 발표했을 때, 그 지원정책이 해당 정책에 영향을 받는 다수 기업들에게 과연 긍정적인 것이었는가, 혹은 별로 큰 효과를 주지 않았는가 등을 확인하는 실증 분석의 일환과 유사하다. 위를 예로 해서 보면, 우선 “큰 효과를 주지 않았다”라는 가정을 귀무가설(통상 “변화가 없을 것이다”로 가정하는 것을 귀무가설이라 함)로 설정해 놓고, 조사 혹은 테스트한 결과 “정부지원정책이 효과가 있었다.”라는 결과가 나오면 이 귀무가설은 기각되고 “효과가 있었다”라는 귀무가설과는 반대되는 대립가설이 채택된다. 이 같은 통계학적 방법론을 인터넷 환경에 맞게 실행하는 것이 A/B테스트이며, 통상 두 가지 경우의 수에 대한 테스트를 진행할 때 사용되고, 이보다 복잡한 테스트가 필요할 경우에는 다변수 테스트(multivariate test)를 실시한다. 

A/B테스트는 주로 웹 분석을 비롯한 마케팅 분야에서 기존의 A안과 이와는 다른 새로운 버전의 B안이 제안되었을 경우, 이들 안을 무작위로 인터넷 사용자들에게 노출시키고 사용자들의 이용 패턴 등을 전체 데이터화해 그 결과물을 비교, 분석하는데, 구 버전과 신 버전 사이트 간에 발생하는 클릭율, 구매율, 평균 구매금액 등 양 측을 비교할 수 있는 다양한 팩터를 설정해, 두 버전 간 이루어진 팩터들의 결과물을 비교해 보고, 이 중 생산적인 버전이 어떤 것인가를 채택함을 목표로 추진한다. 이는 어떤 물질이나 기법을 사용하면 결과가 분명히 도출되어 기존 제품이나 기법과 정확히 정량적으로 구분, 비교가 되는 이학적, 공학적 테스트와는 달리 디자인, 모델 등의 선호도는 다분히 정성적인 면이 훨씬 더 크기 때문이다. 즉 디자인이나 모델 등은 가설을 세울 수는 있지만 이를 증명하기는 어렵기 때문에, 가설을 직관이 아닌 데이터로 증명할 수 있는 A/B테스트는 이들에 있어 매우 중요하다 할 수 있다. 

세계 최대 스트리밍 업체인 ‘넷플릭스’의 경우에는 프로그램 소개 화면을 수시로 바꾸면서 접속자들의 반응을 살피고 있다. 물론 이것은 온전한 개념의 A/B테스트라고 부를 수는 없지만, 넷플릭스 측은 해당 화면이 접속자(혹은 프로그램 이용자)들의 시선을 끌지 못하고 신속하게 다른 화면으로 이동한다는 것은 해당 화면에서 올바른 콘텐츠를 보여주지 못했거나, 올바른 콘텐츠이긴 하지만 접속자들에게 그 콘텐츠를 왜 봐야 하는지의 충분한 유인 혹은 증거를 제시하지 못했기 때문으로 생각하고 있으며, 이에 따른 분석을 통해 좀 더 개선된 화면을 제공하는데 노력하고 있다. 이는 변형된 A/B테스트라 볼 수 있다. 구글 또한 오래 전부터 A/B테스팅을 적극 활용해 왔는데, 현재도 지속적으로 50개 이상의 테스트를 진행하고 있는 것으로 알려져 있다. 다만 A/B테스트의 한계를 인식해야 하는데, 기존 사이트에 익숙한 사용자들의 만족도, 신규 사이트 노출에 따른 취향변화, 특정 성별/나이대에 대한 세분화 및 특정고객 타겟팅(targeting)에 따른 신 버전 전환의 타당성 등은 피드백된 데이터를 분석하면서 필히 고려해야 할 요소이다. 

오프라인상의 시장경제 여건이 좋지 않다는 얘기는 그 정도의 차이는 있지만 이미 상당 기간 동안 되풀이 되고 있다. 그러나 이는 온라인 경제여건의 확대 및 활성화는 감안하지 않은 수치가 될 수 있다. 즉 인터넷환경에 적합한 홍보활동이나 마케팅 방식 채택, 소비자들이 원하는 제품의 개발, 기존 제품들 간의 교류/융합을 통한 새로운 제품 출시 등 여러 방법을 통해 온라인 경제를 오프라인으로 유인하고 공생, 발전하는 기회를 찾을 필요가 있다는 것이다. 빅데이터의 분석, A/B테스트와 같은 실증검증을 통해 행동패턴을 분석하고 추이를 알아내어 이를 활용한 경영방식을 채택하는 등 IT를 이용한 시장 확장 및 새로운 마케팅 기회 창출에 더욱 큰 관심과 노력이 요구된다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.