A/B 테스트는 대결이 아니다?

A,B 테스트는 대결이 아니다.

 사실 우리 회사는 A/B 테스트를 진행하지 않는다. 그리고 나 또한 기존 웹 에이전시에서는 서비스 납품을 위주로 프로젝트들을 했었다. 지금 운영 회사에서는 A/B 테스트는 항상 인력과 시안이라는 환경의 벽에 막혀 진행을 못하는 상황이다. 그런데 자꾸 일을 하면 할수록 A, B 테스트의 필요성을 느낀다. 

 

 오늘 회사 사람과 중장기 계획 수립에 대해서 이야기하는 도중 어떤 점이 부족하냐는 질문에 나는

"운영팀도 그렇지만 기획팀의 주장이 틀릴 수 있다. 이것을 객관적으로 증명하는 정형화된 프로세스가 필요하지 않을까요?"라는 말을 했다. 중장기 계획과 여러 계획들은 틀린 부분이 없었다. 도입하면 당연히 항상 서비스에 도움이 되고 더 좋은 것을 도입하려고 노력한다. 그런데 그 과정에서 발생하는 일들에 대한 세세한 방향성의 결정은 어떻게 결정하는 것이 좋을까? 

 

   모두가 동의하는 성과 지표를 설정하고 해당 성과 지표가 실제로 UI의 조그만 변화로도 상승하는지 분석이 필요하다. 그것이 가능하다면 회사 내에서 그나마 모두가 동의하는 객관적인 사실로 세세한 방향성을 결정하며 목표를 달성할 수 있지 않을까?

 

 이야기 도중 느낀 것은 A/B 테스트는 대결이 아니라는 것이다. 바른길을 찾아가는 하나의 과정으로 사용되어야 한다.

새로운 B의 기획안을 5~10% 오픈을 진행하고 긍정적인 성과 지표가 감지되는 경우 비중을 점점 높여가며 최종적으로 기존 A를 B가 대체하는 모습을 가지던지 성과 지표가 부정적이라면 비중을 줄이면서 해당 기획은 과감하게 객관적 사실을 근거로 폐기해야 한다. 대결을 시켜서 '짠! 오픈' 하고 갈아끼우는 모습이 아닌 조금씩 자연스럽게 긍정적인 지표를 확인하면서 변화하는 A/B테스트는 도입하고 싶다. 

 

일단 뷰저블의 A/B 테스트 솔루션을 도입해 볼까?

 

-B.sta