AB테스트는 필요 없어요.

몇 개월 전 굉장히 충격적인 글을 보았다. 에어비앤비가 AB테스트를 극단적으로 줄였으니 그게 옳다는 극단적으로 요약된 글이었다. 그리고 그 전에는 이런 글이 있었다.
 

[AB 테스트는 쓸모 없을 확률이 높습니다] 

01.
많은 PM들이 AB 테스트 하는 것을 좋아합니다. 설득하는 시간이 적게 들기 때문입니다. 

02.
그러나 가장 중요하면서도 실용적인 지표를 정의하는 건 무척 어렵습니다. 많은 AB 테스트가 쓸모 없는 첫번째 이유입니다. 

03.
AB 테스트를 정확하게 하기 위해서는 딱 한개만 달라야 합니다. A군과 B군이 너무 많이 다르면, 어떤 것 때문에 다른 결과가 나왔는지 해석할 수 없으니까요. 한개만 다르게 실험을 설계하다보면, 큰 변화를 줄 수 없습니다. 결국 작은 변화만 주어서 AB 테스트를 하게 되어요. AB 테스트로 혁신적인 성장을 가져올 수 없는 이유입니다. 

04.
에어비앤비는 AB 테스트를 적극적으로 사용하는 회사로 유명했어요. 2022년 에어비앤비는 역사상 가장 크게 메인 페이지의 디자인을 변경합니다. AB 테스트를 기반으로 결정했을까요? 아니였을 거에요. 그리고 2023년, 에어비앤비는 AB 테스트에 몰두하던 PM의 역할을 줄여버렸습니다. 

05.
모든 AB 테스트가 쓸모 없다는 이야기는 아니에요. 다만 AB 테스트를 강하게 믿는 프로덕트 조직에서는 큰 변화를 시도하기 어려울 수 있다는 이야기를 하고 싶었습니다.

 
하나씩 짚고 넘어가본다.
 
01.
AB테스트를 실행하는데 설득하는 시간이 적게 드는 것에 동의하기 어렵다. 좋은 AB테스트는 정확하게 문제를 관통하는 하나의 가설이고 그 가설은 다른 여지가 없어야 한다. 즉 다른 여지를 남기지 않고 논리적이어야 하는 만큼 충분히 심플해야 한다. 그럼 그의 동료들은 쉬운 설득을 목적으로 만들어진 그런 가설 따위에 설득 당했단 말인가?
 
02.
그래서 하나의 실용적인 지표가 아닌 성공지표, 가드레일 지표, 모니터링 지표를 정하고 정말 우리가 유념해서 볼 지표들을 선정하기 관찰하고 리뷰하기 위해 데이터 전문가가 필요한 것이다. 지표 설정이 어려우니 쓸모없다는 것은 조직이 가진 역량의 한계라고 밖에 보여지지 않는다. Proxy Metric을 잡는데에 오래 걸리고 그 과정이 어렵다고 쓸모없다고 정의하는 것이 옳은가?
 
03.
딱 한개만 달라야 하므로 논리적이고 심플해야 하고 가설을 최대한 검증할 수 있도록 해야 한다. 그리고 애초에 AB테스트를 여러개가 다르게 설정하다니 그럼 AB 테스트가 아니지 않나? 이상하게 설계된 실험과 경험을 일반화해서 AB테스트는 혁신적인 성장을 가져올 수 없다는 이유로 귀결시키다니 정말인가?
 
04.
에어비앤비에 지금의 스테이지에 오르기까지 수많은 lesson을 얻는 과정과 그 경험과 배운 것들이 쓸모 없었다고 할 수 있을까? 어떤 단계에서 어떤 결핍이 있고 어떤 문제를 어떻게 해결할 것이냐에 따라 조직 문화는 달라질 수 있다. 에어비앤비가 위기를 극복하는 방법과 저돌적으로 달리기 위해 선택한 극단적인 방법을 마치 모든 AB테스트가 비효율적이라는 근거로 차용하다니 놀랍다. 원문 인터뷰로 가보니 적절한 댓글이 있어서 그걸로 대신한다.

 
05.
내 논리에 공격을 방어하기 위한 문장일 뿐이다. 나 역시 모든 AB테스트가 실용적으로 잘 실행되고 있다는 말이 아니다. 앞서 실컷 일반화를 해왔으면서 갑자기 일반화를 벗어나며 난 일반화하지 않았어 왜냐면 모든 백조가 하얀 것은 아니거든 정도로 밖에 안보인다. 애초에 논지가 쓸모 없을 확률이 높다이면 쓸모 있게 할 방법에 대해 이야기 한다거나 특정 포지션에 대해 일반화하고 비난하는 뉘앙스는 제거되었어야 하지 않을까?
 
 
위 댓글에도 나오지만 나 역시 에어비앤비는 이미 죽었다고 생각한다. 불과 4~5개월 텀을 두고 완전히 다른 내용의 팟캐스트도 진행했다. 전형적인 자극적인 패턴이다. 솔직해지자. AB테스트를 제대로 하게 하기 위해 가설을 피어리뷰하고 실험을 설계하고 실행하고 과정과 결과를 리뷰하는 혹독한 과정을 겪으며 모두를 설득 시키고 성장 시키는 것 보다 그냥 따르게 하는게 더 편하다. 그것 외에 제품의 결과를 만드는 사람들이 제대로 된 AB테스트를 하지 않을 이유가 있는가? 
 
https://www.youtube.com/watch?v=hEzpiDuYFoE