데이터 분석가가 AB테스트를 반대한다. 신선하면서도 이상한 경험이었다. AB테스트에 대해서는 갑론을박이 많지만 지금까지 만나온 많은 직무의 사람들 중에서 데이터 분석가만큼은 객관적이면서도 합리적인 결론 도출을 위해 AB테스트를 선호하는 경향이 강했다. 이유는 시시각각 변하는 변수들을 통제하려는 노력을 최소화하고 영향을 얼마나 미쳤는지 최대한 빠르고 객관적으로 도출할 수 있기 때문이다. 나도 그러한 의견에 동의하는 편이다. 실제로 AB가 아닌 전후비교를 했을 때에는 영향이 되는 요인도 많고 분석을 위해 고려할 것들이 많아서 분석 결과에 대한 신뢰도도 함께 낮아지기 마련이다.  그럼 AB테스트가 아닌 다른 것들은 객관적이지 않다는 것일까? 이것도 내 대답은 No이다. AB테스트를 포함해도 우리가 사는 세상을..

몇 개월 전 굉장히 충격적인 글을 보았다. 에어비앤비가 AB테스트를 극단적으로 줄였으니 그게 옳다는 극단적으로 요약된 글이었다. 그리고 그 전에는 이런 글이 있었다. [AB 테스트는 쓸모 없을 확률이 높습니다] 01. 많은 PM들이 AB 테스트 하는 것을 좋아합니다. 설득하는 시간이 적게 들기 때문입니다. 02. 그러나 가장 중요하면서도 실용적인 지표를 정의하는 건 무척 어렵습니다. 많은 AB 테스트가 쓸모 없는 첫번째 이유입니다. 03. AB 테스트를 정확하게 하기 위해서는 딱 한개만 달라야 합니다. A군과 B군이 너무 많이 다르면, 어떤 것 때문에 다른 결과가 나왔는지 해석할 수 없으니까요. 한개만 다르게 실험을 설계하다보면, 큰 변화를 줄 수 없습니다. 결국 작은 변화만 주어서 AB 테스트를 하게 ..