AB테스트는 필요 없어요.
·
잡념과 생각
몇 개월 전 굉장히 충격적인 글을 보았다. 에어비앤비가 AB테스트를 극단적으로 줄였으니 그게 옳다는 극단적으로 요약된 글이었다. 그리고 그 전에는 이런 글이 있었다. [AB 테스트는 쓸모 없을 확률이 높습니다] 01. 많은 PM들이 AB 테스트 하는 것을 좋아합니다. 설득하는 시간이 적게 들기 때문입니다. 02. 그러나 가장 중요하면서도 실용적인 지표를 정의하는 건 무척 어렵습니다. 많은 AB 테스트가 쓸모 없는 첫번째 이유입니다. 03. AB 테스트를 정확하게 하기 위해서는 딱 한개만 달라야 합니다. A군과 B군이 너무 많이 다르면, 어떤 것 때문에 다른 결과가 나왔는지 해석할 수 없으니까요. 한개만 다르게 실험을 설계하다보면, 큰 변화를 줄 수 없습니다. 결국 작은 변화만 주어서 AB 테스트를 하게 ..