스타트업 PO의 지표 설정기

나는 개인적으로 모든 구성원이 쿼리(Query)를 날릴 줄 안다는  것을 자랑처럼 말하는 조직에 회의감을 느끼는 편이다. 물론 쿼리 작성 능력 여부와는 별개로 쿼리를 날릴 줄 알았으면 좋겠다는 생각만 가져도 매한가지다. 이미 어느정도의 복잡한 쿼리로 내가 원하는 데이터를 추출하고 R이나 파이썬을 활용해서 시각화하거나 자동화까지 할 수 있는 나한테 이런 스킬적인 요소는 큰 장애물은 아니다. 내가 회의적이라고 느끼는 가장 큰 이유는 내가 함께 할 성장하는 스타트업에서 고작 쿼리문 때문에 모두가 그런 러닝커브를 경험한다는 것은 반대로 그 조직은 각 전문가들이 자기가 잘 하는 일에 집중할 수 있는 환경이 아니라는 것이기도 하기 때문이다.

그렇다고 파워BI 나 Redash 같은 도구를 쓰면서 모두가 데이터를 원할 때 그 데이터를 볼 수 있게 해주는 DA(데이터 애널리스트)가 극초반의 스타트업에게 꼭 필요한 것도 아니다. 필요하지만 비용 부담이 크다고 보는게 더 알맞겠다. 어떤 형태이든 방법론이든 애자일을 근간으로 일을 하고 있다고 가정을 했을 때 2~3주에 하나씩의 스토리가 종료될 것이다. 지금 내가 속한 조직을 예로 들면 스쿼드가 10개 가까이 되는데도 스토리에 따라 데이터를 봐야할 때가 있고, 늘 뽑는 주요 지표들 중에서 볼 수 있는 것도 있고, OMTM만 집중적으로 보면 되는 스토리도 있다. 그래서 스토리에 필요한 데이터를 산출하고 정의하고 모니터링 하는 것은 자주 있어야 2주에 한번 새로 만드는 정도라는 의미이기도 하다. 근데 이게 또 극 초반일 수록 바라보는 지표가 명확하고 정해진대로 Static하게 움직이면 되기 때문에 이런 일의 빈도는 더 드물게 일어날 수 밖에 없다. 그래도 스토리의 진행과 모두가 Align을 잘 맞추어서 우리의 Velocity를 명확하게 하고 결과를 측정하기 위해서는 누군가는 데이터를 볼 수 있도록 구성해야만 한다. 그리고 그 일은 초기로 갈 수록 프로덕트 오너가 해야만 한다.

 

사람마다 다르겠지만 나의 경우에는 이직을 하면 가장 먼저 하는 일이 비즈니스 이해이다. 어떤 문제를 해결하기 위해서 어떤 솔루션을 시장에 제시하는 것인지, 그리고 그 제시하려는 솔루션이 다른 경쟁자들과 무엇이 다른지를 더 깊이 있게 공부한다. 입사 전 인터뷰에서도 이런 질문을 상당히 많이 하고, 매력을 느꼈으니 입사를 결정했겠지만 사실 합류해야 알 수 있는 정보들이 더 많기 때문이기도 하다. 그리고 하나씩 파헤치려다 보면 명확하지 않은 부분들이 존재할 수 있고, 지금 바로 시뮬레이션 해본다거나 머리 속에 있는 의문들을 데이터로 바로 바로 검증해보고 싶어지는 경우가 있다.

 

이를테면 '어? 그럼 주요 사용자는 실제 기대와 다르게 10대가 아니라 30대가 많은 것 아니야?' 처럼 사용자와 시장은 우리가 기대한 대로 움직이지 않기도 하고 동의하기 힘들거나 지금의 상황이 이해가 되지 않을 때에는 가장 믿을 수 있는 데이터를 들춰보고 설득하거나 설득 당하는게 더 실리적이기 때문이기도 하다. 물론 분석할 수 있는 주요한 지표들이 없고 로그 데이터만 마구잡이로 쌓여있는 곳도 있고, 로그 데이터 조차 없는 곳들도 있다. 그렇다고 지금부터 데이터를 쌓고 스치는 의문을 다 풀기보다는 그때 그때 있는지 여부만 묻고 바로 다음 내용으로 넘어가는데 볼 수 있는 데이터 중에서 우리 모두가 오해하거나 잘못 생각하고 있는 것 같다는 정보가 보이면 사실을 설명하고, 내가 잘 못 이해하고 있는게 있는지, 이 데이터가 신뢰 할 수 없는 데이터인지 확인을 해야 한다. 그 과정에서 필요하다면 시각화를 간단하게라도 해야할 때도 있고, 엔지니어 뿐만 아니라 CEO와도 논쟁을 해야할 수 있다. 결국 프로덕트 오너는 CEO와 친하게 지내는 사람이 아니라 필요하다면 CEO를 설득하기 위해 치열하게 회의를 할 수도 있는 사람이기 때문이다. 

 

문제는 외부인과 내부인의 차이가 없을 만큼 데이터가 흐르지 않는 조직이다. 당연히 제품 운영에 필요한 데이터는 쌓이지만 운영 DB에서 돌고 있다보니 조회 시점마다 내가 본 데이터가 틀어지는 경우도 있다. 그럼 자연스럽게 데이터에 대한 모든 구성원의 신뢰가 떨어지고 데이터에 대한 신뢰 감소는 가장 실패하기 유리한 지점을 향해 달려가는 것이나 다름없다. 물론 리쿠르팅 인터뷰에서는 우리 조직은 데이터 드리븐한다. A/B테스트다 이야기 했었는데 실제론 할 수 있는게 거의 없는 경우이다. 이런 경우에 몇 번 직면해보니 나름대로 스킬이라는게 생기기 시작했다. 인터뷰에서의 질문을 딥다이브 하며 알아내는 것과는 또 다르다. 내가 가장 선호하는 방식은 GCP를 쓰는 조직에서는 당연히 빅쿼리로 연계하겠지만.. 여러가지 복잡한, 또는 단순한 이유로 AWS를 쓴다면 Glue - Athena 연결을 요청하고 JDBC로 Athena에 쿼리를 날려서 주요한 지표를 뽑아서 구글 시트에 쌓는 방식이다. 만약 이 때 Glue-Athena 연결에도 막대한 비용이 지불되어야 한다고 답변을 받는다면 프로덕션 DB의 접근 방법을 물어보면 좋다. 대게의 경우에 엄청난 접속 장애를 겪어야 하는 Credential 이 설정되어 있지 않아서 바로 프로덕션에 붙여도 된다. 근데 이것도 제공하지 않는다면.. 큰 실수 했다고 생각해야 한다. 그럼 구글 시트가 분석DB가 되어 언제 어디서나 활용할 수 있게 해준다. 초기에는 R을 이용하는 편인데, 아무래도 데이터를 시각화해서 봐야 하는 일이 잦고 R은 로컬에서만 돌려도 되니 보안에 대한 이슈가 크지 않아서 더 그랬던 것 같다. 초기에 뽑는 지표는 최대한 단순하게 뽑을 수 있는 것들을 주요 지표로 한다. DAU(Daily Active User)라던가 결제한 사용자 수 같은 것들인데 내가 의문을 갖고 있는 것들을 해소하기 위해 필요한 데이터들은 메모 해두고 다음 스토리가 진행될 때 혹은 지금 바로 가볍게 할 수 있는 거면 지금 바로 구축하는 편이다. 

 

어느정도 내가 직접 데이터를 뽑다보면 주요한 지표들이 눈에 띄게 생기는데, 개인적으로 데이터는 자주 많이 보는 것보다 중요한 걸 단순하게 볼 수 있어야 수치의 변화가 더 드라마틱하고 체감하기 좋다고 생각한다. 그래서 내가 의미 부여를 하지 못하는 지표는 다른 이들도 그렇게 바라보는지 확인하고 바로바로 공유하길 멈춘다. 그리고 지표들의 모음이 될 수 있는 OMTM을 선정하기 위한 노력이 이때부터 시작된다. 사실 퍼널도 중요하지만 나는 OMTM을 굉장히 중요하다고 생각하는데 그 이유는 단순하고 쉽기 때문이다. 단순하고 쉬울 수록 제품팀 모두가 얼라인 맞추기 좋고, 데이터에 친근하지 않은 사람도 데이터에 쉽게 접근할 수 있기 때문이다. 초반에는 OMTM을 정하기 위해 상위 1%에 해당하는 회원을 추려냈었는데, 여러 팀들의 이해가 충돌하고 단순하게 이용자 증가로 생각하는 사람도 있어서 애를 좀 먹었다. 근데 지금도 이 수치는 우리의 비즈니스 상황과 제품의 상황에 맞추어 적절한 양의 상관관계를 갖고 있는 걸 보니 잘 뽑긴 했다. 

 

처음에 산출했던 OMTM이 충분하지 않았지만 필요성에 대한 공감대를 이끌었다면 다른 쪽에서도 OMTM을 제시하기 시작했다. 각자가 비즈니스를 바라보는 관점에 따라 여러가지의 지표들이 나오기 시작하고, 간접적으로 반영되던 impact factor는 더 직접적으로 표현되기 시작했다. 예컨데 매출이라던가 구매까지의 속도가 될 것이다. 이런 지표들이 쏟아지자 나는 이 지표들을 하나로 표현할 수 있는 것을 고민했고, 그러던 중에 대표가 하나의 지표를 제시했다. 납득 가능한 지표였기에 그 지표를 바라보고 2분기를 지나는 무렵 OKR을 설정하듯이 각 스쿼드에서 도전 과제를 하나씩 선정했다. 당연히 그 과제는 OMTM에 영향을 주어야 했고, 과제 선정의 전제는 모두 다 실패해도 우리가 이 도전에 성공하면 OMTM 목표는 하드캐리 할 수 있는 정도의 높은 수준의 챌린지어야 했다. 그러다보니 다들 OMTM에 다시 한번 집중하기 시작했고, 지난 2분기가 굉장히 문제가 있었다는 것을 알 수 있었다. 우리의 OMTM은 한국인에게 가장 친숙한 스코어였던 것이다.

 

몇 점으로 표기되는 스코어 산출의 가장 큰 문제는 몇 점 만점이냐라는 생각으로 연결되는 부분이었다. 나는 GPA가 3.8이야 라고 했을 때 4.0이냐 4.2냐 4.5냐에 따라 달라지듯이 OMTM에 만점을 알려고 했다. 그리고 그 기준에 대해 만점이 없고 높을 수록 좋다라는 설명이나 전보다 높이는 것에만 집중하면 된다는 등의 설명은 설득력이 떨어졌고 공감하기에도 충분하지 않았다. 그저 반박할 수 없어서 인정한 것이었다. 그래서 이번에는 OMTM을 전면 수정하여 누구나 체감하기 좋고 계산도 편한 KRW으로 바꿨다. 설명에는 오프라인 카페의 주방 회전율을 곁들였고, 매출과 차이점을 설명했다. 자연스럽게 몇 점이 만점이지? 라는 생각도 사라졌고 더 많은 가치를 창출하기 위해 노력해야 할 수 있는 과제들을 뽑아냈다. 

 

OMTM이라는 거창한 단어 앞에 어렵고 복잡한 수식을 내세우고 우리만의 지표를 만드는 것 자체가 비효율적이고 생산적이지 못했다. 우리가 모두 결과를 알 수 없는 항해를 하며 목적지가 있을 거라는 믿음으로 바라보는 북극성 지표인 OMTM이 더 공감되고 현실적이지 못하면 북극성을 보고 모두가 다른 생각을 할 수 있다는 것을 알 수 있었다. 놀랍게도 우리 중 누군가는 북극성으로 가려고 한다. 그래서 우리가 조직에게 제시하고 우리가 함께 바라볼 OMTM은 쉬워야 한다.