『데이터 삽질 끝에 UX가 보였다』를 읽고
- 한줄평: 데이터 드리븐하게 일한다는 게 어떤 느낌인지 잘 설명해주고 있다!
- 추천도: 3/5
팀 내 독서 모임에서 별점 5점 만점에 5점을 2번 받은 책이라서 읽어보게 되었는데 나한테는 색다른 인사이트를 크게 제공하진 못했던 것 같아서 조금은 아쉬웠다.
데이터 기반 의사결정을 함에 있어서 내가 겪어보지 못했던 현실적인 문제들을 시나리오별로 많이 만나볼 수 있었다. 데이터에 관심이 없는 리더라면, 데이터를 보려고 애쓰는 것은 자칫 시간 낭비로 보일 수 있다. 직감대로 일하기를 원할텐데 그런 사람과 함께 일할 때 추가적인 시간을 써서라도 그를 어떻게 설득시킬 것인지 설명하기도 했다.
또한 모든 스타트업이 그렇듯이 데이터 분석을 하기 위해선 일단 데이터를 더 잘 수집하는 것이 중요하다. 문라이트 팀도 Amplitude를 도입하기 전까지는 데이터를 수집하고 분석하는 것이 어려웠다. 어떤 데이터를 수집할 것인지, 분석할 것인지 디자이너 관점에서 고민하는 모습도 볼 수 있었다. 디자이너라서 수집하는 과정에서 개발자들과의 소통이 필수적인데 나는 직접 개발까지도 할 수 있으니 그런 측면에서 내가 팀 내 데이터 드리븐 환경을 더 잘 구축할 수 있겠다는 생각도 들었다.
왜냐하면 데이터는 정답을 가지고 있지 않기 때문입니다. 오히려 질문을 품고 있습니다. p.65
데이터는 답을 가지고 있다기보다 질문을 품고 있다는 말에 큰 공감을 했다. 제품 개발을 하다가 뭔가가 막히고 앞으로의 투두가 떠오르지 않을 때, 무작정 데이터를 좀 봤었다. 내가 개선하고 싶은 퍼널의 데이터를 봤고 그러면 흥미로운 것들이 보였다. 특정 그룹에 대해서 전환율이 좋지 않다던가 하는 것들 말이다. 그러면 왜 좋지 않는지 고민을 해서 가설을 세우고 검증을 하는 과정으로 제품을 개선할 수 있었다. 데이터 친화적으로 일하는 것이 이런 측면에서 중요하다고 본다.
데이터는 내 주장 or 인사이트를 뒷받침해주는 근거가 되는 것이기에 사람마다 다르게 활용하고 다른 결과가 도출될 수 있다. 실제로 나 나름대로 데이터 분석을 하고 A라는 해석을 도출했는데 이후에 다른 분께 리뷰를 부탁드리고 함께 다시 논의를 해보니 반대되는 A’이라는 해석이 도출될 때도 많았다. 실험 과정에서 항상 통계적 유의성을 가지면 좋겠지만 빠른 실험, 짧은 주기, 적은 모수 등 다양한 원인으로 통계적 유의를 띄지 않을 때도 있었다. 이럴 때는 데이터로만 모든 걸 해결하려는 것이 아니라 팀 내 직감으로 어떤 액션이라도 하는 것이 좋다고 생각한다.
데이터 분석가는 그래서 데이터를 최대한 비판적으로 봐야한다. 자기 주장이 맞다고 생각한채로 데이터를 분석하다보면 그런 데이터들만 편협하게 보는 함정에 빠질 수 있다. 나도 정말 많이 그랬다. 비판적 사고가 중요하고 최대한 외부 요인으로 흔들리지 않게 실험 환경을 제어해야 한다. 문라이트 팀도 학기 초, 연말 등 다양한 seasonality의 영향을 받기에 A/B 테스트 환경을 구현했다. 그래서 우리는 설이 왔다고 하더라도 어차피 A, B 모두에 seasonality 영향은 갈 것이니 실험을 계속해서 할 수 있다.
문라이트 팀에서는 모두가 데이터가 중요하다는 것을 잘 공감했기에 정말 좋은 팀이라는 생각이 들었다. 앞으로는 그렇지 않은 팀에 속하고 그 팀을 성장시켜 나가야 하는 순간들이 올텐데 그때 나 자신부터 데이터 드리븐하게 일하고 다른 사람들을 잘 여기에 녹아들게 하는 노하우들을 이 책에서 많이 만나게 된 것 같다.