『A/B 테스트』를 읽고

• 한줄평: 어렵긴 한데 A/B 테스트 관련 지식 얻을 건 참 많다.
• 추천도: 3.5 / 5
• 나의 Action Plan: 우리 서비스에 Interrupted Time Series (ITS) 기법으로 A/B 테스트하자고 제안하기. 트래픽을 나눠서 테스트하기 어려운 환경이라서 ITS를 적용해보면 좋을 것 같다.

책 링크: https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=296254070 (갑자기 북마크 생성이 안되는 버그가 생김..)

쉬어도 모자란 주말에 나는 무슨 부귀영화를 누리겠다고 데이터야.놀자라는 컨퍼런스에서 강연을 좀 듣고 왔었다. A/B 테스트를 주제로 한 강연을 흥미롭게 들었는데 그 강연자분께서 A/B 테스트 공부할때 이 책만 보면 된다고 해서 이 책을 읽게 되었다. 회사 돈으로 구매해서 읽으려고 했는데 이미 회사 도서로 존재했다 ㅎㅎ

결론부터 말하자면, 이 책 하나로는 확실히 부족하긴 하다. A/B 테스트가 애초에 어려운 분야라고 생각해서 하나의 책으로 마스터하는 건 무리가 있다. 책은 내용이 어렵다기보다 원서를 번역한 책이라 그런지 문체가 자연스럽게 읽히지는 않았다. 그래도 인상깊게 읽은 구절들이 많았기에 하나씩 정리를 해보며 생각을 정리해보고자 한다.

수년 동안 테스트를 수행해왔지만, 결과의 추측은 메이저리그 야구 선수가 공을 치는 것을 추측하는 것만큼밖에 정확하지 않다. p.44

안타깝지만 이게 팩트라는 것은 실무를 하면서도 많이 경험하고 있다. 결과를 추측하기가 어려워서 앞으로의 플랜조차 자주 어그러지는 게 이쪽 분야 특징이라고 생각한다. 조금이라도 예측 성공률을 높이기 위해 공부를 많이 해야 한다. 통계 공부도 해야하고 실험의 정당성을 부여하기 위해 어떻게 실험을 진행해야 할지 많은 공부와 경험이 필요하다.

경험에 따르면 많은 극단적인 결과는 계측 오류, 데이터 손실(또는 데이터 중복) 또는 계산 오류의 결과일 가능성이 더 높다. p.78

유명한 트위먼의 법칙에 대한 내용이다. 혁신적인 결과가 나오면 보통 휴먼 에러가 발생했거나 전혀 예상하지 못한 부분에서 오류가 잔잔히 발생하고 있는게 다반사다.

좋은 데이터 과학자들은 회의론자들이다. 그들은 이상 징후을 탐지하고 결과에 의문을 제기하며, 결과가 너무 좋아 보일 때 트위먼의 법칙을 발동한다. p.100

특히 인상깊었던 구절인데 왜냐하면 나는 이 스타트업씬에서 생존하려면 긍정적이고 낙관적이어야 한다고 생각했기 때문이다. 그런데 확실히 데이터를 분석할 때는 비판적으로 데이터를 바라볼 필요가 있다. 사과를 먹은 99%의 사람이 죽었으니 사과는 건강에 매우 치명적이다는 결론을 낼 수도 있는게 우리이기 때문이다. 데이터를 분석할 때는 비판적이고 회의론적인 시각을 유지하고, 그렇지 않고 팀을 이끌고 비전을 바라볼 때는 긍정적인 시각을 가지자. 이중인격이 되버리자!

실패한 아이디어로부터 배우는 것을 받아들인다. 대부분의 아이디어는 실패할 것이기 때문에, 중요한 것은 그 실패로부터 그 이후의 실험을 개선하는 것이다. p.108

정말 맞는 말이다. 끊임없이 실수를 하는게 우리다. 실수로부터 배우는 자세를 가지고 그런 팀 문화가 있어야 팀이 계속해서 성장할 수 있을 것이다. 그래서 나도 ML팀 미팅할 때 서로 일주일 동안 할 실수를 공유하고 어떻게 고쳐나갈지 얘기해보자고 제안했었고 이번주에 나를 포함해 2분이 좋은 말씀을 나눠주셨다.

어떤 척도가 목표가 되면, 그것은 더 이상 좋은 척도가 되지 못한다. p.169

CTR이 목표가 되면, Click bait를 열심히 가져올 것이다. 전혀 가치없는 것들을 말이다. 어떤 척도가 목표가 되었을 때, 그 척도를 counter할 수 있는 다른 척도도 항상 모니터링하고 있어야 한다. 종합적으로 다양한 지표를 바라보며 해석할 수 있는 능력이 필요하다.

오랜만에 어려운 책을 읽으니 어질어질했다. 세상에 공부할게 너무 많다! 차근차근 하나씩 알아나가보자.

휴 다행히 밥을 안사도 되는군요. 다음주에도 동일한 시간에 오겠습니다!