100 - 1 = 0? 내 분석 결과가 의미 없어지는 사소한 이유들

Intro

---

- 한 건의 분석 결과를 낼 때마다 종종 드는 생각이 있다.

이 가설 까지 봤어야 했는데,

 

- 왜 이런 생각이 드는 것일까

- 어쩌면, 보지 못한 그 한 가지 가설 때문에 내가 지금까지 했던 분석들이 쓸모없게 느껴져서 그런지도 모르겠다. 

- 만약, 100 - 1 = 0 이냐고 물어본다면

• 누군가는 사소한 것에 집착하지 말라는 의미로 100 - 1 = 99 라고 할 수도 있고,
• 다른 누군가는 디테일을 중요하게 생각하는 의미로 100 - 1 = 0 이라고 할 수도 있다.

- 무엇이 정답인지는 상황마다 다르겠지만, 한 가지 때문에 내가 들인 노력을 0으로 만드는 것보다는 그래도 99는 했다고 말하는 편이 더 낫다는 것을 우리 모두는 알고있다.

- 그럼, 어떻게 해야 100 - 1 = 0의 늪으로 들어가지 않을 수 있을까?

 

지표 분해

---

- 2023년 들어와서 주택시장에서 가파르게 증가한 통계가 하나 있다.

- 바로 임차권등기명령이다.

- 임차권등기란 계약 종료 후에도 보증금을 돌려 받지 못한 경우, 보증금에 대한 대항력을 유지하기 위한 수단이다.

- 위 그래프를 보고도 충분히 임차인이 보증금에 대한 대항력을 유지하지 못하는 상황들이 많이 발생하고 있구나 -> 전세 시장이 불안하구나라고 추론할 수 있다. 하지만, 정확한 추론은 아니다.

- 왜냐하면, 전세계약건수가 증가하면 임차권등기명령 신청수도 자연스럽게 증가할 수 있기 때문이다. 그렇기에 원인을 정확히 추론하기 위해서는 전세계약건수를 같이 살펴봐야 한다.

- 전세 계약 기간이 보통 2년임을 감안했을 때, 20년 계약 매물은 22년에 임대차 계약이 끝났을 것이고, 21년 계약 매물은 23년에 임대차 계약이 끝났을 것이다. 

- 23년 큰 폭으로 떨어지기 전까지 20년, 21년, 22년의 3개년의 전세 거래량은 약 9만 건 가량을 유지하고 있다.

- 즉, 계약 매물 건수로만 살펴 봤을 때 22년과 23년의 임차권신청명령 수는 얼추 비슷했어야 할 것이다.

- 그렇기에 23년의 임차권 등기 신청수를 봤을 때 현재, 전세 시장이 불안하다고 판단할 수 있을 것이다. 

(변수로 23년 7월 법 개정을 하면서 집주인의 동의 없이 임차권 등기를 신청할 수 있게 된 부분이 있다. 하지만, 23년 1~6월 신청 명령 수만 합산해봐도 이미 22년 전체 신청량을 웃돈다.)

 

- 다른 예시로 매출을 들 수 있다. 글로벌 시장의 국가별 매출 동향에 대해 분석해 오라는 업무를 받았다고 가정하자. 확인 결과, A국가에서 유난히 매출이 감소하고 있다는 사실을 발견한 당신은 으쓱하며 상사에게 보고서를 가져갔다. 

- 그런데, 상사는 고개를 갸우뚱하며 그래서 원인이 뭔가?라고 반문한다.

- 이때가 바로 100 - 1 = 0이 되는 순간이다. 현상을 가져갔으면 최소한의 원인이라도 설명해야 한다.

- 원인을 파악하기 위해서는 큰 지표를 분할해야 한다. 매출은 = 1인당 평균 매출액 X 고객수로 분해할 수 있다.

- 1인당 평균 매출액과 고객수 각각에 대한 추이를 같이 살펴본 결과, 1인당 평균 매출액은 유지되고 있으나 유저수 감소로 인해 매출이 하락한다는 사실을 알게 되고 이를 설명했다. 

- 그럼 다음 스텝으로 왜 유저들이 나갔는지에 대해 분석을 진행하면 된다. 그러면, 100 - 1 = 99 까지는 아니지만 시작이 반이라고 100 - 50 = 50 정도는 쳐줄 수 있을 것이다. 

 

가설만 있고, 문제는 몰루면 안돼

---

- 돌이켜보면, 문제가 무엇인지 정확히 파악도 안됐으면서 냅다 가설검증을 했던 경우가 많았던 것 같다.

이벤트를 하면 콘텐츠 이용률이 높아지겠지.., 할인하면 매출이 늘어나겠지, 광고를 많이하면 유저수가 많이 늘겠지..

- 당연히, 이벤트를 하면 콘텐츠 이용률도 높아질 것이고 / 할인을 하면 매출도 늘어날 것이고 / 광고를 하면 유저수도 늘 것이다. 그런데, 이벤트/할인/광고 만으로는 서비스를 유지할 수 없다.

- 서비스를 유지하려면 서비스의 본질적인 경쟁력이 있어야 한다. 그런데, 문제를 생각하지 않고 가설검증을 해버리면 서비스의 본질적인 경쟁력에 대해서 고민하지 못하게 된다.

- 그러면, 이번에 이벤트 해서 N%만큼 매출이 증가했어요. N%만큼 유저가 늘었어요와 같은 말 밖에 하지 못하게 된다. 

- 보상을 높이면 콘텐츠 이용률이 높아질 것이다 라는 가설로 출발하기 전에, 우리 유저들이 컨텐츠 이용에 있어서 겪는 문제가 무엇인가에서 출발하면, 첫 진입화면에서 버튼을 찾지 못하는 유저들 / 컨텐츠를 수행했으나 보상 수령을 하지 못한 유저들(보상의 가치를 이해하지 못함) / 컨텐츠를 완료하지 못하고 이탈하는 유저들, 등 다양한 유저들이 보일 것이다.

 

- 서브프라임 모기지 사태를 다룬 영화 빅쇼트를 보면 아래와 같은 장면이 나온다. 옆집 강아지 이름으로 대출을 받는? 장면이 나온다. (실화일까..?)

서브프라임모기지 사태 요약
경제정책 변화로 집값이 빠르게 상승했다. 빚을 내서 집을 샀음에도 집값 상승으로 얻는 이익 이 내야 되는 대출 이자보다 훨씬 커졌다. 너도나도 막 빚을 내서 집을 사며 투기가 시작되었고 금융기관과 투자은행들은 이 대출 채권을 증권 형태의 금융 상품으로 팔아먹었으며 이를 미국뿐 아니라 전 세계 각지의 금융기관에서 사들였다. 하지만 경제 상황의 변화와 정책 변경으로 집값이 폭락하자 다같이 망했다.
- 나무위키 -

- 집값이 무조건 오를 것이라는 막연한 가설 때문에 진짜 문제가 무엇인지 고민도 못한채 전세계적인 금융 위기를 맞은게 아닐까 하는 생각이 갑자기 든다.

 

쉐도우 복싱 금지

---

- 아무도 뭐라고 안했는데, 무언가 빠진 부분이 있다고, 완벽하게 측정하지 못한 부분이 있다고 본인의 결과가 의미없다고 스스로 쉐도우 복싱하는 경우가 있다.

 

- How to measure anything에 보면 이런 문구가 나온다.

Implicit or explicit in all of these answers is that measurement is certainty—an exact quantity with no room for error. If that was really what the term means, then, indeed, very few things would be measurable.
만약, 한치의 오차도 없는 측정만이 의미있다고 가정하면 우리가 할 수 있는 것은 아무 것도 없을 것이다.

 

- 완벽하지 않더라도 "모호한" 어떤 것에 대해서 알려주는 것이 있다면 우리는 그것을 측정이라고 부를 수 있다. 책에서는 Rule of five라는 법칙을 소개해준다. 5개의 숫자 만으로도 꽤 정확한 추정을 할 수 있다는 법칙이다.

- 왜냐하면, 모집단에서 5개의 숫자만 뽑더라도 중앙값이 그 사이에 있을 확률이 93.75%가 되기 때문이다. 

1 - (50%보다 높은 값을 5번 뽑을 확률 (1/2)^5 + 50%보다 낮은 값을 5번 뽑을 확률 (1/2)^5) = 93.75%

- 몇 안되는 정보일지라도 누군가에게는 굉장히 큰 도움이 될 수 있다. 그러니, 스스로 쉐도우 복싱은 금지!