[데이터로 생각해보기] 다방의 전세대출 필터 삭제는 옳은 선택이었을까?

본 글은 힙한 데이터의 비밀 파헤치기 모임의 1주차 과제 글입니다.

0. 들어가며
1. Pain Point
  1-1. 정의 - 전세대출 필터 삭제
  1-2. Pain Point의 양면성
2. 가설 설정 - 전세대출 필터 삭제는 게시글의 PV(page view) 상승에 도움이 되었는가?
3. 효과 분석
  지표1 - 전세대출 필터 이용 횟수별 세그먼트 & 세그먼트 그룹별 PV 확인
  지표2 - PV 상승 유저 비율
4. 실질 지표 분석
  지표3 - 문의율 상승 유저 비율
  지표4 - 확인 지역수
5. 필터 삭제 후 사이드 이펙트 확인
  지표5 - 유저 이탈률
6. 가장 중요한 지표를 하나 선정한다면?
7. 가설 검증 방식

0. 들어가며

드디어... 다음주에 새로운 집으로 이사를 간다. 계약하는데는 한시간도 안걸렸지만, 그 한 시간을 위해 나는 3개월 동안 집을 알아봤다. 집을 3개월이나 알아본 이유는 전세 매물이 워낙 줄었고, 전세 가격도 올랐기 때문이다. 심지어, 월세도 올랐다. 내가 살고 있는 동네의 월세는 약 5만원 정도 오른 것 같다. 

 

http://www.daejonilbo.com/news/newsitem.asp?pk_no=1491046 

전세대란에 월세 수요↑…월세난민 전락한 무주택자들 :: 대전일보

 

이때 모든 집을 하나씩 직접 가서 볼 수는 없는 노릇이니 직방/다방 같은 어플이 참 많은 도움이 된다.  

묘하게 비슷하면서도, 묘하게 다른 두 서비스. 어떤 면이 다르고 어떤 면이 같을까?

 

공통점 : 비즈니스모델

직방과 다방의 주요 수입원은 "광고료"이다. 현재 직접적인 중개는 불가능하기 때문에 광고수수료가 주 수입원인 것으로 알고있다. 다시 말해, 광고료를 지불하는 공인중개사 또한 두 어플의 중요한 고객이라고 할 수 있다.

 

차이점 : 향후 서비스 방향

좌 : https://www.sedaily.com/NewsVIew/22NQIELAHJ, 우 : https://www.mk.co.kr/today-paper/view/2021/4884753/

다방은 다방싸인을, 직방은 플랫폼2.0 전략을 내세우고 있다. 개인적으로 다방싸인은 굉장히 좋은 서비스라고 생각한다. 다만, 계약 문서의 위/변조 차단 가능성과 같은 서비스 외에도 전자서명 과정에서 계약서 내용을 매니징 해준다거나, 계약 피해에 대한 안전 보장 및 사전 예방을 해주는 것도 의미있지 않을까싶다. 

계약은 항상 불안해...

 

차이점 : 필터

왼쪽1 : 직방필터 / 오른쪽2 : 다방필터

왼쪽은 직방 필터, 오른쪽 이미지 두 개는 다방 필터이다. 다방의 강점은 맞춤형 필터라고 할 수 있다. 왜냐하면, 맞춤형 필터를 통해 내가 원하는 조건의 집만 살펴볼 수 있기 때문이다. 추가 필터만 가지고 온 이유는, 다방의 필터가 워낙 많아서 한장에 캡쳐가 안되기 때문이다.

 

1. Pain Point

 

1-1. 정의 - 전세대출 필터 삭제

그런데, 최근 들어 전세자금대출 필터가 없어졌다!!!

Pain Point : 전세대출 필터 삭제

오늘 글에서는 실제로 존재할지도 모르는 가상의 데이터를 통해 "전세대출 필터 삭제가 옳은 선택일까?"를 판단하는 지표를 선정해보려 한다.

 

1-2. Pain Point의 양면성

전세대출 필터 삭제는 나와 같은 예비임차인 입장에서는 명백한 pain point이다. 왜냐하면, 내가 원하지 않는 조건의 집도 살펴봐야 하기 때문이다. 지금 당장, 플레이 스토어에서 다방 리뷰만 살펴봐도 필터 삭제에 대한 불만이 가득하다. 특히, 반려동물 필터 삭제에 대한 불만이 많다. 

 

하지만, 공인중개사 입장에서는 예비임차인이 원하지 않는 조건의 집을 살펴보지 않는 것이 Pain Point이다. 왜냐하면, 예비임차인이 원하지 않는 조건의 집도 결국은 판매해야 할 매물이기 때문이다. 그렇기 때문에 공인중개사 입장에서는 예비임차인에게 다양한 매물이 노출되기를 원할 것이다. 따라서, 공인중개사 입장에서는 전세대출 필터 삭제가 더 이득일 수도 있다.

 

이처럼 동일한 주제라도 받아들이는 대상에 따라서 누구에게는 pain point가 될 수도 있고, 다른 누군가에게는 selling point가 될 수도 있다. 따라서, 올바른 판단을 위해서는 액션에 대한 이득과 손실을 같이 고려해야 한다.

 

2. 가설 설정 - 전세대출 필터 삭제는 게시글의 pv(page view) 상승에 도움이 되었는가?

전세대출 필터 삭제는 옳은 선택일까? 는 굉장히 추상적인 문구이다. 따라서, 해당 내용이 가설이 되기 위해서는 두 가지 요건이 필요하다.

1. 현재 시점에서 경험적으로 검증이 가능한 내용인가?
2. 정량적으로 측정이 가능한 내용인가?

이에 따라 다음과 같이 가설을 설정하였다. 

전세대출 필터 삭제는 전세대출 필터를 주로 이용하던 고객의 게시글의 pv(page view) 상승에 도움이 되었을 것이다.

다른 한편으로, pv(page view)는 다방 어플에서 직접 확인할 수 있기 때문에 분석을 확인하는 대상에게도 쉽게 공감을 불러일으킬 수 있을 것이라 생각한다.

 

3. 효과 분석

위 가설을 검증하기 위해서는 어떤 데이터를 살펴봐야 할까? 기간은 필터 삭제 전/후 일주일을 가정한다.

 

지표1 - 전세대출 필터 이용 횟수별 세그먼트 & 세그먼트 그룹별 PV 확인

기간 : 전세대출 필터 삭제 이전 일주일

Metric : sum(개별 고객의 전세대출 필터 체크 상태 Page View)/sum(개별 고객의 전체 Page View)

선정 이유1 : 전세대출 필터 이용량 기준 고객 세그먼트 분류(EX_ 전세대출 필터 이용 횟수별 상/중/하/이용X)

선정 이유2 : 전세대출 필터 삭제시 영향을 받을 수 있는 고객수 산정

선정 이유3 : 세그먼트 그룹별로 평균 PV 비교

 

액션 이전에 액션의 이유를 확인하는 부분이다. 전세대출 필터 이용률이 높은 집단의 PV가 낮다면, 개선해야할 필요가 있을 것이다. 

 

지표2 - PV 상승 유저 비율

기간 : 전세대출 필터 삭제 이전/이후 일주일

Metric1 : 세그먼트 그룹별 비교 sum(필터 삭제 이전 일주일 PV) VS sum(필터 삭제 이후 일주일 PV)

Metric2 : 비율 확인 count(PV 상승 유저수) / count(전체 유저수)

선정 이유 : 전세대출 필터 삭제 전후 PV 카운트 수치를 비교

추가 확인 : 유의미한 상승률이라고 정의할 수 있을까? 혹시 우연적인 결과는 아닐까? / 세그먼트 별로 차이가 있는가?

 

4. 실질 지표 분석

PV 수치 상승 만으로 전세대출 필터 삭제 액션의 효과를 완전히 검증하기는 어렵다. 다방의 주요 수입원은 예비임차인과 공인중개사를 연결해주는 과정에서 발생하는 광고비이다. PV 수치 상승 만으로는 예비임차인과 공인중개사의 연결성이 상승했다고 판단하기 어렵다. 그렇기 때문에 경우에 따라서 PV 수치 상승은 허영 지표가 될 수 있다. 따라서, 실질적으로 연결이 되었는가와 연결 가능성이 증대되었는가를 추가적으로 확인해봐야 한다.

 

(허영 메트릭 참조)

https://www.tableau.com/ko-kr/learn/articles/vanity-metrics

허영 메트릭 정의 및 식별 방법

 

지표3 - 문의율 상승 유저 비율

위와 같이 다방 어플리케이션 내에서 직접적인 문의가 가능하다. 문의율이 높아졌다면 예비임차인과 공인중개사간의 매칭률이 높아졌다고 할 수 있다. 따라서, 문의율 상승은 실질 지표라고 할 수 있다.

 

기간 : 전세대출 필터 삭제 이전/이후 일주일

Metric1 : 세그먼트 그룹별 비교 sum(필터 삭제 이전 일주일 문의횟수) VS sum(필터 삭제 이후 일주일 문의횟수)

Metric2 : 비율 확인 count(문의횟수 상승 유저수) / count(전체 유저수)

선정 이유 : 전세대출 필터 삭제 전후 문의수 비교

추가 확인 : 유의미한 상승률이라고 정의할 수 있을까? 혹시 우연적인 결과는 아닐까? / 세그먼트 별로 차이가 있는가?

 

지표4 - 확인 지역수

고객들이 확인하는 지역의 범위가 넓어졌다면, 예비임차인과 공인중개사간의 연결가능성이 증대되었다고 할 수 있을 것 입니다. 따라서, 확인 지역수는 실질 지표라고 할 수 있습니다.

 

기간 : 전세대출 필터 삭제 이전/이후 일주일

지역 기준 : 동단위

Metric1 : 세그먼트 그룹별 비교 avg(필터 삭제 이전 일주일 확인 지역수 ) VS avg(필터 삭제 이후 일주일 확인 지역수)

Metric2 : 비율 확인 count(확인 지역수 상승 유저수) / count(전체 유저수)

선정 이유 : 전세대출 필터 삭제 전후 확인 지역수 비교

추가 확인 : 유의미한 상승률이라고 정의할 수 있을까? 혹시 우연적인 결과는 아닐까? / 세그먼트 별로 차이가 있는가?

 

5. 필터 삭제 후 사이드 이펙트 확인

전세대출 필터 삭제 후 사이드 이펙트가 발생했을 수도 있다. 가장 대표적인 예로 유저 이탈이 있을 수 있다.

 

지표5 - 유저 이탈률

기간 : 전세대출 필터 삭제 이전/이후 일주일

Metric1 : 세그먼트 그룹별 이탈률(전세대출 필터 삭제 후 이탈 유저수 / 전체 유저수)

이탈 정의 : 필터 삭제 이전 일주일 접속 기록 O / 필터 삭제 이후 일주일 접속 기록 X

선정 이유 : 전세대출 필터 삭제 후 사이드 이펙트 확인

 

6. 가장 중요한 지표를 하나 선정한다면?

지금까지 5개의 지표를 선정해봤다. 이들 중 가장 중요한 지표는 "지표1 - 전세대출 필터 이용 횟수별 세그먼트 & 세그먼트 그룹별 PV 확인" 이다. 왜냐하면, 어떤 것을 문제라고 정의하고 해결에 시간을 쓰기전에 무엇이/얼마나/어떤 문제를 야기하는지 정확하게 확인해야 하기 때문이다. 

 

7. 가설 검증 방식

전세대출 필터 삭제는 게시글의 pv(page view) 상승에 도움이 되었을 것이다.

앞서 위와 같이 가설을 설정하였다. 이에 대한 검증 방식은 다음과 같다.

 

1. 전세대출 필터 이용률을 기준으로 세그먼트를 나눈다.
2. 세그먼트별 유저수 및 PV를 확인한다. 전세대출 필터 이용률이 높은 집단의 PV가 낮다면 개선할 필요가 있을 것이다.
3. 세그먼트 그룹별로 필터 삭제 전/후 PV 상승률, 문의율, 확인 지역수를 비교한다. 
4. 필터 삭제 후 기존 전세대출 필터를 이용하던 집단에서 이탈이 있었는지 확인한다.
5. 필터 삭제 후 기존 필터 이용 층에서 이탈이 있었지만 그 수준이 유의미하지 않았고, PV와/문의수/확인 지역수에서 유의미한 상승이 있었다면 전세대출 필터 삭제는 효과적인 전략이었다고 판단할 수 있을 것이다.