프로덕트의 역량 평가 방법 : Carrying Capacity

https://youtu.be/tcrr2QiXt9M

---

들어가기에 앞서 생각해 볼 질문들

Q1

You notice that your power users all have taken some action (ie. filled out their profile)
so you try to encourage all users to fill out their profile to get them more hooked on your product.
Dose this actually help?

 

당신은 당신의 파워 유저들은 모두 특정한 액션을 행하였다는 것을 알게 되었다.(예를들어 프로필을 채워넣는 등)
그래서 당신은 모든 유저들에게 프로필을 채워 넣도록 권장하여 그들이 프로덕트에 더 몰입되도록 하려고 한다.
이것은 실제로 도움이 될까?

 

Without this model its easy to mislead yourself into thinking it helps. You will probably be able to increase the metric but it may just weaken the correlation with power users. However, with this model you just watch your loss percentages each day and if it doesn't change then you haven't had any net impact on retention.

Q2

You have 24 hours of downtime, the next day you come back up your traffic is down.
Will this have a long-term effect you need to worry about?

 

당신의 서비스에 24시간의 장애가 발생하였고, 다음날 서비스가 재개되고 난뒤 트래픽이 감소하였다.
이것은 장기적인 관점에서 걱정할만한 부분인가?

 

Even if your tracffic is lowered for a few days, all you have to do is measure your new visitors per day and lost customers per day. And you will see if your carrying capacity has changed. If it has not changed then you don't have to worry, you know your traffic will rise back up to your carrying capacity.

Q3

You have 100k uniques per day and so does your competitor, but are these 100k people who come back everyday or 700k people who each come once per week? Does it matter?

 

당신은 하루에 10만명의 유저가 오는 서비스를 가지고 있고, 당신의 경쟁자 또한 마찬가지다.
하루에 10만명이 오는 것과, 일주일에 70만명이 오는것 이 두가지 경우가 상관이 있을까?

If you are incorrectly caught up in number of unique visitors per day then this does seem like an important thing.
And in fact, if you realize your visitors are not returning as often as your competitors you may even be tempted to spam them regularly because this will increase number of unique visitors each day and give you the illusion of improving things. In reality a move like this would probably increase your percentages lost each day and hurt your carrying capacity but you wouldn't notice this for awhile because the increased number of uniques each day would mask the harm. However, with the model your emphasis is on number of customers not number of visitors, you will quickly realize that you don't care how frequently people visit as a primary factor; if it doesn't impact number of new customers per day or percentages of lost per day then you haven't actually helped your product.

Q4

You turn on a new advertising campaign and see your number of unique visitors per day start to increase,
you assume that this will continue increasing as long as you keep the ads running, right?

 

당신은 새로운 광고 캠폐인을 시작하였고, 일일 방문자 수가 증가하고 있는 추세이다.
이렇게 계속 광고캠폐인을 지속하면 방문자 수는 계속해서 증가하는가?

 

Nope, you will level off once you have reached your new carrying capacity.

Q5

You start having email deliverability problems (or Facebook turns off notifications) so you can't notify users of new activity on the site. The number of unique visitors decrease slightly but you're not too worried, should you be?

 

당신의 서비스의 푸시 알림기능에 문제가 생겨 당신의 유저들에게 더이상 새로운 활동들에 대하여
알릴 수가 없다. (이메일 알림, Notification 푸시 알림등)
이로 인해 실제로 일일 방문자 수가 조금 감소하였다, 당신은 이에 대하여 걱정해야 하는가?

 

This is similar to Q3, it may or may not be important but you will quickly be able to tell by focusing on the core numbers. Increasing number of unique visitors per day does not necessarily lead to more total customers.

---

Carrying Capacity (한계 수용 능력)

프로덕트 관점에서 MAU(Monthly Active Users)가 프로덕트가 가지는 역량이라고 하였을때
Carrying Capacity는 이 MAU 즉, 호수의 물이 얼만큼 올라갈지를 알려주는 지표이다.

호수의 물의 양은, 땅의 지형(=시장)과 관계 없이

• 호수에 물을 채우는 비의 양
• 호수의 물의 양에 따라 점점 늘어나는 나가는 물의 양 (%)

두가지 요소만에 의해 정해진다.

마찬가지로, 프로덕트의 Total Customers 에 영향을 미치는 요소는

• Inflow ( = New User + Ressurection)
• Chrun Rate ( = 1 - Retention Rate)

이 두가지 요소만에 의해 정해진다.

Carrying Capacity = 제품의 본질적인 체력(마케팅, 광고가 제외된) = 내 서비스가 도달할 최종적인 유저수

CC를 결정하는 두개의 값을 바꾸지 않으면 프로덕트의 MAU는 늘어나거나 줄어들수 없다.
CC의 의의는 서비스를 운영하고 3-6개월 안에 알 수 있기 때문에, 제품의 성장을 미리 예측할 수 있다는 점에서 중요하다.

---

마케팅 관점에서의 CC 의 가치

전제 : 광고는 돈이 든다. 즉, 지속 가능한 Inflow 의 증가가 아닌 일시적인 Inflow Boosting에 불과.

 

Q. 현재 MAU가 10만, CC 는 75만 | 광고를 해야 할까?
-> YES : CC에 도달하기 까지의 시간을 단축 시킬 수 있다.

 

Q. 현재 MAU가 70만, CC 는 75만 | 광고를 해야 할까?
-> NO : 광고를 하지 않아도 MAU는 CC가 75만이기 때문에 75만에 도달할 것이다.

 

Q. 현재 MAU가 100만, CC 는 75만 | MAU는 떨어질까?
-> YES : 프로덕트의 CC가 변하지 않는 이상 MAU는 다시 75만으로 회귀한다.

 

---

R&D 관점에서의 CC의 가치

프로덕트가 CC에 도달하는 시점을 알게되면,
프로덕트를 성장시키기 위해 기능을 추가해야 하는 시점도 알 수 있다.

CC에 도달한 프로덕트를 성장시키는 방법에는 두가지가 있다.

• Inflow 를 개선 / Retention 개선을 통한 CC 자체를 높히는 방법
• 새로운 기능(프로덕트)를 추가하여 새로운 CC를 얹는 방법

프로덕트의 Carrying Capacity 를 측정하면 언제 프로덕트가 성장 한계에 도달하고, 언제 기능을 추가 해야 하는지를 알 수 있다.

---

주의점

1. 프로덕트의 정확한 Carrying Capacity 를 측정하기 위해서는 Organic 지표를 기준으로 삼아야 한다.
    즉, 광고를 끈 상태의 프로덕트 자체의 Organic 지표를 파악하는 것이 중요.

 

2. Customer 에 대한 정의가 중요하다. 사전에 해당 지표를 Fix 해두는 것이 중요.

• Active User 에 대한 정의
• Churned User 의 정의 : 얼마를 안써야 Churn 된 유저라고 정의하는지 | Loss 유저에 대한 정의.

 

3. Carrying Capacity를 결정하는 요소에 대한 Timeframe 에 대한 기준

Carrying Capacity = Number of New Customers per [Timeframe] / Percentage of Customers Lost Each [Timeframe]

[Timeframe] 이 너무 길어지면 이터레이션에 따른 측정에 걸리는 시간도 늘어난다.

---