Notejoy 產品數據規劃
產品數據規劃
最早接觸到產品數據是從 Google Analytics 開始，從網站端的瀏覽數到事件追蹤數，後來 Mixpanel 數據平台出現，用戶在手機端的使用行為更是一覽無遺。但往往因為數據過多，產品經理反而不知道該如何下手，這一篇以 Notejoy 線上筆記服務為案例，來討論軟體的數據規劃。
案例背景介紹：Notejoy 筆記協作功能
Notejoy 是一套支援多人共同編輯、分享筆記的軟體服務，可以在網站、電腦、手機和平板上使用，適合公司開會時使用。Notejoy 的主要用戶是非科技類的中型企業，操作直覺是吸引他們的主要原因。
問題
假設你是 Notejoy 的產品經理，你會怎麼定義 Notejoy 的產品指標和要追蹤的數據，規劃團隊的 dashboard ？
思考你的答案
看到這邊請先停下來思考這些問題你會怎麼回答？你會有哪些步驟？你可以拿下白紙寫下你的想法，或是打開自己的部落格回答上面的問題，我不介意你複製上面的內容，但請思考你自己的答案，讓頭腦健身一下 🏋
下面是我的回答和思考邏輯，準備好再往下看。
我的思考
步驟 1：定義指標的類型與關係
以前看數據總是一把抓，根據不同的討論總有一堆數字要整理，但常常會忘記指標之間的關聯性，不知道哪些數據是最重要的，為此我把指標分成三類，建立指標之間的關係：
產出指標(Outcome Metric)
產出指標可以想成最終的產出和結果，例如每週營收、每週新註冊用戶數和每週活躍用戶數。
投入指標(Input Metric)
有產出就有投入，是什麼造成你的新註冊用戶增加或減少？投入指標則是影響產出的各種數據因素。
關鍵績效指標(Key Performance Indicators)
KPI 是大家最熟悉的，但在這邊的 KPI 是指眾多投入指標裡最重要、影響產出指標最大的投入指標，我們把它稱作 KPI。
步驟 2：定義與拆解指標
根據產品階段不同，要關注的指標也不同。在企業的草創時期，你不知道產品是否能被市場接受還是在浪費時間，因此了解第一批用戶從哪裡來相當重要，就像我今天開一間早餐店，透過發傳單、投 FB 廣告和優惠折扣的方式吸引人潮，但哪個方式最有效的，是我們需要追蹤的。
追蹤每個管道獲取新用戶的成效，分析註冊轉換率
以 Notejoy 為例，為了評估產品在各通路獲取新用戶的情況，我們畫出下面的樹狀圖說明數據的架構。第一層的產出指標定義成「每週註冊用戶數」，我想知道多少用戶註冊完 Notejoy，準備體驗產品。
第二層的投入指標我拆成各種註冊的來源，樹狀圖最左邊的註冊管道是 Notejoy 的邀請功能(如下圖)，用戶可以透過 email 邀請同事或朋友一起編輯筆記，這是 Notejoy 增加註冊用戶的來源之一，其他常見的註冊來源像 Google 廣告、FB 廣告和網站自然的 SEO 流量。
在分析完來源後，第三層的投入指標計算每個來源的曝光數和註冊人數，藉此算出轉換率比較每個管道的成效好壞，下面是計算公式：
如果你的產品像 Notejoy 一樣是跨國服務，上面的數據架構可以繼續往下長，透過下面的區隔變數(segmentation attributes)了解不同市場、平台和使用者的反應：
地理位置 Geography (美國 vs 歐洲市場)
平台 Platform (桌機 vs 手機)
用戶類型 Persona (隨意寫筆記 vs. 什麼事情都要紀錄)
拆解完之後，可以找出成效較差的部分討論優化方式。
評估產品留下用戶的能力，分析活躍用戶
企業經歷草創期，找到 PMF 逐漸累積用戶後，要把關的就是留存率，讓用戶離不開你。最常提到的留存率應該是第 7 天留存率( Day 7 retention)，我自己在國外的產品經理課程裡得知像 Facebook 的 retention rate 是 92%、Spotify 的 retention rate 是 80%、Apple Music 是 45%。但除了第 7 天留存率外，如果用過 App Store 或 Google Play 的開發者後台，在後台可以看到你的第 N 天留存率是多少，每一天都會列出來，計算的公式與定義可以參考 Mixpanel 的介紹。
但 Retention 不只是一個數字，他代表著有多少用戶在一段時間內仍然活躍使用產品或是離開你了，牽扯到用戶狀態的變化，下面的圖表是對 Retention 的拆解，大致上可以分成 4 個部分：
激活用戶(Activation)：對應圖表左邊的 4 個狀態，從用戶接觸產品、註冊到建立習慣的過程。除了註冊外，在激活用戶的過程中有 3 個關鍵時機點 setup moment、aha moment 和 habit moment，這 3 個時機的說明請見上面的圖表。
高黏著度用戶(Engaged)：用戶已經習慣和體會產品的價值，而且會固定使用產品。
休眠用戶(Dormant)：用戶停止與產品接觸，雖然過去很活躍。
離開的用戶(Churned)：曾經滄海難為水，除卻巫山不是雲 😢。
說明完 Retention 的細節後，我們回到 Notejoy 的案例，開始定義 Retention 的相關指標。為了評估產品留下用戶的能力，我第一層定義的產出指標是「每週活躍用戶數」，第二層則是對應上面的圖表，將不同階段的用戶列出來，最左側是新增的活躍用戶。
每個產品對於活躍用戶的定義不同，團隊需要內部討論達成共識，以 Spotify 為例，用戶在前 28 天裡每週都有聽 3 天音樂，這樣互動程度表示用戶已經建立在 Spotify 聽歌的習慣，算成 Spotify 的活躍用戶。
在 Notejoy 的案例，我把註冊後 28 天內有登入且編輯 1 則筆記的用戶算為體驗到產品價值、通過 aha moment 的用戶，而每週編輯 3 則筆記的用戶算為建立習慣、通過 habit moment 的用戶。
被激化的用戶有些會持續使用產品，變成高黏著度的用戶(currently engaged user)，在此案例中，除了新增筆記的行為外，我將標記星號和分享筆記視為高黏性用戶的特徵，去追蹤這些功能的頻率和強度。
有些用戶持續使用使用，有些用戶則會離開變成休眠用戶(dormant user)，休眠用戶定義是使用頻率低於活躍用戶的標準(active threshold)，PM 可以試著找出用戶背後的原因，產品提供的價值為何沒有滿足用戶的需求，還是替代方案太強。為了救回這些休眠狀態的用戶，各公司常常會給予舊用戶優惠，無非就是希望他們再度使用產品，產品經理也可以透過數據統計這些「復活」的用戶(resurrected user)。
備註：常常在產品經理工作中聽到 engaged，但中文好像沒有一個常見的用法，我自己翻成「高黏著度」。
評估產品變現能力，定義你的營收指標
對於公司來說，營收是最常盯著看的數據，對於訂閱制的 B2C 服務來說，衝訂閱數和各種優惠方案的推廣是 PM 常會遇到的課題。
經營產品如同經營一家早餐店，每天會有不同的來客數，點不同的套餐，身為老闆你，需要算出平均客單價。套在 Notejoy 也是一樣的道理，第一層的「每週營收」定義為產出指標，第二層則將每週營收拆成「付費訂閱用戶數」和「每個用戶的平均營收」。
經營早餐店相當競爭，會有新客人來光顧，也會有客人想吃中式的燒餅油條而離開，軟體服務也是一樣的概念。因此「付費訂閱用戶數」可以細分出第三層的新增、已訂閱和取消訂閱的用戶數，計算新訂閱用戶的註冊、試用和訂閱轉換率，已訂閱用戶可以列出不同訂閱方案的人數，像 Notejoy 他們有個人、加值和進階方案。
最後取消訂閱的用戶可分成自願和非自願二種，現在許多 App 會在你取消訂閱時詢問你取消的原因，對於產品經理來說，是了解用戶對產品各功能滿意度的好時機。非自願取消訂閱最常見就是付款失敗的情形，信用卡停用、到期或是銀行系統出現問題都可能發生。
步驟 3：排序指標，找出關鍵績效指標
做數據分析最常見的問題就是數據太多，不知道哪個最重要，像上面的投入指標那麼多，到底哪些最重要？另外上面的假設也可能是錯的，我們要透過量化評估驗證假設，最常用的方式是相關性分析。
相關性分析是一個統計方法，透過相關係數(correlation coefficient)驗證二個變數或 dataset 是否有關係，他們的關係有多深？Excel 或 Google 試算表都可以計算相關係數，這邊我用 Google 試算表做了一個範例。
第一步列出同一段時間的兩組數據，一組是產出指標的資料，另一組你假設的輸入指標的資料。
接著輸入函數 CORREL(A2:A6,B2:B6)，括弧內是兩組資料的試算表位置，定義資料從第幾格到第幾格，用逗號區隔開兩組資料的位置，最後按下 Enter 後就會算出相關係數。相關係數的範圍在 -1 到 1 之間，絕對值越高表示相關性越高，例如 0.85 和 -0.85 相關性一樣高，0.85 比 0.65 的相關性高。
透過相關係數的計算，可以剔除掉一些指標，專注在 KPI 上， 幫助數據的討論和凝聚產品團隊的方向。
如果沒有跑出相關係數高的 KPI，可以換一個相關的產出指標並抓不同時間區段試試。例如你們的目標是提升每週活躍用戶數，但發現跟所有投入指標的相關性差不多，為了解決這個問題，可以把產出指標的區間從 7 天改成 30 天的 retention。
如果問題沒有解決，這可能因為有隱藏的變數你沒有思考到，這隱藏變數卻影響了 KPI 和產出指標。以 Facebook 為例，如果他們假設加入臉書社團可以提升用戶的 retention，因此投入資源 push 用戶加入社團。然而，可能有超過 20 個高度相關和活躍的 Facebook 朋友才是刺激 retention 的真正原因。換句話說，有密切且活躍的朋友是隱藏變數，如果 PM 沒有釐清這層因果關係，優化的方向就會歪掉，建議定期在每一季和每個月的 planning 中討論 KPI 對產出指標的影響程度，KPI 可能隨著你對用戶的了解而改變。
參考答案
這個 Notejoy 的案例出自 Reforge 的 Mastering Product Management 課程，課程中有英文版本，下面是官方答案，原本全是英文，下面都是我自己翻譯，可作為參考。
對於獲取新用戶(Acquisition)
產出指標為每週註冊用戶(Weekly Signups)。
Notejoy 的體驗是從註冊開始，我們是免費註冊的生產工具。通常週一最多人註冊，週五和週六最少人註冊，一整週的註冊數隨著時間有起伏，所以我們用「每週註冊用戶數」比較每一週的差異，而不用每天的註冊數。
官方討論沒有提到投入指標和關鍵指標。
對於舊用戶的持續使用產品的情況(Retention)
產出指標為每週活躍用戶(weekly active users)
雖然希望用戶每天使用 Notejoy，但觀察到用戶的使用頻率是每週用幾天，其他天就不用，所以我們設定「每週活躍用戶數」為產出指標，而不是每天活躍用戶數( daily active)。
投入指標有各種可能，像是停留時間( time on site)、瀏覽數(page views)、登入數( logins)、新增的筆記數量(notes created)、編輯的筆記數量(notes edited)、瀏覽過的筆記數量(notes viewed)、筆記的回覆數(note reactions)和搜尋次數(searches)。
技術上來說，這些行為跟每週活躍用戶有關，但我們只想專注在一個關鍵性的投入指標幫助我們做產品決策，因此我們把有潛力的投入指標都拿去跑相關性分析，研究哪個跟每週活躍用戶數和 retention 最有關。原先我們認為寫新的筆記(notes created)會是最重要的投入指標，畢竟我們是一個線上筆記服務，如果你不寫筆記，怎麼知道我們的價值呢？但結果瀏覽筆記(note views) 才是最重要的，即使把維度拉到團隊來看， retention 也是受到瀏覽筆記影響。我們發覺因為筆記不只是給自己看，團隊其他人也會看，通常筆記是一個人寫，團隊其他 10 個人會看，這 10 個人雖然不寫筆記，但每週都會開啟產品，他們體會到 Notejoy 價值是因為這些已經寫好、存在系統裡的筆記。
對於產品的變現能力(Monetization)
產出指標為每月訂閱收入(Monthly Recurring Revenue)
產品為 freemium subscription 服務，用戶可免費註冊使用基本功能，進階功能才需要付費，可以每月付或是一次付一整年。每月持續性的營收是我們要關注的，雖然我們會有一次性的營收，例如跟企業軟體整合，但我們不算入持續營收裡。我們在意持續性的營收，因為它代表企業的成長力道，跟偶爾發生的收入不同。
官方討論沒有提到投入指標和關鍵指標。
2022 good bye 👋 ~享受思考的過程，因為那才是你的成長。
Last updated
