做 A/B testing「正打歪著」怎麼辦?

0

文、製圖/鄧文華

A/B testing 要測的對象是使用者/消費者,對嗎?

對,卻不完全是。它也測試公司內部例如資源、排程,甚至思辯能力。

10/5(五)A/B testing 數據分析與決策實務研討講者、財報狗行銷經理林威宇表示,如果把 A/B testing 比喻成實驗,那麼將實驗串聯起來,彷彿真理越辯越明似的,有助公司釐清「到底」要去哪裡。另一方面,根據國外研究,高頻率地推動實驗也對企業成長有正面效益。

他提到在財報狗內部,每發動一輪 A/B testing,會先訂出目標(goal)為何,然後去想用什麼方法(ideas)達成、怎麼排資源(priority),接著下去執行(do),最後檢視成果(review),對照與目標的差異,並做成內部分享文件,方便下一次實驗參考。文件最好有穩定格式,就算不同人接手,也能看得懂且接續記錄。

訪談四位講者過程中,最有趣的莫過於「正打歪著」,意思是發生和目標有顯著差異的結果怎麼辦?林威宇說最常見的有兩種,一種是直接的正向或反向發展,例如本來要測增加留存率(retention rate),結果留存用戶效果不明顯,但付費者竟然變多了,天外飛來貢獻當月營收;一種是冒出無直接相關但值得關注的結果,好比測付費意願,但意外影響到粉絲數增加速率,就要像偵探一樣去抓出變數在哪裡。

怎麼抓出變數?往前找。這是源自於 TOYOTA 管理生產線經典的「5 Whys」,在發生問題後往前問 5 個為什麼。5 是舉例,用意在打破砂鍋問到底,找到根本原因,而非限制只能往前問 5 層。至於像「正打歪著」的情形也要分開來看,付費者變多雖然很好,然而原本實驗要找出增加留存率的原因不明,要再開一檔實驗繼續挖掘。

其他在實戰裡還有許多值得玩味的經驗,例如:

  • 相關不一定是因果;因果要有直接可證明的關係。
  • 有時候不知道原因,是不知道有這個數據。
  • 有時候不知道原因,是不知道這幾個數據是有關聯的。

財報狗是從基本面找出投資標的的公司,同仁對於看數據自有一套心得,所以當發生歧見的時候,反而會好奇對方的觀點在哪,沒吵過架。

A/B testing 不只測用戶、測內部,也測同事的個性,這也挺有趣的。

想知道更多 A/B Testing 的操作細節?歡迎 10/5(五)來參加由 UserXper 悠識數位主辦的「A/B Testing 數據分析與決策實務研討」:https://userxper.kktix.cc/events/abtestingsmr

Share.

About Author

鄧 文華

現任:文華智樂有限公司 總監 / 曾任: 商周集團《Smart智富》協理、NOWnews今日新聞網總經理特助暨策略部資深協理、商周集團《商業周刊》行銷經理及《大師輕鬆讀》行銷經理

Leave A Reply