大數(shù)據(jù)分析A/B測(cè)試優(yōu)化產(chǎn)品功能

　　如何利用大數(shù)據(jù)分析A/B測(cè)試優(yōu)化產(chǎn)品功能?無(wú)論您是從事產(chǎn)品，設(shè)計(jì)還是發(fā)展，您都可能遇到以下問(wèn)題：
 

　　1)我們?nèi)绾翁岣咿D(zhuǎn)化率?

　　2)我們?nèi)绾胃纳艫ARRR渠道?

　　3)此功能啟動(dòng)的成功程度如何?

　　4)這些通知是否增加了保留率?
 

　　您可以通過(guò)正確設(shè)計(jì)，運(yùn)行和解釋A / B測(cè)試來(lái)獲得這些問(wèn)題的答案。
 

　　您開(kāi)始測(cè)試之旅所需要做的就是：
 

　　1)基本統(tǒng)計(jì)知識(shí)

　　2)準(zhǔn)確且足夠(每月唯一用戶數(shù)量> 1000)的產(chǎn)品數(shù)據(jù)
 

　　采取的方法嚴(yán)格且鼓勵(lì)最佳做法，但：
 

　　1)它不會(huì)證明常識(shí)假設(shè)檢驗(yàn)背后的數(shù)學(xué)原理。

　　2)它不會(huì)涵蓋更高級(jí)的方面，例如貝葉斯上下文中的A / B，多元測(cè)試或Bonferroni校正。
 

　　準(zhǔn)備?讓我們開(kāi)始吧!
 

　　一、了解拆分測(cè)試是改進(jìn)產(chǎn)品的定量方法，并且很容易弄錯(cuò)
 

　　從本質(zhì)上講，A / B測(cè)試是一種比較用戶流程中流的兩個(gè)版本，以確定哪個(gè)版本表現(xiàn)最佳的方法。
 

　　為了能夠從測(cè)試中獲得洞察力，您將需要每個(gè)組(分別稱為對(duì)照組和實(shí)驗(yàn)組)中足夠的人員，以及足夠的轉(zhuǎn)化差異。正如您將在第3點(diǎn)中看到的那樣，應(yīng)該在運(yùn)行測(cè)試之前定義兩個(gè)值。
 

　　二、從產(chǎn)品渠道中選擇一個(gè)重要的轉(zhuǎn)化步驟
 

　　從技術(shù)上講，您可以進(jìn)行任何測(cè)試，例如在條款和條件頁(yè)面上更改字體。但是，您始終希望選擇對(duì)業(yè)務(wù)成果影響最大的步驟。此外，請(qǐng)記住數(shù)據(jù)量的重要性-流量越高，得出結(jié)論的速度越快-以及數(shù)據(jù)質(zhì)量 -垃圾進(jìn)出。
 

　　錯(cuò)誤的數(shù)據(jù)，錯(cuò)誤的結(jié)論。數(shù)據(jù)少，結(jié)論慢。
 

　　讓我們開(kāi)始實(shí)踐，我們將在大數(shù)據(jù)分析A/B測(cè)試優(yōu)化產(chǎn)品功能中使用該示例。

　　Trana是微博產(chǎn)品總監(jiān)，可為用戶提供額外的運(yùn)行洞察力。為此，它連接到他們的Strava帳戶。因此，關(guān)鍵時(shí)刻就是要求用戶鏈接其帳戶。在本能的基礎(chǔ)之上，讓我們分析一下完整的入職渠道。設(shè)計(jì)跟蹤計(jì)劃后，可以在諸如Mixpanel之類的工具中完成此操作。

　　我們可以看到，從絕對(duì)入職和相對(duì)而言，從“ 入職開(kāi)始”到Strava Connected進(jìn)行帳戶關(guān)聯(lián)都是最有影響力的操作。有自己重要的一步嗎?讓我們繼續(xù)!
 

　　三、分析從此步驟到所需操作的當(dāng)前點(diǎn)擊率
 

　　點(diǎn)擊率(CTP)是給定用戶單擊以進(jìn)入下一步的概率。
 

　　它的值總是因此它是0和1之間不一樣的點(diǎn)擊率(CTR)，這是#點(diǎn)擊/#印象。
 

　　CTP需要從選擇的步驟到關(guān)鍵的行動(dòng)，而不必到下一步，因?yàn)榉駝t您可能會(huì)達(dá)到局部最大值。這是一個(gè)簡(jiǎn)單的示例，可以理解這一點(diǎn)：假設(shè)您現(xiàn)在自動(dòng)將用戶從主頁(yè)重定向到產(chǎn)品的定價(jià)/溢價(jià)頁(yè)面。定價(jià)轉(zhuǎn)換的家將成為屋頂，但您可能想評(píng)估人們是否反過(guò)來(lái)更有可能成為高級(jí)用戶。
 

　　簡(jiǎn)而言之：牢記最終，而不是下一步。

　　從完整的渠道中我們可以看到，CTP為80%。在這種情況下，連接他們的Strava帳戶顯然是一個(gè)重要的里程碑，因此我們可以將這種轉(zhuǎn)化概率用作目標(biāo)指標(biāo)。
 

　　四、建立假設(shè)以啟動(dòng)實(shí)驗(yàn)
 

　　AB測(cè)試不過(guò)是從方法上評(píng)估一種變體(稱為實(shí)驗(yàn))是否比當(dāng)前狀況(稱為對(duì)照)要好。
 

　　實(shí)驗(yàn)從構(gòu)建假設(shè)開(kāi)始。它可能源于直覺(jué)，客戶反饋或團(tuán)隊(duì)討論。

　　假設(shè)如下：通過(guò)了解微博產(chǎn)品如何幫助他們更智能地運(yùn)行，用戶將不太愿意連接其產(chǎn)品
 

　　五、確定樣本量
 

　　這是A / B測(cè)試的核心，也是大數(shù)據(jù)分析A/B測(cè)試優(yōu)化產(chǎn)品功能中最繁瑣的部分。我很樂(lè)意回答您在微博上可能提出的任何問(wèn)題。
 

　　運(yùn)行A / B測(cè)試涉及創(chuàng)建對(duì)照和實(shí)驗(yàn)樣本。通過(guò)將用戶分為兩組來(lái)進(jìn)行抽樣(將每個(gè)用戶分配給一個(gè)變體)。
 

　　一個(gè)用戶應(yīng)該始終看到相同的變化，這意味著采樣是確定性的，而不僅僅是50%的概率。
 

　　我們通常根據(jù)奇/偶ID進(jìn)行采樣，許多工具可以為您解決這些問(wèn)題。
 

　　一個(gè)常見(jiàn)的錯(cuò)誤是忽略采樣，直接更改產(chǎn)品，并將新的轉(zhuǎn)換概率與舊的轉(zhuǎn)換概率進(jìn)行比較。
 

　　這導(dǎo)致團(tuán)隊(duì)得出錯(cuò)誤的結(jié)論，因?yàn)槭褂媚a(chǎn)品的人員在不斷變化。例如，您不能說(shuō)新的流量(由來(lái)自廣告的人使用)比舊的流量(由您的朋友和家人使用)最糟糕，因?yàn)榭吹剿目赡苄暂^小，無(wú)法承受您的產(chǎn)品首先。
 

　　您的樣本數(shù)量將取決于：
 

　　1)您的基準(zhǔn)轉(zhuǎn)化率

　　2)您選擇的絕對(duì)最小可檢測(cè)效果(MDE / d min)。這是您將能夠檢測(cè)到的對(duì)照轉(zhuǎn)化率與實(shí)驗(yàn)轉(zhuǎn)化率之間的最小差。如果您每周的流量很多(相對(duì)于最終樣本量)，則選擇您認(rèn)為值得的最小差異。如果您不這樣做，請(qǐng)選擇一個(gè)差異，該差異會(huì)導(dǎo)致較小的樣本量，但仍然可以實(shí)現(xiàn)。

　　3)Alpha(α)：默認(rèn)保持為95%

　　4)Beta(β)：默認(rèn)情況下，keep為20%，這為1-β提供了80%的值

　　測(cè)試將一直進(jìn)行到兩個(gè)樣品至少觀察到1030次。根據(jù)歷史流量，您可以估算出要行駛多長(zhǎng)時(shí)間。嘗試使實(shí)驗(yàn)運(yùn)行少于一個(gè)月。它們運(yùn)行得越快，產(chǎn)品改進(jìn)的速度就越快。
 

　　計(jì)算樣本大小，寫下來(lái)，然后開(kāi)始測(cè)試。一旦有了足夠的數(shù)據(jù)，您就可以分析結(jié)果。
 

　　六、從結(jié)果中獲得有效的見(jiàn)解
 

　　6.1收集數(shù)據(jù)。
 

　　等待直到兩個(gè)變體都有足夠的樣本量，然后進(jìn)行數(shù)據(jù)收集。

　　實(shí)驗(yàn)轉(zhuǎn)換效果更好。這是第一個(gè)好兆頭，但我們不能止步于此。因此，讓我們進(jìn)行一些檢查。
 

　　6.2確保抽樣工作按預(yù)期進(jìn)行。
 

　　首先，檢查抽樣是否偏向其中一個(gè)小組。這是我們示例的計(jì)算：

　　6.3檢查實(shí)驗(yàn)效果是否明顯好轉(zhuǎn)。
 

　　評(píng)估實(shí)驗(yàn)是否勝過(guò)對(duì)照可能會(huì)很麻煩。因此，我構(gòu)建了一個(gè)小工具來(lái)執(zhí)行此操作，將您的圖形插入其中以執(zhí)行這三個(gè)檢查。以下是計(jì)算的詳細(xì)信息。d min是可檢測(cè)到的最小效果，N是樣本量，X是轉(zhuǎn)換計(jì)數(shù)，即采取所需行動(dòng)的人數(shù)。

　　其中d?±m是置信區(qū)間。
 

　　以下是解釋結(jié)果的方法：
 

　　1)d? – m> d