怎么對AB測試的結果做分析?
對AB測試成果的剖析可分為統計剖析和業務剖析兩個方面。
1、統計剖析
統計剖析,所謂的統計剖析就是從統計的角度來剖析是否可信。
分為三個層次:一是剖析AB兩個版本之間的不同水平,以統計上的明顯性反應出來,然后再剖析差別大小,這里用改良的后果來表現,即轉化率的增長或減少的幅度;最后是差別區間,表現轉化率改良的空間規模。
統計學上有意義:
統計學上的明顯性也稱為明顯性,是指兩組間態度上的差別是由制度因素而非偶然因素的影響,同時假定影響差別的其他影響因素是我們所推論的因素,但這一點也不是100%保證,所以會有一個概率值,即顯著的水平。
如前所述,統計明顯性的值表現以下含義:
1)超過95%:優化版本與原始版本之間存在明顯的統計差別,轉換率“改良”是可信的;
2)90%~95%:優化版本與原始版本之間的統計差別存在疑問,轉換率的「改良」是有疑問的;
3)低于90%:優化版本與原始版本之間沒有明顯的統計差別,轉換率的“改良”是不可信的;
改良后果:
優化后的AB測試版本比本來的版本進步了多少。盤算公式為:(優化版本轉換率-原始版本轉換)/原始版本的轉化率。
差異規模:
即優化后的AB測試版本和原始版本間轉換率差別最可能散布的區間。比如:A版是原版,B版是優化版,A版是10%,B版是15%,B版是5%,兩者的絕對差值是5%,而轉換率的相對差值是50%。
2、業務剖析
經過上述統計剖析肯定可信度后,須要對AB測試成果進行商業剖析。由于統計剖析得到的是差別性因素,在行業知識、顧客心理、用戶行動習慣、偏好等方面進一步進行剖析,從數據的統計中發掘出真正發生差別的原因。
特別聲明:以上文章內容僅代表作者本人觀點,不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與ESG跨境電商聯系。
二維碼加載中...
使用微信掃一掃登錄
使用賬號密碼登錄
平臺顧問
微信掃一掃
馬上聯系在線顧問
小程序
ESG跨境小程序
手機入駐更便捷
返回頂部