本篇简单讲解使用excel对ABtest数据进行T检验

T检验用于检测两组数据差异的显著性,在项目进行AB测试时,一般而言,只有两组数据呈现显著差异时,我们才可定论某组数据更好一些,若非显著差异则视为正常波动,此种情况下不应将增长数据计入ROI的计算中。

ABtest大部分是基于全渠道的数据进行测试,然而由于业务原因,我们只有少部分的数据符合我们想要的测试需求,比如某个品类的数据,此种情况下,我们应将符合条件的品类的各版本数据单独拎出来做T检验。

Excel T检验过程如下:

如何运用t检验(ABtest的T检验的计算)(1)

T检验函数参数框

1.在空格中输入“=”,在统计类函数中找到“T.TEST”,点击后调用函数参数框;

2.在函数参数框中:

• Array1中选择第一组对比数据;

• Array2中选择第二组对比数据。

• trails有两种,1代表单尾,2代表双尾,简单来讲,双尾比单尾更严格一些,需要更多的检验来证实两组数据差异的显著性,这也意味着单尾比双尾对显著性更敏感。另外,若对两组数据有明显方向性定论,比如确定B会比CD差,则可以用单尾检验,若不确定两组数据好坏,则使用双尾检验。本实验选择双尾。

• Type有三种值:

>当为成对样本时(也就两组数据有严格的一对一关系,比如一组人吃饭前和吃饭后,虽然有两组数据,但样本存在一对一关系),选1.

>当为双独立样本时,须先进行方差齐性判断,先用F.TEST()函数,

P = F.TEST()

直接看P是否<0.05或<0.01,判断显著性。

当P <0.05或<0.01(至于 取0.05还是0.01,就根据自己的研究项目的要求是否更严格)时,说明“两组数据的方差有统计学意义上的显著性差异”,即两个样本空间的方差“不齐”,这时,T检验中的TYPE参数应取3。

反之,说明“两组数据的方差无统计学意义上的显著性差异”,即两个样本空间的方差“齐”,这时,T检验中的TYPE参数应取2。

由于ABtest的样本时存在一一对应关系的,因此是成对检验,本处选1.

3.点击确定便可以看到T检验P值,当P <0.05或<0.01时,说明“两组数据的方差有统计学意义上的显著性差异,至于取0.05还是0.01,就根据自己的研究项目的要求是否更严格。

,