自从一年多前疫情出现之后,也不知道是SPSS是哪根筋搭错了,或者是以前搭错的那根筋又搭对回来了。。。
先是突击发布了本来不在计划表上的27版,然后呢,在SP1补丁包27.0.1里面,居然还提供了新增功能!
是的,你没看错,是SP1补丁包里面提供了新增功能!!
其实这也从另一个侧面印证了27版确实是临时起意的东西,连要放什么上去都没想清楚。。。
具体就是上面这几个,单组、成组、配对的率比较。
可问题是这些功能你放也就罢了,给放在“比较平均值”这个菜单下算是怎么回事。。。
这些检验功能在使用上也没太多要解释的,不过进入相应的子对话框之后,在计算可信区间的时候,乐子就来了,请随便欣赏一下其中一个里面提供的计算方法:
就问你晕不晕,就问你怕不怕。。。
OK,下面就来科普一下这些区间是怎么回事。
在以前的统计教科书上,对二项分布率的可信区间一般都是这么说的:
- 直接计算概率:在样本例数较小,且样本率接近1或0,即阳性事件发生率很高或很低时,直接按照二项分布率的抽样分布规律确定总体率的可信区间。
- 正态近似:当n较大,pi和1-pi均不太小时,样本率的抽样分布近似正态分布,因此可按正态近似法求总体率的可信区间。
本来这样子直接就天下太平了,然而,通过计算统计学的模拟方法,已经证明,上述两种看法:
全都是错的。
都是错的。
是错的。
错的。
的。
。
嗯,这个复杂的问题怎么解释一下呢,我勉为其难地说一下,简单地讲,就是人们发现正太近似法(感觉这个名字好正太,比正态近似舒服)其实近似的还不够正太,而二项分布由于不是光滑曲线,所以直接给出来的可信区间不会是连续变化的,抖动会比较厉害。。。
就是这样子,不知道上面的解释大家懂了没有?如果没懂的话请打十万元给我。OK,没有人交钱过来?那看来是都懂了。。。继续。。。
就这样,统计学家们生生地把一个本来太平无事的领域搅了一个稀里哗啦,你说这班家伙是有多可恶吧,为了自己能发几篇论文生生的多搞了多少事出来。。。
下面简单总结一下经常会遇到的几种可信区间计算方法:
1. Wald法:即正态近似法,一般而言,我们会认为这种正态近似的区间有如下性质:
- 样本量n越大,近似程度就会越好,从而计算得到的区间就越准确。
- 只有样本率太偏的时候,近似效果才是比较差的。样本率p越接近0.5,计算出的区间就越准确。
但是前面已经说了,近似效果其实没那么好,所以小样本或者样本率较偏的时候就必须要找更好的方法才行。
2. Wilson得分:公式在下面,估计你们懒得看,我也懒得解释,重点在于研究表明,该方法在区间的震荡率和覆盖程度上都是明显优于Wald法的,知道这个就够了。
3. AC区间:覆盖率比Wilson得分法更高,但偏宽,或者说计算的结果有些过头了,往往会超出要求的可信度。不过一般认为在小样本情况下,AC法表现是优于Wilson法的。
4. Jeffreys贝叶斯区间:该方法属于Bayes推断,原理是由于Bate分布属于二项分布的共轭分布(这句看不懂可以直接跳过。。。),所以可以将Beta分布作为先验分布,然后在此基础上去推断二项分布参数,该方法计算出来的区间要比上面两种保守一些,在小样本时CI的覆盖率适中。
5. Clopper-Pearson法:好像没人把这方法简称为CP法。。。你说这帮统计学家也太不解风情了,这么好的一个简称愣是弃之不用。。。他也被称为确切概率法,但是,千万不要上当!该名称实际上指的是在计算中他使用的分布是确切的二项分布的概率分布,但这并不意味着计算出的区间也是“确切”的,事实上,该方法的计算结果准确性并不会特别好。。。
啥?你不相信这个毁三观的结果?好吧,多年前已经有学者发表了相关的论文,如下:
Agresti, Alan; Coull, Brent A. (1998). “Approximate is better than 'exact' for interval estimation of binomial proportions”. The American Statistician 52: 119-126.
btw,由于CP法在计算中会用到Beta分布,因此也被称为Clopper-Pearson interval based on Beta distribution,python中statsmodels包的相应文档里就是这么写的,实在是好长的名字。。。
6. Logit法:是利用logit变换进行区间求解,相对用得不多。
7. Newcombe方法:这个方法比较专用,主要是用于率差置信区间的计算,其他方面就不是首选了。
要是上面这一大堆已经把你看晕了的话,那其实是这样的:
- 样本量大,随你折腾,精度都够用,最传统的Wald法也行呀。
- 多数情况下Wilson得分法表现较好。
- 小样本也可以考虑使用AC区间法。
- 计算的是率差置信区间的话,Newcombe方法。
Over.
,