中值极限定理和中心极限定理 30分钟理解中心极限定理(1)

中心极限定理、极大似然估计及最小二乘法是统计学的奠基性理论,也是机器学习应用领域里面最基础的数学理论。本文通过实验验证了中心极限定理的分布规律,并举例说明了极大似然估计以及最小二乘法的实际应用。

中心极限定理

中心极限定理:设从均值为μ、方差为σ2的任意一个总体中抽取样本量为n的样本,当n充分大时,样本均值的抽样分布近似服从均值为μ、方差为σ2/n的正态分布。

中心极限定理主要论证样本均值的分布是正态分布。同样的,样本和的分布也是正态分布。

有很多实验已经论证了样本均值的分布是正态分布,下面做的这个实验主要论证样本和的分布也属于正态分布。

实验性证明:我们将6个骰子作为一组,记录每组骰子产生的点数之和,显然骰子的点数落在[6,36]之间,如果有两组骰子点数只和是12,那么我们成为12点的出现的频度为2,为了最形象的展示各个点数的分布,我用程序模拟10万次掷骰子的过程,产生的点数分布如下:

6 1

最小。

中值极限定理和中心极限定理 30分钟理解中心极限定理(2)

这个方程的几何意义也就是使上图中三个正方形面积之和最小。

中值极限定理和中心极限定理 30分钟理解中心极限定理(3)

中值极限定理和中心极限定理 30分钟理解中心极限定理(4)

将坐标值代入得到关于a, b的二元一次方程组:

中值极限定理和中心极限定理 30分钟理解中心极限定理(5)

以上是对二维空间内最小二乘法的应用推导,下一篇文章会对多维空间的最小二乘法的求解过程进行详细推演。

Happy enjoy it ^_^!

,