中心极限定理、极大似然估计及最小二乘法是统计学的奠基性理论,也是机器学习应用领域里面最基础的数学理论。本文通过实验验证了中心极限定理的分布规律,并举例说明了极大似然估计以及最小二乘法的实际应用。
中心极限定理
中心极限定理:设从均值为μ、方差为σ2的任意一个总体中抽取样本量为n的样本,当n充分大时,样本均值的抽样分布近似服从均值为μ、方差为σ2/n的正态分布。
中心极限定理主要论证样本均值的分布是正态分布。同样的,样本和的分布也是正态分布。
有很多实验已经论证了样本均值的分布是正态分布,下面做的这个实验主要论证样本和的分布也属于正态分布。
实验性证明:我们将6个骰子作为一组,记录每组骰子产生的点数之和,显然骰子的点数落在[6,36]之间,如果有两组骰子点数只和是12,那么我们成为12点的出现的频度为2,为了最形象的展示各个点数的分布,我用程序模拟10万次掷骰子的过程,产生的点数分布如下:
6 1
最小。
这个方程的几何意义也就是使上图中三个正方形面积之和最小。
将坐标值代入得到关于a, b的二元一次方程组:
以上是对二维空间内最小二乘法的应用推导,下一篇文章会对多维空间的最小二乘法的求解过程进行详细推演。
Happy enjoy it ^_^!
,