“你的输入变量/特征必须是高斯分布的”是一些机器学习模型(特别是线性模型)的要求。但我怎么知道变量的分布是高斯分布呢。本文重点介绍了保证变量分布为高斯分布的几种方法。

本文假定读者对高斯/正态分布有一定的了解。

在本文中,我们将使用来自Scikit-Learn的众所周知的Iris数据。

首先,让我们导入所需的包。

import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.datasets import load_iris #Converting the data from an array to a data frame X = pd.DataFrame(load_iris()["data"]).copy()

输入特性/变量为[0,1,2,3]

方法一:直方图法

这是第一个和一个简单的方法,用来得到一个变量的分布。让我们画出Iris 数据变量的直方图。

X.hist(figsize=(10,10))

如何通俗理解随机变量函数的分布(如何知道一个变量的分布是否为高斯分布)(1)

上面的直方图显示变量0和1接近于高斯分布(1似乎是最接近的)。而3和4看起来完全不是高斯的。需要注意的是,直方图可能会产生误导(具体可参考我们以前的文章)。

方法二:密度图(KDE图)

密度图是绘制变量分布的另一种方法。它们与直方图类似,但与直方图相比,它们能更清楚地显示变量的分布情况。

fig,ax = plt.subplots(2,2,figsize=(10,10)) row = col = 0 for n,c in enumerate(X.columns): if (n%2 == 0) & (n > 0): row = 1 col = 0 X[c].plot(kind="kde",ax=ax[row,col]) ax[row,col].set_title(c) col = 1

如何通俗理解随机变量函数的分布(如何知道一个变量的分布是否为高斯分布)(2)

现在我可以看到变量0和1比在直方图中显示的更高斯化。变量2和3看起来也有点接近高斯分布,除了两个峰值。

方法三:Q-Q图

Q-Q图根据指定的分布绘制数据。在这种情况下,指定的分布将是“norm”。

在Python中,Q-Q plot可以使用' scipy '的' probplot '函数绘制。如下所示。

from scipy.stats import probplotfor i in X.columns: probplot(x=X[i],dist='norm',plot=plt) plt.title(i) plt.show()

如何通俗理解随机变量函数的分布(如何知道一个变量的分布是否为高斯分布)(3)

如何通俗理解随机变量函数的分布(如何知道一个变量的分布是否为高斯分布)(4)

如何通俗理解随机变量函数的分布(如何知道一个变量的分布是否为高斯分布)(5)

如何通俗理解随机变量函数的分布(如何知道一个变量的分布是否为高斯分布)(6)

从上面的Q-Q图可以看出,变量0和1紧密地跟随红线(正态/高斯分布)。而变量2和3在一些地方远离红线,这使它们远离了高斯分布。Q-Q图比直方图和密度图更可靠。

方法四:Shapiro-Wilk检验

夏皮罗-威尔克(Shapiro-Wilk)检验是一项针对正态性的统计检验。 这是用于检验正态性的定量方法。 Shapiro-Wilk检验通过检验零假设:即数据是从正态分布中提取的。来确定是否是正态分布

在Python中,可以使用' scipy '的' shapiro '函数执行shapiro - wilk检验。如下所示。

from scipy.stats import shapiro for i in X.columns: print(f'{i}: {"Not Gaussian" if shapiro(X[i])[1]<0.05 else "Gaussian"} {shapiro(X[i])}')

如何通俗理解随机变量函数的分布(如何知道一个变量的分布是否为高斯分布)(7)

从上面的结果可以看出,只有变量1是高斯型的。

Shapiro-Wilk检验的一个缺点是,一旦样本大小(或变量的长度)超过5,000,就不可靠。

方法五:Kolmogorov-Smirnov检验

Kolmogorov-Smirnov检验是一项拟合优度的统计检验。 此测试比较两个分布(在这种情况下,两个分布之一是高斯分布)。 此检验的零假设是,两个分布相同(或),两个分布之间没有差异。

在Python中,可以使用“ scipy.stats”模块的“ kstest”执行Kolmogorov-Smirnov测试,如下所示。

首先,我们将对随机生成的正态分布进行测试。

from scipy.stats import kstest np.random.seed(11) normal_dist = np.random.randn(1000) pd.Series(normal_dist).plot(kind="kde") print(f'{"Not Gaussian" if kstest(normal_dist,"norm")[1]<0.05 else "Gaussian"} {kstest(normal_dist,"norm")}')

如何通俗理解随机变量函数的分布(如何知道一个变量的分布是否为高斯分布)(8)

如何通俗理解随机变量函数的分布(如何知道一个变量的分布是否为高斯分布)(9)

现在我们将对Iris数据进行测试。

from scipy.stats import kstest for i in X.columns: print(f'{i}: {"Not Gaussian" if kstest(X[i].values,"norm")[1]<0.05 else "Gaussian"} {kstest(X[i].values,"norm")}')

如何通俗理解随机变量函数的分布(如何知道一个变量的分布是否为高斯分布)(10)

以上结果表明,没有变量具有高斯分布。 Kolmogorov-Smirnov检验期望输入变量具有理想的正态分布。

方法六:D’Agostino和Pearson的法

此方法使用偏度和峰度测试正态性。 该检验的零假设是,分布是从正态分布中得出的。

在Python中,可以使用“ scipy.stats”模块的“ normaltest”功能执行此测试,如下所示。

from scipy.stats import normaltest for i in X.columns: print(f'{i}: {"Not Gaussian" if normaltest(X[i].values,)[1]<0.05 else "Gaussian"} {normaltest(X[i].values)}')

如何通俗理解随机变量函数的分布(如何知道一个变量的分布是否为高斯分布)(11)

以上结果表明变量0和1为高斯。 此测试并不期望分布是完全正态分布,而是接近正态分布。

总结

这些是用于测试数据正常性的许多方法中的几种。 我个人更喜欢结合以上所有方法来确定变量的分布是否为高斯分布,同时要牢记所使用的数据,问题和模型。

作者:KSV Muralidhar

deephub翻译组

,