统计学就是从对收集到的一群相关数据进行分析，而发展的一门数学分支。
生活中的一个物体，在数学中我们总想用数据来表示它的某种特征，例如长度、角度、面积、体积等。对于包含多个个体的集合，理想中我们可以用一个数字集合来表示它，但实际上如果集合包含个体数量较多甚至无穷多个，那么想要获取全部个体的相关数据总是不易实现，甚至是无法实现的。
我们可以用抽样的方法获取数据，用来近似这种个体的集合的某种特征，即用较少数量的样本来代表数量庞大或无穷多的总体。
总体是一个确定的集合，那么它的所有特征都是已经确定的（只是我们可能不清楚）。样本则是总体的代表，是具有偶然性的，不同的抽样方法、不同的样本数量、甚至同样的两次抽样都有可能获取到不同的样本值。
因为总体是一个确定的集合，那么每种个体出现的机率也是确定的，我们称之为概率。每次抽样中每种个体出现的次数不是一个确定值，是具有偶然性的，我们称之为频率。也就是说频率是针对一次抽样的结果来说的，概率则是针对整个总体而言的、与抽样的结果无关。当抽样的次数越多时，样本的结果就越有可能接近总体的特征，即可以用样本分布估计总体分布。
,
