贝叶斯公式里面,先验概率是随意设置的。就引起不同学派之间的争论。频率学派经常诟病贝叶斯学派,“这么主观,你还是数学吗?频率法,用的是客观实验的数据,又有大数定律和中心极限定理这两个黄金定理的加持,这次是数学。

概率论知识点整合(概率论学习笔记)(1)

从三门问题说起:三门问题是源于美国一个现场电视节目,游戏是这样的,你前面有ABC三扇门,其中一扇门后面停着一辆轿车。你需要在这三扇门任选一扇,如果打开门,后面是轿车,轿车就是你的。

但是游戏增加一个环节,你做出选择之后,主持人会从你剩下的两扇门中选一扇门打开。注意,打开的这扇门背后一定没有汽车,相当于给你排除错误选项。你是要改变主意还是坚持最初的选择?

-

答案可能反直觉,一定要换。因为如果不换,你中奖概率还是1/3;如果换了,中奖概率就变成了2/3

-

这个问题最简单的解释,假设有10000张,你先选一张,然后主持人在剩下9999张中,选1张留下,剩下的全部销毁,并且告诉你,撕碎的中没中奖的。那你应该改选主持人留下的那一张还是坚持最初的那一张?

这就相当于两个袋子,一个袋子里装了1张,另一个袋子装了剩下9999张,不管那个9999张的袋子怎么出来,当然就是换了中奖概率更大。

-

频率发怎么做?大量试验。模拟一万次,用程序可以模拟,最后结果,不换门奖概率确实仍然是1/3;而换门后中奖概率上升到2/3.


贝叶斯的解法:事件A是A门有汽车,所以先验概率P(A)就是 汽车在A门概率是1/3.

现在B是额外增加的信息,就是主持人打开B门,P(B)就是主持人打开B门的概率;

如果A门有汽车,主持人打开B门的概率是1/2;如果B门有汽车,主持人不会打开B门,所以B门打开的概率是0;如果C门有汽车,主持人只能打开B门,所以这个时候打开B门汽车概率是1;

三种情况各占1/3,所以P(B)就是(1/2 0 1)/3 =1/2

而P(B|A)就是如果汽车在A门,主持人打开B门的概率。因为汽车在A们,主持人只有B门和C门两个选择。所以P(B|A)就是1/2

调整因子P(B|A)/P(B)就等于1/2除以1/2,结果是1.

P(A|B)=P(A)XP(B|A)/P(B),等于1/3乘以1,结果还是1/3.不换门(仍然选择A门)中奖概率是1/3,换门(改选C门)中奖概率是2/3

  • 贝叶斯和频率法的区别

最大差异就是两个方法的假设不一样。

前提假设不同,信息和条件不同,问题的结果就是完全不一样的。

频率发认为一切信息都是全知的,比如抛硬币,我们就假设这个硬币是公平的。一定存在一个对所有人都正确的唯一答案。

但是世界是复杂的。比如说三门问题,现场每个环节都包含大量信息,比如去开门的一个眼神,一个动作等等。这个时候频率法就不管用了。

-

因为我们对信息的预设不同,频率发和贝叶斯解决的就不是同一类问题。

频率发就像做题,必须有明确的,严格的前提约束,严格界定所有的条件。假设信息是全知的,反复试验,不断逼近最终的客观概率。过程不重要,达到最终客观结果才重要。

而贝叶斯,是动态反复的过程。不断迭代。

  • 共同解决现实问题

频率法就是客观概率,代表客观?贝叶斯就是主观概率,代表主观吗?

贝叶斯只是先验概率可以随意设置,有一定的主观性。但是公式根据条件概率公式来的,是绝对客观的正确的。

频率法了,虽然强调自己客观。但是是假设一切信息全知,甚至约减了一切看起来不那么最重要的条件。

-

说实话,主观,客观属于哲学讨论的范畴,是认识论的基本问题,在现在的数据领域,应用数学家基本是不太讨论这些问题的。

-

通常我们会先用频率法获得先验概率,再用贝叶斯计算某个证据的权重。

有些问题,贝叶斯方法又能为频率法提供原始的估算,方便频率法在茫茫噪音中快速定位问题。这个时候,贝叶斯尤为频率法提供了支撑。

,