贝叶斯法则

什么是贝叶斯法则

贝叶斯定理是关于随机事件A和B的条件概率（或边缘概率）的一则定理。其中P（A|B）是在B发生的情况下A发生的可能性。

贝叶斯的统计学中有一个基本的工具叫贝叶斯法则、也称为贝叶斯公式， 尽管它是一个数学公式，但其原理毋需数字也可明了。如果你看到一个人总是做一些好事，则那个人多半会是一个好人。这就是说，当你不能准确知悉一个事物的本质时，你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。 用数学语言表达就是：支持某项属性的事件发生得愈多，则该属性成立的可能性就愈大。贝叶斯法则又被称为贝叶斯定理、贝叶斯规则是概率统计中的应用所观察到的现象对有关概率分布的主观判断（即先验概率）进行修正的标准方法。

所谓贝叶斯法则，是指当分析样本大到接近总体数时，样本中事件发生的概率将接近于总体中事件发生的概率。

但行为经济学家发现，人们在决策过程中往往并不遵循贝叶斯规律，而是给予最近发生的事件和最新的经验以更多的权值，在决策和做出判断时过分看重近期的事件。面对复杂而笼统的问题，人们往往走捷径，依据可能性而非根据概率来决策。这种对经典模型的系统性偏离称为“偏差”。由于心理偏差的存在，投资者在决策判断时并非绝对理性，会行为偏差，进而影响资本市场上价格的变动。但长期以来，由于缺乏有力的替代工具，经济学家不得不在分析中坚持贝叶斯法则。

贝叶斯法则的原理

通常，事件A在事件B(发生)的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系,贝叶斯法则就是这种关系的陈述。

作为一个规范的原理，贝叶斯法则对于所有概率的解释是有效的；然而，频率主义者和贝叶斯主义者对于在应用中概率如何被赋值有着不同的看法：频率主义者根据随机事件发生的频率，或者总体样本里面的个数来赋值概率；贝叶斯主义者要根据未知的命题来赋值概率。一个结果就是，贝叶斯主义者有更多的机会使用贝叶斯法则。

贝叶斯法则是关于随机事件A和B的条件概率和边缘概率的。

其中L(A|B)是在B发生的情况下A发生的可能性。

在贝叶斯法则中，每个名词都有约定俗成的名称：

●Pr(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。

●Pr(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。

●Pr(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。

●Pr(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）。

举例

就先要理解条件概率、先验后验、全概率这些概念

1）我最近10天内，有2天迟到，那么请问我今天迟到的概率是多少？

迟到的事件发生概率是2/10，也就是P（迟到）=1/5=20%

这就叫做先验概率

2）今天早上堵车了，请问我迟到的概率是多少？

迟到是一种事实结果，而造成迟到的原因可能是【堵车】，那么【堵车】就是一种影响事实的结果的条件

公式左侧P(迟到|堵车)

公式右侧：P（堵车迟到）/P（堵车）

假设10天有5次遭遇堵车，今天也堵车，概率就是40%

贝叶斯公式

• 是数学版本的辩证法，当新证据不断出现，则概率出现数量级增长。

• 真实世界中，小概率事件推断中要特别注意“错误率”，可能会导致数量级的错误。

• 看到新闻事件（判断真伪）：1、这个事儿被误判可能性有多大？2、这个事儿在真实世界中发生的概率有多小。这其中设计先验概率（基础概率）：一个事件在过去统计中已被验证发生的概率。

• 基础概率与最终概率是正相关关系。启示：选择大于努力，在正确赛道选择正确大方向。（见上图概率公式）

• 均值与异常值：异常值就是与均值有两倍的偏差。处理方法1、舍弃；2、与其他一样；3、关注。不同处理态度导致不同结果。2020年之后，世界的不确定性增加了，因此我们对于异常值的关注也要加大。

• 大数定律：大量重复出现中，往往呈现几乎必然的规律。偶然中包含着某种必然。小数据中大道理没有价值，大数据中，大道理越对。——“大道至简”启示：我们要保持耐心，不断去试。当然要先活着，保持健康。

• **概率分布：**1、幂律分布：8-2定律、马太效应。2、正态分布：平均值、方差、标准值。

• **四种人：1、聪明而坚定 2、聪明而不坚定 3、愚蠢而不坚定 4、愚蠢而坚定。**我们的态度是：1最好，4要避免，3要改变成为2，进而改变成为1.——人生中的我们就是在聪明而坚定中演变为愚蠢而坚定，进而怀疑自己进入愚蠢而不坚定，再进行改变为聪明而不坚定，得到验证后变为聪明而坚定。如此循环往复。

先验概率与后验概率

贝叶斯公式：P(Y|X) = P(X|Y)*P(Y)/P(X)

先验概率(prior probability)：这个概率是通过统计得到的，或者依据自身依据经验给出的一个概率值，这里P(Y)就是先验概率；

后验概率：根据观察到的样本修正之后的概率值，这里P(Y|X)就是后验概率

例子：

假设玩英雄联盟这个事件是X，性别这个事件为Y，然后假设中国的男女比例为1：1，也就是P(Y = 男性) = 0.5，P(Y = 女性) = 0.5

继续假设：男性玩lol的概率为0.8，女性玩lol的概率为0.2，即P(X = 玩lol | Y = 男性) = 0.8；P(X=玩lol | Y = 女性) = 0.2

那么问题来啦：在已知一个中国人是玩lol的情况下，是男性的概率

根据贝叶斯定律可得：

P(Y = 男性|X = 玩lol) = P(X = 玩lol|Y = 男性) * P(Y = 男性)/[P(X = 玩lol|Y = 男性) * P(Y = 男性)+P(X = 玩lol|Y = 女性) * P(Y = 女性)] = 0.80.5/[0.80.5+0.2*0.5] = 0.8

因为男女比例刚好是1：1，所以算出来还是0.8，假如男女比是0.6:0.4，那结果就是 0.80.6/[0.80.6 + 0.2*0.4) = 0.48/(0.48+0.08) = 0.857

可以看到后验概率P(Y = 男性|X = 玩lol) 是根据先验概率P(Y = 男性)做了一个系数修正之后的，所以叫后验概率

后验概率的应用：在机器学习的特征的处理过程中，可以将一些分类特征根据后验概率做替换实现特征的连续化，例如知道正负样本，知道用户的每天的访问网址的domain，然后可以将数据在时间维度上将正负样本的比例映射到domain上面去，（以时间维度为划分是为了防止发生数据穿越，这个很重要），相当于对domain这个先验根据正负样本做了一个后验的修正；