Beta/Dirichlet分布

2018/10/12 Machine Learning

Gamma函数

可以把Gamma函数当做阶乘在实数集上的延拓

Beta/Dirichlet分布

都是定义在(0,1)区间内的连续概率分布,在贝叶斯估计的时候,Beta分布可以作为二项分布的共轭先验分布,Dirichlet分布可以作为多项分布的共轭先验分布,且在估计时这两个分布的参数都具有物理意义。Beta分布可以看做Dirichlet分布在参数为一维时的特殊形式。

共轭先验

贝叶斯推断:

$先验分布 + 实验数据 \rightarrow 后验分布$

如果后验分布与先验分布属于同类,则先验分布与后验分布被称为共轭分布,而先验分布被称为似然函数的共轭先验。 若实验数据(似然函数)符合二项分布,则Beta分布可以作为先验,后验分布仍为Beta分布。且后验分布可以由新的实验数据直接更迭得到:

$Beta(a, b) + 实验数据 \rightarrow Beta(a + 成功次数, b + 失败次数)$

同理Dirichlet分布相当于Beta分布在高维的延拓,变量变为向量$\vec{p}$,参数变成了向量$\vec\alpha$,$\vec\alpha$同样具有物理计数意义,此时似然函数应符合多项分布。

Beta/Dirichlet分布的一个性质

对于符合Beta分布的随机变量,其均值可以估计为: 对于符合Dirichlet分布的随机变量,其均值可以估计为:

Search

    Table of Contents