Skip to content

Commit

Permalink
Browse files Browse the repository at this point in the history
  • Loading branch information
szcf-weiya committed Mar 10, 2020
1 parent 916f591 commit d977a3d
Showing 1 changed file with 1 addition and 1 deletion.
Original file line number Diff line number Diff line change
Expand Up @@ -68,6 +68,6 @@ $$

> 图 8.8. 混合的例子.(左图:)从吉布斯采样中得到的两个均值参数的 200 个值;在最大似然估计的 $\hat\mu_1,\hat\mu_2$ 画了水平直线.(右图:)对于 200 次吉布斯采样迭代中的每个迭代,$\Delta_i=1$ 的占比;在 $\sum_i\hat\gamma_i/N$ 画了水平直线.
上面的混合模型被简化了,是为了清楚地看到吉布斯采样和 EM 算法的关联.更实际点,可以在方差 $\sigma^2_1,\sigma^2_2$ 和混合比例上添加先验分布,而且包含从它们在其他参数条件下的后验分布中进行独立的吉布斯采样.也可以对均值参数结合恰当的(无信息)先验.这些先验决不能选得不合适,因为这会导致退化的后验(所有的混合系数都在一个组分上).
上面的混合模型被简化了,是为了清楚地看到吉布斯采样和 EM 算法的关联.更实际点,可以在方差 $\sigma^2_1,\sigma^2_2$ 和混合比例上添加先验分布,而且包含从它们在其他参数条件下的后验分布中进行独立的吉布斯采样.也可以对均值参数结合恰当的(有信息的)先验.这些先验决不能选得不合适,因为这会导致退化的后验(所有的混合系数都在一个组分上).

吉布斯采样是最近发展的一系列从后验分布中采样过程中的一个方法.它运用某个参数在给定其它参数情况下的条件采样,然后当问题的结构使得采样很容易进行时,这个方法是非常有用的.其它的方法不要求这样的结构,举个例子如 Metropolis–Hastings 算法.这些和其它计算的贝叶斯方法已经应用到复杂的学习算法中,比如高斯过程模型和神经网络.细节可以在本章后面的文献笔记中的参考文献中找到.

0 comments on commit d977a3d

Please sign in to comment.