Skip to content

Commit

Permalink
update
Browse files Browse the repository at this point in the history
  • Loading branch information
szcf-weiya committed Dec 4, 2018
1 parent 9e8afda commit 2aeecdb
Showing 1 changed file with 1 addition and 1 deletion.
Original file line number Diff line number Diff line change
Expand Up @@ -48,6 +48,6 @@ $$

MDL 准则说我们应该选择最小化 (7.44) 的模型。我们将 (7.44) 看成(负)对数后验分布,因此最小化描述长度等价于最大化后验概率。因此,作为近似对数后验概率导出的 BIC 准则,也可以看成是通过最小描述长度来(近似)模型选择的工具。

注意到我们忽略随机变量 $z$ 编码的精确性。我们不可能使用有限的编码长度对连续变量进行精确地编码。然而,如果我们对编码 $z$ 有容忍度 $\delta z$,需要的信息长度是区在间 $[z,z+\delta z]$ 中的概率的对数,如果 $\delta z$ 很小,可以用 $\delta z\Pr(z)$ 来近似。因为$\log\delta z\mathrm{Pr}(z)=\mathrm{log}\delta z + \mathrm{log}\;\mathrm{Pr}(z)$,这意味着我们可以仅仅忽略掉常数$\mathrm{log}\;\delta z$,并且使用 $\mathrm{log\; \Pr}(z)$ 来作为我们信息长度的衡量,就像我们上面做的那样。
注意到我们忽略随机变量 $z$ 编码的精确性。我们不可能使用有限的编码长度对连续变量进行精确地编码。然而,如果我们对编码 $z$ 有容忍度 $\delta z$,需要的信息长度是区在间 $[z,z+\delta z]$ 中的概率的对数,如果 $\delta z$ 很小,可以用 $\delta z\Pr(z)$ 来近似。因为$\log\delta z\mathrm{Pr}(z)=\mathrm{log}\delta z + \mathrm{log}\;\mathrm{Pr}(z)$,这意味着我们可以仅仅忽略掉常数 $\mathrm{log}\;\delta z$,并且使用 $\mathrm{log\; \Pr}(z)$ 来作为我们信息长度的衡量,就像我们上面做的那样。

用于模型选择的 MDL 的上述观点表明我们应该选择后验概率达到最大的模型。然而,许多贝叶斯学家会通过从后验分布中取样来做推断。

0 comments on commit 2aeecdb

Please sign in to comment.