diff --git a/README.md b/README.md index f906c2107b..580032a57c 100644 --- a/README.md +++ b/README.md @@ -12,6 +12,7 @@ The Elements of Statistical Learning (ESL) 的中文翻译、代码实现及其 - [![](https://img.shields.io/badge/solution-chapter%205-blue.svg)](https://github.com/szcf-weiya/ESL-CN/milestone/6) - [![](https://img.shields.io/badge/solution-chapter%206-blue.svg)](https://github.com/szcf-weiya/ESL-CN/milestone/14) - [![](https://img.shields.io/badge/solution-chapter%207-blue.svg)](https://github.com/szcf-weiya/ESL-CN/milestone/4) +- [![](https://img.shields.io/badge/solution-chapter%208-blue.svg)](https://github.com/szcf-weiya/ESL-CN/milestone/17) - [![](https://img.shields.io/badge/solution-chapter%209-blue.svg)](https://github.com/szcf-weiya/ESL-CN/milestone/15) - [![](https://img.shields.io/badge/solution-chapter%2010-blue.svg)](https://github.com/szcf-weiya/ESL-CN/milestone/1) - [![](https://img.shields.io/badge/solution-chapter%2012-blue.svg)](https://github.com/szcf-weiya/ESL-CN/milestone/3) diff --git a/docs/08-Model-Inference-and-Averaging/8.5-The-EM-Algorithm.md b/docs/08-Model-Inference-and-Averaging/8.5-The-EM-Algorithm.md index 62f2d3b34c..adcfdcafdb 100644 --- a/docs/08-Model-Inference-and-Averaging/8.5-The-EM-Algorithm.md +++ b/docs/08-Model-Inference-and-Averaging/8.5-The-EM-Algorithm.md @@ -4,6 +4,8 @@ | ---- | ---------------------------------------- | | 翻译 | szcf-weiya | | 时间 | 2016-12-20 & 2017-02-01:2017-02-03 | +|更新|2018-04-29| +|状态|Done| EM算法是简化复杂极大似然问题的一种很受欢迎的工具。我们首先在一个简单的混合模型中讨论它。 @@ -132,10 +134,10 @@ $$ &\equiv Q(\theta',\theta)-R(\theta',\theta)\qquad\qquad (8.46) \end{align} $$ -在最大化那一步,EM算法最大化关于$\theta'$的$Q(\theta',\theta)$,而不是实际的目标函数$\ell(\theta';\mathbf Z)$。为什么这样能成功地最大化$\ell(\theta';\mathbf Z)$?注意到$R(\theta^\*,\theta)$是由$\theta^\*$指示的密度的期望,这个密度同时由$\theta$指示,因此(由琴生不等式)当$\theta^\*=\theta$时(见练习8.1)最大化关于$\theta^\*$的函数。 +在最大化那一步,EM算法最大化关于$\theta'$的$Q(\theta',\theta)$,而不是实际的目标函数$\ell(\theta';\mathbf Z)$。为什么这样能成功地最大化$\ell(\theta';\mathbf Z)$?注意到$R(\theta^\*,\theta)$是由$\theta^\*$指示的密度的期望,这个密度同时由$\theta$指示,因此(由琴生不等式)当$\theta^\*=\theta$时(见[练习 8.1](https://github.com/szcf-weiya/ESL-CN/issues/125))最大化关于$\theta^\*$的函数。 !!! note "weiya注" - 练习8.1如下: + 练习 8.1 如下: ![](../img/08/ex8.1.png) 证明想法如下: 在给定$Y=y$的情况下,记$x=r(y), c=q(y)$ @@ -154,6 +156,9 @@ $$ $$ 注意到$\ell_1$其实是对数似然,分母为是与$\theta$有关的常数,所以满足题目中结论的形式,于是$R(\theta,\theta)\ge R(\theta',\theta)$ +!!! info "Ex. 8.1" + 详细解答过程也可以参见 [Issue 125: Ex. 8.1](https://github.com/szcf-weiya/ESL-CN/issues/125)。 + 所以如果$\theta'$最大化$Q(\theta',\theta)$,我们可以看到 $$