Skip to content

Commit

Permalink
resolve szcf-weiya#179
Browse files Browse the repository at this point in the history
  • Loading branch information
szcf-weiya committed Feb 25, 2019
1 parent 717b51b commit 4b864b5
Show file tree
Hide file tree
Showing 2 changed files with 7 additions and 1 deletion.
Original file line number Diff line number Diff line change
Expand Up @@ -28,7 +28,12 @@

## 向前和向后逐步选择

与其搜索所有可能的子集(当 $p$ 大于 40 不可行),我们可以寻找一个很好的通过它们的途径。**向前逐步选择 (Forward-stepwise selection)** 从截距开始,然后向模型中依次添加最大程度提升拟合效果的预测变量。有大量的备选预测变量时,会需要大量的计算;然而,聪明的更新算法可以利用 QR 分解从当前拟合快速得到下一步的备选预测变量([练习 3.9](https://github.com/szcf-weiya/ESL-CN/issues/179))。类似最优子集回归,向前逐步产生由 $k$ 索引的模型序列,$k$ 为子集规模,也是必须要确定的值。
与其搜索所有可能的子集(当 $p$ 大于 40 不可行),我们可以寻找一个很好的通过它们的途径。**向前逐步选择 (Forward-stepwise selection)** 从截距开始,然后向模型中依次添加最大程度提升拟合效果的预测变量。有大量的备选预测变量时,会需要大量的计算;然而,聪明的更新算法可以利用 QR 分解从当前拟合快速得到下一步的备选预测变量([练习 3.9](https://github.com/szcf-weiya/ESL-CN/issues/179))。

!!! info "weiya 注:Ex. 3.9"
已解决,详见 [Issue 179: Ex. 3.9](https://github.com/szcf-weiya/ESL-CN/issues/179)。简单说,假设当前残差为 $\r$,下一步选择的 $\x_i$ 能够最大化 $\vert \r^T\x_i \vert/\Vert \x_i\Vert$.

类似最优子集回归,向前逐步产生由 $k$ 索引的模型序列,$k$ 为子集规模,也是必须要确定的值。

向前逐步选择是 **贪心算法 (greedy algorithm)**,产生一个嵌套的模型序列。从这点来看与最优子集选择相比似乎是次优的。然而,有许多原因表明向前逐步可能是更好的:

Expand Down
1 change: 1 addition & 0 deletions docs/js/mathjax.js
Original file line number Diff line number Diff line change
Expand Up @@ -28,6 +28,7 @@ window.MathJax = {

y: "{\\mathbf{y}}",
f: "{\\mathbf{y}}",
r: "{\\mathbf{r}}",
x: "{\\mathbf{x}}",
z: "{\\mathbf{z}}",
u: "{\\mathbf{u}}",
Expand Down

0 comments on commit 4b864b5

Please sign in to comment.