Skip to content

Commit

Permalink
Browse files Browse the repository at this point in the history
  • Loading branch information
szcf-weiya committed Oct 26, 2020
1 parent 2ec98e2 commit 5b61c78
Showing 1 changed file with 1 addition and 1 deletion.
Original file line number Diff line number Diff line change
Expand Up @@ -21,7 +21,7 @@
有许多最小化式 \eqref{2.37} 的方法:任何过所有训练点 $(x_i,y_i)$ 的函数 $\hat{f}$ 是一个解.任意选定的解都可能在与训练点不同的测试点上是一个糟糕的预测.如果在每个 $x_i$ 值处有多个观测对 $x_i,y_{i\ell},\ell =1,\ldots,N_i$,风险会被限制.在这种情形下,解会过每个 $x_i$ 对应的所有 $y_{i\ell}$ 的平均值,见[练习 2.6](https://github.com/szcf-weiya/ESL-CN/issues/161).这种情形类似我们已经在统计判别理论章节中的已经讨论的;当然,\eqref{2.37} 是式 (2.11) 的有限样本的版本.如果样本规模 $N$ 充分大使得重复是保证和密集排列的,这些解可能都倾向于条件期望的极限.

!!! info "weiya 注:Ex. 2.6"
已解决,详见 [Ex. 2.6](https://github.com/szcf-weiya/ESL-CN/issues/161).问题结论是,若存在重复数据,则普通最小二乘可以看成是降维的加权最小二乘
已解决,详见 [Ex. 2.6](https://github.com/szcf-weiya/ESL-CN/issues/161).问题结论是,若存在重复数据,则普通最小二乘可以看成是 **(样本量)减少的加权最小二乘 (reduced weighted least squares)**

为了得到有限 $N$ 的有用结果,我们必须限制满足条件的式 \eqref{2.37} 的解到一个小的集合.怎样决定限制条件的本质是基于数据之外的一些考虑.这些限制条件有时通过 $f_0$ 的参数表示,或者在学习方法本身里面构建,有隐式、也有显式.这些带限制的解的类别是本书讨论的重点.一件事需要说清楚.任何加到 $f$ 上的限制条件会导致式 \eqref{2.37} 的唯一解并不能消除解的多样性带来的不确定性.因为有无数种能导出唯一解的可能的限制条件,所以不确定性简单地被转换为限制条件的选择.

Expand Down

0 comments on commit 5b61c78

Please sign in to comment.