Skip to content

Commit

Permalink
Merge pull request szcf-weiya#234 from bxdd/patch-1
Browse files Browse the repository at this point in the history
Fix docs of 2.8
  • Loading branch information
szcf-weiya authored Feb 9, 2021
2 parents 3b38515 + 8942efb commit f1a29d7
Showing 1 changed file with 1 addition and 1 deletion.
Original file line number Diff line number Diff line change
Expand Up @@ -22,7 +22,7 @@ $$
$$
这里的粗糙惩罚控制了 $f$ 的二阶微分较大的值,而且惩罚的程度由 $\lambda \ge 0$ 来决定.$\lambda=0$ 表示没有惩罚,则可以使用任意插值函数,而 $\lambda=\infty$ 仅仅允许关于 $x$ 的线性函数.

可以在任意维数下构造惩罚函数 $J$ ,而且一些特殊的版本可以用来插入特殊的结构.举个例子,可加性惩罚 $J(f)=\sum_{j=1}^pJ(f_j)$ 与可加性函数 $f(X)=\sum_{j=1}^pf_j(X_j)$ 联合使用去构造可加的光滑坐标函数的模型.类似地,**投射寻踪回归 (regression pursuit regression)** 模型有 $f(X)=\sum_{m=1}^Mg_m(\alpha_m^TX)$,其中 $\alpha_m$ 为自适应选择的方向,每个函数 $g_m$ 有对应的粗糙惩罚.
可以在任意维数下构造惩罚函数 $J$ ,而且一些特殊的版本可以用来插入特殊的结构.举个例子,可加性惩罚 $J(f)=\sum_{j=1}^pJ(f_j)$ 与可加性函数 $f(X)=\sum_{j=1}^pf_j(X_j)$ 联合使用去构造可加的光滑坐标函数的模型.类似地,**投影寻踪回归 (projection pursuit regression)** 模型有 $f(X)=\sum_{m=1}^Mg_m(\alpha_m^TX)$,其中 $\alpha_m$ 为自适应选择的方向,每个函数 $g_m$ 有对应的粗糙惩罚.

惩罚函数,或者说 **正则 (regularization)** 方法,表达了我们的 **先验信仰 (prior belief)**——寻找具有一个特定类型的光滑行为函数类型,而且确实可以套进贝叶斯的模型中.惩罚 $J$ 对应先验概率,$\PRSS(f;\lambda)$ 为后验分布,最小化 $\PRSS(f;\lambda)$ 意味着寻找后验模式.我们将在[第 5 章](../05-Basis-Expansions-and-Regularization/5.1-Introduction/index.html)中讨论粗糙惩罚方法并在[第 8 章](../08-Model-Inference-and-Averaging/8.1-Introduction/index.html)中讨论贝叶斯范式.

Expand Down

0 comments on commit f1a29d7

Please sign in to comment.