credit to http://disq.us/p/2bf68vc

docs/18-High-Dimensional-Problems/18.6-High-Dimensional-Regression.md

@@ -4,7 +4,7 @@
 | ---- | ---------------------------------------- |
 | 翻译   | szcf-weiya                               |
 | 时间   | 2017-08-17                    |
-| 更新   | 2018-02-04, 2018-03-07, 2018-03-08, 2018-04-18, 2018-04-25,2018-05-03                    |
+| 更新   | 2020-08-25 15:46:55                    |
 |状态   |Done   |
 
 
@@ -148,10 +148,7 @@ $$
 
 ![](../img/18/fig18.17.png)
 
-我们看到监督主成分（橘黄色曲线）当大概 50 个特征包含进模型中会达到最低误差，这个数字也是模拟例子中真实的个数．尽管关于前 50 个特征的线性模型是最优的，但是 lasso（绿色）被大量噪声特征所严重影响，而且 starts overfitting when far fewer are in the model．
-
-!!! question
-    如何理解“starts overfitting when far fewer are in the model.”
+我们看到监督主成分（橘黄色曲线）当大概 50 个特征包含进模型中会达到最低误差，这个数字也是模拟例子中真实的个数．尽管关于前 50 个特征的线性模型是最优的，但是 lasso（绿色）被大量噪声特征所严重影响，而且当模型中有较少的特征时（如图中的 20 个左右）就开始过拟合了．
 
 我们能否得到监督主成分的低测试误差以及 lasso 的稀疏性？这是预处理 (pre-conditioning) 的目标 (Paul et al., 2008[^4])．在这种方法中，首先计算训练集中的每个观测的监督主成分的预测量 $\hat y_i$（其中阈值通过交叉验证来选择）．接着我们将lasso 应用到 $\hat y_i$，其中 $\hat y_i$ 被看成输出变量，它替换了通常情形下的 $y_i$．这个想法是首先对输出变量进行去噪(denoising)，则 lasso 不会被大量噪声特征所影响．图 18.17 显示了预处理（紫色曲线）在这里取得了重要成功，比通常的 lasso的测试误差要低很多，在这种情形下与监督主成分一样第．而且采用更少的特征便达到了最小测试误差．应用到原始输出变量的一般 lasso 比预处理 lasso 更快地过拟合．预处理 lasso 的过拟合不是问题，因为输出变量已经去噪了．对于预处理的 lasso，我们经常用更主管的理由来选择调整参数，比如简约性(parsimony)．