Skip to content

Commit

Permalink
Browse files Browse the repository at this point in the history
  • Loading branch information
szcf-weiya committed Feb 20, 2020
1 parent 9fe924d commit 2ce8ccf
Showing 1 changed file with 4 additions and 1 deletion.
Original file line number Diff line number Diff line change
Expand Up @@ -80,12 +80,15 @@ $$

可能会出现 $\mathbf{X}$ 的列不是线性独立的,则 $\mathbf{X}$ 不是满秩的.举个例子,如果两个输入是完全相关的,(比如,$x_2=3x_1$).则矩阵 $\mathbf{X^TX}$ 是奇异的,并且最小二乘的系数 $\hat{\beta}$ 不是唯一的.然而,拟合值 $\mathbf{\hat{y}}=\mathbf{X}\hat{\beta}$ 仍然是 $\mathbf{y}$ 在列空间 $\mathbf{X}$ 的投影;用 $\mathbf{X}$ 的列向量来表示这种投射的方式不止一种.当一个或多个定性输入用一种冗余的方式编码时经常出现非满秩的情形.通过重编码或去除 $\mathbf{X}$ 中冗余的列等方式可以解决非唯一表示的问题.大多数回归软件包会监测这些冗余并且自动采用一些策略去除冗余项.信号和图像分析中经常发生秩缺失,其中输入的个数 $p$ 可以大于训练的情形个数 $N$.在这种情形下,特征经常通过滤波来降维或者对拟合进行正则化.([5.2.3节](https://esl.hohoweiya.xyz/05-Basis-Expansions-and-Regularization/5.2-Piecewise-Polynomials-and-Splines/index.html#_4)和第 18 章)

截至目前我们已经对数据的真实分布做的假设非常少.为了约束 $\hat{\beta}$ 的取样特点,我们现在假设观测值 $y\_i$ 不相关,且有固定的方差 $\sigma^2$,并且 $x\_i$ 是固定的(非随机).最小二乘法的参数估计的方差-协方差阵可以很容易从式 \eqref{3.6} 导出:
截至目前我们已经对数据的真实分布做的假设非常少.为了约束 $\hat{\beta}$ 的取样特点,我们现在假设观测值 $y\_i$ 不相关,且有固定的方差 $\sigma^2$,并且 $x\_i$ 是固定的(非随机).最小二乘法的参数估计的 **协方差矩阵 (variance-covariance matrix)** 可以很容易从式 \eqref{3.6} 导出:

$$
\Var(\hat{\beta})=(\mathbf{X}^T\mathbf{X})^{-1}\sigma^2\tag{3.8}\label{3.8}
$$

!!! note "weiya 注:"
根据[维基百科](https://en.wikipedia.org/wiki/Covariance_matrix),协方差矩阵的英文表达有,covariance matrix, variance-covariance matrix, dispersion matrix 等等. 经 [@fengxiang guo](http://disq.us/p/27ffai6) 提醒,为避免误解,统一翻译成协方差矩阵.

一般通过下式来估计方差 $\sigma^2$

$$
Expand Down

0 comments on commit 2ce8ccf

Please sign in to comment.