update

docs/14 Unsupervised Learning/14.7 Independent Component Analysis and Exploratory Projection Pursuit.md

@@ -21,7 +21,7 @@ $$
 \begin{align}
 X_1&=a_{11}S_1+a_{12}S_2+\cdots+a_{1p}S_p\\
 X_2&=a_{21}S_1+a_{22}S_2+\cdots+a_{2p}S_p\\
-\vdots &=\vdots\\
+\vdots &\vdots\\
 X_p&=a_{p1}S_1+a_{p2}S_2+\cdots+a_{pp}S_p
 \end{align}
 \qquad (14.78)
@@ -33,7 +33,7 @@ $$
 \begin{align}
 X&=\A S\\
 &=\A\R^T\R S
-&=\A^\*S^*
+&=\A^*S^*
 \end{align}
 \qquad (14.79)
 $$
@@ -44,15 +44,28 @@ $$
 
 $$
 \begin{align}
-X_1&=a_{11}S_1+a_{12}S_2+\cdots+a_{1p}S_q+\epsilon_1\\
-X_2&=a_{21}S_1+a_{22}S_2+\cdots+a_{2p}S_q+\epsilon_2\\
-\vdots &=\vdots\\
-X_p&=a_{p1}S_1+a_{p2}S_2+\cdots+a_{pp}S_q+\epsilon_p
+X_1&=a_{11}S_1+a_{12}S_2+\cdots+a_{1p}S_q+\varepsilon_1\\
+X_2&=a_{21}S_1+a_{22}S_2+\cdots+a_{2p}S_q+\varepsilon_2\\
+\vdots &\vdots\\
+X_p&=a_{p1}S_1+a_{p2}S_2+\cdots+a_{pp}S_q+\varepsilon_p
 \end{align}
 \qquad (14.80)
 $$
 
-或者写成$X=\A S+\epsilon$。这里$S$是$q < p$个揭示潜变量或者因子的向量，$\A$是$p\times q$的因子载荷(loadings)矩阵，$\varepsilon_j$是零均值不相干的扰动。想法是潜变量$S_\ell$是$X_j$方差的公共来源，意味着它们直接的相关性结构
+或者写成$X=\A S+\epsilon$。这里$S$是$q < p$个揭示潜变量或者因子的向量，$\A$是$p\times q$的因子载荷(loadings)矩阵，$\varepsilon_j$是零均值不相干的扰动。想法是潜变量$S_\ell$是$X_j$公共方差的来源，意味着它们直接的相关性结构，而$\varepsilon_j$对每个$X_j$是唯一的，并且解释了剩下的方差。一般地，$S_\ell$和$\varepsilon_j$假设为高斯随机变量，并且采用极大似然法来拟合模型。参数都存在于下面的协方差阵中
+
+$$
+\Sigma=\A\A^T+\D_\varepsilon \qquad (14.81)
+$$
+
+其中$\D_\varepsilon = diag[\Var(\varepsilon_1),\ldots, \Var(\varepsilon_p)]$。$S_\ell$为高斯并且不相关，这使得它们在统计上是独立随机变量。因此一系列的教育考试成绩可以认为是有潜在独立的因子，比如智力(intelligence)，动机(drive)等等所决定的。$\A$的列被称为因子载荷(factor loadings)，而且用来命名因子和解释因子。
+
+不幸的是，唯一性问题(14.79)仍然存在，因为在式(14.81)中，对于任意$q\times q$的正交矩阵$\R$，$\A$和$\A\R^T$是等价的。这导致了因子分析中的主观性，因为用户可以寻找因子更易解释的旋转版本。这点使得许多分析学家对因子分析表示之一，而且这可能是它在当代统计中不受欢迎的原因。尽管我们这里不继续讨论细节，但是SVD分解在(14.81)的估计上发挥重要作用。举个例子，$\Var(\varepsilon_j)$假设相等，SVD的前$q$个成分确定了由$\A$张成的子空间。
+
+因为每个$X_j$独立的扰动$\varepsilon_j$，因子分析可以看成是对$X_j$的相关结构进行建模，而非对协方差结构建模。这个可以通过对(14.81)的协方差结构进行标准化后得到（练习14.14）。这是因子分析与PCA的重要区别，尽管这不是讨论的重点。练习14.15讨论了一个简单的例子，因为这个差异，因子分析和主成分的解完全不同。
+
+!!! note "weiya注: Ex. 14.15"
+    练习14.15用一个实际例子说明了，因子分析和主成分得到的第一因子和第一主成分完全不同。
 
 ## 独立分量分析
 

yeti/js/mathjax.js

@@ -18,7 +18,8 @@ TeX: {
     I: "{\\mathbf{I}}",
     X: "{\\mathbf{S}}",
 
-    Cov: "{\\mathrm{Cov }}"
+    Cov: "{\\mathrm{Cov }}",
+    Var: "{\\mathrm{Var }}"
   },
   entensions: ["color.js"]
 }