Skip to content

Commit

Permalink
rename diff as dif and add diff macro
Browse files Browse the repository at this point in the history
  • Loading branch information
herumi committed Jul 31, 2012
1 parent cf8afa9 commit 6349fd8
Show file tree
Hide file tree
Showing 6 changed files with 134 additions and 132 deletions.
3 changes: 2 additions & 1 deletion notation.tex
Original file line number Diff line number Diff line change
@@ -1,5 +1,6 @@
\newcommand{\trans}[1]{#1^{\bm{T}}}
\newcommand{\diff}[1]{\frac{\partial}{\partial #1}}
\newcommand{\dif}[1]{\frac{\partial}{\partial #1}}
\newcommand{\diff}[2]{\frac{\partial #2}{\partial #1}}
\newcommand{\difff}[2]{\frac{\partial^2}{\partial #1 \partial #2}}
\newcommand{\makeop}[1]{\mathop{\mathrm{#1}}\nolimits}
\newcommand{\sgn}{\makeop{sgn}}
Expand Down
10 changes: 5 additions & 5 deletions prml10.tex
Original file line number Diff line number Diff line change
Expand Up @@ -13,7 +13,7 @@
$$
ディガンマ関数
$$
\phi(x)=\diff{x} \log \Gamma(x).
\phi(x)=\dif{x} \log \Gamma(x).
$$

\subsection{ディリクレ分布}
Expand Down Expand Up @@ -67,9 +67,9 @@
\subsection{行列の公式}
\begin{eqnarray*}
&& \quads{A}{x}=\tr(Ax\trans{x}).\\
&& \diff{A}\log|A|=\trans{(A^{-1})}.\\
&& \diff{x}\log|A|=\tr\left(A^{-1}\diff{x}A\right).\\
&& \diff{A}\tr(A^{-1}B) = -\trans{(A^{-1}BA^{-1})}.\\
&& \dif{A}\log|A|=\trans{(A^{-1})}.\\
&& \dif{x}\log|A|=\tr\left(A^{-1}\dif{x}A\right).\\
&& \dif{A}\tr(A^{-1}B) = -\trans{(A^{-1}BA^{-1})}.\\
&& |I+a\trans{b}|=1+\trans{a}b.
\end{eqnarray*}

Expand Down Expand Up @@ -145,7 +145,7 @@
$$
を最小化する.
\begin{eqnarray*}
\diff{q_j}X &=& -\int F_j(Z_j) \log (q_j + \delta q_j)\,dZ_j + \lambda \left(\int (q_j + \delta q_j)\,dZ_j-1\right)\\
\dif{q_j}X &=& -\int F_j(Z_j) \log (q_j + \delta q_j)\,dZ_j + \lambda \left(\int (q_j + \delta q_j)\,dZ_j-1\right)\\
&=&\left(-\int F_j(Z_j) \log q_j\,dZ_j + \lambda \left(\int q_j\,dZ_j - 1\right)\right)-\left(\int F_j(Z_j)/q_j\,dZ_j - \lambda\right)\delta q_j=0.
\end{eqnarray*}
$$
Expand Down
89 changes: 45 additions & 44 deletions prml2.tex
Original file line number Diff line number Diff line change
Expand Up @@ -11,8 +11,8 @@

\section{微積分の復習}
\subsection{微分の定義}
微分の積の公式も忘れたなあという人のために微分について軽く復習しておこう
関数$y=f(x)$が与えられたとき$x=a$における微分係数$f'(a)$とはその点でのグラフの接線の傾きのことであった
微分の積の公式も忘れたなあという人のために, 微分について軽く復習しておこう.
関数$y=f(x)$が与えられたとき, $x=a$における微分係数$f'(a)$とはその点でのグラフの接線の傾きのことであった.
\begin{figure}[h]
\begin{minipage}{0.5\hsize}
\begin{center}
Expand All @@ -23,22 +23,22 @@
\end{minipage}
\end{figure}

$h$を十分小さい値ならば$x=a$での接線の傾きは区間$[a, a+h]$での平均の傾きで近似できるだろう:
$h$を十分小さい値ならば, $x=a$での接線の傾きは区間$[a, a+h]$での平均の傾きで近似できるだろう:
$$
f'(a) = a{\text における傾き} \approx \frac{f(a+h)-f(a)}{(a+h)-a}=\frac{f(a+h)-f(a)}{h}.
$$
両辺を$h$倍して移行すると
$$
f(a+h) \approx f(a) + f'(a)h.
$$
この式は$f$の点$a$における値$f(a)$と傾き$f'(a)$$a$の付近の値を直線で近似したということを表している($h$について線形)
この式は$f$の点$a$における値$f(a)$と傾き$f'(a)$$a$の付近の値を直線で近似したということを表している($h$について線形).
$a$$x$で置き換えて
$$
f(x+h) = f(x) + f'(x)h + \epsilon
$$
とかくことにする$\epsilon$$h$に比べて十分小さい$h$の関数である
とかくことにする. $\epsilon$$h$に比べて十分小さい$h$の関数である.

さて二つの関数$f(x)$$g(x)$があったときその積の関数$s(x)=f(x)g(x)$の微分はどうなるだろうか
さて, 二つの関数$f(x)$$g(x)$があったとき, その積の関数$s(x)=f(x)g(x)$の微分はどうなるだろうか.
\begin{eqnarray*}
f(x+h)&=&f(x)+f'(x)h + \epsilon_1\\
g(x+h)&=&g(x)+g'(x)h + \epsilon_2
Expand All @@ -50,13 +50,13 @@
&=& f(x)g(x)+(f'(x)g(x)+f(x)g'(x))h + (h{\text より十分小さい})\\
&=& s(x)+(f'(x)g(x)+f(x)g'(x))h + \epsilon_3
\end{eqnarray*}
となるつまり
となる. つまり
$$
(f(x)g(x))'=f'(x)g(x)+f(x)g'(x)
$$
が成り立つこれが積の微分である
が成り立つ. これが積の微分である.

もう一つ試してみよう今度は$y=f(x)$$z=g(y)$という関数があったときにその合成関数$z=g(f(x))$の微分を考えてみる
もう一つ試してみよう. 今度は$y=f(x)$$z=g(y)$という関数があったときにその合成関数$z=g(f(x))$の微分を考えてみる.
\begin{eqnarray*}
g(f(x+h)) &=& g(f(x) + f'(x)h + \epsilon_1)\\
&=& g(f(x)) + g'(f(x))(f'(x)h + \epsilon_1) + \epsilon_2\\
Expand All @@ -66,30 +66,31 @@
$$
(g(f(x)))' = g'(f(x))f'(x)
$$
が成り立つこれは合成関数の微分である$dy/dx=f'(x)$という微分の記号を使うと
が成り立つ. これは合成関数の微分である. $dy/dx=f'(x)$という微分の記号を使うと
$$
\frac{d(g(f(x)))}{dx}=\frac{dg}{dy}\Bigl|_{y=f(x)} \frac{dy}{dx}.
$$
$dy/dx$という記号があたかも約分できるように見えるのが面白い.変数変換ではこの記法が活躍する.
$dy/dx$という記号があたかも約分できるように見えるのが面白い.
変数変換ではこの記法が活躍する.

\newpage
\subsection{変数変換}

$$\int f(x) \,dx$$
$x=g(y)$とすると$dx=g'(y)dy$より
$$\int f(g(y)) g'(y) \,dy.$$
多変数関数の場合は$g'(y)$の部分がヤコビ行列の行列式(ヤコビアン)になる
多変数関数の場合は$g'(y)$の部分がヤコビ行列の行列式(ヤコビアン)になる.

$x_i = g_i(y_1, \ldots, y_n) \mbox{ for $i=1, \ldots, n$}$とすると

$$\det\left(\frac{\partial (x_1, \ldots, x_n)}{\partial (y_1, \ldots, y_n)}\right) = \det\left(\frac{\partial x_i}{\partial y_j}\right).$$
$$\det\left(\frac{\partial (x_1, \ldots, x_n)}{\partial (y_1, \ldots, y_n)}\right) = \det\left(\diff{y_j}{x_i}\right).$$

ヤコビアンは変数変換したときのある点における微小区間の拡大率を意味する.

適当な条件の下で
\begin{eqnarray*}
& & \int \cdots \int f(x_1, \ldots, x_n)\,dx_1 \cdots \,dx_n\\
&=& \int \cdots \int f\left(g_1(y_1, \ldots, y_n), \ldots, g_n(y_1, \ldots, y_n)\right)\left|\det\left(\frac{\partial x_i}{\partial y_j}\right)\right|\,dy_1\cdots dy_n.
&=& \int \cdots \int f\left(g_1(y_1, \ldots, y_n), \ldots, g_n(y_1, \ldots, y_n)\right)\left|\det\left(\diff{y_j}{x_i}\right)\right|\,dy_1\cdots dy_n.
\end{eqnarray*}

\subsection{奇関数の積分}
Expand Down Expand Up @@ -159,7 +160,7 @@
よって
$$\int_{-\infty}^\infty \exp\left(-ax^2\right) \,dx = \sqrt{\pi/a}.$$

ここで両辺を$a$に関して微分する. 積分の中身は$\diff{a}\exp\left(-ax^2\right)=-x^2\exp\left(-ax^2\right)$.
ここで両辺を$a$に関して微分する. 積分の中身は$\dif{a}\exp\left(-ax^2\right)=-x^2\exp\left(-ax^2\right)$.

気にせず積分と微分を交換することで

Expand Down Expand Up @@ -366,7 +367,7 @@
\text{あるユニタリー行列$P$があって$P^{-1}AP$を三角化できる}
\end{equation}

(注意)一般の行列が常に対角化できるとは限らないが三角化は常にできる
(注意)一般の行列が常に対角化できるとは限らないが三角化は常にできる.

\subsection{対称行列}

Expand Down Expand Up @@ -557,45 +558,45 @@

\item 内積の微分
$\bm{x}$, $\bm{y}$を縦ベクトルとして
$$\diff{\bm{x}} \left(\trans{\bm{x}}\bm{y}\right) = \bm{y}.$$
$$\diff{\bm{y}} \left(\trans{\bm{x}}\bm{y}\right) = \bm{x}.$$
$$\dif{\bm{x}} \left(\trans{\bm{x}}\bm{y}\right) = \bm{y}.$$
$$\dif{\bm{y}} \left(\trans{\bm{x}}\bm{y}\right) = \bm{x}.$$

ここで$\diff{\bm{x}}$$\diff{x_i}$を縦に並べた縦ベクトルとする.
$\diff{\bm{x}}$$\nabla$と書くこともあるがPRMLでは場所によって縦ベクトル(2.228)だったり,
ここで$\dif{\bm{x}}$$\dif{x_i}$を縦に並べた縦ベクトルとする.
$\dif{\bm{x}}$$\nabla$と書くこともあるがPRMLでは場所によって縦ベクトル(2.228)だったり,
横ベクトル(3.13)だったりする. 常に縦ベクトルとしたほうが混乱は少ない.

証明は$\trans{\bm{x}}\bm{y}=\sum_j x_j y_j$なので
$$\diff{x_i}\left(\trans{\bm{x}}\bm{y}\right)=\sum_j \delta_{ij} y_j=y_j.$$
$$\diff{y_i}\left(\trans{\bm{x}}\bm{y}\right)=\sum_j x_j \delta_{ij}=x_j.$$
$$\dif{x_i}\left(\trans{\bm{x}}\bm{y}\right)=\sum_j \delta_{ij} y_j=y_j.$$
$$\dif{y_i}\left(\trans{\bm{x}}\bm{y}\right)=\sum_j x_j \delta_{ij}=x_j.$$

\item 2次形式の微分
\begin{equation}\label{diff_quad}
\diff{\bm{x}}\left(\quadf{A}{x}\right)=(A+\trans{A})\bm{x}.
\dif{\bm{x}}\left(\quadf{A}{x}\right)=(A+\trans{A})\bm{x}.
\end{equation}

証明は
\begin{eqnarray*}
\diff{x_i}\left(\quadf{A}{x}\right) &=& \sum_{s,t} a_{st} \diff{x_i}(x_s x_t)
\dif{x_i}\left(\quadf{A}{x}\right) &=& \sum_{s,t} a_{st} \dif{x_i}(x_s x_t)
= \sum_{s,t} a_{st} (\delta_{is} x_t + x_s \delta_{it})
= \left(\sum_t a_{it} x_t\right) + \left(\sum_s a_{si} x_s\right)\\
&=& (A\bm{x})_i + (\trans{A}\bm{x})_i = \left((A + \trans{A})\bm{x}\right)_i.
\end{eqnarray*}

特に$A$が対称行列のときは
$$\diff{\bm{x}}\left(\quadf{A}{x}\right)=2A\bm{x}.$$
$$\dif{\bm{x}}\left(\quadf{A}{x}\right)=2A\bm{x}.$$

\item $AA^{-1}=I$の両辺を$x$で微分すると
$$\left(\diff{x} A\right)A^{-1}+A \diff{x}(A^{-1})=0.$$
$$\left(\dif{x} A\right)A^{-1}+A \dif{x}(A^{-1})=0.$$

左から$A^{-1}$をかけることによって
\begin{equation}\label{diff_inv}
\diff{x}\left(A^{-1}\right)=-A^{-1}\left(\diff{x} A\right)A^{-1}.
\dif{x}\left(A^{-1}\right)=-A^{-1}\left(\dif{x} A\right)A^{-1}.
\end{equation}

\item 行列式の対数の微分の公式(1)

$|A|>0$となる行列に対して
$$\diff{x}\log |A| = \tr\left(A^{-1} \diff{x} A\right).$$
$$\dif{x}\log |A| = \tr\left(A^{-1} \dif{x} A\right).$$

(証明)$A$$P$で三角化する:

Expand All @@ -612,12 +613,12 @@
となる.

さて$|A|=\prod \lambda_i$なので証明すべき式の左辺は
$$\diff{x}\left(\sum \log (\lambda_i)\right) = \sum \frac{\lambda_i'}{\lambda_i}.$$
$$\dif{x}\left(\sum \log (\lambda_i)\right) = \sum \frac{\lambda_i'}{\lambda_i}.$$

ここで$\diff{x}\lambda_i=\lambda_i'$と略記した.
ここで$\diff{x}{\lambda_i}=\lambda_i'$と略記した.

証明すべき右辺を考えよう.
$$\diff{x}A=A'
$$\diff{x}{A}=A'
=\left(P^{-1}\tri(\lambda_i)P\right)'
=(P^{-1})'\tri(\lambda_i)P + P^{-1}\tri(\lambda_i')P + P^{-1}\tri(\lambda_i)P'.$$

Expand Down Expand Up @@ -660,14 +661,14 @@

$|A|>0$となる行列に対して
\begin{equation}\label{diff_log_mat}
\diff{A}\log |A| = \trans{{(A^{-1})}}.
\dif{A}\log |A| = \trans{{(A^{-1})}}.
\end{equation}
ここで行列$A$で微分するというのは各要素$a_{ij}$で微分したものを,
行列に並べたものを意味する.

今示した対数の微分の公式(1)より
$$\diff{a_{ij}}\log|A|=\tr\left(A^{-1}\diff{a_{ij}}A\right).$$
$\diff{a_{ij}}A$$ij$成分のみが1でそれ以外は0の行列になる.
$$\dif{a_{ij}}\log|A|=\tr\left(A^{-1}\dif{a_{ij}}A\right).$$
$\dif{a_{ij}}A$$ij$成分のみが1でそれ以外は0の行列になる.
その行列を$I_{ij}$と書くと,
\begin{eqnarray*}
\tr(A^{-1}I_{ij})&=&\sum_s \left(A^{-1}I_{ij}\right)_{ss}\\
Expand All @@ -687,7 +688,7 @@

一般のときは$|A|=\sum_{\sigma \in S_n} \sgn(\sigma) a_{1 \sigma(1)} \cdots a_{n \sigma(n)}$なので
$$
|A|(\text{左辺})_{ij}=\sum_{\sigma \in S_n} \sgn(\sigma) \diff{a_{ij}}\left(a_{1 \sigma(1)} \cdots a_{n \sigma(n)}\right).
|A|(\text{左辺})_{ij}=\sum_{\sigma \in S_n} \sgn(\sigma) \dif{a_{ij}}\left(a_{1 \sigma(1)} \cdots a_{n \sigma(n)}\right).
$$
$a_{ij}$による微分を考えると, 掛け算の中に$a_{ij}$があれば(微分が1なので)それを取り除き,
なければ0になってしまう.
Expand All @@ -710,7 +711,7 @@
その前にまず$A$を固定したときの$\bm{\mu}$に関する最尤推定の解を求めておこう.
式(\ref{diff_quad})より
\begin{eqnarray*}
\diff{\bm{\mu}} \log p(\bm{X}|\bm{\mu}, A)&=&\half\sum_{i=1}^N\left(A^{-1}+\trans{(A^{-1})}\right)(\bm{x_i-\mu})\\
\dif{\bm{\mu}} \log p(\bm{X}|\bm{\mu}, A)&=&\half\sum_{i=1}^N\left(A^{-1}+\trans{(A^{-1})}\right)(\bm{x_i-\mu})\\
&=&\half\left(A^{-1}+\trans{(A^{-1})}\right)\left(\left(\sum_{i=1}^N \bm{x_i}\right) - N\bm{\mu}\right).
\end{eqnarray*}
これが$\bm{0}$なので
Expand All @@ -730,22 +731,22 @@

第2項を求めるには式(\ref{diff_inv})を使って
\begin{eqnarray*}
\diff{a_{ij}}\tr\left(A^{-1}B\right)&=&\tr\left(\left(\diff{a_{ij}}A^{-1}\right)B\right)\\
&=&-\tr\left(A^{-1}\left(\diff{a_{ij}}A\right)A^{-1}B\right)\\
&=&-\tr\left(\left(\diff{a_{ij}}A\right)A^{-1}BA^{-1}\right).
\dif{a_{ij}}\tr\left(A^{-1}B\right)&=&\tr\left(\left(\dif{a_{ij}}A^{-1}\right)B\right)\\
&=&-\tr\left(A^{-1}\left(\dif{a_{ij}}A\right)A^{-1}B\right)\\
&=&-\tr\left(\left(\dif{a_{ij}}A\right)A^{-1}BA^{-1}\right).
\end{eqnarray*}
最後の式変形では$\tr(XY)=\tr(YX)$を使った. $C=A^{-1}BA^{-1}$とおく.

$$\tr\left(\left(\diff{a_{ij}}A\right)C\right)
=\sum_s \left(\left(\diff{a_{ij}}A\right)C\right)_{ss}
= \sum_s \left(\sum_t \left(\diff{a_{ij}}A\right)_{st} c_{ts}\right)
$$\tr\left(\left(\dif{a_{ij}}A\right)C\right)
=\sum_s \left(\left(\dif{a_{ij}}A\right)C\right)_{ss}
= \sum_s \left(\sum_t \left(\dif{a_{ij}}A\right)_{st} c_{ts}\right)
=\sum_{s,t} \delta_{is} \delta_{jt} c_{ts}=c_{ji}.$$
つまり
\begin{eqnarray}\label{diff_tr_invA_B}
\diff{A}\tr(A^{-1}B)=-\trans{C}=-\trans{(A^{-1}BA^{-1})}.
\dif{A}\tr(A^{-1}B)=-\trans{C}=-\trans{(A^{-1}BA^{-1})}.
\end{eqnarray}
よって
$$\diff{A}F(A)=-N\trans{{(A^{-1})}}+\trans{(A^{-1}BA^{-1})}.$$
$$\dif{A}F(A)=-N\trans{{(A^{-1})}}+\trans{(A^{-1}BA^{-1})}.$$
これが0になるような$A$$F(A)$の最大値を与える.

転置をとって
Expand Down
26 changes: 13 additions & 13 deletions prml3.tex
Original file line number Diff line number Diff line change
Expand Up @@ -9,11 +9,11 @@

\subsection{微分の復習}
$\bm{x}$, $\bm{y}$を縦ベクトルとして
$$\diff{\bm{x}} (\trans{\bm{x}}\bm{y}) = \bm{y}.$$
$$\diff{\bm{y}} (\trans{\bm{x}}\bm{y}) = \bm{x}.$$
$$\dif{\bm{x}} (\trans{\bm{x}}\bm{y}) = \bm{y}.$$
$$\dif{\bm{y}} (\trans{\bm{x}}\bm{y}) = \bm{x}.$$

ここで$\diff{\bm{x}}$$\diff{x_i}$を縦に並べた縦ベクトルとする.
2章でも述べたが$\diff{\bm{x}}$$\nabla$と書くこともあるがPRMLでは場所によって縦ベクトル(3.22)だったり,
ここで$\dif{\bm{x}}$$\dif{x_i}$を縦に並べた縦ベクトルとする.
2章でも述べたが$\dif{\bm{x}}$$\nabla$と書くこともあるがPRMLでは場所によって縦ベクトル(3.22)だったり,
横ベクトル(3.13)だったりする. 常に縦ベクトルとしたほうが混乱は少ない.

\subsection{誤差関数の最小化}
Expand All @@ -22,7 +22,7 @@
とする. ここで$\bm{w}$$\phi(\bm{x}_n)$$M$次元縦ベクトルである.
$$\trans{\Phi}=(\phi(\bm{x}_1) \cdots \phi(\bm{x}_N))$$
とおく. $\Phi$$N$$M$列の行列である. $f(\bm{w})$$w$で微分しよう.
$$\diff{\bm{w}}f(\bm{w})
$$\dif{\bm{w}}f(\bm{w})
= 2\sum_{n=1}^N\left(t_n - \trans{\bm{w}}\phi(\bm{x}_n)\right)(-\phi(\bm{x}_n)) +2\lambda \bm{w}.$$
一般に縦ベクトル$\bm{x}$, $\bm{y}$に対して
$$(\trans{\bm{x}}\bm{y})\bm{y}
Expand All @@ -31,7 +31,7 @@
=(\bm{y}\trans{\bm{y}})\bm{x}
$$だから$\bm{t}=\trans{(t_1, \ldots, t_N)}$とおくと
\begin{eqnarray*}
\half\diff{\bm{w}}f(\bm{w})
\half\dif{\bm{w}}f(\bm{w})
&=& -\sum_n t_n \phi(\bm{x}_n) + \sum_n \left(\phi(\bm{x}_n)\trans{\phi(\bm{x}_n)}\right)\bm{w} + \lambda \bm{w}\\
&=& -\trans{\Phi} \bm{t} + \trans{\Phi}\Phi \bm{w} + \lambda \bm{w}\\
&=& -\trans{\Phi} \bm{t} + (\trans{\Phi}\Phi + \lambda I)\bm{w}=0.
Expand Down Expand Up @@ -73,15 +73,15 @@
$$\trans{\left(Ax\right)}Ax=\sum_s \left(Ax\right)_s \left(Ax\right)_s = \sum_s \left(\sum_t a_{st}x_t\right) \left(\sum_u a_{su}x_u\right) = \sum_{s,t,u} x_t x_u a_{st}a_{su}.$$
よって
\begin{eqnarray*}
\diff{a_{ij}}f(A) &=& \sum_{s,t,u} x_t x_u \left(\left(\diff{a_{ij}}a_{st}\right) a_{su} + a_{st} \diff{a_{ij}}a_{su}\right)\\
\dif{a_{ij}}f(A) &=& \sum_{s,t,u} x_t x_u \left(\left(\dif{a_{ij}}a_{st}\right) a_{su} + a_{st} \dif{a_{ij}}a_{su}\right)\\
&=& \sum_{s,t,u}x_t x_u\left(\delta_{is}\delta_{jt}a_{su} + a_{st} \delta_{is}\delta_{ju}\right)\\
&=& \left(\sum_u x_j x_u a_{iu}\right) + \left(\sum_t x_t x_j a_{it}\right)\\
&=& 2\sum_u x_j x_u a_{iu}\\
&=& 2x_j \left(Ax\right)_i\\
&=& 2\left(Ax\trans{x}\right)_{ij}.
\end{eqnarray*}
よって
$$\diff{A}||Ax||^2 = 2Ax\trans{x}.$$
$$\dif{A}||Ax||^2 = 2Ax\trans{x}.$$

\subsection{Woodburyの逆行列の公式}

Expand Down Expand Up @@ -279,7 +279,7 @@
H(g)=\matt{2}{0}{0}{2}
$$
となり, ヘッセ行列が原点での形に対応していることが分かる.
\begin{figure}[ht]
\begin{figure}[h]
\begin{minipage}{0.5\hsize}
\begin{center}
\includegraphics[scale=0.3]{../prml/x2my2.ps}
Expand Down Expand Up @@ -311,11 +311,11 @@
$$
となる. $\alpha$で微分すると
$$
\diff{\alpha}\log |A|=\sum_{i=1}^M \frac{1}{\lambda_i + \alpha}.
\dif{\alpha}\log |A|=\sum_{i=1}^M \frac{1}{\lambda_i + \alpha}.
$$
式(\ref{log_evidence})を$\alpha$で微分すると
$$
\diff{\alpha} \log p\left(\bm{t}|\alpha,\beta\right)=\frac{M}{2\alpha}-\half\trans{m_N}m_N - \half\sum \frac{1}{\lambda_i + \alpha}=0.
\dif{\alpha} \log p\left(\bm{t}|\alpha,\beta\right)=\frac{M}{2\alpha}-\half\trans{m_N}m_N - \half\sum \frac{1}{\lambda_i + \alpha}=0.
$$
よって
$$
Expand All @@ -330,11 +330,11 @@
$\beta$についても同様にしてみる. $\beta\trans{\Phi}\Phi$の固有値が$\lambda_i$だから$\lambda_i$$\beta$に比例する.
つまり微分が比例係数に等しい.
$$
\diff{\beta} \lambda_i = \lambda_i/\beta.
\dif{\beta} \lambda_i = \lambda_i/\beta.
$$
よって
$$
\diff{\beta} \log |A| = \sum \frac{\lambda_i/\beta}{\lambda_i + \alpha}=\frac{\gamma}{\beta}.
\dif{\beta} \log |A| = \sum \frac{\lambda_i/\beta}{\lambda_i + \alpha}=\frac{\gamma}{\beta}.
$$
式(\ref{log_evidence})を$\beta$で微分すると
$$
Expand Down
Loading

0 comments on commit 6349fd8

Please sign in to comment.