特征值與特征向量

設(shè) $A$ 是 n 階矩陣，如果存在數(shù) $\lambda$ 和 n 維非零列向量 $x$，滿足關(guān)系式：

$$Ax=\lambda x(1)$$

則數(shù) $\lambda$ 稱為矩陣 $A$ 的特征值，非零向量 $x$ 稱為矩陣 $A$ 的特征向量.

關(guān)系式（1）推導(dǎo)得到 $(A?\lambda E)x=0$，存在非零解 $x$ 的充分必要條件為系數(shù)行列式為零：

$$|A?\lambda E|=0(2)$$

上式是以 $\lambda$ 為未知數(shù)的一元 n 次方程，稱為矩陣 $A$ 的特征方程。特征方程在復(fù)數(shù)范圍內(nèi)恒有解，解的個(gè)數(shù)為方程的次數(shù)（重根按重?cái)?shù)計(jì)算），因此，n 階矩陣 $A$ 在復(fù)數(shù)范圍內(nèi)有 n 個(gè)特征值。

設(shè) n 階矩陣 $A=(a_{ij})$ 的特征值為 ${\lambda }_1,{\lambda }_2,...,{\lambda }_n$

• ${\sum }_{i=1}^n{\lambda }_i={\sum }_{i=1}^n{a}_{ii}=tr(A)$
• ${\prod }_{i=1}^n{\lambda }_i=|A|$
• A 可逆的充分必要條件是 n 個(gè)特征值全不為零

有如下性質(zhì)：

• 設(shè) $\lambda$ 是方陣 $A$ 的特征值，則 ${\lambda }^2$ 是 $A^2$ 的特征值；當(dāng) $A$ 可逆時(shí)，$1/\lambda$ 是$A^{?1}$的特征值.

$A，B$ 都是 n 階矩陣，若有可逆矩陣 $P$ ,使：

$$P^{?1}AP=B$$

則稱 B 是 A 的相似矩陣。$P^{?1}AP$ 稱為 A 的相似變換。

定理：相似矩陣的特征值相同.

對(duì)于 n 階矩陣 A ， 若存在矩陣 P 滿足 $P^{?1}AP=\Lambda$，則稱矩陣 A 可對(duì)角化。

定理：一個(gè) n 階方陣 A 如果有 n 個(gè)不同的特征值，那么對(duì)應(yīng)的 n 個(gè)特征向量互相線性獨(dú)立

定理：任何 n 階對(duì)稱矩陣都有 n 個(gè)獨(dú)立且正交的特征向量

圖解特征值的含義：

A	特征值&特征向量	x	Ax
$$\left[\begin{array}{cc}0.5& 1\\ 0& 2\end{array}\right]$$	$$\begin{gathered} {\lambda }_1=0.5,p_1=[1,0{]}^T \\ {\lambda }_2=2,p_2=[0,1{]}^T \end{gathered}$$
$$\left[\begin{array}{cc}1& ?1\\ ?1& 1\end{array}\right]$$	$$\begin{gathered} {\lambda }_1=0,p_1=[1,1{]}^T \\ {\lambda }_2=2,p_2=[?1,1{]}^T \end{gathered}$$
$$\left[\begin{array}{cc}3& ?1\\ ?1& 3\end{array}\right]$$	$$\begin{gathered} {\lambda }_1=2,p_1=[1,1{]}^T \\ {\lambda }_2=4,p_2=[?1,1{]}^T \end{gathered}$$

Cholesky 分解（Cholesky Decomposition）

把一個(gè)對(duì)稱正定的矩陣表示成一個(gè)下三角矩陣 L 與其轉(zhuǎn)置的乘積的形式。

$$A=L{L}^T$$

特征值分解（Eigen Decomposition）

對(duì)角化條件：當(dāng)且僅當(dāng)A滿秩（有n個(gè)獨(dú)立的特征向量）時(shí)，有$A=P^{?1}DP$，P 為A的特征矩陣組成的可逆矩陣，D是有A的特征值組成的對(duì)角矩陣。

任何對(duì)稱矩陣都可以對(duì)角化：

$$S=PD{P}^{?1}$$

其中 P 是由 n 個(gè)正交特征向量組成的矩陣，D 是有特征值組成的對(duì)角矩陣。

圖解特征值分解：

$S=PD{P}^{?1}$	x	$P^{?1}x$	$D{P}^{?1}x$	$PD{P}^{?1}x$
$$\left[\begin{array}{cc}2& ?1\\ ?1& 2\end{array}\right]=$$ $$\left[\begin{array}{cc}1& 1\\ 1& ?1\end{array}\right]\left[\begin{array}{cc}1& 0\\ 0& 3\end{array}\right]\left[\begin{array}{cc}\frac{1}{2}& \frac{1}{2}\\ \frac{1}{2}& ?\frac{1}{2}\end{array}\right]$$

奇異值分解（Singular Value Decomposition）

SVD定理：設(shè)矩陣 $A^{m\times n}$ 的秩為$r\in (0,min(m,n))$，矩陣 A 的奇異值分解形式如下

$$A=U\Sigma V^T$$

其中 $U\in R^{m\times m}，V\in R^{n\times n}$ 是正交矩陣，$\Sigma \in R^{m\times n}$ 滿足 ${\Sigma }_{ii}={\sigma }_i\ge 0,{\Sigma }_{ij}=0,i\ne j$，${\sigma }_i$稱為奇異值。

圖解奇異值分解：

$A=U\Sigma V^T$	x	$V^{T}x$	$\Sigma V^{T}x$	$U\Sigma V^{T}x$
$$\left[\begin{array}{cc}1& 1\\ 1& 1\\ 0& 0\end{array}\right]=$$ $$\left[\begin{array}{ccc}\frac{1}{\sqrt{2}}& ?\frac{1}{\sqrt{2}}& 0\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}2& 0\\ 0& 0\\ 0& 0\end{array}\right]{\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& ?\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]}^T$$
$$\left[\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right]=$$ $$\left[\begin{array}{ccc}\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\\ \frac{2}{\sqrt{6}}& 0& ?\frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& ?\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\end{array}\right]\left[\begin{array}{cc}\sqrt{3}& 0\\ 0& 1\\ 0& 0\end{array}\right]{\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& ?\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]}^T$$