本節(jié)的兩個(gè)目標(biāo)就是為什么和怎么做(why and how)。首先是知道為什么正交性很好：因?yàn)樗鼈兊狞c(diǎn)積為零；$A^{T}A$ 是對(duì)角矩陣；在求 $\hat{\mathbf{x}}$ 和 $\mathbf{p}=A\hat{\mathbf{x}}$ 時(shí)也會(huì)很簡(jiǎn)單。第二個(gè)目的標(biāo)是構(gòu)建正交向量，通過(guò)格拉姆-施密特（Gram-Schmidt）正交化的方法選擇原始基向量的組合生成直角。原始基向量就是 $A$ 的列，它可能不是正交的。標(biāo)準(zhǔn)正交基向量將會(huì)是新矩陣 $Q$ 的列。

一、標(biāo)準(zhǔn)正交矩陣 Q

一組基包含可張成空間的無(wú)關(guān)向量，這些基向量可能是以任意角度相交的（不能是 $0°$ 和 $180°$）。我們所看到的坐標(biāo)軸，它們都是垂直的，而正交可以簡(jiǎn)化圖形也能大大的減少計(jì)算。
一組向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,?,{\mathbf{q}}_n$，當(dāng)它們的點(diǎn)積 ${\mathbf{q}}_i?{\mathbf{q}}_j=0$ 時(shí)，它們的正交的。更確切的說(shuō)應(yīng)該是只要 $i\ne j$ 時(shí)，${\mathbf{q}}_i^T{\mathbf{q}}_j=0$。更進(jìn)一步，我們將每個(gè)向量除以它的長(zhǎng)度，這組向量就變成了正交單位向量，它們的長(zhǎng)度都為 $1$（標(biāo)準(zhǔn)），這組基就稱(chēng)為標(biāo)準(zhǔn)正交基（orthonormal）。

定義 \kern 5pt 向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,?,{\mathbf{q}}_n$ 標(biāo)準(zhǔn)正交，如果：$${\mathbf{q}}_i^T{\mathbf{q}}_j=\{\begin{array}{l}0,i\ne j(正交向量)\\ 1,i=j(單位向量:||{\mathbf{q}}_i||=1)\end{array}$$標(biāo)準(zhǔn)正交列的矩陣用指定字母 $Q$ 表示。

矩陣 $Q$ 很容易處理，因?yàn)?$Q^{T}Q=I$。用矩陣語(yǔ)言來(lái)說(shuō)就是列 ${\mathbf{q}}_1,{\mathbf{q}}_2,?,{\mathbf{q}}_n$ 是標(biāo)準(zhǔn)正交的，$Q$ 不一定要是方陣。

有標(biāo)準(zhǔn)正交列的矩陣 $Q$ 滿(mǎn)足 $Q^{T}Q=I$：$$Q^{T}Q=\left[\begin{array}{c}??{\mathbf{q}}_1^T??\\ ??{\mathbf{q}}_2^T??\\ ?\\ ??{\mathbf{q}}_n^T??\end{array}\right]\left[\begin{array}{cccc}|& |& & |\\ {\mathbf{q}}_1& {\mathbf{q}}_2& ?& {\mathbf{q}}_n\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}1& 0& ?& 0\\ 0& 1& ?& 0\\ ?& ?& ?& ?\\ 0& 0& ?& 1\end{array}\right]=I(\mathrm{4.4.1})$$

$Q^T$ 的第 $i$ 行乘 $Q$ 的第 $j$ 列，點(diǎn)積是 ${\mathbf{q}}_i^T{\mathbf{q}}_j$，非對(duì)角線（$i\ne j$）上的元素因?yàn)檎恍运鼈兊狞c(diǎn)積都為零；對(duì)角線（$i=j$）上的元素是 $1$，因?yàn)閱挝幌蛄坑?${\mathbf{q}}_i^T{\mathbf{q}}_i=||{\mathbf{q}}_i|{|}^2=1$。通常 $Q$ 是矩形（$m>n$），有時(shí)也有 $m=n$。$$當(dāng)Q是方陣時(shí)，Q^{T}Q=I意味著Q^T=Q^{?1}：轉(zhuǎn)置=逆$$如果列僅僅是正交但不是單位矩陣，點(diǎn)積仍然得到對(duì)角矩陣（不是單位矩陣）。對(duì)角矩陣和單位矩陣 $I$ 基本上一樣，重要的是正交性 —— 單位化很簡(jiǎn)單。
重復(fù)：盡管 $Q$ 是個(gè)矩形矩陣，仍然有 $Q^{T}Q=I$，這種情況下 $Q^T$ 只是左逆矩陣。對(duì)于方陣來(lái)說(shuō)，也有 $Q^{T}Q=I$，所以 $Q^T$ 是 $Q$ 的雙邊逆矩陣。方陣 $Q$ 的行像它的列一樣都是正交的，此時(shí)逆矩陣就是轉(zhuǎn)置矩陣。方陣的情況下我們稱(chēng) $Q$ 是正交矩陣。（只有當(dāng) $Q$ 是方陣時(shí)我們才稱(chēng)為正交矩陣：orthogonal matrix。）
下面是正交矩陣的三個(gè)例子：旋轉(zhuǎn)（rotation）、置換（permutation）和反射（reflection）。最快的檢驗(yàn)方法就是檢查 $Q^{T}Q=I$。

【例1】（旋轉(zhuǎn)）$Q$ 將平面的任意向量旋轉(zhuǎn)角度 $\theta$：

$$Q=\left[\begin{array}{cc}\cos \theta & ?\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]和Q^T=Q^{?1}=\left[\begin{array}{cc}\cos \theta & \sin \theta \\ ?\sin \theta & \cos \theta \end{array}\right]$$

$Q$ 的列是正交的（可以通過(guò)它們的點(diǎn)積進(jìn)行驗(yàn)證），它們也是單位向量，因?yàn)?${\sin }^2\theta +{\cos }^2\theta =1$。這些列是平面 ${\text{R}}^2$ 的一組標(biāo)準(zhǔn)正交基。
$Q$ 將標(biāo)準(zhǔn)基向量 $\mathbf{i}$ 和 $\mathbf{j}$ 旋轉(zhuǎn) $\theta$ 角（如 Figure 4.10a）；$Q^{?1}$ 將向量旋轉(zhuǎn) $?\theta$ 角旋轉(zhuǎn)回來(lái)，它與 $Q^T$ 是一樣的，因?yàn)?$\cos (?\theta )=\cos \theta$，$\sin (?\theta )=?\sin \theta$。我們有 $Q^{T}Q=I$ 且 $Q{Q}^T=I$。

【例2】（置換）這些矩陣改變將向量分量的順序變?yōu)?$(y,z,x)$ 和 $(y,x)$：$$\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}y\\ z\\ x\end{array}\right]，\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}y\\ x\end{array}\right]$$$Q$ 的每一列的都是單位向量（它們的長(zhǎng)度很明顯都是 $1$），且都是正交的（$1$ 是在不同的位置）。置換矩陣的逆矩陣就是它的轉(zhuǎn)置：$Q^{?1}=Q^T$。逆矩陣將向量的分量又變回原先的順序：$$逆=轉(zhuǎn)置：\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{c}y\\ z\\ x\end{array}\right]=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]，\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}y\\ x\end{array}\right]=\left[\begin{array}{c}x\\ y\end{array}\right]$$

每個(gè)置換矩陣都是一個(gè)正交矩陣。

【例3】（反射）如果 $\mathbf{u}$ 是任意的單位向量，令 $Q=I?2{\mathbf{uu}}^T$。注意 ${\mathbf{uu}}^T$ 是一個(gè)矩陣，而 ${\mathbf{u}}^T\mathbf{u}$ 是一個(gè)數(shù)字，且 $||\mathbf{u}|{|}^2=1$。則 $Q^T$ 和 $Q^{?1}$ 都等于 $Q$：$$Q^T=I?2{\mathbf{uu}}^T=Q且Q^{T}Q=I?4{\mathbf{uu}}^T+4{\mathbf{uu}}^T{\mathbf{uu}}^T=I(\mathrm{4.4.2})$$反射矩陣 $I?2{\mathbf{uu}}^T$ 是對(duì)稱(chēng)且正交的矩陣，將它平方可以得到單位矩陣：$Q^2=Q^{T}Q=I$。通過(guò)鏡子反射兩次會(huì)回到原始狀態(tài)，就像 $(?1{)}^2=1$。注意方程（4.4.2） $4{\mathbf{uu}}^T{\mathbf{uu}}^T$ 中的 ${\mathbf{u}}^T\mathbf{u}=1$。

圖中選擇的方向是 $\mathbf{u}=(?\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}})$。計(jì)算 $2{\mathbf{uu}}^T$（列乘行）然后將其從 $I$ 中減去就可以得到在方向 $\mathbf{u}$ 的反射矩陣 $Q$：$$反射：Q=I?2\left[\begin{array}{cc}1/2& ?1/2\\ ?1/2& 1/2\end{array}\right]=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]，\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}y\\ x\end{array}\right]$$它會(huì)使得 $(x,y)$ 變?yōu)?$(y,x)$，但是像 $(3,3)$ 這樣的向量不會(huì)改變，這是因?yàn)樗驮诜瓷渚€上。
旋轉(zhuǎn)會(huì)保留每個(gè)向量的長(zhǎng)度，反射和置換也一樣。任何正交矩陣 $Q$ 乘上向量 —— 向量的長(zhǎng)度和角度不會(huì)改變。（此處角度指的是相對(duì)角度，例如 $\mathbf{v}$ 和 $\mathbf{w}$。）
證明： $||Q\mathbf{x}|{|}^2=||\mathbf{x}|{|}^2$，因?yàn)?$(Q\mathbf{x}{)}^T(Q\mathbf{x})={\mathbf{x}}^T{Q}^{T}Q\mathbf{x}={\mathbf{x}}^{T}I\mathbf{x}={\mathbf{x}}^T\mathbf{x}$。

如果 $Q$ 有標(biāo)準(zhǔn)正交列 $Q^{T}Q=I$，那么它會(huì)保持長(zhǎng)度不變：$$Q\mathbf{x}和\mathbf{x}有相同的長(zhǎng)度對(duì)任意的向量\mathbf{x}有：||Q\mathbf{x}||=||\mathbf{x}||(\mathrm{4.4.3})$$$Q$ 也會(huì)維持點(diǎn)積不變：$(Q\mathbf{x}{)}^T(Q\mathbf{y})={\mathbf{x}}^T{Q}^{T}Q\mathbf{y}={\mathbf{x}}^T\mathbf{y}$。僅使用了 $Q^{T}Q=I$。

二、使用標(biāo)準(zhǔn)正交基投影：Q 代替 A

正交矩陣非常適合計(jì)算 —— 當(dāng)向量長(zhǎng)度固定時(shí)，數(shù)字的變化不會(huì)太大，穩(wěn)定的計(jì)算機(jī)代碼盡可能的使用 $Q$。
投影到一個(gè)子空間的所有公式都和 $A^{T}A$ 有關(guān)，$A^{T}A$ 的元素是基向量 ${\mathbf{a}}_1,{\mathbf{a}}_2,?,{\mathbf{a}}_n$ 的點(diǎn)積 ${\mathbf{a}}_i^T{\mathbf{a}}_j$。
假設(shè)基向量是標(biāo)準(zhǔn)正交的，向量 $\mathbf{a}$ 將變?yōu)?$\mathbf{q}$，則 $A^{T}A$ 可以簡(jiǎn)化為 $Q^{T}Q=I$。看看改善后的 $\hat{\mathbf{x}}$、$\mathbf{p}$ 和 $P$。下面使用空行來(lái)替代 $Q^{T}Q$，它是一個(gè)單位矩陣：$$\_\_\hat{\mathbf{x}}=Q^T\mathbf{b}，\mathbf{p}=Q\hat{\mathbf{x}}，P=Q\_\_Q^T(\mathrm{4.4.4})$$這里不需要求矩陣的逆，這是標(biāo)準(zhǔn)正交基的關(guān)鍵所在。最優(yōu)的 $\hat{\mathbf{x}}=Q^T\mathbf{b}$ 只有 ${\mathbf{q}}_1,{\mathbf{q}}_2,?,{\mathbf{q}}_n$ 與 $\mathbf{b}$ 的點(diǎn)積，我們有一維的投影！“耦合矩陣（coupling matrix）” 或 “關(guān)聯(lián)矩陣（correlation matrix）” $A^{T}A$ 現(xiàn)在是 $Q^{T}Q=I$，不存在耦合了。當(dāng) $A$ 是 $Q$ 時(shí)，因?yàn)橛袠?biāo)準(zhǔn)正交列，則此時(shí) $\mathbf{p}=Q\hat{\mathbf{x}}=Q{Q}^T\mathbf{b}$：

$$在{\mathbf{q}}^{\prime }s的投影\mathbf{p}=\left[\begin{array}{cccc}|& |& & |\\ {\mathbf{q}}_1& {\mathbf{q}}_2& ?& {\mathbf{q}}_n\\ |& |& & |\end{array}\right]\left[\begin{array}{c}{\mathbf{q}}_1^T\mathbf{b}\\ {\mathbf{q}}_2^T\mathbf{b}\\ ?\\ {\mathbf{q}}_n^T\mathbf{b}\end{array}\right]={\mathbf{q}}_1({\mathbf{q}}_1^T\mathbf{b})+{\mathbf{q}}_2({\mathbf{q}}_2^T\mathbf{b})+?+{\mathbf{q}}_n({\mathbf{q}}_n^T\mathbf{b})(\mathrm{4.4.5})$$

重要情況： 當(dāng) $Q$ 是方陣 $m=n$ 時(shí)，子空間是整個(gè)空間，則因?yàn)?$Q^T=Q^{?1}$，所以 $\hat{\mathbf{x}}=Q^T\mathbf{b}$ 就與 $\mathbf{x}=Q^{?1}\mathbf{b}$ 是一樣的，這個(gè)解是確切的唯一解！$\mathbf{b}$ 在整個(gè)空間的投影就是 $\mathbf{b}$ 自己。這種情況下，$\mathbf{p}=\mathbf{b}$ 且 $P=Q{Q}^T=I$。
你可能會(huì)認(rèn)為在整個(gè)空間的投影不值一提，但是當(dāng) $\mathbf{p}=\mathbf{b}$ 時(shí)，我們的公式可以將 $\mathbf{b}$ 從它的一維投影中聚集起來(lái)。如果 ${\mathbf{q}}_1,{\mathbf{q}}_2,?,{\mathbf{q}}_n$ 是整個(gè)空間的標(biāo)準(zhǔn)正交基，那么 $Q$ 是一個(gè)方陣，任意 $\mathbf{b}=Q{Q}^T\mathbf{b}$ 都是它沿著 ${\mathbf{q}}^{\prime }s$ 的分量的和：

$$\mathbf{b}={\mathbf{q}}_1({\mathbf{q}}_1^T\mathbf{b})+{\mathbf{q}}_2({\mathbf{q}}_2^T\mathbf{b})+?+{\mathbf{q}}_n({\mathbf{q}}_n^T\mathbf{b})(\mathrm{4.4.6})$$

變換： $Q{Q}^T=I$ 是傅里葉級(jí)數(shù)的基礎(chǔ)，也是其他所有應(yīng)用數(shù)學(xué)中偉大 “變換” 的基礎(chǔ)。它將 $\mathbf{b}$ 或函數(shù) $f(x)$ 分解成垂直的片段，然后用 $(\mathrm{4.4.6})$ 將它們加起來(lái)，逆變換可以將 $\mathbf{b}$ 或 $f(x)$ 恢復(fù)。

【例4】正交矩陣 $Q$ 的列是標(biāo)準(zhǔn)正交向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,{\mathbf{q}}_3$：$$m=n=3Q=\frac{1}{3}\left[\begin{array}{ccc}?1& 2& 2\\ 2& ?1& 2\\ 2& 2& ?1\end{array}\right]有Q^{T}Q=Q{Q}^T=I$$$\mathbf{b}=(0,0,1)$ 在 ${\mathbf{q}}_1,{\mathbf{q}}_2,{\mathbf{q}}_3$ 上的投影分別是 ${\mathbf{p}}_1,{\mathbf{p}}_2,{\mathbf{p}}_3$：$${\mathbf{q}}_1({\mathbf{q}}_1^T\mathbf{b})=\frac{2}{3}{\mathbf{q}}_1,{\mathbf{q}}_2({\mathbf{q}}_2^T\mathbf{b})=\frac{2}{3}{\mathbf{q}}_2,{\mathbf{q}}_3({\mathbf{q}}_3^T\mathbf{b})=?\frac{1}{3}{\mathbf{q}}_3$$前兩項(xiàng)的和是 $\mathbf{b}$ 在 ${\mathbf{q}}_1$ 和 ${\mathbf{q}}_2$ 平面上的投影，所有項(xiàng)的和是 $\mathbf{b}$ 在整個(gè)空間的投影 —— ${\mathbf{p}}_1+{\mathbf{p}}_2+{\mathbf{p}}_3=\mathbf{b}$ 就是它本身：$$\begin{array}{l}重構(gòu)\mathbf{b}\\ \mathbf{b}={\mathbf{p}}_1+{\mathbf{p}}_2+{\mathbf{p}}_3\end{array}\frac{2}{3}{\mathbf{q}}_1+\frac{2}{3}{\mathbf{q}}_2?\frac{1}{3}{\mathbf{q}}_3=\frac{1}{9}\left[\begin{array}{c}?2+4?2\\ 4?2?2\\ 4+4+1\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\mathbf{b}$$

三、格拉姆-施密特正交化步驟

投影與最小二乘都含有 $A^{T}A$，當(dāng)這個(gè)矩陣是 $Q^{T}Q=I$ 時(shí)，我們也就不需要再求逆矩陣了，一維的投影不是耦合的，最優(yōu)的 $\hat{\mathbf{x}}$ 就是 $Q^T\mathbf{b}$（就是 $n$ 個(gè)分開(kāi)的點(diǎn)積）。為了實(shí)現(xiàn)這個(gè)目標(biāo)，我們需要向量是 “標(biāo)準(zhǔn)正交向量”。下面介紹格拉姆-施密特方法創(chuàng)造標(biāo)準(zhǔn)正交向量。
我們從三個(gè)無(wú)關(guān)的向量 $\mathbf{a},\mathbf{b},\mathbf{c}$ 開(kāi)始，我們的目的是創(chuàng)造三個(gè)正交向量 $\mathbf{A},\mathbf{B},\mathbf{C}$，然后我們分別除以它們自己的長(zhǎng)度（通常最后做比較容易）以單位化。這樣就可以得到三個(gè)標(biāo)準(zhǔn)正交向量 ${\mathbf{q}}_1=\frac{\mathbf{A}}{||\mathbf{A}||}，{\mathbf{q}}_2=\frac{\mathbf{B}}{||\mathbf{B}||}，{\mathbf{q}}_3=\frac{\mathbf{C}}{||\mathbf{C}||}$。
格拉姆-施密特： 首先讓 $\mathbf{A}=\mathbf{a}$，第一個(gè)就選擇第一個(gè)方向，第二個(gè)方向 $\mathbf{B}$ 要與 $\mathbf{A}$ 垂直。$\mathbf{b}$ 減去它在 $\mathbf{A}$ 方向上的投影，會(huì)保留垂直的部分，這部分就是正交向量 $\mathbf{B}$：$$格拉姆?施密特第一步\mathbf{B}=\mathbf{b}?\frac{{\mathbf{A}}^T\mathbf{b}}{{\mathbf{A}}^T\mathbf{A}}\mathbf{A}(\mathrm{4.4.7})$$如 Figure 4.11，$\mathbf{A}$ 和 $\mathbf{B}$ 是正交的，方程（4.4.7）左乘 ${\mathbf{A}}^T$ 可以驗(yàn)證 ${\mathbf{A}}^T\mathbf{B}={\mathbf{A}}^T\mathbf{b}?{\mathbf{A}}^T\mathbf{b}=0$。向量 $\mathbf{B}$ 就是我們稱(chēng)之為誤差向量的 $\mathbf{e}$，它垂直于 $\mathbf{A}$。注意方程（4.4.7）中的 $\mathbf{B}$ 不為零（否則 $\mathbf{a}$ 和 $\mathbf{b}$ 就是相關(guān)的了）。$\mathbf{A}$ 和 $\mathbf{b}$ 的方向現(xiàn)在定好了。
第三個(gè)方向從 $\mathbf{c}$ 開(kāi)始，它不是 $\mathbf{A}$ 和 $\mathbf{B}$ 的組合（因?yàn)?$\mathbf{c}$ 不是 $\mathbf{a}$ 和 $\mathbf{b}$ 的組合）。大多數(shù)情況下 $\mathbf{c}$ 不會(huì)和 $\mathbf{A}$ 與 $\mathbf{B}$ 垂直的，所以 $\mathbf{c}$ 減去它在兩個(gè)方向上的分量就可以得到垂直的方向 $\mathbf{C}$：$$格拉姆?施密特的下一步\mathbf{C}=\mathbf{c}?\frac{{\mathbf{A}}^T\mathbf{c}}{{\mathbf{A}}^T\mathbf{A}}\mathbf{A}?\frac{{\mathbf{B}}^T\mathbf{c}}{{\mathbf{B}}^T\mathbf{B}}\mathbf{B}(\mathrm{4.4.8})$$這個(gè)就是格拉姆-施密特方法的思路。從每個(gè)新向量中減去它在已經(jīng)定好的方向的投影。這個(gè)思想在每個(gè)步驟中都重復(fù)使用。如果我們有第四個(gè)向量 $\mathbf{d}$，我們要讓它減去它在 $\mathbf{A},\mathbf{B},\mathbf{C}$ 這三個(gè)方向上的投影得到 $\mathbf{D}$。

最后，或者是在得道每項(xiàng)以后，將這些正交向量 $\mathbf{A},\mathbf{B},\mathbf{C},\mathbf{D}$ 分別除以它們的長(zhǎng)度。最終得到的就是標(biāo)準(zhǔn)正交向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,{\mathbf{q}}_3,{\mathbf{q}}_4$。
格拉姆-施密特的例題：假設(shè)有 $3$ 個(gè)無(wú)關(guān)的非正交向量 $\mathbf{a},\mathbf{b},\mathbf{c}$ 是：$$\mathbf{a}=\left[\begin{array}{c}1\\ ?1\\ 0\end{array}\right],\mathbf{b}=\left[\begin{array}{c}2\\ 0\\ ?2\end{array}\right],\mathbf{c}=\left[\begin{array}{c}3\\ ?3\\ 3\end{array}\right]$$則 $\mathbf{A}=\mathbf{a}$，${\mathbf{A}}^T\mathbf{A}=2$，${\mathbf{A}}^T\mathbf{b}=2$，$\mathbf{b}$ 減去它在 $\mathbf{A}$ 上的投影 $\mathbf{p}$：$$第一步\mathbf{B}=\mathbf{b}?\frac{{\mathbf{A}}^T\mathbf{b}}{{\mathbf{A}}^T\mathbf{A}}\mathbf{A}=\mathbf{b}?\frac{2}{2}\mathbf{A}=\left[\begin{array}{c}1\\ 1\\ ?2\end{array}\right]$$檢驗(yàn)：${\mathbf{A}}^T\mathbf{B}=0$ 符合要求。下面用 $\mathbf{c}$ 減去它在 $\mathbf{A}$ 和 $\mathbf{B}$ 方向上的投影得到 $\mathbf{C}$：$$下一步\mathbf{C}=\mathbf{c}?\frac{{\mathbf{A}}^T\mathbf{c}}{{\mathbf{A}}^T\mathbf{A}}\mathbf{A}?\frac{{\mathbf{B}}^T\mathbf{c}}{{\mathbf{B}}^T\mathbf{B}}\mathbf{B}=\mathbf{c}?\frac{6}{2}\mathbf{A}+\frac{6}{6}\mathbf{B}=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$$ 檢驗(yàn)：$\mathbf{C}=(1,1,1)$ 與 $\mathbf{A}$ 和 $\mathbf{B}$ 都垂直。最后，將 $\mathbf{A},\mathbf{B},\mathbf{C}$ 都轉(zhuǎn)化為單位向量（長(zhǎng)度為 $1$ 的標(biāo)準(zhǔn)正交向量）。$\mathbf{A},\mathbf{B},\mathbf{C}$ 的長(zhǎng)度分別為 $\sqrt{2},\sqrt{6}$ 和 $\sqrt{3}$，分別除以它們的長(zhǎng)度的單一組標(biāo)準(zhǔn)正交基：$${\mathbf{q}}_1=\frac{1}{\sqrt{2}}\left[\begin{array}{c}1\\ ?1\\ 0\end{array}\right]，{\mathbf{q}}_2=\frac{1}{\sqrt{6}}\left[\begin{array}{c}1\\ 1\\ ?2\end{array}\right]，{\mathbf{q}}_3=\frac{1}{\sqrt{3}}\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$$通常 $\mathbf{A},\mathbf{B},\mathbf{C}$ 都含有分?jǐn)?shù)，大部分的 ${\mathbf{q}}_1,{\mathbf{q}}_2,{\mathbf{q}}_3$ 都會(huì)有平方根。

四、A = QR 分解

我們從矩陣 $A$ 開(kāi)始，它的列是 $\mathbf{a},\mathbf{b},\mathbf{c}$；以矩陣 $Q$ 結(jié)束，$Q$ 的列是 ${\mathbf{q}}_1,{\mathbf{q}}_2,{\mathbf{q}}_3$。那么這些矩陣有什么關(guān)系呢？因?yàn)橄蛄?$\mathbf{a},\mathbf{b},\mathbf{c}$ 是 ${\mathbf{q}}^{\prime }s$ 的組合（反之也是），那么肯定會(huì)有一個(gè)矩陣將 $A$ 和 $Q$ 聯(lián)系起來(lái)，這個(gè)矩陣就是 $A=QR$ 中的三角矩陣 $R$。
第一步是 ${\mathbf{q}}_1=\frac{\mathbf{a}}{||\mathbf{a}||}$（沒(méi)有其它向量參與），第二步就是方程（4.4.7），$\mathbf{b}$ 是 $\mathbf{A}$ 和 $\mathbf{B}$ 的組合，在這一步 $\mathbf{C}$ 和 ${\mathbf{q}}_3$ 沒(méi)有參與。后面的向量不參與前面的運(yùn)算是格拉姆-施密特的關(guān)鍵點(diǎn)：

• 向量 $\mathbf{a}$ 和 $\mathbf{A}$ 和 ${\mathbf{q}}_1$ 都沿著同一條直線。
• 向量 $\mathbf{a},\mathbf{b}$ 和 $\mathbf{A},\mathbf{B}$ 和 ${\mathbf{q}}_1,{\mathbf{q}}_2$ 都在同一平面。
• 向量 $\mathbf{a},\mathbf{b},\mathbf{c}$ 和 $\mathbf{A},\mathbf{B},\mathbf{C}$ 和 ${\mathbf{q}}_1,{\mathbf{q}}_2,{\mathbf{q}}_3$ 都在同一個(gè)子空間（$3$ 維的）。

每一步 ${\mathbf{a}}_1,{\mathbf{a}}_2,?,{\mathbf{a}}_k$ 是 ${\mathbf{q}}_1,{\mathbf{q}}_2,?,{\mathbf{q}}_k$ 的組合，后面的 ${\mathbf{q}}^{\prime }s$ 都沒(méi)有參與。這里的關(guān)聯(lián)矩陣 $R$ 是三角矩陣，有 $A=QR$：

$$\left[\begin{array}{ccc}& & \\ \mathbf{a}& \mathbf{b}& \mathbf{c}\\ & & \end{array}\right]=\left[\begin{array}{ccc}& & \\ {\mathbf{q}}_1& {\mathbf{q}}_2& {\mathbf{q}}_3\\ & & \end{array}\right]\left[\begin{array}{ccc}{\mathbf{q}}_1^T\mathbf{a}& {\mathbf{q}}_1^T\mathbf{b}& {\mathbf{q}}_1^T\mathbf{c}\\ & {\mathbf{q}}_2^T\mathbf{b}& {\mathbf{q}}_2^T\mathbf{c}\\ & & {\mathbf{q}}_3^T\mathbf{c}\end{array}\right]或A=QR(\mathrm{4.4.9})$$

$A=QR$ 是格拉姆-施密特的概括，上式左乘 $Q^T$ 得到 $R=Q^{T}A$.

(格拉姆-施密特) 從無(wú)關(guān)的向量 ${\mathbf{a}}_1,{\mathbf{a}}_2,?,{\mathbf{a}}_n$ 開(kāi)始，格拉姆-施密特構(gòu)造標(biāo)準(zhǔn)正交向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,?,{\mathbf{q}}_n$。這些列構(gòu)成的矩陣滿(mǎn)足 $A=QR$，則 $R=Q^{T}A$ 是上三角矩陣，因?yàn)楹竺娴?${\mathbf{q}}^{\prime }s$ 與前面的 ${\mathbf{a}}^{\prime }s$ 正交。

下面的例子就是原始的向量 ${\mathbf{a}}^{\prime }s$ 和最終的向量 ${\mathbf{q}}^{\prime }s$。$R=Q^{T}A$ 的 $i,j$ 元素是 $Q^T$ 的第 $i$ 行乘 $A$ 的第 $j$ 列，$R$ 中的元素是點(diǎn)積 ${\mathbf{q}}_i^T{\mathbf{a}}_j$，有 $A=QR$：$$A=\left[\begin{array}{ccc}1& 2& 3\\ ?1& 0& ?3\\ 0& ?2& 3\end{array}\right]=\left[\begin{array}{ccc}1/\sqrt{2}& 1/\sqrt{6}& 1/\sqrt{3}\\ ?1/\sqrt{2}& 1/\sqrt{6}& 1/\sqrt{3}\\ 0& ?2/\sqrt{6}& 1/\sqrt{3}\end{array}\right]\left[\begin{array}{ccc}\sqrt{2}& \sqrt{2}& \sqrt{18}\\ 0& \sqrt{6}& ?\sqrt{6}\\ 0& 0& \sqrt{3}\end{array}\right]=QR$$仔細(xì)看一下 $Q$ 和 $R$，$R$ 的對(duì)角線元素 $\sqrt{2},\sqrt{6},\sqrt{3}$ 是 $\mathbf{A},\mathbf{B},\mathbf{C}$ 的長(zhǎng)度，$Q$ 的列是標(biāo)準(zhǔn)正交的。由于存在平方根，$QR$ 可能看起來(lái)比 $LU$ 要難些，但是這兩種分解都是線性代數(shù)計(jì)算的絕對(duì)中心。
任意的有線性無(wú)關(guān)列的 $m\times n$ 矩陣都可以分解成 $A=QR$，$m\times n$ 的矩陣 $Q$ 有標(biāo)準(zhǔn)正交列，方陣 $R$ 是上三角矩陣，它的對(duì)角線都是正的。我們需要記住為什么這對(duì)最小二乘很有用：$A^{T}A=(QR{)}^{T}QR=R^T{Q}^{T}QR=R^{T}R$。最小二乘方程 $A^{T}A\hat{\mathbf{x}}=A^T\mathbf{b}$ 可以簡(jiǎn)化為 $R^{T}R\hat{\mathbf{x}}=R^T{Q}^T\mathbf{b}$，最終得到 $R\hat{\mathbf{x}}=Q^T\mathbf{b}$：這很好。

$$最小二乘R^{T}R\hat{\mathbf{x}}=R^T{Q}^T\mathbf{b}或R\hat{\mathbf{x}}=Q^T\mathbf{b}或\hat{\mathbf{x}}=R^{?1}{Q}^T\mathbf{b}(\mathrm{4.4.10})$$

我們不求解 $A\mathbf{x}=\mathbf{b}$，這個(gè)是不可能的，我們通過(guò)回代求解 $R\hat{\mathbf{x}}=Q^T\mathbf{b}$ —— 這個(gè)很快。格拉姆-施密特程序的實(shí)際計(jì)算成本是 $m{n}^2$ 次乘法，我們需要構(gòu)造正交矩陣 $Q$ 和上三角矩陣 $R$ 得到 $A=QR$。
下面是修正格拉姆-施密特的 MATLAB 代碼，它從 $j=1,j=2$， 一直到 $j=n$ 執(zhí)行方程 （4.4.11）。重要的是第 $4?5$ 行，從 $\mathbf{v}={\mathbf{a}}_j$ 減去它在每個(gè) ${\mathbf{q}}_i$ 方向上的投影，這里 $i<j$。最后一行代碼是標(biāo)準(zhǔn)化向量 $\mathbf{v}$（除以 $r_{ii}=||\mathbf{v}||$）得到單位向量 ${\mathbf{q}}_j$：$$\begin{array}{l}{r}_{kj}=\sum _{i=1}^m{q}_{ik}{v}_{ij}\\ v_{ij}=v_{ij}?q_{ik}{r}_{kj}\\ r_{jj}=(\sum _{i=1}^m{v}_{ij}^2{)}^{1/2}\\ q_{ij}=\frac{v_{ij}}{r_{jj}}\end{array}(\mathrm{4.4.11})$$$r_{kj}$ 就是 $A=QR$ 分解中 $Q$ 的第 $(k,j)$元素，就是 ${\mathbf{q}}_k^T{\mathbf{a}}_j$；$v_{ij}?q_{ik}{r}_{kj}$ 是每次減去在 $q_k$ 上的投影，$k$ 從 $1$ 到 $j?1$。
從 $\mathbf{a},\mathbf{b},\mathbf{c}$ 開(kāi)始，這段代碼會(huì)構(gòu)造出 ${\mathbf{q}}_1$，然后是 $\mathbf{B},{\mathbf{q}}_2$，再然后是 $\mathbf{C},{\mathbf{q}}_3$：$$\begin{array}{llc}{\mathbf{q}}_1={\mathbf{a}}_1/||{\mathbf{a}}_1||& \mathbf{B}={\mathbf{a}}_2?({\mathbf{q}}_1^T{\mathbf{a}}_2){\mathbf{q}}_1& {\mathbf{q}}_2=\mathbf{B}/||\mathbf{B}||\\ {\mathbf{C}}^{?}={\mathbf{a}}_3?({\mathbf{q}}_1^T{\mathbf{a}}_3){\mathbf{q}}_1& \mathbf{C}={\mathbf{C}}^{?}?({\mathbf{q}}_2^T{\mathbf{C}}^{?}){\mathbf{q}}_2& {\mathbf{q}}_3=\mathbf{C}/||\mathbf{C}||\end{array}$$ 方程（4.4.11）一次減去一個(gè)投影，如 ${\mathbf{C}}^{?}$ 和 $\mathbf{C}$，減去在 ${\mathbf{q}}_1$ 上的投影得到 ${\mathbf{C}}^{?}$，然后再用 ${\mathbf{C}}^{?}$ 減去在 ${\mathbf{q}}_2$ 上的投影得到 $\mathbf{C}$。這項(xiàng)改變稱(chēng)為 “修正的格拉姆-施密特”。這套代碼的數(shù)值計(jì)算要比方程（4.4.8）穩(wěn)定，方程（4.4.8）是一次性減去所有的投影。

for j = 1:n							% 修正的格拉姆-施密特v = A(:, j);					% v 從原始的矩陣 A 的第 j 列開(kāi)始for i = 1:j-1					% Q 的第 1 列 q_1 到 j-1 列 q_{j-1} 已經(jīng)設(shè)置完成（j=1時(shí)該循環(huán)不執(zhí)行）R(i, j) = Q(:, i)' * v; 	% 計(jì)算 R_{ij} = {q_i}^T*(a_j) 就是 {q_i}^T*vv = v - R(i, j) * Q(:, i);	% 減去投影 ({q_i}^T*v)q_iend								% v 現(xiàn)在與所有的 q_1,q_2,...,q_{j-1} 垂直R(j, j) = norm(v);				% 對(duì)角線元素 R_{jj} 是 v 的長(zhǎng)度Q(:, j) = v/R(j, j);			% 除以 v 的長(zhǎng)度得到下一個(gè) q_j
end									% for j = 1:n 這個(gè)循環(huán)生成所有的 q_j

下圖是 $n=3$ 時(shí)的運(yùn)行結(jié)果，矩陣 $A$ 如代碼所示：

要恢復(fù) $A$ 的第 $j$ 列，我們要反著執(zhí)行上述代碼，從最后一步到中間步驟：$$R(j,j){\mathbf{q}}_j=(\mathbf{v}減去它的投影)=(A的列j)?\sum _{i=1}^{j?1}R(i,j){\mathbf{q}}_i(\mathrm{4.4.12})$$將累加和移到左邊，則列 $j$ 可以由 $QR=A$ 得到。
好的軟件，如 LAPACK，用好的系統(tǒng)上，如 MATLAB、Julia 和 Python，它們不會(huì)使用這個(gè)格拉姆-施密特代碼?，F(xiàn)在有更好的方法，“豪斯霍爾德反射（Householder reflections）” 作用在 $A$ 上得到上三角矩陣 $R$，它用同樣的方法每次處理一列，就像消元法得到 $LU$ 中的 $U$ 同樣的方法。
反射矩陣 $I?2{\mathbf{uu}}^T$ 是數(shù)值線性代數(shù)的內(nèi)容，如果 $A$ 是三角矩陣，我們甚至可以簡(jiǎn)化成 $2\times 2$ 的旋轉(zhuǎn)矩陣，結(jié)果總是 $A=QR$，MATLAB 正交化 $A$ 的指令是 $[Q,R]=\text{qr}(A)$。格拉姆-施密特是一個(gè)很容易理解的程序，但是反射和旋轉(zhuǎn)可以得到更好的 $Q$。

五、主要內(nèi)容總結(jié)

1. 如果標(biāo)準(zhǔn)正交向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,?,{\mathbf{q}}_n$ 是 $Q$ 的列，則 ${\mathbf{q}}_i^T{\mathbf{q}}_j=0，{\mathbf{q}}_i^T{\mathbf{q}}_i=1$，轉(zhuǎn)換成矩陣乘法就是 $Q^{T}Q=I$。
2. 如果 $Q$ 是方陣（正交矩陣）則 $Q^T=Q^{?1}$：轉(zhuǎn)置 = 逆。
3. $Q\mathbf{x}$ 的長(zhǎng)度等于 $\mathbf{x}$ 的長(zhǎng)度：$||Q\mathbf{x}||=||\mathbf{x}||$。
4. 投影到 $Q$ 列空間的投影矩陣是 $P=Q{Q}^T$，$Q$ 由 ${\mathbf{q}}^{\prime }s$ 生成。
5. 如果 $Q$ 是方陣，則 $P=Q{Q}^T=I$，每個(gè) $\mathbf{b}={\mathbf{q}}_1({\mathbf{q}}_1^T\mathbf{b})+{\mathbf{q}}_2({\mathbf{q}}_2^T\mathbf{b})+?+{\mathbf{q}}_n({\mathbf{q}}_n^T\mathbf{b})$。
6. 格拉姆-施密特從無(wú)關(guān)向量 $\mathbf{a},\mathbf{b},\mathbf{c}$ 生成標(biāo)準(zhǔn)正交向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,{\mathbf{q}}_3$。用矩陣形式就是分解 $A=QR=(正交的Q)(上三角R)$。

六、例題

【例5】二外增加兩個(gè)元素都是 $1$ 或 $?1$ 的列，使得這個(gè) $4\times 4$ 的 “哈達(dá)瑪矩陣（Hadamard matrix）” 的列都正交。如何將 $H_4$ 變?yōu)檎痪仃?$Q_4$？$$H_2=\left[\begin{array}{cc}1& 1\\ 1& ?1\end{array}\right]H_4=\left[\begin{array}{cccc}1& 1& x& x\\ 1& ?1& x& x\\ 1& 1& x& x\\ 1& ?1& x& x\end{array}\right]Q_4=\left[\begin{array}{cccc}& & & \\ & & & \\ & & & \\ & & & \end{array}\right]$$分塊矩陣 $H_8=\left[\begin{array}{cc}{H}_4& H_4\\ H_4& ?H_4\end{array}\right]$ 是下一個(gè)元素都是 $1$ 或 $?1$ 的哈達(dá)瑪矩陣，乘積 $H_8^T{H}_8$ 是什么？
$\mathbf{b}=(6,0,0,2)$ 在 $H_4$ 第一列的投影是 ${\mathbf{p}}_1=(2,2,2,2)$，在第二列的投影是 ${\mathbf{p}}_2=(1,?1,1,?1)$，那么 $\mathbf{b}$ 在由前兩列所生成的 $2$ 維空間的投影 ${\mathbf{p}}_{1,2}$ 是什么？
解： $H_4$ 可以由 $H_2$ 得到，和 $H_8$ 由 $H_4$ 得到一樣：$$H_4=\left[\begin{array}{cc}{H}_2& H_2\\ H_2& ?H_2\end{array}\right]=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& ?1& 1& ?1\\ 1& 1& ?1& ?1\\ 1& ?1& ?1& 1\end{array}\right]有正交列$$則 $Q_4=H_4/2$ 有標(biāo)準(zhǔn)正交列，除以列的長(zhǎng)度以單位化。$5\times 5$ 的哈達(dá)瑪矩陣是不存在的，因?yàn)榱械狞c(diǎn)積會(huì)有 $5$ 個(gè) $1$ 或 $?1$，它們的和不可能等于零。$H_8$ 正交列的長(zhǎng)度是 $\sqrt{8}$。$$H_8^T{H}_8=\left[\begin{array}{cc}{H}_4^T& H_4^T\\ H_4^T& ?H_4^T\end{array}\right]\left[\begin{array}{cc}{H}_4& H_4\\ H_4& ?H_4\end{array}\right]=\left[\begin{array}{cc}2H_4^T{H}_4& 0\\ 0& 2H_4^T{H}_4\end{array}\right]=\left[\begin{array}{cc}8I& 0\\ 0& 8I\end{array}\right],Q_8=\frac{H_8}{\sqrt{8}}$$在平面上的投影等于在兩個(gè)正交直線上的投影之和 ${\mathbf{p}}_{1,2}={\mathbf{p}}_1+{\mathbf{p}}_2=(3,1,3,1)$。

【例6】正交列的關(guān)鍵是什么？
答：$A^{T}A$ 是對(duì)角矩陣，很容易求逆。我們可以將向量投影到正交列上，然后將它們相加，軸是正交的。