范數(shù)理論

2023年11月16日

---

---

1. 向量的范數(shù)

向量的長度也稱為向量的二范數(shù)

[!quote]- 長度的定理
設(shè) $x,y,z\in {\mathbb{C}}^n,\lambda \in \mathbb{C}$

1. 非負(fù)性：長度大于等于 $0$ ，僅當(dāng)向量為 $0$ 時取等。
2. 齊次性：$||\lambda x||=|\lambda |?||x||$。
3. 三角不等式性：$||x+y||\le ||x||+||y||$。

定義 設(shè) $||?||$ 是 ${\mathbb{C}}^n$ 上的一個泛函，滿足

1. 正定性： $?x\in {\mathbb{C}}^n$ ， $||x||\ge 0$ ，且 $||x||=0$ 的充要條件是 $x=0$
2. 齊次性： $?\lambda \in \mathbb{C}$ ， $x\in {\mathbb{C}}^n$ ， $||\lambda x||=|\lambda |?||x||$
3. 三角不等式性： $?x,y\in {\mathbb{C}}^n$ ， $||x+y||\le ||x||+||y||$

則稱 $||?||$ 是 ${\mathbb{C}}^n$ 上的一個向量范數(shù)。

定理 對任意 $x,y\in {\mathbb{C}}^n$ ，有

1. $||?x||=||x||$
2. $|||x||?||y|||\le ||x?y||$

---

2. 常用向量范數(shù)

設(shè) $x\in {\mathbb{C}}^n$ ，定義

• 向量的1范數(shù)：
  $$||x|{|}_1=\sum _{i=1}^n|x_i|$$
  為每個分量的絕對值之和。
• 向量的2范數(shù)：
  $$||x|{|}_2=\sqrt{\sum _{i=1}^n|x_i{|}^2}$$
  長度，歐幾里得空間中的距離。
• 向量的 $p$ 范數(shù)：
  $$||x|{|}_p=(\sum _{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}},1\le p\le +\infty$$
• 向量的無窮范數(shù)（ $p\to \infty$ ）
  $$||x|{|}_{\infty }=\underset{1\le i\le n}{\max }|x_i|$$
  向量分量中絕對值最大的一個。

如果 $A\in {\mathbb{C}}^{n\times n}$ 是Hermit正定矩陣，則
$$||x|{|}_A=\sqrt{x^{\mathrm{H}}Ax},x\in {\mathbb{C}}^n$$
也是 ${\mathbb{C}}^n$ 上的向量范數(shù)。

---

3. 向量范數(shù)的等價(jià)性

定義 設(shè) $||?|{|}_{v1}$ 與 $||?|{|}_{v2}$ 是 ${\mathbb{C}}^n$ 上兩個向量范數(shù)，如果存在常數(shù) $c_1,c_2>0$ 使得 $?x\in {\mathbb{C}}^n$ 有
$$c_1||x|{|}_{v1}\le ||x|{|}_{v2}\le c_2||x|{|}_{v1}$$
則稱向量范數(shù) $||?|{|}_{v1}$ 與 $||?|{|}_{v2}$ 等價(jià)。

理解 向量空間所有向量的 $||?|{|}_{v2}$ 范數(shù)不會小于其 $||?|{|}_{v1}$ 范數(shù)的 $c_1$ 倍，也不會大于其 $||?|{|}_{v1}$ 范數(shù)的 $c_2$ 倍。同一個向量的兩個范數(shù)要么同時大，要么同時小，但不一定成比例。

向量范數(shù)的等價(jià)實(shí)際上是等價(jià)關(guān)系

1. 自身性：所有范數(shù)與自己等價(jià)
2. 對稱性：若 $||?|{|}_{v1}$ 與 $||?|{|}_{v2}$ 等價(jià)，則 $||?|{|}_{v2}$ 與 $||?|{|}_{v1}$ 等價(jià)
3. 傳遞性：若 $||?|{|}_{v1}$ 與 $||?|{|}_{v2}$ 等價(jià)， $||?|{|}_{v3}$ 與 $||?|{|}_{v2}$ 等價(jià)，則 $||?|{|}_{v1}$ 與 $||?|{|}_{v3}$ 等價(jià)

定理 ${\mathbb{C}}^n$ 上的所有向量范數(shù)等價(jià)。
向量范數(shù)在向量序列極限概念上的應(yīng)用
$$\underset{k\to \infty }{\lim }{x}^{(k)}=x?\underset{k\to \infty }{\lim }||x^{(k)}?x||=0$$

---

4. 矩陣的范數(shù)

定義 設(shè) $||?||$ 是 ${\mathbb{C}}^{n\times n}$ 上的一個泛函，滿足

1. 正定性： $?A\in {\mathbb{C}}^{n\times n}$ ， $||x||\ge 0$ ，且 $||x||=0$ 的充要條件是 $x=0$
2. 齊次性： $?\lambda \in \mathbb{C}$ ， $A\in {\mathbb{C}}^{n\times n}$ ， $||\lambda A||=|\lambda |?||A||$
3. 三角不等式性： $?A,B\in {\mathbb{C}}^{n\times n}$ ， $||A+B||\le ||A||+||B||$
4. 乘積不等式（相容性）： $?A,B\in {\mathbb{C}}^{n\times n}$ ， $||AB||\le ||A||?||B||$

則稱 $||?||$ 是 ${\mathbb{C}}^{n\times n}$ 上的一個矩陣范數(shù)。

---

5. 常用的矩陣范數(shù)

設(shè) $A=(a_{ij})\in {\mathbb{C}}^{n\times n}$ ，定義

• 矩陣的 $m_1$ 范數(shù)
  $$||A|{|}_{m1}=\sum _{i=1}^n\sum _{j=1}^n|a_{ij}|$$
• 矩陣的 $F$ 范數(shù)
  $$||A|{|}_F=(\sum _{i=1}^n\sum _{j=1}^n|a_{ij}{|}^2{)}^{\frac{1}{2}}=\sqrt{\text{tr}(A^{\mathrm{H}}A)}$$
  為每個元素平方再求和最后開方。
• 矩陣的 $m_{\infty }$ 范數(shù)
  $$||A|{|}_{m\infty }=n?\underset{1\le i,j\le n}{\max }|a_{ij}|$$

---

6. 矩陣范數(shù)與向量范數(shù)的相容性

定義 設(shè) $||?|{|}_m$ 是 ${\mathbb{C}}^{n\times n}$ 上的矩陣范數(shù)， $||?|{|}_v$ 是 ${\mathbb{C}}^n$ 上的向量范數(shù)，如果 $?A\in {\mathbb{C}}^{n\times n},x\in {\mathbb{C}}^n$
$$||Ax|{|}_v\le ||A|{|}_m?||x|{|}_v$$
總是成立，則稱矩陣范數(shù) $||?|{|}_m$ 與向量范數(shù) $||?|{|}_v$ 相容。下標(biāo)m表示matrix，v表示vector。

定理

1. 矩陣范數(shù) $||?|{|}_{m1}$ ， $||?|{|}_F$ 分別與 $||?|{|}_{v1}$， $||?|{|}_{v2}$ 相容
2. 矩陣范數(shù) $||?|{|}_{m\infty }$ 與向量范數(shù) $||?|{|}_{v1}$， $||?|{|}_{v2}$ ，$||?|{|}_{v\infty }$ 相容

---

7. 矩陣范數(shù)誘導(dǎo)的向量范數(shù)

對于任意的矩陣范數(shù)，都可以找到與之相容的向量范數(shù)。
設(shè) $||?|{|}_m$ 是 ${\mathbb{C}}^{n\times n}$ 上一個矩陣范數(shù)，取 $a\in {\mathbb{C}}^n$ ，且 $a\ne 0$ ，定義
$$||x|{|}_v=||x{a}^{\mathrm{H}}|{|}_m,x\in {\mathbb{C}}^n$$
可以證明，它是 ${\mathbb{C}}^n$ 上的向量范數(shù)，稱為由矩陣范數(shù) $||?|{|}_m$ 所誘導(dǎo)的向量范數(shù)。
定理 ${\mathbb{C}}^{n\times n}$ 上任意一矩陣范數(shù) $||?|{|}_m$ 與他所誘導(dǎo)的向量范數(shù) $||?|{|}_v$ 相容。
$$\begin{array}{rl}||Ax|{|}_v=& ||(Ax)a^{\mathrm{H}}|{|}_m=||A(x{a}^{\mathrm{H}})|{|}_m\\ & \\ \le & ||A|{|}_m||(x{a}^{\mathrm{H}})|{|}_m=||A|{|}_m||x|{|}_v\end{array}$$

---

8. 由向量范數(shù)誘導(dǎo)的矩陣范數(shù)

設(shè) $||?|{|}_v$ 是 ${\mathbb{C}}^n$ 上一個向量范數(shù)，定義
$$||A|{|}_m=\underset{||x|{|}_v=1}{\max }||Ax|{|}_v=\underset{x\ne 0}{\max }\frac{||Ax|{|}_v}{||x|{|}_v},A\in {\mathbb{C}}^{n\times n}$$
$$(\frac{||Ax|{|}_v}{||x|{|}_v}=|\left|\frac{1}{||x|{|}_v}Ax\right|{|}_v=\left|\right|A\left(\frac{1}{||x|{|}_v}x\right)\left|{|}_v\right)$$
稱為由向量范數(shù) $||?|{|}_v$ 所誘導(dǎo)的矩陣范數(shù)（從屬范數(shù)）。
定理 ${\mathbb{C}}^n$ 上任意一向量范數(shù) $||?|{|}_v$ 與他所誘導(dǎo)的矩陣范數(shù) $||?|{|}_m$ 相容。

將向量范數(shù) $||?|{|}_1$，$||?|{|}_2$，$||?|{|}_{\infty }$ 誘導(dǎo)的矩陣范數(shù)分別記為 $||?|{|}_1$，$||?|{|}_2$，$||?|{|}_{\infty }$ ，則有在同濟(jì)大學(xué)《數(shù)值分析》或者一些數(shù)值分析速通網(wǎng)課里面提到的矩陣范數(shù)。
列范數(shù)

• 矩陣的1范數(shù)（列和范數(shù)）
  $$||A|{|}_1=\underset{1\le j\le n}{\max }\sum _{i=1}^n|a_{ij}|$$
  為每列元素絕對值之和的最大的一個。
• 矩陣的2范數(shù)
  $$||A|{|}_2=\sqrt{(A^{\mathrm{T}}A的最大特征值)}$$
  行范數(shù)
• 矩陣的 $\infty$ 范數(shù)（行和范數(shù)）
  $$||A|{|}_{\infty }=\underset{1\le i\le n}{\max }\sum _{j=1}^n|a_{ij}|$$
  為每行元素絕對值之和的最大的一個。
• 矩陣的 $F$ 范數(shù)也是行范數(shù)。

相容關(guān)系如下：
$$\begin{array}{rl}||Ax|{|}_1\le & ||A|{|}_1?||x|{|}_1\\ & \\ ||Ax|{|}_{\infty }\le & ||A|{|}_{\infty }?||x|{|}_{\infty }\\ & \\ ||Ax|{|}_2\le & ||A|{|}_2?||x|{|}_2\\ & \\ ||Ax|{|}_2\le & ||A|{|}_F?||x|{|}_2\\ & \end{array}$$

---

9. 矩陣范數(shù)的酉不變性

設(shè) $A\in {\mathbb{C}}^{n\times n}$ ，則

1. $||A^{\mathrm{H}}|{|}_F=||A|{|}_F$ ， $||A^{\mathrm{H}}|{|}_2=||A|{|}_2$
2. 酉不變性 對任意酉矩陣 $U,V\in {\mathbb{C}}^{n\times n}$
   $$||UA|{|}_F=||AV|{|}_F=||UAV|{|}_F,||UA|{|}_2=||AV|{|}_2=||UAV|{|}_2$$
3. 若 $A$ 是正規(guī)矩陣，且 ${\lambda }_1,{\lambda }_2,?,{\lambda }_n$ 是 $A$ 的 $n$ 個特征值，則
   $$||A|{|}_2=\underset{k}{\max }|{\lambda }_k|$$
   即如果 $A$ 正規(guī)， $A$ 的 $2$ 范數(shù)是它最大特征值的絕對值（與譜半徑相等）。

---

10. 矩陣范數(shù)的等價(jià)性

定理 ${\mathbb{C}}^{n\times n}$ 上所有矩陣范數(shù)等價(jià)。

---

11. 長方陣的范數(shù)

矩陣范數(shù)的相容性 $?A\in {\mathbb{C}}^{m\times n}$ ， $B\in {\mathbb{C}}^{n\times l}$
$$||AB|{|}_{}\le ||A|{|}_{}?||B|{|}_{}$$
矩陣范數(shù)與向量范數(shù)的相容性 $?A\in {\mathbb{C}}^{m\times n}$ ， $x\in {\mathbb{C}}^n$
$$||Ax|{|}_{}\le ||A|{|}_{}?||x|{|}_{}$$
從屬范數(shù)
$$||A|{|}_{}=\underset{||x|{|}_v=1}{\max }||Ax|{|}_v=\underset{x\ne 0}{\max }\frac{||Ax|{|}_v}{||x|{|}_v},A\in {\mathbb{C}}^{m\times n}$$
其中 $||Ax|{|}_v$ 是 ${\mathbb{C}}^m$ 上的范數(shù)， $||x|{|}_v$ 是 ${\mathbb{C}}^n$ 上的范數(shù)。

對任意 $A\in {\mathbb{C}}^{m\times n}$ ，常用的矩陣范數(shù)有：

1. 長方陣的 $m_1$ 范數(shù)
   $$||A|{|}_{m1}=\sum _{i=1}^m\sum _{j=1}^n|a_{ij}|$$
2. 長方陣的 $F$ 范數(shù)
   $$||A|{|}_F=(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2{)}^{\frac{1}{2}}=\sqrt{\text{tr}(A^{\mathrm{H}}A)}$$
   為每個元素平方再求和最后開方。
3. 長方陣的 $M$ 范數(shù)或最大范數(shù)
   ∣ ∣ A ∣ ∣ M = max ? { n , m } ? max ? 1 ≤ i , j ≤ n ∣ a i j ∣ ||A||_{M}=\max \lbrace n,m \rbrace \cdot \max_{1\le i,j\le n}|a_{ij}| ∣∣A∣∣M?=max{n,m}?1≤i,j≤nmax?∣aij?∣
4. 長方陣的 $G$ 范數(shù)或幾何平均范數(shù)
   $$||A|{|}_G=\sqrt{mn}?\underset{i,j}{\max }|a_{ij}|$$
5. 長方陣的 $1$ 范數(shù)或列和范數(shù)
   $$||A|{|}_1=\underset{1\le j\le n}{\max }\sum _{i=1}^m|a_{ij}|$$
6. 長方陣的 $2$ 范數(shù)或譜范數(shù)
   $$||A|{|}_2=\sqrt{(A^{\mathrm{T}}A的最大特征值)}$$
7. 長方陣的 $\infty$ 范數(shù)或行和范數(shù)
   $$||A|{|}_{\infty }=\underset{1\le i\le m}{\max }\sum _{j=1}^n|a_{ij}|$$

部分性質(zhì)：

• $F$ 范數(shù)， $2$ 范數(shù)，酉不變
• $m_1$ 范數(shù)與向量 $1$ 范數(shù)相容
• $F$ 范數(shù)、 $G$ 范數(shù)與向量 $2$ 范數(shù)相容
• $M$ 范數(shù)與向量 $1$，$2$，$\infty$ 范數(shù)相容
• 矩陣 $1$，$2$，$\infty$ 范數(shù)分別由向量 $1$，$2$，$\infty$ 范數(shù)導(dǎo)出，從而相容
• ${\mathbb{C}}^{m\times n}$ 上所有范數(shù)等價(jià)

---

下鏈

---