線性代數(shù)：向量、張量、矩陣和標(biāo)量

背景

在線性代數(shù)中，向量、張量、矩陣和標(biāo)量都屬于基礎(chǔ)概念，特別是最近AI的爆火，向量和張量的概念也越來越普及，本文將介紹下這些基本概念。

1. 標(biāo)量（Scalar）

1.1 定義和表示

標(biāo)量是數(shù)學(xué)中的一個(gè)基本概念，它表示一個(gè)單獨(dú)的實(shí)數(shù)，沒有方向或位置。在數(shù)學(xué)表示中，我們通常用小寫字母表示標(biāo)量，例如 a 或 x。

1.2 例子

• 溫度（32℃）
• 質(zhì)量（62kg）
• 速度（102km/h）

標(biāo)量是我們?nèi)粘Ｉ钪谐Ｒ姷牧?#xff0c;它們具有大小但沒有方向。

在python代碼中表示

	x = 1# 或者可以表示為0階張量x = np.array(1)print(x.ndim)

2. 向量（Vector）

2.1 定義和表示

向量是有序的一維數(shù)組，其中包含多個(gè)標(biāo)量元素。每個(gè)元素都有一個(gè)索引，表示其在向量中的位置。在數(shù)學(xué)表示中，我們通常用小寫粗體字母表示向量，如 v。

2.2 例子

• 位移（向東200米）
• 力（向左10牛米）

向量不僅有大小，還有方向，因此它可以表示在空間中的運(yùn)動(dòng)或力的作用方向。

2.3 代碼和圖示

一個(gè)二維向量可以表示為
$$v=\left[\begin{array}{ccc}1& 2& 3\end{array}\right]$$
在python代碼中表示

	v = np.array([1, 2, 3])print(v.ndim)  # = 1

3. 矩陣（Matrix）

3.1 定義和表示

矩陣是一個(gè)二維數(shù)組，其中包含多個(gè)標(biāo)量元素，這些元素按行和列排列。在數(shù)學(xué)表示中，我們通常用大寫字母表示矩陣，如 A。

3.2 例子

• 圖像的像素值
• 線性變換

公式和圖示

一個(gè) m x n 的矩陣 A 可以表示為：
$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& ?& a_{1n}\\ a_{21}& a_{22}& ?& a_{2n}\\ ?& ?& ?& ?\\ a_{m1}& a_{m2}& ?& a_{mn}\end{array}\right]$$

在python代碼中例子

	m = np.array([[1, 2], [3, 4]])print(m.ndim)  # = 2

4. 張量（Tensor）

4.1 定義和表示

在線性代數(shù)里面可以簡單的將張量理解為一個(gè)多維數(shù)組，可以包含標(biāo)量、向量和矩陣。在數(shù)學(xué)表示中，我們通常用大寫粗體字母表示張量，如 T

4.2 例子

• 神經(jīng)網(wǎng)絡(luò)中的輸入
• 多模態(tài)數(shù)據(jù)的表示，如圖片語音視頻等

公式和圖示

在深度學(xué)習(xí)中，一個(gè)三維張量 T 可以表示為：

$$\mathbf{T}=\left[\begin{array}{ccc}\mathbf{A}& \mathbf{B}& \mathbf{C}\\ \mathbf{D}& \mathbf{E}& \mathbf{F}\\ \mathbf{G}& \mathbf{H}& \mathbf{I}\end{array}\right]$$

這里A、B、C、D等可以是標(biāo)量、向量或矩陣。

之間的關(guān)系

• 標(biāo)量是零階張量，向量是一階張量，矩陣是二階張量。
• 張量的階數(shù)表示它包含的維度數(shù)量，不止是3階張量，張量可以是無數(shù)階。
• 從這種角度來看，萬物皆張量