1. 計算順序

• 前向微分（前向模式）

  • 從輸入到輸出逐層計算：沿計算圖的正向順序（輸入層 → 輸出層），同時計算函數(shù)值和導數(shù)。

  • 每一步同步更新導數(shù)：每個中間變量的導數(shù)隨值一起計算，例如，對輸入變量 x?的導數(shù)逐層傳遞。

• 后向微分（反向模式）

  • 先完成前向計算，再反向傳播導數(shù)：

    1. 前向過程：計算所有中間變量的值（輸入層 → 輸出層）。

    2. 反向過程：從輸出層開始，按鏈式法則反向計算梯度（輸出層 → 輸入層）。

2. 計算復雜度

• 前向微分

  • 計算單個輸入的導數(shù)效率高，但輸入多時效率低。

  • 若輸入有 n?個變量，需運行 n?次前向模式才能得到全部梯度。

  • 適用場景：輸入維度低（如 n?小）、輸出維度高（如 m?大）。

• 后向微分

  • 一次反向傳播即可計算所有輸入的導數(shù)，輸入多時效率高。

  • 若輸出是標量（如神經(jīng)網(wǎng)絡的損失函數(shù)），僅需一次反向傳播即可獲得全部參數(shù)的梯度。

  • 適用場景：輸出維度低（如標量）、輸入維度高（如神經(jīng)網(wǎng)絡參數(shù)數(shù)量大）。

3. 在神經(jīng)網(wǎng)絡中的應用

• 前向微分

  • 較少用于神經(jīng)網(wǎng)絡訓練，因為網(wǎng)絡參數(shù)通常數(shù)量龐大（輸入維度高），多次前向計算代價過高。

  • 可能在特定場景使用，如實時計算單個參數(shù)的敏感度。

• 后向微分

  • 反向傳播（Backpropagation）是反向模式的具體實現(xiàn)，是神經(jīng)網(wǎng)絡訓練的基石。

  • 高效計算損失函數(shù)對百萬級參數(shù)的梯度，支撐梯度下降優(yōu)化。

4. 內(nèi)存與實現(xiàn)

• 前向微分

  • 內(nèi)存占用低：僅需保存當前變量的值和導數(shù)，無需存儲整個計算圖。

  • 實現(xiàn)簡單，適合嵌入式系統(tǒng)等資源受限場景。

• 后向微分

  • 內(nèi)存占用高：需存儲前向過程的所有中間變量，以便反向計算梯度。

  • 實現(xiàn)復雜，依賴計算圖構(gòu)建和動態(tài)跟蹤（如 PyTorch 的 Autograd）。

?5. 示例對比