強(qiáng)化學(xué)習(xí)核心概念與公式總結(jié)

1. 核心概念

1.1 智能體(Agent)和環(huán)境(Environment)

• 智能體：學(xué)習(xí)和做決策的實(shí)體
• 環(huán)境：智能體交互的外部系統(tǒng)

1.2 狀態(tài)(State)

• 描述環(huán)境在特定時(shí)刻的情況

1.3 動(dòng)作(Action)

• 智能體可以執(zhí)行的操作

1.4 獎(jiǎng)勵(lì)(Reward)

• 環(huán)境對(duì)智能體動(dòng)作的即時(shí)反饋

1.5 策略(Policy)

• 定義智能體在給定狀態(tài)下應(yīng)采取的動(dòng)作

1.6 價(jià)值函數(shù)(Value Function)

• 評(píng)估狀態(tài)或動(dòng)作的長(zhǎng)期價(jià)值

1.7 Q函數(shù)(Q-function)

• 特殊的價(jià)值函數(shù)，評(píng)估狀態(tài)-動(dòng)作對(duì)的價(jià)值

1.8 探索與利用(Exploration vs Exploitation)

• 在嘗試新動(dòng)作和利用已知好動(dòng)作之間取得平衡

1.9 回合(Episode)

• 從初始狀態(tài)到終止?fàn)顟B(tài)的完整交互序列

1.10 折扣因子(Discount Factor)

• 決定未來(lái)獎(jiǎng)勵(lì)的重要性

2. 關(guān)鍵公式

2.1 策略(Policy)

確定性策略

$$a=\pi (s)$$

隨機(jī)策略

$$\pi (a|s)=P(A_t=a|S_t=s)$$

2.2 價(jià)值函數(shù)(Value Function)

狀態(tài)價(jià)值函數(shù)

$$V_{\pi }(s)={\mathbb{E}}_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s]$$

動(dòng)作價(jià)值函數(shù)(Q函數(shù))

$$Q_{\pi }$$