強(qiáng)化學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，通過agent與environment的互動，學(xué)習(xí)適當(dāng)?shù)腶ction policy以取得更大的獎勵reward。本篇博客介紹強(qiáng)化學(xué)習(xí)的基礎(chǔ)知識，與兩類強(qiáng)化學(xué)習(xí)模型。

強(qiáng)化學(xué)習(xí)的基礎(chǔ)設(shè)定

強(qiáng)化學(xué)習(xí)和監(jiān)督學(xué)習(xí)，非監(jiān)督學(xué)習(xí)一樣是一種基本學(xué)習(xí)模式，在強(qiáng)化學(xué)習(xí)的框架中，一共有2個主體：agent與environment。environment會給agent一些狀態(tài)信息state，agent可以根據(jù)state的情況進(jìn)行action的選擇，并從environment獲得一些獎勵reward。

強(qiáng)化學(xué)習(xí)分為2類：policy based和value based。二者并非互斥關(guān)系，存在一些模型既是policy based又是value based 例如：A3C[ICML2016]。

policy based 強(qiáng)化學(xué)習(xí)的目標(biāo)

強(qiáng)化學(xué)習(xí)的目標(biāo)是學(xué)習(xí)一個policy使得最終全場決策下來得到的總reward最大。具體展開而言，給定一個state，agent決策采取action的策略模型，用$\pi$表示，$\pi$的參數(shù)是$\theta$，由于policy根據(jù)state采取action，我們可以用公式：$a={\pi }_{\theta }(s)$表示。當(dāng)agent做出action操作后，environment會給出一個reward并更新狀態(tài)，至此一輪決策結(jié)束。多輪決策組成一個由state, action, reward組成的序列，我們定義為$\tau =(s_1,a_1,r_1,...s_T,a_T,r_T)$。$R_{\tau }$是整場決策結(jié)束后總共的獎勵，$R_{\tau }={\sum }_{t=1}^T{r}_t$，強(qiáng)化學(xué)習(xí)的目的是最大化$R_{\tau }$。

在實(shí)際決策過程中，即便$\pi$和environment不變，每一步的action依舊有隨機(jī)性，因而最終的獎勵$R_{\tau }$也不會完全一致，而是具有一些隨機(jī)性。因此強(qiáng)化學(xué)習(xí)的目標(biāo)為最大化一個$\pi$下的平均$R_{\tau }$，即$E[R_{\tau }]={\sum }_{\tau }R(\tau )p(\tau |\theta )$，很顯然我們無法得到準(zhǔn)確的期望，因?yàn)槲覀儫o法把一個參數(shù)設(shè)定下所有的決策路徑全都取一個遍，因而實(shí)際使用中，通過采樣取平均值的方法得到一個期望的近似值。$R(\theta )\approx \frac{1}{N}{\sum }_{n=1}^{N}R({\tau }_n)$。

強(qiáng)化學(xué)習(xí)的優(yōu)化目標(biāo)即為：$R(\theta )\approx \frac{1}{N}{\sum }_{n=1}^{N}R({\tau }_n)$。

通過梯度下降提升優(yōu)化目標(biāo)，這一步需要求$R(\theta )$的導(dǎo)數(shù)。$$\begin{gathered} ?R_{\theta }=\sum _{\tau }R(\tau )?p(\tau |\theta )=\sum _{\tau }R(\tau )p(\tau |\theta )\frac{?p(\tau |\theta )}{p(\tau |\theta )}=\sum _{\tau }R(\tau )p(\tau |\theta )?log(p(\tau |\theta )) \\ p(\tau |\theta )=p(s_1)p(a_1|s_1)p(s_2,r_1|s_1,a_1)...p(s_T,r_{T?1}|s_{T?1},a_T) \\ log(p(\tau |\theta ))=log(p(s_1))+\sum _{t=1}^{T}log(p(a_t|s_t,\theta ))+\sum _{t=1}^{T}log(p(r_t,s_{t?1}|s_t,a_t)) \\ ?log(p(\tau |\theta ))=\sum _{t=1}^T?log(p(a_t|s_t,\theta )) \end{gathered}$$
最終得到$?R_{\theta }$的表達(dá)式:$?R_{\theta }\approx \frac{1}{N}{\sum }_{n=1}^N{\sum }_{t=1}^{T}R({\tau }_n)?log(p(a_t|s_t,\theta ))$ (*)

3個注意事項(xiàng)

1. 為什么要構(gòu)成log的形式：進(jìn)行歸一化，降低采樣偶然性對于低reward但高頻對梯度的影響
2. 由于采樣具有偶然性，考慮到不被采樣到的點(diǎn)以及$R(\tau )$有時候可能一直取正數(shù)，將公式里的$R(\tau )$替換為$R(\tau )?b$進(jìn)行修正
3. (*)給每個梯度的權(quán)重只考慮了整場決策的reward，忽略了每個action的獨(dú)特性，對其進(jìn)行改進(jìn)，我們引入advantage function：$A^{\theta }(s_t,a_t)$用于衡量$s_t$狀態(tài)下采用$a_t$相對于其他action有多好的程度。

實(shí)際訓(xùn)練過程

給定初始化的參數(shù)${\theta }_0$，采樣$N$個$\tau$計算每個$\tau$的reward,計算當(dāng)前參數(shù)下的$?log(p(a_t|s_t,\theta ))$，進(jìn)行參數(shù)$\theta$的梯度更新得到${\theta }_1$，然后對新得到的參數(shù)進(jìn)行下一輪的采樣與梯度更新直至訓(xùn)練停止。

這種訓(xùn)練方法被有一個問題：每次更新參數(shù)都需要重新采樣，消耗了大量的時間。因而提出了off policy的方法減少采樣帶來的時間開銷。

重要性采樣

重要性采樣（importance sampling）方法可以減小采樣的個數(shù)，極大地提升了采樣的效率。其具體實(shí)現(xiàn)如下：假定我們有一個分布$p$，我們從分布$p$中進(jìn)行采樣得到$x$，我們希望計算得到函數(shù)$f(x)$的期望值，即$E_{x～p}[f(x)]$。一個直觀的思路是我們先根據(jù)分布$p$采樣$N$個點(diǎn)，然后計算這$N$個點(diǎn)的均值作為期望的估計。然而有時候我們無法直接從分布$p$進(jìn)行采樣，這種時候可以從一個與分布$p$接近的分布$q$進(jìn)行采樣，然后將結(jié)果轉(zhuǎn)化為依據(jù)分布$p$采樣的均值。
$$E_{x～p}[f(x)]=E_{x～q}[f(x)\frac{p(x)}{q(x)}]$$這里的分布$q$應(yīng)該盡可能接近分布$p$時，公式才能在采樣意義下成立。

off policy的方法使用重要性采樣的方法降低了采樣的次數(shù)進(jìn)而減小了采樣帶來的時間開銷。on policy方法與off policy方法最大的區(qū)別就是二者采樣的方式是不同的，on policy方法使用梯度下降方法更新參數(shù)后按照新參數(shù)進(jìn)行采樣，而off policy方法依舊使用之前舊參數(shù)采樣的結(jié)果（這里假設(shè)了參數(shù)更新并未很多因而分布變化并不大）。

on policy：$?R_{\theta }=E_{\tau ～p_{\theta }(\tau )}[R({\tau }_n)?log(p_{\theta }(\tau ))]$
off policy：$?R_{\theta }=E_{\tau ～p_{{\theta }^{\prime }}(\tau )}[R({\tau }_n)\frac{p_{\theta }(\tau )}{p_{{\theta }^{\prime }}(\tau )}?log(p_{\theta }(\tau ))]$

可以發(fā)現(xiàn)off policy在參數(shù)設(shè)定為${\theta }^{\prime }$下進(jìn)行采樣，梯度下降更新的是$\theta$而非${\theta }^{\prime }$，因此采樣可以復(fù)用。

value based 強(qiáng)化學(xué)習(xí)的目標(biāo)

與policy based強(qiáng)化學(xué)習(xí)不同，value based模型通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)environment針對給定state以及action的reward，幫助agent進(jìn)行當(dāng)前state進(jìn)行action的決策。value based強(qiáng)化學(xué)習(xí)假定存在一個類似于先知的函數(shù)$Q(s,a;\theta )$它可以在給定state的條件下計算出每個action的獎勵期望是多大，并且用一個神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)它。有了這樣的先知后，模型自然可以通過選擇當(dāng)前state下reward最高的action進(jìn)行操作。

Temporal Differential learning (TD learning)

TD learning是訓(xùn)練上述$Q(s,a;\theta )$模型的方法，其訓(xùn)練思想基于監(jiān)督學(xué)習(xí)，需要一個“真實(shí)標(biāo)簽”。但由于真實(shí)標(biāo)簽在這個訓(xùn)練場景下獲取需要大量時間開銷，因此我們會用TD target來擬合真實(shí)的標(biāo)簽即擬合真實(shí)的reward$$y_t=r_t+\max \gamma Q(s_{t+1},a_{t+1};\theta )$$，并使用梯度下降方法來使得$Q(s_t,a_t;\theta )$接近$y_t$。

參考

1. 價值學(xué)習(xí)__Value-Based_Reinforcement_Learning(ps：這個up也出了視頻介紹policy-based reinforcement learning視頻不長，講的很清晰）
2. 李弘毅老師強(qiáng)化學(xué)習(xí)教學(xué)視頻合集(ps:里面有一些視頻內(nèi)容是重合的可以挑著看）