0.簡介

? ? ? ? 基于時序差分算法的強化學習算法除了Sarsa算法以外還有一種著名算法為Q-learning算法，為離線策略算法，與在線策略算法Sarsa算法相比，其時序差分更新方式變?yōu)?/p>

Q(St,At)←Q(St,At)+α[Rt+1+γmaxaQ(St+1,a)?Q(St,At)]

對于 Sarsa 來說：

• 1）在狀態(tài) s' 時，就知道了要采取那個動作 a'，并且真的采取了這個動作
• 2）當前動作 a 和下一個動作 a' 都是 根據??𝜖?-貪婪策略選取的，因此稱為on-policy學習

對于 Q-Learning：

• 1）在狀態(tài)s'時，只是計算了 在 s' 時要采取哪個 a' 可以得到更大的 Q 值，并沒有真的采取這個動作 a'。
• 2）動作 a 的選取是根據當前 Q 網絡以及??𝜖-貪婪策略，即每一步都會根據當前的狀況選擇一個動作A，目標Q值的計算是根據 Q 值最大的動作 a' 計算得來，因此為 off-policy 學習。

1.導入相關庫

import matplotlib.pyplot as plt
import numpy as np
from tqdm import tqdm

2.懸崖漫步環(huán)境實現環(huán)節(jié)

class cliffwalking():def __init__(self,colnum,rownum,stepr,cliffr,initx,inity):self.colnum=colnumself.rownum=rownumself.stepr=steprself.cliffr=cliffrself.initx=initxself.inity=inityself.disaster=list(range((self.rownum-1)*self.colnum+1,self.rownum*self.colnum-1))self.end=[self.rownum*self.colnum-1]self.x=self.initxself.y=self.initydef step(self,action):change=[[0,-1],[0,1],[-1,0],[1,0]]#change[0]上；change[1]下；change[2]左；change[3]右；坐標系原點(0,0)在左上角self.x=min(self.colnum-1,max(0,self.x+change[action][0]))self.y=min(self.rownum-1,max(0,self.y+change[action][1]))nextstate=self.y*self.colnum+self.xreward=self.steprdone=Falseif nextstate in self.disaster:reward=self.cliffrdone=Trueif nextstate in self.end:done=Truereturn nextstate,reward,donedef reset(self):self.x=self.initxself.y=self.inityreturn self.y*self.colnum+self.x

3.Q-learning算法實現

class Qlearning():""" Qlearning算法 """def __init__(self,colnum,rownum,alpha,gamma,epsilon,actionnum=4):self.colnum=colnumself.rownum=rownumself.alpha=alpha#學習率self.gamma=gamma#折扣因子self.epsilon=epsilonself.actionnum=actionnum#動作個數self.qtable=np.zeros([self.colnum*self.rownum,self.actionnum])def takeaction(self,state):if np.random.random()<self.epsilon:action=np.random.randint(0,self.actionnum)else:action=np.argmax(self.qtable[state])return actiondef bestaction(self,state):qmax=np.max(self.qtable[state])a=np.where(self.qtable[state]==qmax)return adef update(self,s0,a0,r,s1):tderror=r+self.gamma*np.max(self.qtable[s1])-self.qtable[s0][a0]self.qtable[s0][a0]+=self.alpha*tderror

4.打印目標策略函數

def printtheagent(agent,env,actionmeaning):for i in range(env.rownum):for j in range(env.colnum):if (i*env.colnum+j) in env.disaster:print('****',end=' ')elif (i*env.colnum+j) in env.end:print('EEEE',end=' ')else:a=agent.bestaction(i*env.colnum+j)b=[0 for _ in range(len(actionmeaning))]for m in range(len(actionmeaning)):b[m]=1 if m in a else 0 pistr=''for k in range(len(actionmeaning)):pistr+=actionmeaning[k] if b[k]>0 else 'o'print('%s'%pistr,end=' ')print()

5.相關參數設置

ncol=12#懸崖漫步環(huán)境中的網格環(huán)境列數
nrow=4#懸崖漫步環(huán)境中的網格環(huán)境行數
step_reward=-1#每步的即時獎勵
cliff_reward=-100#懸崖的即時獎勵
init_x=0#智能體在環(huán)境中初始位置的橫坐標
init_y=nrow-1#智能體在環(huán)境中初始位置的縱坐標
alpha=0.1#價值估計更新的步長
epsilon=0.1#epsilon-貪婪算法的探索因子
gamma=0.9#折扣衰減因子
num_episodes=500#智能體在環(huán)境中運行的序列總數
tqdm_num=10#進度條的數量
printreturnnum=10#打印回報的數量
actionmeaning=['↑','↓','←','→']#上下左右表示符

6.程序主體部分實現

np.random.seed(5)
returnlist=[]
env=cliffwalking(colnum=ncol,rownum=nrow,stepr=step_reward,cliffr=cliff_reward,initx=init_x,inity=init_y)
agent=Qlearning(colnum=ncol,rownum=nrow,alpha=alpha,gamma=gamma,epsilon=epsilon,actionnum=4)
for i in range(tqdm_num):with tqdm(total=int(num_episodes/tqdm_num)) as pbar:for episode in range(int(num_episodes/tqdm_num)):episodereturn=0state=env.reset()done=Falsewhile not done:action=agent.takeaction(state)nextstate,reward,done=env.step(action)episodereturn+=rewardagent.update(state,action,reward,nextstate)state=nextstatereturnlist.append(episodereturn)if (episode+1)%printreturnnum==0:pbar.set_postfix({'episode':'%d'%(num_episodes/tqdm_num*i+episode+1),'return':'%.3f'%(np.mean(returnlist[-printreturnnum:]))})pbar.update(1)
episodelist=list(range(len(returnlist)))
plt.plot(episodelist,returnlist)
plt.xlabel('Episodes')
plt.ylabel('Returns')
plt.title('Qlearning on{}'.format('Cliff Walking'))
plt.show()
print('Qlearning算法最終收斂得到的策略為:')
printtheagent(agent=agent,env=env,actionmeaning=actionmeaning)

7.結果展示

Iteration 0: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 428.50it/s, episode=50, return=-114.000]?
Iteration 1: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 895.23it/s, episode=100, return=-72.500]?
Iteration 2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1222.78it/s, episode=150, return=-66.100]?
Iteration 3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1519.26it/s, episode=200, return=-40.000]?
Iteration 4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1533.70it/s, episode=250, return=-26.600]?
Iteration 5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 1925.46it/s, episode=300, return=-38.000]?
Iteration 6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 2387.50it/s, episode=350, return=-47.000]?
Iteration 7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 2949.12it/s, episode=400, return=-25.500]?
Iteration 8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 3133.12it/s, episode=450, return=-34.000]?
Iteration 9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:00<00:00, 3133.44it/s, episode=500, return=-60.400]

?Qlearning算法最終收斂得到的策略為:
↑ooo o↓oo ooo→ o↓oo ooo→ ooo→ ooo→ ooo→ o↓oo ooo→ o↓oo o↓oo?
o↓oo ooo→ ooo→ ooo→ ooo→ ooo→ o↓oo ooo→ o↓oo ooo→ ooo→ o↓oo
ooo→ ooo→ ooo→ ooo→ ooo→ ooo→ ooo→ ooo→ ooo→ ooo→ ooo→ o↓oo
↑ooo **** **** **** **** **** **** **** **** **** **** EEEE

8.總結

? ? ? ? 打印出的回報是行為策略在環(huán)境中交互得到的，而不是Q-learning算法在學習的目標策略的真實回報，目標策略打印出來如上所示，發(fā)現其更偏向于走在懸崖邊上，這與Sarsa算法得到的比較保守的策略相比更優(yōu)。

? ? ? ? 比較Sarsa算法與Q-learnig算法在訓練中的回報曲線圖，可以發(fā)現在一個序列中Sarsa算法獲得期望回報高于Q-learning算法，原因是訓練過程中智能體采取基于當前Q(s,a)函數的-貪婪策略來平衡探索與利用，Q-learning算法由于沿著懸崖邊走，會以一定的概率探索“掉入懸崖”這一動作，而Sarsa相對保守的路線使得智能體幾乎不可能掉入懸崖。