1、機(jī)器人足球(RoboCup)是一個研究多智能體系統(tǒng)在實(shí)時對抗環(huán)境下決策與合作問題的平臺。由于分布性、實(shí)時性、動態(tài)性、異步性等特點(diǎn)，使其成為分布式人工智能研究的一個標(biāo)準(zhǔn)的平臺。防御仿真(SoccerKeepaway)是機(jī)器人足球中的一個小的子任務(wù)，是研究強(qiáng)化學(xué)習(xí)的標(biāo)準(zhǔn)平臺(benchmark)，大部分強(qiáng)化學(xué)習(xí)方法都可以在該平臺上得以檢驗(yàn)。 強(qiáng)化學(xué)習(xí)不需要先驗(yàn)知識，直接與環(huán)境進(jìn)行交互獲取知識、改進(jìn)行為策略。由于能夠處理噪聲的干擾和隨

2、機(jī)性，以及延遲的目標(biāo)，不必知道系統(tǒng)的動態(tài)模型。對于大的狀態(tài)空間問題也可以通過狀態(tài)壓縮、函數(shù)近似的方法解決，能夠相對快速地進(jìn)行決策，能夠解決RoboCup中的諸多富有挑戰(zhàn)性的問題，因而在機(jī)器人足球中獲得了廣泛的應(yīng)用。 本文分析了幾種強(qiáng)化學(xué)習(xí)方法，包括基于值函數(shù)(Value-Based)近似方法、策略梯度方法(PolicyGradient)、以及Actor-Critic方法等。著重討論了Actor-Critic強(qiáng)化學(xué)習(xí)方法以及用片(

3、Tile-coding)線性函數(shù)近似來獲取特征值的方法。而且分析了在防御仿真中使用Actor-Critic方法的優(yōu)缺點(diǎn)，同時與基于值函數(shù)近似的強(qiáng)化學(xué)習(xí)以及基于策略梯度的強(qiáng)化學(xué)習(xí)做了一個比較。 最后，通過實(shí)驗(yàn)對強(qiáng)化學(xué)習(xí)算法得到的策略以及標(biāo)準(zhǔn)的策略做了一個比較。結(jié)果表明，通過強(qiáng)化學(xué)習(xí)方法得到的策略要優(yōu)于標(biāo)準(zhǔn)策略；對于小的問題，球員在360度視角下，通過Actor-Critic強(qiáng)化學(xué)習(xí)方法得到的策略比基于值函數(shù)強(qiáng)化學(xué)習(xí)方法Sarsa(