1、強(qiáng)化學(xué)習(xí)(reinforcementleaming，RL)是一類重要的機(jī)器學(xué)習(xí)方法，在智能機(jī)器人、經(jīng)濟(jì)學(xué)、工業(yè)制造和博弈等領(lǐng)域得到了廣泛的應(yīng)用。然而目前的強(qiáng)化學(xué)習(xí)算法在可擴(kuò)展性方面都有所欠缺，在學(xué)習(xí)任務(wù)的狀態(tài)空間很大或狀態(tài)空間連續(xù)時，開銷非常巨大，甚至不能直接應(yīng)用。同時，在實(shí)際應(yīng)用中，收斂速度慢是強(qiáng)化學(xué)習(xí)的另一個主要不足。
　　 針對強(qiáng)化學(xué)習(xí)方法在大狀態(tài)空間或連續(xù)狀態(tài)空間的學(xué)習(xí)問題中存在的“維數(shù)災(zāi)”及收斂速度慢等普遍存在且嚴(yán)重的

2、問題，本文從并行化強(qiáng)化學(xué)習(xí)過程的角度出發(fā)，提出了3種并行強(qiáng)化學(xué)習(xí)方法，主要研究內(nèi)容概括如下：
　　 (1)提出了一種基于狀態(tài)空間分解和智能調(diào)度的并行強(qiáng)化學(xué)習(xí)方法。這種方法首先將規(guī)模較大的學(xué)習(xí)問題分解成小的子問題，再對每個子問題進(jìn)行并行學(xué)習(xí)。在學(xué)習(xí)過程中，通過一種自適應(yīng)的智能調(diào)度算法選擇收益較大的子問題優(yōu)先學(xué)習(xí)。在算法收斂之后，通過合并各個子問題的結(jié)果得到整個學(xué)習(xí)問題的期望結(jié)果。本文還從理論上證明了基于狀態(tài)空間分解和多Agent并

3、行學(xué)習(xí)的Q學(xué)習(xí)算法的收斂性。
　　 (2)為了在具有延時回報特點(diǎn)的在線學(xué)習(xí)任務(wù)中提高時間信度的分配效率和使用資格跡的強(qiáng)化學(xué)習(xí)算法的收斂速度，提出了一種并行強(qiáng)化學(xué)習(xí)框架和一些可行的優(yōu)化方法。該學(xué)習(xí)框架充分利用了資格跡算法內(nèi)在的并行性，使用多個計(jì)算節(jié)點(diǎn)分?jǐn)傊岛瘮?shù)表和資格跡表的更新工作。
　　 (3)針對E3算法的理論收斂時間界限太大，在實(shí)際的大狀態(tài)空間學(xué)習(xí)問題中學(xué)習(xí)效率較低的問題，提出了一種基于多Agent并行采樣和學(xué)習(xí)經(jīng)驗(yàn)