1、與傳統(tǒng)的監(jiān)督學習和非監(jiān)督學習不同，增強學習（Reinforcement Learning，RL）通過與環(huán)境進行交互來獲得評價性的反饋信號，利用值函數或者策略的估計來實現序貫決策過程的優(yōu)化。為了克服大規(guī)模狀態(tài)與行為空間帶來的計算量巨大的“維數災難”，人們通常將值函數逼近技術與增強學習算法相結合來實現對大規(guī)?？臻g優(yōu)化控制問題的求解。同時，由于增強學習具有對模型信息依賴少、能夠實現控制器的自適應優(yōu)化等特點，它在移動機器人路徑跟蹤控制方面的應用

2、也受到廣泛關注。本文在國家自然科學基金項目的支持下，對基于增強學習的優(yōu)化控制方法進行了深入的研究，同時通過將改進的增強學習方法與經典控制算法相結合來實現移動機器人的高精度路徑跟蹤控制。本文取得的研究成果包括：
　　1.對帶有梯度修正項的線性時域差值學習算法（linear TD with gradient correction，TDC）進行了深入研究，通過與控制算法相結合，使其應用范圍從解決學習預測問題拓展到了學習控制問題，并提出了

3、兩種基于TDC的改進優(yōu)化控制算法——改進Q-Learning算法和改進HDP算法。由于TDC算法是一種嚴格意義的隨機梯度下降法，因此它能夠保證改進Q-Learning在進行離策略（off-policy）學習時的收斂性，并提高算法控制效果。通過對Mountain-Car和倒立擺的仿真研究，分別驗證了兩種改進算法在解決離散動作和連續(xù)動作優(yōu)化決策問題時的有效性，并且討論了不同學習步長參數對算法控制效果的影響。
　　2.為了克服函數逼近器

4、中基函數選擇的困難，本文提出了一種基于流形表示的基函數自動構造方法并將其用于DHP算法評價器網絡的構建中，從而給出了基于測地線拉普拉斯特征映射的對偶啟發(fā)式規(guī)劃算法（Dual Heuristic Programming based on Geodesic Laplacian Eigenmaps，GLEM-DHP）。文中分別利用了板-球和倒立擺兩種典型的非線性系統(tǒng)對算法進行了測試，并通過將控制結果與其它算法相比較，體現了基于GLEM算法的基

5、函數自動構造技術對于值函數逼近效果的改善，同時也展現了GLEM-DHP算法優(yōu)良的控制性能。
　　3.針對傳統(tǒng)PID算法中參數選擇困難的問題，本文結合了DHP算法的學習優(yōu)化能力，提出了一種自學習PID控制算法——DHP-PID，并用于解決移動機器人的路徑跟蹤控制問題。DHP算法能夠根據參考軌跡的變化以及系統(tǒng)當前狀態(tài)進行在線學習，并通過DHP結構中的執(zhí)行器網絡輸出優(yōu)化后的PID參數，從而達到減小跟蹤誤差的目的。文中分別利用多種的參考軌

6、跡對算法進行了測試，仿真結果均顯示出 DHP-PID算法具有比PID算法更好的跟蹤效果。本文還進一步利用MobileSim仿真平臺對DHP-PID算法得到的控制器進行了Pioneer3-AT型移動機器人的路徑跟蹤控制仿真，并得到了較好的控制效果。
　　4.論文在仿真結果的基礎之上對算法進行了實物實驗。利用GLEM-DHP算法學得的控制器在Googol倒立擺實驗平臺上進行在線的實時控制實驗，不僅驗證了算法的現實可行性與有效性，更為增