1、機器人群體行為是在機器人之間及機器人與環(huán)境之間的交互作用過程中涌現(xiàn)出來的，是一個高度復雜的動態(tài)的過程，其運動形式經(jīng)常是混沌的。因此，現(xiàn)有的機器人行為建模與設計方法還不足以從機理上描述機器人群體行為的復雜性。機器人群體行為的科學分析方法就是要實現(xiàn)對機器人行為的數(shù)學建模與定量分析，這也是在實際機器人行為學習中亟待解決的關(guān)鍵理論和技術(shù)問題。
　　 本文通過機器人任務建模及機器人與環(huán)境交互建模獲得機器人行為相關(guān)參數(shù)的數(shù)學描述，并建立機器

2、人群體行為混沌動力學模型，通過對數(shù)學模型的研究與分析有助于理解機器人行為系統(tǒng)內(nèi)部的作用規(guī)律。機器人群體行為學習主要研究機器人之間及機器人與環(huán)境進行社會性交互的機制，在社會性交互作用中涌現(xiàn)出復雜的群體行為。本文通過對機器人群體行為的定量分析與數(shù)學建模，建立關(guān)于機器人、任務和環(huán)境之間的社會性交互的完整理論框架體系。具體研究內(nèi)容為：
　　 (1)針對機器人在強化學習過程中存在的收斂速度慢、組合爆炸等問題，提出了一種基于神經(jīng)網(wǎng)絡的移動機

3、器人路徑規(guī)劃強化學習初始化方法。神經(jīng)網(wǎng)絡與機器人工作空間具有相同的拓撲結(jié)構(gòu)，每一個神經(jīng)元對應于狀態(tài)空間中的一個離散狀態(tài)。首先根據(jù)已知的部分環(huán)境信息對神經(jīng)網(wǎng)絡進行演化，直到達到平衡狀態(tài)，這時每個神經(jīng)元的輸出值就代表該狀態(tài)可獲得的最大累積回報。然后將當前狀態(tài)執(zhí)行選定的動作獲得的立即回報加上后繼狀態(tài)遵循最優(yōu)策略獲得的最大折算累積回報(最大累積回報乘以折算因子)，即可對所有狀態(tài)-動作對的Q(s，α)設定合理的初始值。通過Q值初始化能夠?qū)⑾闰炛R

4、融入到學習系統(tǒng)中，對機器人初始階段的學習進行優(yōu)化，從而為機器人提供一個較好的學習基礎(chǔ)。
　　 (2)針對機器人群體行為強化學習過程中算法收斂速度較慢的問題，提出了基于知識共享的順序Q學習算法。在基于知識共享的順序Q學習過程中，追捕機器人首先根據(jù)目標的運動狀態(tài)利用聚類的方法形成不同的追捕團隊，然后每一個團隊內(nèi)機器人按照一定順序依次進行學習。每個機器人通過傳感器獲得當前環(huán)境狀態(tài)，并判斷其他機器人是否已經(jīng)遇到過同樣的環(huán)境狀態(tài)，如果行為

5、規(guī)則庫中已經(jīng)存在相同的狀態(tài)，則根據(jù)知識庫與行為規(guī)則庫選擇動作并對與其相對應的行為權(quán)重向量進行強化學習，否則，就將新的行為規(guī)則加入規(guī)則庫。在對行為權(quán)重向量進行強化學習時，學習機器人利用加權(quán)策略共享為每個機器人分配相應的權(quán)值，并且利用所有機器人經(jīng)驗值的加權(quán)和來對行為權(quán)重進行強化學習。
　　 (3)將前兩部分研究內(nèi)容實現(xiàn)的機器人行為作為建模對象，利用分形建模思想建立機器人協(xié)作追捕行為的完整數(shù)學模型。在對機器人行為進行建模的過程中，利用

6、機器人協(xié)作追捕行為系統(tǒng)整體與局部具有的功能自相似性，從宏觀向微觀逐層細化地建立不同層次的機器人行為模型。首先根據(jù)具體任務確定系統(tǒng)總體目標；然后利用宏觀建模法建立多機器人協(xié)作追捕行為狀態(tài)層次的數(shù)學模型，分析個體參數(shù)對機器人群體行為的影響；最后利用多項式建模法建立機器人與環(huán)境交互作用的行為層次數(shù)學模型。通過對機器人群體行為進行建模，可以分析關(guān)鍵參數(shù)對系統(tǒng)行為的影響，通過數(shù)學分析獲得系統(tǒng)的最優(yōu)化參數(shù)選擇，為機器人群體行為的設計與分析提供必要的

7、理論依據(jù)。
　　 (4)采用動力學系統(tǒng)理論分析機器人之間、機器人與環(huán)境之間的交互作用，利用系統(tǒng)中一個機器人的演化軌跡研究系統(tǒng)在多維相空間中的運動規(guī)律。首先采集一個機器人演化軌跡上不同時刻的數(shù)據(jù)點，選擇適當?shù)那度刖S與延遲時間，重構(gòu)與原系統(tǒng)等價的相空間。相空間中的狀態(tài)信息可以充分地描述多機器人系統(tǒng)，并且包含了對動力學系統(tǒng)進行狀態(tài)預測所需的所有信息。然后分析相空間中吸引子的性質(zhì)，計算吸引子的特征值，包括Lyapunov指數(shù)、關(guān)聯(lián)維數(shù)、