1、在全世界范圍內(nèi)，建筑能耗在社會(huì)總能耗中占比較高，并且以較快速度在逐年增長(zhǎng)，建筑節(jié)能已成為所有國(guó)家能源政策上的首要目標(biāo)。建筑能耗的80％是建筑運(yùn)行能耗，因此降低建筑能耗的有效手段是采取科學(xué)技術(shù)對(duì)建筑物內(nèi)相關(guān)設(shè)備進(jìn)行控制。此外，在建筑節(jié)能控制領(lǐng)域，傳統(tǒng)控制方法通常存在穩(wěn)定性差、收斂速度慢等問(wèn)題。隨著人工智能技術(shù)發(fā)展，智慧建筑節(jié)能的概念逐漸獲得研究者的關(guān)注，相關(guān)智能化控制方法研究也成為了研究的熱點(diǎn)，其中強(qiáng)化學(xué)習(xí)方法是目前智慧建筑節(jié)能方法的研究

2、重點(diǎn)。本文主要以建筑節(jié)能問(wèn)題為出發(fā)點(diǎn)，主要對(duì)基于強(qiáng)化學(xué)習(xí)的建筑節(jié)能控制方法及框架展開(kāi)研究，具體內(nèi)容包括以下三部分:
　　(1)為解決建筑節(jié)能控制領(lǐng)域中強(qiáng)化學(xué)習(xí)控制方法在實(shí)際應(yīng)用中收斂速度慢的問(wèn)題，本文結(jié)合多線程技術(shù)和經(jīng)驗(yàn)回放技術(shù)，提出一種多線程并行強(qiáng)化學(xué)習(xí)算法MPRL。MPRL主要由兩部分構(gòu)成，一是基于模糊聚類(lèi)的強(qiáng)化學(xué)習(xí)多線程劃分方法:通過(guò)模糊聚類(lèi)的方式將策略向量分配到不同的線程中進(jìn)行并行策略評(píng)估。二是并行強(qiáng)化學(xué)習(xí)框架:并行運(yùn)行策

3、略評(píng)估過(guò)程以及環(huán)境交互過(guò)程，同時(shí)引入經(jīng)驗(yàn)回放技術(shù)，將交互中產(chǎn)生的樣本存入樣本池，利用樣本反復(fù)更新Q值函數(shù)，該方法可有效加快算法學(xué)習(xí)過(guò)程。將MPRL與Q-Learning,Sarsa和KCACL算法進(jìn)行對(duì)比，分別應(yīng)用于random walk問(wèn)題、windy grid world問(wèn)題和cart pole問(wèn)題中。實(shí)驗(yàn)數(shù)據(jù)表明，MPRL擁有更好的收斂性能和更快的學(xué)習(xí)速率。
　　(2)對(duì)建筑節(jié)能控制問(wèn)題進(jìn)行馬爾科夫決策過(guò)程建模，并提出一種基

4、于強(qiáng)化學(xué)習(xí)的自適應(yīng)控制方法RLAC，用于求解建筑物內(nèi)相關(guān)設(shè)備的最優(yōu)控制策略，達(dá)到節(jié)能的目的。RLAC首先對(duì)環(huán)境和強(qiáng)化學(xué)習(xí)信號(hào)進(jìn)行建模，通過(guò)與環(huán)境進(jìn)行交互，用Q-Learning算法更新Q值函數(shù)，算法可以收斂到最優(yōu)Q值函數(shù)，從而學(xué)習(xí)到最優(yōu)控制策略。通過(guò)仿真房間模型的實(shí)驗(yàn)，將RLAC與傳統(tǒng)控制方法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明所提出的RLAC方法具有一定的節(jié)能性、更快的收斂速度和更好的穩(wěn)定性。
　　(3)結(jié)合面向建筑節(jié)能的馬爾科夫決策過(guò)程模型

5、，將并行強(qiáng)化學(xué)習(xí)方法用于建筑節(jié)能問(wèn)題，并提出一種基于并行強(qiáng)化學(xué)習(xí)的建筑節(jié)能方法。該方法結(jié)合多線程技術(shù)和經(jīng)驗(yàn)回放技術(shù)提出多線程并行強(qiáng)化學(xué)習(xí)算法框架，通過(guò)計(jì)算樣本之間的距離，選取低相似度的樣本構(gòu)造多樣性樣本池，Agent的學(xué)習(xí)過(guò)程是從多樣性樣本池中選取樣本學(xué)習(xí)，可有效避免學(xué)習(xí)資源的浪費(fèi)。該方法能有效提高算法學(xué)習(xí)效率、加速算法學(xué)習(xí)過(guò)程。實(shí)驗(yàn)包括在仿真房間模型上與Q-Learning算法以及經(jīng)典PID控制方法的對(duì)比，結(jié)果表明，所提出的并行算法具