1、現(xiàn)實(shí)世界中的很多隨機(jī)人造系統(tǒng),如高速通訊網(wǎng)絡(luò)、柔性制造系統(tǒng)、質(zhì)量管理系統(tǒng)等,都可用Markov過(guò)程來(lái)建模,為適應(yīng)這類問(wèn)題的優(yōu)化控制和設(shè)計(jì)的需要,論文重點(diǎn)研究了一類Markov控制過(guò)程在無(wú)限時(shí)間水平平均性能準(zhǔn)則下的優(yōu)化理論和優(yōu)化算法.性能勢(shì)在Markov系統(tǒng)的分析和研究中起著重要作用.我們用廣義Poisson方程的解來(lái)定義Markov性能勢(shì),并通過(guò)平衡方程和廣義Poisson方程,建立了連續(xù)時(shí)間Markov控制過(guò)程基于性能勢(shì)的最優(yōu)性原理,

2、以及基于性能勢(shì)的平均代價(jià)最優(yōu)性方程,又稱之為基于性能勢(shì)的Bellman最優(yōu)性方程,在較弱的假設(shè)條件下,我們得到了這個(gè)最優(yōu)性方程在緊致行動(dòng)集上解的存在性定理,給出了求解平均代價(jià)最優(yōu)策略的幾種算法,即梯度算法、策略迭代算法和數(shù)值迭代算法,并且詳細(xì)地研究了迭代算法的收斂性,說(shuō)明了這些算法在有限步內(nèi)能確保得到epsilon-最優(yōu)策略.這些研究結(jié)果都能直接運(yùn)用到離散時(shí)間Markov控制過(guò)程中,并且為進(jìn)一步研究一般Markov控制過(guò)程的優(yōu)化問(wèn)題和設(shè)