1、應(yīng)用隨機(jī)過程,Application of Stochastic Processes,范愛華,數(shù)理科學(xué)與工程學(xué)院 應(yīng)用數(shù)學(xué)系,成功的道路并不擁擠，,的人并不是很多。,因為堅持到最后,教材 《應(yīng)用隨機(jī)過程》,主要教學(xué)參考書,張波 張景肖 編 中國人民大學(xué) 出版社,參考書,第1章 預(yù)備知識,1.1 概率空間,在自然界和人類的活動中經(jīng)常遇到各種各樣的現(xiàn)象，大體上分為兩類：必然現(xiàn)象和隨機(jī)現(xiàn)象

2、。,具有隨機(jī)性的現(xiàn)象—隨機(jī)現(xiàn)象,對隨機(jī)現(xiàn)象的觀察或為觀察而進(jìn)行的實驗,—隨機(jī)試驗,隨機(jī)試驗的結(jié)果,—基本事件或樣本點。,所有可能的結(jié)果稱為樣本空間。,—A稱為事件。,（有3個特征）,事件的性質(zhì) 假設(shè)A,B,C是任意事件，則他們滿足：,(1)交換律,(2)結(jié)合律,(3)分配律,(4)對偶原則 (De Morgan律),定義1.1,性質(zhì) 假,,例1.1,例1.2,例1.3,隨機(jī)試驗: 擲一枚骰子，觀察出現(xiàn)的點數(shù)，,思考題：,定義1.2

3、,結(jié)論：,定義1.3,定義1.4,例1.1：,概率的基本性質(zhì),—單調(diào)性,—次可列可加性,事件列極限1：,結(jié)論：,定理：,具體情況：,事件列極限2：,定義1.5,— 的下極限,— 的上極限,例1.2：,關(guān)系：,含義：,例1.3：,1.2 隨機(jī)變量和分布函數(shù),隨機(jī)變量：,用實數(shù)來表示隨機(jī)實驗的各種結(jié)果.,定義1.6,關(guān)于隨機(jī)變量的幾點說明：,定理1.1：,定義1.7,分布函數(shù)的含義：,分布函數(shù) 的性質(zhì)：,隨

4、機(jī)變量的類型：,離散型：,連續(xù)型：,多維隨機(jī)變量：,— d維隨機(jī)向量,多維隨機(jī)變量聯(lián)合分布函數(shù)：,性質(zhì)：,一些常見的分布：,1.離散均勻分布：,分布列：,2.二項分布：,分布列：,3.幾何分布：,分布列：,4.Poisson分布：,分布列：,____參數(shù)為 的 Poisson分布,5.均勻分布：,6.正態(tài)分布：,7. 分布：,函數(shù)的性質(zhì)：,8.指數(shù)分布：,9. 分布：,10.d維正態(tài)分布：（略）,1.3 數(shù)字特

5、征、矩母函數(shù)與特征函數(shù),一、數(shù)字特征,定義1.8：,—— X的一階矩,二、Rieman-Stieltjes 積分,Rieman-Stieltjes 積分：,注：,R-S 積分性質(zhì)：,—— 可加性,注：,四、矩母函數(shù)與特征函數(shù),1. 矩母函數(shù)（moment generating function ),定義1.9：,矩母函數(shù)的性質(zhì)：,2. 特征函數(shù)（characteristic function ),——復(fù)隨機(jī)變量,定義1.10：,—

6、—復(fù)隨機(jī)變量的數(shù)學(xué)期望,特征函數(shù)的性質(zhì)：,——有界性,——共軛對稱性,例3.1：,例3.2：,例3.3：,例3.4：,例3.5：,作業(yè)題：,1.4 條件概率 條件期望 獨立性,一、條件概率,1. 定義：,1. 基本公式,定理1:(乘法公式),定理2: (全概率公式),定理3: (Bayes公式),二、獨立性,1. 定義：,注1：兩兩獨立并不包含獨立性。,例：,注2,我們有,2. 獨立性的性質(zhì)：,定理4：,推論1：,推論2：,定理

7、5：,定理6：,四、條件期望,1. 邊緣分布,——稱X,Y獨立.,2. 條件分布函數(shù),3. 條件數(shù)學(xué)期望,異同：,定義：,定理：,例2：,五、獨立隨機(jī)變量和的分布——卷積公式,—— 稱為 的卷積,注：,——結(jié)合律,——分配律,第2章 隨機(jī)過程的基本 概念和基本類型,2.1 基本概念,在概率論中，我們研究了隨機(jī)變量，,維隨機(jī)向量。,在極限定理中，我們研究了無窮多個隨機(jī)變量，,但局限,在它們

8、相互獨立的情形。,將上述情形加以推廣，,即研究,一族無窮多個、相互有關(guān)的隨機(jī)變量，,這就是隨機(jī)過程。,定義2.1：,設(shè),是一概率空間，,對每一個參數(shù),，,,是一定義在概率空間,,上的隨機(jī),變量，,則稱隨機(jī)變量族,,為該概率,空間上的一隨機(jī)過程。,稱為參數(shù)集。,隨機(jī)過程的兩種描述方法：,用映射表示,,即,是一定義在,上的二元單值函數(shù)，,,,固定,是一定義在樣本空間,上的函數(shù)，,即為一隨機(jī)變量；,對于固定的,,,是一個,關(guān)于參數(shù),,的函數(shù)，

9、,或稱隨機(jī),過程的一次實現(xiàn)。,記號,通常稱為樣本函數(shù)，,,有時記為,,或簡記為,,參數(shù),,一般表示時間或空間。,參數(shù)常用的一般有：,(1),,(2),,,(3),當(dāng)參數(shù)取可列集時，,一般稱隨機(jī)過程為隨機(jī)序列。,隨機(jī)過程,,可能取值的全體所構(gòu)成的集合,稱為此隨機(jī)過程的狀態(tài)空間，記作S.,,S中的元素,稱為狀態(tài)。狀態(tài)空間可以由復(fù)數(shù)、實數(shù)或更一般的,抽象空間構(gòu)成。,,,隨機(jī)過程分為以下四類：,(1)離散參數(shù)離散型隨機(jī)過程；,(2)連續(xù)參數(shù)離散

10、型隨機(jī)過程；,(3)連續(xù)參數(shù)連續(xù)型隨機(jī)過程；,(4)離散參數(shù)連續(xù)型隨機(jī)過程。,以隨機(jī)過程的統(tǒng)計特征或概率特征的分類，一般有：,獨立增量過程；,Markov過程；,二階矩過程；,平穩(wěn)過程；,更新過程；,Poission過程；,維納過程。,鞅；,隨機(jī)過程舉例,例2.1,例2.2,拋擲一枚硬幣，樣本空間為,,定義：,,,,,隨機(jī)過程。,例2.3,2.2 有限維分布與Kolmogvrov定理,一、隨機(jī)過程的分布函數(shù),1. 一維分布函數(shù),,2.

11、二維分布函數(shù),,3. n維分布函數(shù),,4. 有限維分布族,,——稱為有限維分布族,5. 有限維分布族的性質(zhì),(1) 對稱性,,(2) 相容性,注1：隨機(jī)過程的統(tǒng)計特性完全由它的有限維分 布族決定。,注2：有限維分布族與有限維特征函數(shù)族相互唯 一確定。,問題：,一個隨機(jī)過程,是否描述了該過程的全部概率特性？,,的有限維分布族，,定理：（Kolmogorov存在性定理）,設(shè)分布

12、函數(shù)族,滿足以上提到的對稱性和相容性，,則必有一隨機(jī)過程,,恰好是,的有限維分布族，即：,定理說明：,,的有限維分布族包含了,的所有概率信息。,例2.4,例2.5,二、隨機(jī)過程的數(shù)字特征,1. 均值函數(shù),隨機(jī)過程,,（假設(shè)是存在的）,的均值函數(shù)定義為：,,2. 方差函數(shù),隨機(jī)過程,的方差函數(shù)定義為：,,3. (自)協(xié)方差函數(shù),,4. (自)相關(guān)函數(shù),,5. (互)協(xié)方差函數(shù),,6. 互相關(guān)函數(shù),7. 互不相關(guān),8. 特征函數(shù),,,為隨機(jī)

13、過程,,的有限維特征函數(shù)族。,記：,例2.6,例2.7,作業(yè)1,2.3 隨機(jī)過程的基本類型,一、嚴(yán)平穩(wěn)過程,定義1：,二、嚴(yán)平穩(wěn)過程的特點,則,三、寬平穩(wěn)過程,(簡稱平穩(wěn)過程),定義2：,注1：,注2：,例2.8,例2.9,四、平穩(wěn)過程相關(guān)函數(shù)的性質(zhì),性質(zhì)1：,性質(zhì)2：,結(jié)論：,性質(zhì)3：,性質(zhì)4：,注：,定義：,注：,性質(zhì)5：,性質(zhì)6：,性質(zhì)7：,性質(zhì)8：,性質(zhì)9：,例2.10：,五、獨立增量過程,定義1,例2.11：,定義2,六、遍

14、歷性定理,定義1:,定義2:,例2.12:,例2.13:,定理2.2: (均值遍歷性定理),推論2.1:,推論2.2:,定理2.2: (協(xié)方差函數(shù)遍歷性定理),作業(yè)1:,作業(yè)2: 書第二章 習(xí)題2.6.,作業(yè)3:,第3章 Poisson過程,3.1 Poisson過程,定義3.1：,,,,Poission過程是計數(shù)過程，而且是一類最重要、應(yīng)用廣泛的計數(shù)過程，它最早于1837年由法國數(shù)學(xué)家Poission引入。,定義3

15、.2：,,,,例3.1：,解：見板書。,定義3.2’:,一計數(shù)過程,,是獨立增量及平穩(wěn)增量過程，即任取,,,相互獨立；,,定義3.2’的解釋:,定理3.1:,,由增量平穩(wěn)性，記：,（I）,情形：因為,,我們有：,,另一方面,,代入上式，我們有：,,令,,我們有：,,（II）,,情形：因為：,,故有：,,化簡并令,,得：,,兩邊同乘以,,，移項后有：,,當(dāng),,時，有：,,由歸納法可得：,,注意：,,因此,,代表單位時間內(nèi)事件,,出現(xiàn)的平均

16、次數(shù)。,由歸納法可得：,,注意：,,因此,,代表單位時間內(nèi)事件,,出現(xiàn)的平均次數(shù)。,例3.2：,例3.3：,例3.4：,作業(yè)1：,作業(yè)2：書第三章習(xí)題3.5,3.6,3.10,3.2 Poisson過程相聯(lián)系的若干分布,復(fù)習(xí)：1.指數(shù)分布,2.無記憶性,定理3.2：,結(jié)論：,定義3.3：,注：,例3.5: (見書例3.4),例3.6:,定理3.3：,證明：見板書。,引理：,原因：,注：,定理3.4：,例3.7: (見書例3.5),例

17、3.8: (見書例3.6),3.3 Poisson過程的推廣,一、非齊次Poisson過程,定義3.4:,,過程有獨立增量；,,,,定義3.5：,,,,注2:定義3.4與定義3.5是等價的。,注1:我們稱m(t)為非齊次poisson過程的均值或強(qiáng)度。,定理3.5：,,,,注3:用此定理可以簡化非齊次Poisson過程的問題到齊次Poisson過程中進(jìn)行討論。另一方面也可以進(jìn)行反方向的操作，即從一個參數(shù)為 的Poisson構(gòu)

18、造一個強(qiáng)度函數(shù)為 的非齊次Poisson過程。,定理3.5’：,（一般了解）,例3.9: (見書例3.7),二、復(fù)合Poisson過程,定義3.6:,物理意義:,,如,表示粒子流，,例3.10: (見書例3.8),例3.11: (見書例3.9 顧客成批到達(dá)的排隊系統(tǒng)),定理3.6：,例3.12:（見書例3.10）,作業(yè)1:,作業(yè)2:,參考 例3.12:（見書例3.10）,作業(yè)3: 見書習(xí)題3.12,第5章 Markov

19、過程,5.1 基本概念,直觀意義：,,,,1 . Markov鏈的定義,定義5.1：,定義5.2：,定義5.3：,2 . 轉(zhuǎn)移概率,注：有定義5.1知,轉(zhuǎn)移矩陣的性質(zhì)：,定義5.4：,2 . Markov鏈的例子,帶有一個吸收壁的隨機(jī)游動：,特點：,當(dāng),,,就停留在零狀態(tài)。,此時,,是一齊次馬氏鏈，其狀態(tài)空間為,,，一步轉(zhuǎn)移概率為：,,注意；,,狀態(tài)為馬氏鏈的吸收狀態(tài)的充要條件是：,,例5.1：,帶有兩個吸收壁的隨機(jī)游動：,此

20、時,是一齊次馬氏鏈,狀態(tài)空間為,,,為兩個吸收狀態(tài),它的一步轉(zhuǎn)移,概率為：,,例5.2：,它的一步轉(zhuǎn)移概率矩陣為：,,特點：,,,,,概率為：,,,,例5.3：,帶有一個反射壁的隨機(jī)游動：,一旦質(zhì)點進(jìn)入零狀態(tài)，下一步它以概率,,向右移動一格，,以概率,,停留在零狀態(tài)。,此時的狀態(tài)空間為,,它的一步轉(zhuǎn)移,例5.4：,例5.5：,4. n步轉(zhuǎn)移概率 C-K方程,定義5.5（n步轉(zhuǎn)移概率）,定理5.1: (Chapman-Kolmogo

21、rov方程，簡稱C-K方程),例5.6：,例5.7: (隱Markov模型）,或者為正面或者為反面.在任何給定時刻只有一枚硬,呈現(xiàn)，但是有時硬幣可能被替換而不改變其正反面.,硬幣M和W分別具有轉(zhuǎn)移概率,,,在任何給定時刻硬幣被替換的概率為30%,替換完成時，,硬幣的狀態(tài)不變. 這一Markov鏈有4個狀態(tài)，分別記為1:UM; 2:DM; 3:UW; 4:DW.狀態(tài)1、3表示正面U,狀態(tài)2、4表示反面D轉(zhuǎn)移矩陣為4X4的矩陣.我們,

22、可以計算轉(zhuǎn)移概率,比如,,,首先,,(無轉(zhuǎn)移),而后,,(無轉(zhuǎn)移).因此轉(zhuǎn)移概率為,,其他轉(zhuǎn)移概率類似可得，轉(zhuǎn)移方式為,,轉(zhuǎn)移概率矩陣為,,例5.8:,例5.9:,帶有兩個反射壁的隨機(jī)游動：,此時,是一齊次馬氏鏈,狀態(tài)空間為,,,為兩個反射狀態(tài),求它的一步轉(zhuǎn),移概率。,,作業(yè)1：,作業(yè)2:,5.3 狀態(tài)的分類及性質(zhì),引入：,定義5.7,注：,定理5.3：,注：,定義5.8:,例1：,定義5.9 (周期性),規(guī)定：,例2 (書5.

23、14),注1：,注2：,定理5.4：,證明：板書。,注: 當(dāng)兩個狀態(tài)的周期相同時，有時其狀態(tài)之間 有顯著差異。,如：,定義5.10: (常返性),注2：,注3：,注1：,例3,定義5.11,例4,引理5.1 （ ）,定理5.5,引理5.2,定理5.6,作業(yè)1：,思考題：,定理5.5,引理5.2,定理5.6,,閉集及狀態(tài)空間的分解定

24、理,閉集：,,相關(guān)性質(zhì)：,,,任何兩個狀態(tài)均互通,所有常返態(tài)構(gòu)成一個閉集,在不可約馬氏鏈中,所有狀態(tài)具有相同的狀態(tài)類型.,狀態(tài)空間分解定理：,定理5.7：,例5,例6：,作業(yè)1：,周期鏈分解定理：,定理5.8：,,例7:,,5.4 極限理論與不變分布,5.4.1 極限理論,例8（書例5.17）(0-1傳輸系統(tǒng)）,211,212,對d的非整數(shù)倍數(shù)的n，,i是零常返的,213,(2),? i是遍歷的，d=1，?i < ?

25、，,?,子序列,所以d=1，從而i為非周期的，i是遍歷的,定理5.10,結(jié)論：,(a) 所有非常返狀態(tài)組成的集合不可能是閉集;,(b)沒有零常返狀態(tài);,(c)必有正常返狀態(tài);,(d)不可約有限馬氏鏈只有正常返態(tài);,(e)狀態(tài)空間可以分解為:,,其中：每個,,均是由正常返狀態(tài),組成的有限不可約閉集，,,是非常返態(tài)集。,217,注1： 有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài)的馬氏鏈

26、必為正常返的。,證 設(shè)S={0,1,?,N}，如S全是非常返狀態(tài)，則對任意 i, j?I，知,故,矛盾。,如S含有零常返狀態(tài) i，則C={j:i?j}是有限不可約閉集,，由定理知，C中均為零常返狀態(tài)，知,218,由引理知,所以,219,注2: 如馬氏鏈有一個零常返狀態(tài)，則必有無限多個,證 設(shè)i為零常返狀態(tài)，則C={j:i?j}是不可約閉集，C,中均為零常返狀態(tài)，故C不能是有限集。否則,零常返狀態(tài)。,220,稱概率分布{?j

27、, j?I}為馬爾可夫鏈,的平穩(wěn)分布（不變分布），若,5.4.2 平穩(wěn)分布 (不變分布)與極限分布,定義5.12,一、平穩(wěn)分布 (不變分布),221,注：,(1) 若初始概率分布{ pj , j?I }是平穩(wěn)分布，則,(2) 對平穩(wěn)分布{?j , j?I}，有,矩陣形式 ? = ? 其中? =(?j)， ( ),pj = pj(1)= pj(2) = ? = pj(n),222,二、遍歷性的概念與

28、極限分布,對于一般的兩個狀態(tài)的馬氏鏈, 由上節(jié)內(nèi)容可知,,意義,對固定的狀態(tài)j,不管鏈在某一時刻的什么狀,態(tài) i出發(fā), 通過長時間的轉(zhuǎn)移到達(dá)狀態(tài) j 的概率都趨,定義5.13,224,或定義,則稱此鏈具有遍歷性.,定理5.13,226,定理 不可約非周期馬爾可夫鏈?zhǔn)钦７档某湟獥l件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布,227,推論3 若{?j , j?I}是馬爾可夫鏈的平穩(wěn)分布，則,,,所取的值與初始狀態(tài)的分布無關(guān)。,證：由于

29、：,,故,,228,即，經(jīng)過無窮次轉(zhuǎn)移后處于,,狀態(tài)的概率與初始,狀態(tài)無關(guān)，與初始狀態(tài)的分布也無關(guān)。,229,解 因為馬爾可夫鏈?zhǔn)遣豢杉s非周期有限,狀態(tài)的，所以平穩(wěn)分布存在，設(shè),則? = ? P，?1+?2+?3=1. 即,各狀態(tài)的平均返回時間為,? =(?1, ?2, ?3 ),230,例2 設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為,求每一個不可約閉集的平穩(wěn)分布。,231,解 從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為,兩個不可約常返閉集

30、C1={2,3,4} 和 C2={5,6,7}，,一個非常返集 N={1}。,在常返集上求平穩(wěn)分布：,232,在C1上，對應(yīng)的轉(zhuǎn)移概率矩陣為,C1上的平穩(wěn)分布為：{0, 0.4, 0.2, 0.4, 0, 0, 0},同理可求得 C2 上的平穩(wěn)分布為,{0, 0, 0, 0, 1/3, 1/3, 1/3},233,三、(有限鏈)遍歷性的充分條件,234,說明,2. 極限分布轉(zhuǎn)化為了求解方程組.,3. 在定理的條件下馬氏鏈的極限分布是平穩(wěn)

31、分布.,235,試說明帶有兩個反射壁的隨機(jī)游動是遍歷的, 并求其極限分布(平穩(wěn)分布).,解,例3,四、應(yīng)用舉例,236,無零元,鏈?zhǔn)潜闅v的,237,代入最后一個方程 (歸一條件), 得唯一解,238,所以極限分布為,這個分布表明,經(jīng)過長時間游動之后, 醉漢 Q 位于點 2 (或 3 或 4 ) 的概率約為 3/11, 位于點 1 (或 5) 的概率約為 1/11.,239,設(shè)一馬氏鏈的一步轉(zhuǎn)移概率陣為,試討論它的遍歷性.,解,例4,

32、240,表明,此鏈不具遍歷性.,241,五、小結(jié),遍歷性的概念,則稱此鏈具有遍歷性.,242,(有限鏈) 遍歷性的充分條件,作業(yè)1：,作業(yè)2：書習(xí)題5.7,244,第七節(jié) 連續(xù)時間馬爾可夫鏈,定義7.1 設(shè)隨機(jī)過程{X(t)，t ?0 }，狀態(tài)空間,及非負(fù)整數(shù) i1,i2, ?,in+1 ，有,P{X(tn+1)=in+1|X(t1)=i1, X(t2)=i2,?, X(tn)=in},則稱{X(t)，t ?0 }為連續(xù)時間馬爾可夫

33、鏈。,I={0,1,2,?}，若對任意,0?t1< t2<?<tn+1,=P{X(tn+1)=in+1|X(tn)=in}，,245,轉(zhuǎn)移概率：在s時刻處于狀態(tài)i，經(jīng)過時間t后,轉(zhuǎn)移到狀態(tài)j的概率,pij(s,t)= P{X(s+t)=j|X(s)=i},定義7.2 齊次轉(zhuǎn)移概率(與起始時刻 s 無關(guān)，只,與時間間隔 t 有關(guān)),pij(s,t)=pij(t),此時有轉(zhuǎn)移概率矩陣P(t)=(pij(t)) ，i, j

34、?I，t ?0.,246,記 ?i 為過程在狀態(tài)轉(zhuǎn)移之前停留在狀態(tài)i的時間，,則對s, t ?0 有,(1),(2) ?i 服從指數(shù)分布,證：(1) 事實上,247,248,(2) 設(shè)?i的分布函數(shù)為F(x), (x?0),,則生存函數(shù),由此可推出G(x)為指數(shù)函數(shù)，G(x)=e-?x,,則F(x)=1-G(x)=1- e-?x為指數(shù)分布函數(shù)。,G(x)=1-F(x),249,過程在狀態(tài)轉(zhuǎn)移之前處于狀態(tài)i的時間?i服從指數(shù)分布

35、(1)當(dāng)?i=?時， 狀態(tài)i的停留時間?i 超過x的概率為0，則稱狀態(tài)i為瞬時狀態(tài)；(2)當(dāng)?i=0時， 狀態(tài)i的停留時間?i 超過x的概率為1，則稱狀態(tài)i為吸收狀態(tài)。,250,定理7.1 齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì)：(1) pij(t)?0;(2) (3) 證 由概率的定義，(1)(2)顯然成立，下證(3),251,,252,注： 此為轉(zhuǎn)移概率的正則性條件。,253,例1

36、 證明泊松過程{X(t),t?0}為連續(xù)時間齊次馬爾可夫鏈。證 先證泊松過程的馬爾可夫性。泊松過程是獨立增量過程，且X(0)=0，對任意0<t1< t2<?< tn< tn+1有,254,另一方面,即泊松過程是一個連續(xù)時間馬爾可夫鏈,255,,再證齊次性。當(dāng)j?i時，當(dāng)j<i時,因增量只取非負(fù)整數(shù)值,故 pij(s,t)=0，所以轉(zhuǎn)移概率與s無關(guān)，泊松過程具有齊次性。,第六

37、節(jié) 馬氏鏈模型,6.1 基本應(yīng)用實例6.2 健康與疾病6.3 鋼琴銷售的存儲策略,,馬氏鏈模型,系統(tǒng)在每個時期所處的狀態(tài)是隨機(jī)的,從一時期到下時期的狀態(tài)按一定概率轉(zhuǎn)移,下時期狀態(tài)只取決于本時期狀態(tài)和轉(zhuǎn)移概率 已知現(xiàn)在，將來與過去無關(guān)（無后效性）,描述一類重要的隨機(jī)動態(tài)系統(tǒng)（過程）的模型,馬氏鏈 (Markov Chain)——時間、狀態(tài)均為離散的隨機(jī)轉(zhuǎn)移過程,258,某計算機(jī)房的一臺計算機(jī)經(jīng)常出故障,研究者每隔15分鐘觀察一

38、次計算機(jī)運(yùn)行狀態(tài),收集了24小時的數(shù)據(jù) (共作97次觀察) . 用1表示正常狀態(tài), 用0表示不正常狀態(tài), 所得的數(shù)據(jù)序列如下:試求一步轉(zhuǎn)移概率矩陣。,1110010011111110011110111111001111111110001101101,分析,狀態(tài)空間: I={0, 1}.,例1,111011011010111101110111101111110011011111100111,6.1 基本應(yīng)用實例,259,96 次狀態(tài)

39、轉(zhuǎn)移的情況:,因此, 一步轉(zhuǎn)移概率可用頻率近似地表示為:,260,特點:,用行向量表示為,一維分布由初始分布和轉(zhuǎn)移概率矩陣決定,261,由以上討論知,轉(zhuǎn)移概率決定了馬氏鏈的運(yùn)動的統(tǒng)計規(guī)律. 因此, 確定馬氏鏈的任意n步轉(zhuǎn)移概率成為馬氏鏈理論中的重要問題之一.,262,設(shè)每一級的傳真率為 p, 誤碼率為 q=1-p.,設(shè)一個單位時間傳輸一級,,只傳輸數(shù)字0和1的串聯(lián)系統(tǒng) ( 傳輸系統(tǒng)),,如圖:,,,分析:,例2,263

40、,而與時刻 n 以前所處的狀態(tài)無關(guān).,所以它是一個馬氏鏈, 且是齊次的.,一步轉(zhuǎn)移概率,一步轉(zhuǎn)移概率矩陣,264,在 傳輸系統(tǒng)中,,傳輸后的誤碼率;,系統(tǒng)經(jīng) n 級傳輸后輸出為 1, 問原發(fā)字符也是 1 的概率是多少?,265,解,先求出 n 步轉(zhuǎn)移概率矩陣.,有相異的特征值,所以可將 P 表示成對角陣,266,傳輸后的誤碼率分別為:,267,(2) 根據(jù)貝葉斯公式, 當(dāng)系統(tǒng)經(jīng) n 級傳輸后輸出為 1, 原發(fā)字符也是

41、 1 的概率為:,268,說明,n步轉(zhuǎn)移概率矩陣為,矩陣一般可表示為:,對于只有兩個狀態(tài)的馬氏鏈, 一步轉(zhuǎn)移概率,通過有實際背景的例子介紹馬氏鏈的基本概念和性質(zhì),例1. 人的健康狀況分為健康和疾病兩種狀態(tài)，設(shè)對特定年齡段的人，今年健康、明年保持健康狀態(tài)的概率為0.8, 而今年患病、明年轉(zhuǎn)為健康狀態(tài)的概率為0.7，,6.2 健康與疾病,人的健康狀態(tài)隨著時間的推移會隨機(jī)地發(fā)生轉(zhuǎn)變,保險公司要對投保人未來的健康狀態(tài)作出估計, 以制訂保

42、險金和理賠金的數(shù)額,若某人投保時健康, 問10年后他仍處于健康狀態(tài)的概率,Xn+1只取決于Xn和pij, 與Xn-1, …無關(guān),狀態(tài)與狀態(tài)轉(zhuǎn)移,狀態(tài)轉(zhuǎn)移具有無后效性,設(shè)投保時健康,給定a(0), 預(yù)測 a(n), n=1,2…,設(shè)投保時疾病,n??時狀態(tài)概率趨于穩(wěn)定值，穩(wěn)定值與初始狀態(tài)無關(guān),∞,狀態(tài)與狀態(tài)轉(zhuǎn)移,例2. 健康和疾病狀態(tài)同上，Xn=1~ 健康, Xn=2~ 疾病,p11=0.8, p12=0.18, p13=0.02

43、,死亡為第3種狀態(tài)，記Xn=3,健康與疾病,p21=0.65, p22=0.25, p23=0.1,p31=0, p32=0, p33=1,設(shè)投保時處于健康狀態(tài)，預(yù)測 a(n), n=1,2…,不論初始狀態(tài)如何，最終都要轉(zhuǎn)到狀態(tài)3 ； 一旦a1(k)= a2(k)=0, a3(k)=1, 則對于n>k, a1(n)=0， a2(n)=0, a3(n)=1, 即從狀態(tài)3不會轉(zhuǎn)移到其它狀態(tài)。,狀態(tài)與狀態(tài)轉(zhuǎn)移,馬氏鏈的基本方

44、程,基本方程,,馬氏鏈的兩個重要類型,1. 正則鏈 ~ 從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任一狀態(tài)（如例1）。,,,w ~ 穩(wěn)態(tài)概率,馬氏鏈的兩個重要類型,2. 吸收鏈 ~ 存在吸收狀態(tài)（一旦到達(dá)就不會離開的狀態(tài)i, pii=1）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài)（如例2）。,6.3 鋼琴銷售的存貯策略,鋼琴銷售量很小，商店的庫存量不大以免積壓資金,一家商店根據(jù)經(jīng)驗估計，平均每周的鋼琴需求為1架,存

45、貯策略：每周末檢查庫存量，僅當(dāng)庫存量為零時，才訂購3架供下周銷售；否則，不訂購。,估計在這種策略下失去銷售機(jī)會的可能性有多大，以及每周的平均銷售量是多少。,背景與問題,問題分析,顧客的到來相互獨立，需求量近似服從波松分布，其參數(shù)由需求均值為每周1架確定，由此計算需求概率,存貯策略是周末庫存量為零時訂購3架 ?周末的庫存量可能是0, 1, 2, 3，周初的庫存量可能是1, 2, 3。,用馬氏鏈描述不同需求導(dǎo)致的周初庫存狀態(tài)的變化。,動態(tài)過

46、程中每周銷售量不同，失去銷售機(jī)會（需求超過庫存）的概率不同。,可按穩(wěn)態(tài)情況（時間充分長以后）計算失去銷售機(jī)會的概率和每周的平均銷售量。,模型假設(shè),鋼琴每周需求量服從波松分布，均值為每周1架,存貯策略：當(dāng)周末庫存量為零時，訂購3架，周初到貨；否則，不訂購。,以每周初的庫存量作為狀態(tài)變量，狀態(tài)轉(zhuǎn)移具有無后效性。,在穩(wěn)態(tài)情況下計算該存貯策略失去銷售機(jī)會的概率，和每周的平均銷售量。,模型建立,Dn~第n周需求量，均值為1的波松分布,Sn~第n周

47、初庫存量(狀態(tài)變量 ),狀態(tài)轉(zhuǎn)移規(guī)律,狀態(tài)轉(zhuǎn)移陣,… …,模型建立,狀態(tài)概率,馬氏鏈的基本方程,已知初始狀態(tài)，可預(yù)測第n周初庫存量Sn=i 的概率,n??, 狀態(tài)概率,第n周失去銷售機(jī)會的概率,n充分大時,模型求解,從長期看，失去銷售機(jī)會的可能性大約 10%。,1. 估計在這種策略下失去銷售機(jī)會的可能性,模型求解,第n周平均售量,從長期看，每周的平均銷售量為 0.857(架),n充分大時,思考：為什么這個數(shù)值略小于每周平均需求量1(架

48、) ?,2. 估計這種策略下每周的平均銷售量,敏感性分析,當(dāng)平均需求在每周1 (架) 附近波動時，最終結(jié)果有多大變化。,設(shè)Dn服從均值為?的波松分布,狀態(tài)轉(zhuǎn)移陣,第n周(n充分大)失去銷售機(jī)會的概率,當(dāng)平均需求增長（或減少）10%時，失去銷售機(jī)會的概率將增長（或減少）約12% 。,期末復(fù)習(xí)要點：,1.上極限、下極限的定義及含義，理解事件序列的極限的表達(dá)方式。2.熟悉常見的分布函數(shù)。3.掌握矩母函數(shù)與特征函數(shù)的定義和性質(zhì)，會求一些函數(shù)

49、的矩母函數(shù)和特征函數(shù)。4.條件概率與條件期望的求法及性質(zhì)，如：EX=E[E(X|Y)], E(X|X)=X,第一章,期末復(fù)習(xí)要點：,1.理解會求隨機(jī)過程的均值函數(shù)、方差函數(shù)、(自)協(xié)方差函數(shù)、 (自)相關(guān)函數(shù)、 互協(xié)方差函數(shù)、互相關(guān)函數(shù)。2.理解(嚴(yán)、寬)平穩(wěn)過程的定義，會判斷隨機(jī)過程是否為平穩(wěn)過程。3.會用定義判定平穩(wěn)過程是否有遍歷性(均值遍歷性及協(xié)方差遍歷性) 。,第二章,期末復(fù)習(xí)要點：,1.Poisson過程的定義，理

50、解其含義。2.會求Poisson過程的一些相關(guān)的概率。3.理解Poisson過程時間間隔序列Xn,第n次事件發(fā)生的時刻Tn相關(guān)定理。4.非齊次Poisson過程與齊次Poisson的關(guān)系定理，非齊次Poisson的相關(guān)概率計算。,第三章,期末復(fù)習(xí)要點：,1.理解Markov鏈的定義，理解其數(shù)學(xué)含義，會求相應(yīng)的概率。2.會求一步轉(zhuǎn)移概率及一步轉(zhuǎn)移概率矩陣。3.會求n步轉(zhuǎn)移概率，會證明C-K方程(離散時間及連續(xù)時間) 。4.會求