1、1,它首先是由德國數(shù)學(xué)家高斯在1821年提出的 ,,Gauss,Fisher,然而，這個方法常歸功于英國統(tǒng)計學(xué)家費歇(Fisher) .,費歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì) .,§7.2 最大似然估計,2,思想方法 一次試驗就出現(xiàn)的事件有較大的概率,7-17,3,最大似然法的基本思想,先看一個簡單例子：,一只野兔從前方竄過 .,是誰打中的呢？,某位同學(xué)與一位獵人一起外出打獵 .

2、,如果要你推測，,你會如何想呢?,只聽一聲槍響，野兔應(yīng)聲倒下 .,4,因為只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率. 看來這一槍是獵人射中的 .,其數(shù)學(xué)模型為,令X為打一槍的中彈數(shù)，則X~B(1,p), p未知.設(shè)想事先知道p只有兩種可能:,p=0.9 或 p=0.1,兩人中有一人打槍, 估計這一槍是誰打的，即估計總體X的參數(shù)p的值,5,當兔子不中彈，即{X =0}發(fā)生了,現(xiàn)有樣本觀測值x =1, 什么

3、樣的參數(shù)使該樣本值出現(xiàn)的可能性最大呢？,若p=0.9，則P{X=1}=0.9 若p=0.1，則P{X=1}=0.1,若p=0.9，則P{X=0}=0.1 若p=0.1，則P{X=0}=0.9,當兔子中彈，即{X =1}發(fā)生了,6,引例 設(shè)總體 X 服從0-1分布，且P (X = 1) = p, 用極大似然法求 p 的估計值。,解,X 的概率分布可以寫成,設(shè) X1, X2,…, Xn為總

4、體 X 的樣本,,設(shè) x1, x2,…, xn為總體 X 的樣本值,,則,7,對于不同的 p ,L (p)不同，見右下圖,現(xiàn)經(jīng)過一次試驗，,,,8,在容許的范圍內(nèi)選擇 p ，使L(p)最大,注意到，ln L(p)是 L 的單調(diào)增函數(shù)，故若某個p 使ln L(p)最大，則這個p 必使L(p)最大。,7-20,9,最大似然估計法的基本思想：根據(jù)樣本觀測值，選擇參數(shù)p的估計 ，使得樣本在該樣本值附近出現(xiàn)的可能性最大,10,一 離散型隨

5、機變量的情況,最大似然估計的求法,11,12,13,,定義2.1 設(shè)離散型隨機變量X1,X2,...,Xn 有聯(lián)合分布,其中 是未知參數(shù)，給定觀測數(shù)據(jù)x1，x2，...，xn后，稱 的函數(shù),為基于x1，x2，...，xn的似然函數(shù)(likelihood function)，稱 的最大值點 為 的最大似然估計(maximum likelihood estimator縮寫為MLE),其中

6、 也可以是向量,14,二 連續(xù)型隨機變量的情況,15,16,,定義2.2 設(shè)隨機向量X=(X1,X2,...,Xn ) 有聯(lián)合密度,其中 是未知參數(shù)，給定X的觀測值x=(x1，x2，...，xn )后，稱 的函數(shù),為基于x=(x1，x2，...，xn )的似然函數(shù)(likelihood function)，稱 的最大值點 為參數(shù) 的最大似然估計(MLE),其中 也可以是向量,17,若

7、總體中包含多個未知參數(shù),18,(4) 在最大值點的表達式中, 用樣本值代入 就得參數(shù)的極大似然估計值 .,求最大似然估計(MLE)的一般步驟是：,(1) 由總體分布導(dǎo)出樣本的聯(lián)合分布列 (或聯(lián)合密度);,(2) 把樣本聯(lián)合分布列(或聯(lián)合密度)中自變 量看成已知常數(shù),而把參數(shù) 看作自變量, 得到似然函數(shù)L( );,(3) 求似然函數(shù) 的最大值點(常轉(zhuǎn)化為求對數(shù)似然函數(shù)

8、 的最大值點) 即 的MLE;,19,未知參數(shù)的函數(shù)的最大似然估計,設(shè)總體X的分布類型已知, 其概率密度(或概率函數(shù))為f(x;?1,…, ?k), 未知參數(shù)的已知函數(shù)為g(?1,…, ?k). 若,分別為?1,…, ?k的最大似然估計, 則,為 g(?1,…, ?k)的最大似然估計.,20,解：X的分布列為,例1設(shè)X1,X2,…, Xn獨立同分布，都服從Poisson分布 ，給定觀測數(shù)據(jù)x

9、1,x2,…, xn，試求參數(shù) 的最大似然估計.,因此似然函數(shù)為,21,令,=0,對數(shù)似然函數(shù)為：,得 的最大似然估計為,22,例2設(shè)X1,X2,…, Xn是取自總體 X~B(1, p) 的一個樣本，求參數(shù)p的最大似然估計.,解：似然函數(shù)為:,對數(shù)似然函數(shù)為：,23,對p求導(dǎo)并令其為0，,=0,p的最大似然估計為,24,似然函數(shù)為：,25,對數(shù)似然函數(shù)為：,26,27,例4 X 服從指數(shù)分布,其密度函數(shù)為

10、 x1，x2，…，xn 為觀察值.試用最大似然估計法估計,28,解：似然函數(shù)為,對數(shù)似然函數(shù)為,由,得 的最大似然估計為,29,解：似然函數(shù)為,對數(shù)似然函數(shù)為,例5 設(shè)X1,X2,…Xn是取自總體X的一個樣本,求 的最大似然估計.,其中 >0,,30,求導(dǎo)并令其為0,=0,從中解得,即為 的MLE .,對數(shù)似然函數(shù)為,31,例6 設(shè)X1,X2,…, Xn是取自

11、總體 X~U(a, b) 的一個樣本，求參數(shù)a, b的最大似然估計.,似然函數(shù)為,32,,不能求解。,33,似然函數(shù)a 越大, b 越小, L 越大.,令,x(1) = min {x1, x2,…, xn}x(n) = max {x1, x2,…, xn},34,故,是 a , b 的最大似然估計值.,取,35,例7 設(shè)總體X的概率分布為,其中0? ? ?1/2為未知參數(shù)。今對X進行觀測， 得如下樣本值

12、 0，1，2，0，2，1求? 的最大似然估計。,,36,從而對數(shù)似然函數(shù)為,解：似然函數(shù)為,令,得,37,三 估計量的評選標準,對于同一參數(shù)，用不同的估計方法求出的估計量可能不相同。,問題：采用哪一個估計量好?,X1, X2,…, Xn,為來自該總體的樣本。,設(shè)總體X~ F(x, ? ), 其中 ? 為未知參數(shù)。,為 ? 的一個估計量。,38,估計量,而當樣本(X1, …, Xn)有觀測值(y1, …, yn)時，估計值為,是一個

13、隨機變量，當樣本(X1, …, Xn)有觀測值(x1, …, xn)時，估計值為,39,由不同的觀測結(jié)果，就會求得不同的參數(shù)估計值. 因此評價一個估計量的好壞，不能僅僅依據(jù)一次試驗的結(jié)果來判斷，而必須根據(jù)估計量的分布從整體上來做評價。,當樣本值取不同的觀測值時， 我們希望相應(yīng)的估計值在未知參數(shù)真值附近擺動，而它的均值與未知參數(shù)的真值的偏差越小越好. 當這種偏差為0時，就導(dǎo)致無偏性這個標準 .,40,1．無偏性,則稱 為 的無偏估計

14、 .,41,例1 樣本均值 與樣本方差S2 分別是 總體均值μ和總體方差σ2的無偏估計量.,證：,42,樣本k階矩為,例2 設(shè)總體X的k階原點矩存在，記其為?k， X1, X2,…, Xn為來自總體的樣本，問,是否為總體k階矩?k的無偏估計.,解：由于,因此樣本k階矩是總體k階矩的無偏估計,43,例3 設(shè)總體X ? N (?，? 2)，其中參數(shù)?，? 2未知，試用最大似然估計法求?，? 2的估計量，并問是否是無偏估計？

15、,44,45,解：,因為,,設(shè)X的分布函數(shù)為,46,先求Z的分布函數(shù),47,對其求導(dǎo)數(shù)得到Z的密度函數(shù)為：,即Z的分布函數(shù),48,故,因此,nZ是? 的無偏估計,49,例5 設(shè)X1, X2,…, Xn是來自總體X的樣 本，且E(X)=?。以下兩個估計是否為 ? 的無偏估計,（答：是）,（答：是）,50,無偏估計以方差小者為好, 這就引進了有效性這一概念 .,,的大小來決定二者,和,一個參數(shù)往往有不止一個無

16、偏估計, 若,和,都是參數(shù) 的無偏估計量，,比較,我們可以,誰更優(yōu) .,51,2．有效性,,且存在 的情形，則稱 較 有效 。,52,例6 設(shè)X1, X2,…, Xn是來自總體X的樣本，且E(X)=?。以下兩個估計誰更有效？,解：,53,,,3. 相合性(一致性) 設(shè) 為未知參數(shù)? 的估計量，若對任意給定的? > 0，任意?，都有,設(shè)總體的k 階矩存在，則樣