1、淺談協(xié)方差矩陣今天看論文的時候又看到了協(xié)方差矩陣這個破東西，以前看模式分類的時候就特困擾，沒想到現(xiàn)在還是搞不清楚，索性開始查協(xié)方差矩陣的資料，惡補之后決定馬上記錄下來，嘿嘿~本文我將用自認為循序漸進的方式談?wù)剠f(xié)方差矩陣。統(tǒng)計學(xué)的基本概念統(tǒng)計學(xué)的基本概念學(xué)過概率統(tǒng)計的孩子都知道，統(tǒng)計里最基本的概念就是樣本的均值，方差，或者再加個標準差。首先我們給你一個含有n個樣本的集合，依次給出這些概念的公式描述，這些高中學(xué)過數(shù)學(xué)的孩子都應(yīng)該知道吧，一帶

2、而過。均值：均值：標準差：標準差：方差：方差：很顯然，均值描述的是樣本集合的中間點，它告訴我們的信息是很有限的，而標準差給我們描述的則是樣本集合的各個樣本點到均值的距離之平均。以這兩個集合為例，[0，8，12，20]和[8，9，11，12]，兩個集合的均值都是10，但顯然兩個集合差別是很大的，計算兩者的標準差，前者是8.3，后者是1.8，顯然后者較為集中，故其標準差小一些，標準差描述的就是這種“散布度”。之所以除以n1而不是除以n，是因

3、為這樣能使我們以較小的樣本集更好的逼近總體的標準差，即統(tǒng)計上所謂的“無偏估計”。而方差則僅僅是標準差的平方。為什么需要協(xié)方差？為什么需要協(xié)方差？上面幾個統(tǒng)計量看似已經(jīng)描述的差不多了，但我們應(yīng)該注意到，標準差和方差一般是用來描述一維數(shù)據(jù)的，但現(xiàn)實生活我們常常遇到含有多維數(shù)據(jù)的數(shù)據(jù)集，最簡單的大家上學(xué)時免不了要統(tǒng)計多個學(xué)科的考試成績。面對這樣的數(shù)據(jù)集，我們當(dāng)然可以按照每一維獨立的計算其方差，但是通常我們還想了解更多，比如，一個男孩子的猥瑣程

4、度跟他受女孩子歡迎程度是否存在一些聯(lián)系啊，嘿嘿~協(xié)方差就是這樣一種用來度量兩個隨機變量關(guān)系的統(tǒng)計量，我們可以仿照方差的定義：來度量各個維度偏離其均值的程度，標準差可以這么來定義：根據(jù)公式，計算協(xié)方差需要計算均值，那是按行計算均值還是按列呢，我一開始就老是困擾這個問題。前面我們也特別強調(diào)了，協(xié)方差矩陣是計算不同維度間的協(xié)方差，要時刻牢記這一點。樣本矩陣的每行是一個樣本，每列為一個維度，所以我們要按列計算均值按列計算均值。為了描述方便，我們

5、先將三個維度的數(shù)據(jù)分別賦值：1dim1=MySample(:1)2dim2=MySample(:2)3dim3=MySample(:3)計算dim1與dim2，dim1與dim3，dim2與dim3的協(xié)方差：1sum((dim1mean(dim1)).(dim2mean(dim2)))(size(MySample1)1)%得到74.53332sum((dim1mean(dim1)).(dim3mean(dim3)))(size(MySa

6、mple1)1)%得到10.08893sum((dim2mean(dim2)).(dim3mean(dim3)))(size(MySample1)1)%得到106.4000搞清楚了這個后面就容易多了，協(xié)方差矩陣的對角線就是各個維度上的方差，下面我們依次計算：1std(dim1)^2%得到108.32222std(dim2)^2%得到260.62223std(dim3)^2%得到94.1778這樣，我們就得到了計算協(xié)方差矩陣所需要的所有數(shù)

7、據(jù)，調(diào)用Matlab自帶的cov函數(shù)進行驗證：1cov(MySample)把我們計算的數(shù)據(jù)對號入座，是不是一摸一樣？Update：今天突然發(fā)現(xiàn)，原來協(xié)方差矩陣還可以這樣計算，先讓樣本矩陣中心化，即每一維度減去該維度的均值，使每一維度上的均值為0，然后直接用新的到的樣本矩陣乘上它的轉(zhuǎn)置，然后除以(N1)即可。其實這種方法也是由前面的公式通道而來，只不過理解起來不是很直觀，但在抽象的公式推導(dǎo)時還是很常用的！同樣給出Matlab代碼實現(xiàn)：1X