1、投影非負(fù)矩陣分解可學(xué)習(xí)投影矩陣將高維數(shù)據(jù)投影到低維子空間，也可直接學(xué)習(xí)高維數(shù)據(jù)的表達(dá)系數(shù)。前者用于分類，而后者用于聚類。不同于傳統(tǒng)分解方法如特征值分解，投影非負(fù)矩陣分解專用于非負(fù)數(shù)據(jù)分解，且保持?jǐn)?shù)據(jù)的非負(fù)性。由于它的加性運算和非減操作即單純的疊加運算，投影非負(fù)矩陣分解獲得稀疏表達(dá)，這與人類大腦認(rèn)知事物由部分構(gòu)成整體的直觀認(rèn)識相一致，且數(shù)據(jù)表達(dá)的非負(fù)性具有真實的物理含義。不同于非負(fù)矩陣分解(Non-negative Matrix Fact

2、orization, NMF)，投影非負(fù)矩陣分解使用基矩陣的轉(zhuǎn)置作為投影矩陣，保證訓(xùn)練集和測試集的系數(shù)皆為非負(fù)的，而非負(fù)矩陣分解并不能保證這點，存在所謂的“Out-of-the-sample”問題。此外，投影非負(fù)矩陣分解保證稀疏表達(dá)，可直接習(xí)得天然的類指示矩陣。因而，投影非負(fù)矩陣分解已廣泛應(yīng)用于圖像分類、圖像匹配、圖像分割、文本聚類、視頻跟蹤等領(lǐng)域。因此，研究投影非負(fù)矩陣分解不僅豐富了非負(fù)矩陣分解的理論內(nèi)容，而且前景應(yīng)用廣泛，具有重要的

3、現(xiàn)實意義。
　　本文研究投影非負(fù)矩陣分解算法及其應(yīng)用。鑒于傳統(tǒng)算法忽略標(biāo)簽信息，提出判別投影非負(fù)矩陣分解(Discriminant Projective Non-negative Matrix Factorization, DPNMF)，提高分類性能。為擴展其在線應(yīng)用，提出在線判別投影非負(fù)矩陣分解(Online DPNMF, ODPNMF)，增量更新類內(nèi)散度和類間散度，在線學(xué)習(xí)判別投影矩陣。針對目前難以證明投影非負(fù)矩陣分解優(yōu)化算法

4、收斂到極值這一問題，提出了盒約束投影非負(fù)矩陣分解模型(Box-constrained PNMF, BPNMF)。為擴展其在圖像分類和圖像檢索中的應(yīng)用，分別提出了盒約束判別投影非負(fù)矩陣分解(BDPNMF)和基于相關(guān)反饋(Relevance Feedback)的有偏盒約束投影非負(fù)矩陣分解(Biased BDPNMF, B2DPNMF)，并證明規(guī)范化項為有界凸集時才能保證模型優(yōu)化算法收斂到極小值。由于投影非負(fù)矩陣分解應(yīng)用于聚類時，忽略標(biāo)簽和無

5、標(biāo)簽樣本信息，提出了半監(jiān)督投影非負(fù)矩陣分解模型(Semi-supervised PNMF, Semi-PNMF)。為處理多模數(shù)據(jù)，提高視覺跟蹤性能，提出了在線多模魯棒非負(fù)字典學(xué)習(xí)(Online Multi-modal Robust Non-negative Dictionary Learning, OMRNDL)。本文創(chuàng)新點分別為：
　　1.判別投影非負(fù)矩陣分解投影非負(fù)矩陣分解由于完全忽略標(biāo)簽信息致使分類效果不佳。判別非負(fù)矩陣分解

6、(Discriminant Non-negative Matrix Factorization, DNMF)結(jié)合Fisher判別規(guī)則克服這一缺陷。類似于NMF，DNMF存在“Out-of-the-sample”問題。這就違背了NMF的非負(fù)性假設(shè)。另基于圖嵌入框架提出的非負(fù)投影圖嵌入，因其投影子空間難以劃分，分類性能同樣受到限制。于是，本文提出了基于Fisher判別規(guī)則的DPNMF。它采用權(quán)策略保證Fisher規(guī)則的凸性，同時避免線性判別

7、分析的奇異問題。為求解DPNMF，本文開發(fā)了基于乘法更新規(guī)則的優(yōu)化算法，并給出收斂性證明。在四個流行數(shù)據(jù)庫上的實驗結(jié)果表明，與DNMF和PNGE相比，DPNMF獲得較好的分類性能。
　　2.在線判別投影非負(fù)矩陣分解由于NMF和PNMF無法處理大規(guī)模數(shù)據(jù)或流數(shù)據(jù)，因而出現(xiàn)了以增量方式學(xué)習(xí)基矩陣的在線NMF和PNMF算法。但是，它們的分類效果不佳。為此，本文提出了在線判別投影非負(fù)矩陣分解(ODPNMF)算法來提高在線NMF和PNMF的

8、分類性能。ODPNMF實現(xiàn)在線乘法更新規(guī)則，采用如下兩個策略：1)以增量的方式保留歷史信息并同時更新類內(nèi)散度和類間散度；2)使用隨機算法近似求解Fisher判別規(guī)則為正定的權(quán)重，減少SVD分解的計算開銷。實驗表明，ODPNMF在四個數(shù)據(jù)庫的上一致優(yōu)于在線NMF和PNMF算法。為說明ODPNMF的潛在應(yīng)用能力，提出了ODPNMF的跟蹤器。ODPNMF與大多數(shù)跟蹤器一樣，基于粒子濾波框架(Particle Filter Framework)

9、實現(xiàn)判別跟蹤。為消除背景模板對目標(biāo)模板的影響，ODPNMF跟蹤器僅更新類內(nèi)散度，保證同類樣本投影后更近。在四個常用視頻序列上的跟蹤實驗結(jié)果表明，與傳統(tǒng)跟蹤器相比，ODPNMF性能更加穩(wěn)定。
　　3.盒約束投影非負(fù)矩陣分解理論上，PNMF乘法更新法則無法收斂的緣由是， PNMF目標(biāo)函數(shù)包含非凸四階項。因而，PNMF更新法則必須使用歸一化步驟來保證其收斂。據(jù)此，出現(xiàn)了收斂PNMF(Convergent PNMF, CPNMF)和快速自

10、適應(yīng)PNMF(Fast PNMF, FPNMF)。前者使用泰勒高階展開PNMF目標(biāo)函數(shù)，去除目標(biāo)函數(shù)的非凸性，提出了收斂的乘法更新規(guī)則。而后者調(diào)整乘法更新法則的步長，避免歸一化步驟。但是，它們都沒給出極值收斂性證明。為此，本文提出盒約束非負(fù)矩陣分解(BPNMF)。BPNMF結(jié)合兩類約束：1)盒約束保證基矩陣的收斂性；2）引入系數(shù)矩陣和等式約束來保證BPNMF等價于PNMF的目標(biāo)函數(shù)。為優(yōu)化BPNMF，提出了基于增廣拉格朗日算法的優(yōu)化框架

11、，并證明它收斂到BPNMF的極小值。實驗結(jié)果表明，無論在識別精度上還是在時間效率上，BPNMF都優(yōu)于代表性算法。
　　4.盒約束判別投影非負(fù)矩陣分解PNMF完全忽略標(biāo)簽信息致使分類效果欠佳，而DPNMF提高PNMF分類性能，但其時間開銷卻較大，同時無法證明其乘法更新規(guī)則收斂于DPNMF的極值。盡管BPNMF能夠保證這點，但其分類性能不佳。為此，本文提出盒約束判別投影非負(fù)矩陣分解(BDPNMF)集成兩者的優(yōu)點來避免DPNMF和BPN

12、MF的各自缺陷。為保證優(yōu)化算法的收斂性，BDPNMF保證Fisher判別規(guī)則為半正定的。在四個人臉數(shù)據(jù)集上的實驗結(jié)果表明，無論分類性能還是時間開銷，BDPNMF都優(yōu)于DPNMF。為擴展BDPNMF應(yīng)用于圖像檢索，本文開發(fā)了基于相關(guān)反饋的有偏BDPNMF(B2DPNMF)。由于圖像檢索問題是并非是“1+1”問題而是所謂的“1+x”問題，因而需要區(qū)別對待類內(nèi)和類間樣本，實現(xiàn)有偏判別能力。擴展性實驗結(jié)果表明，B2DPNMF的檢索精度優(yōu)于NMF

13、、biased DNMF、PNMF和BDPNMF。
　　5.半監(jiān)督投影非負(fù)矩陣分解投影非負(fù)矩陣分解可直接學(xué)習(xí)類指示矩陣用于癌癥分類。但是，它完全忽略標(biāo)簽信息，于是，提高PNMF的分類性能余地較大。目前提出的半監(jiān)督非負(fù)矩陣分解算法已成功應(yīng)用于圖像和文本聚類，其分類效果仍然不佳。為此，本文為提高PNMF的分類性能，有效結(jié)合標(biāo)簽和無標(biāo)簽樣本，提出了半監(jiān)督投影非負(fù)矩陣分解(Semi-PNMF)。為優(yōu)化Semi-PNMF，本文提出了乘法更新

14、規(guī)則并證明其收斂性。癌癥分類實驗結(jié)果表明，Semi-PNMF在兩個癌癥基因序列數(shù)據(jù)集上的分類精度都一致優(yōu)于其他代表性算法。
　　6.在線多模魯棒非負(fù)字典學(xué)習(xí)字典學(xué)習(xí)獲得一組字典能夠有效表達(dá)任意向量，在稀疏表達(dá)(Sparse Representation)中尤為重要。字典學(xué)習(xí)已廣泛應(yīng)用于分類和信號識別中，其中的大多算法結(jié)合判別信息來提高分類性能。但它們都不能用于在線學(xué)習(xí)。為此，在線判別字典學(xué)習(xí)、在線魯棒字典學(xué)習(xí)和在線魯棒非負(fù)字典學(xué)習(xí)

15、分別被提出，以增量方式來處理大規(guī)?；蛄鲾?shù)據(jù)。但它們并不能處理多模數(shù)據(jù)。因而，本文提出在線多模魯棒非負(fù)字典學(xué)習(xí)(OMRNDL)來克服上述在線算法的這一缺陷。為實現(xiàn)視覺跟蹤，多模非負(fù)字典學(xué)習(xí)為每個模態(tài)學(xué)習(xí)單個字典表達(dá)每個模態(tài)的內(nèi)容，并共享語義系數(shù)表達(dá)，更新目標(biāo)模板。這是因為每個模態(tài)都是樣本的某個方面，因而假設(shè)它們具有相同的語義表達(dá)是完全合理的。為實現(xiàn)在線學(xué)習(xí)，引入多個輔助變量，由于它們空間開銷不變，不隨樣本數(shù)目增多而增大，因而，OMRNDL