1、互聯(lián)網(wǎng)的高速發(fā)展導(dǎo)致微博、新聞和博客等網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)爆炸式的增長(zhǎng)。管理并利用這些海量級(jí)數(shù)據(jù)成為一大難題，主題模型是解決該難題的有效方法之一。主題模型通過(guò)對(duì)文檔進(jìn)行聚類(lèi)，將文檔歸納為幾個(gè)簡(jiǎn)單的主題，使得人們可以快速地從各類(lèi)文檔集中找到自己所需要的信息。傳統(tǒng)主題模型需要給定聚類(lèi)的數(shù)量，即對(duì)于一個(gè)語(yǔ)料集，模型究竟該將其聚為多少類(lèi)。通常我們需要不斷的嘗試各種數(shù)量，雖然基于評(píng)價(jià)標(biāo)準(zhǔn)可以從中尋找到最佳的聚類(lèi)數(shù)量，但是這種主觀判斷的方法存在較大的偶然性

2、。
　　分層狄利克雷過(guò)程（Hierarchical Dirichlet Process，HDP）模型是傳統(tǒng)主題模型在無(wú)參方向的一個(gè)衍生，它是一種可用于分析大量文本數(shù)據(jù)的概率主題模型。同時(shí)它也是一種貝葉斯無(wú)參模型（Bayesian non-parametric model，BNP），主要用于解決傳統(tǒng)概率主題模型中聚類(lèi)數(shù)目的問(wèn)題。HDP模型的提出主要依賴(lài)于狄利克雷過(guò)程（Dirichlet Process，DP）無(wú)限維度的特點(diǎn)，令數(shù)據(jù)在

3、訓(xùn)練的過(guò)程中發(fā)現(xiàn)其隱藏的主題，該主題可以是當(dāng)前已發(fā)現(xiàn)的主題，也可以是未發(fā)現(xiàn)的主題，進(jìn)而實(shí)現(xiàn)無(wú)參主題模型中主題的動(dòng)態(tài)變化。
　　傳統(tǒng)無(wú)參HDP主題模型的參數(shù)估計(jì)與近似推理主要依賴(lài)于使用中國(guó)餐館過(guò)程構(gòu)造的吉布斯采樣算法。該算法基于馬爾科夫鏈蒙特卡洛，通過(guò)大量采樣樣本去近似后驗(yàn)分布。然而該算法存在較強(qiáng)的隨機(jī)性，且無(wú)法保證消息的完整性。針對(duì)傳統(tǒng)算法的缺點(diǎn)，本文提出使用消息傳遞算法來(lái)理解HDP模型。通過(guò)分析HDP模型對(duì)應(yīng)的因子圖模型中因子之

4、間的聯(lián)系，實(shí)現(xiàn)模型中后驗(yàn)概率近似推理的分布化與局部化?；谙鬟f算法理論，本文提出了兩種適用于HDP模型的消息傳遞算法：映射消息傳遞算法與采樣消息傳遞算法。映射消息傳遞算法，提出了映射的概念，利用建立的文檔之間的主題共享層，實(shí)現(xiàn)文檔層主題與共享層主題之間的映射，其中文檔共享層是通過(guò)使用折棒過(guò)程構(gòu)造來(lái)實(shí)現(xiàn)的，且共享層的主題數(shù)目遠(yuǎn)遠(yuǎn)大于文檔層的主題數(shù)目；而采樣消息傳遞算法，則借鑒HDP模型中吉布斯采樣之理念，將吉布斯采樣算法與消息傳遞算法