1、由于問句表達的文本模糊性以及自然語言本身的復(fù)雜性，現(xiàn)有的web搜索引擎還不能很好的處理用戶的自然語言提問。正是由于web搜索引擎的這種不足，問答服務(wù)型網(wǎng)站作為其有益補充，在近年來得到快速的發(fā)展。在問答服務(wù)型網(wǎng)站，用戶可以直接用自然語言描述自己的問題，并獲取其他用戶提供的答案，而無需像使用web搜索引擎那樣，在大量返回結(jié)果中尋找答案。目前如“Yahoo! Answers”、“新浪愛問”、“百度知道”等問答服務(wù)型網(wǎng)站已經(jīng)積累了海量的問答數(shù)據(jù)

2、。比如截止至2009年7月，“百度知道”已經(jīng)積累了超過7千萬個中文問答對。
　　 本論文的研究以互聯(lián)網(wǎng)上的海量問答對數(shù)據(jù)為基礎(chǔ)，構(gòu)建基于大規(guī)模問答語料的問題檢索系統(tǒng)中的關(guān)鍵技術(shù)。問題檢索系統(tǒng)的主要思想是：根據(jù)用戶提出的問題，可以在已有的問答語料中檢索與該提問具有相同語義的問答對數(shù)據(jù)，并提供給用戶，以直接滿足用戶的信息需求，從而避免了用戶從大量網(wǎng)頁中歸納答案、或者等待其他用戶提供答案所帶來的不便。
　　 本論文對基于大規(guī)模

3、問答語料的問題檢索系統(tǒng)展開了一系列研究。首先，本論文研究了問題檢索系統(tǒng)中的問題文本分類任務(wù)，以進一步確定用戶的信息需求，改善用戶的使用體驗；同時，本論文提出對用戶提問的主題進行分析，以更好的確定用戶的信息需求，并自動的為用戶提供與該提問語義相同或者相近的問題及相應(yīng)的答案，以直接滿足用戶的信息需求；此外，考慮到人類社會中大量沒有被問答服務(wù)型網(wǎng)站所包含，甚至并沒有形成網(wǎng)頁的知識，本論文討論了如何對討論組所產(chǎn)生的文本聊天數(shù)據(jù)進行分析，并從中提

4、煉出問答數(shù)據(jù)，以擴充問題檢索系統(tǒng)所能使用的問答語料，進一步提升問題檢索系統(tǒng)的性能。本論文具體的研究內(nèi)容和相關(guān)成果如下：
　　
　　 1、為了完善問題檢索系統(tǒng)的功能，本論文深入研究了問題分類技術(shù)在問題檢索系統(tǒng)中的應(yīng)用。問題檢索系統(tǒng)中的主要任務(wù)之一是對用戶的提問進行分類，以進一步確定用戶的信息需求。基于Kullback-Leibler Distance的分類算法在大規(guī)模文本和高維向量分類任務(wù)中表現(xiàn)出較高的分類精度，本論文在

5、該算法的基礎(chǔ)上，結(jié)合語言模型的思想，提出一種改進的分類算法：n-gram KLD。通過在一個大尺度的問答數(shù)據(jù)集合上進行的一系列實驗，表明n-gram KLD算法在問題分類任務(wù)中取得了優(yōu)于傳統(tǒng)算法的分類效果，并且在計算復(fù)雜度以及對噪聲數(shù)據(jù)敏感度方面都較好的滿足了問題分類任務(wù)的要求。
　　 2、本論文在語言模型的框架下，提出一種計算問題之間的相似度的方法。問題相似度計算的主要困難在于，問題文本往往較短，傳統(tǒng)的文本相似度計算方法僅考慮

6、了長文本的相似度處理，很難用于判斷兩個問句的主題是否相關(guān)；而針對問題本文等短文本的相似度計算的工作還較少。本論文提出利用大規(guī)模語料庫中的單詞之間的共現(xiàn)頻度對單詞間的關(guān)聯(lián)關(guān)系進行建模；在此基礎(chǔ)上，利用隨機行走的思想，計算問句中各個單詞與問句主題的相關(guān)程度，并按照與問句主題相關(guān)程度的不同，對問句中的不同單詞設(shè)置不同的權(quán)重，以突出問句的主題。通過該策略有助于發(fā)現(xiàn)同樣反映該主題的問句。實驗表明，使用該方法可以有效的檢索到與用戶提問相關(guān)的其他問句

7、，有助于根據(jù)使用者的信息需求，提供更高質(zhì)量的檢索服務(wù)。
　　 3、按照百度的“暗網(wǎng)”計劃的描述，互聯(lián)網(wǎng)上的信息僅有不足0.2％的部分型成了可以被檢索的網(wǎng)頁，而人類社會中的大量知識還不能被搜索引擎檢索到。本論文關(guān)注了由討論組所產(chǎn)生的文本聊天數(shù)據(jù)。文本聊天數(shù)據(jù)中包含了大量的可用信息，這些信息往往構(gòu)成不同的線索，每條線索都是關(guān)于某話題的有用的問答數(shù)據(jù)，但這些問答數(shù)據(jù)尚未能得到很好的管理和挖掘。本論文通過考慮聊天數(shù)據(jù)中消息的內(nèi)容和上下文