1、隨著互聯(lián)網(wǎng)的快速發(fā)展，越來越多的信息可以從網(wǎng)絡(luò)上獲得。但如何從大量的信息中抽取有用的信息仍然是一個問題?；ヂ?lián)網(wǎng)上的信息大部分都是以文本方式存在的，文本的內(nèi)容識別就構(gòu)成了高效信息獲取的基礎(chǔ)。本文設(shè)計了一個面向特定領(lǐng)域的文本內(nèi)容識別系統(tǒng)。該系統(tǒng)可以有效地將我們所需要的文本從大量的文本中分離出來。我們還可以把自動識別得到的文本進行更進一步細分，并對每一個文本生成一個摘要，這樣就大大提高了信息獲取的效率。 文本識別不但要考慮屬于該領(lǐng)域的

2、文本的內(nèi)容特征，而且還要對不屬于該領(lǐng)域的文本的內(nèi)容特征進行研究?？紤]不屬于該領(lǐng)域的文本特征，可以有效地增加不同類文本特征模式之間的距離并優(yōu)化其概率分布。文本表示方面采用近年來應(yīng)用較多且效果較好的向量空間模型(VSM)，給出了基于幾何距離的可分性判據(jù)和基于后驗概率的可分性判據(jù)。根據(jù)這些可分性判據(jù)，闡述了基于熵概念的特征提取方法和直接特征挑選法。 中文分詞技術(shù)是文本識別的技術(shù)基礎(chǔ)，也是近年來的研究熱點。本文比較詳細地介紹了分詞的算法

3、和步驟，并對多個分詞算法的優(yōu)劣進行了比較。闡述了分詞中的難點。最后，在基于詞典的分詞算法的基礎(chǔ)上，改進并給出了全詞索引詞典結(jié)構(gòu)，大大提高了分詞算法的速度。根據(jù)可分性判據(jù)，作者采用了直接次優(yōu)搜索算法對初步特征進行提取和選擇，還采用中文信息處理常用的標準TF-IDF公式進行特征提取和選擇。 特征項權(quán)重的確定沒有太多的理論基礎(chǔ)，大多是根據(jù)訓(xùn)練樣本庫的統(tǒng)計知識和中文信息本身的語言特點來確定的。本文除了介紹了中文信息處理中的常用權(quán)重確定算