1、一般而言,稍長的文本往往都會涉及幾個主題或同一主題的多個方面,如果能夠自動劃分出文本的這種語義結構,將語義段落作為基本處理單元,則會極大的改善傳統(tǒng)文本處理技術以篇章作為基本處理單元的現象,對文本的分析可以從原來的篇章級別細致到語義段落級別。文本分割技術能夠將一篇文本按照語義關系自動識別為具有獨立意義的若干個語義段落,并用標記將其區(qū)分以備深層分析之用。
　　 文本的內容是由詞組成的,而詞又要放到文本中去理解,詞與文本之間是相互制約

2、的。文本為了描述同一核心主題,而頻繁的出現相同或相似的詞匯,這種詞匯集聚現象直觀的反映了主題的相似性。人們閱讀時也往往通過重復出現的詞匯了解文本內容。這里所說的詞匯重復也包括詞匯的語義重復。本論文通過分析文本分割領域著名的模型來總結基于內容的文本分割模型的設計理念。
　　 文本分割的本質是根據主題相似性線索在文本內部找到主題與主題之間的邊界位置,使得同一語義段落內部具有最大的主題相似性,而不同語義段落之間具有最小的主題相似性。因

3、此,一個文本分割模型要解決的最根本問題就是主題相似性度量和邊界搜索策略。本文提出了綜合考慮文本相似度,區(qū)域相似度、語義段落長度、基于句對距離的相似度加權策略等多種線索來刻畫主題相似性,在此基礎上選擇合適的邊界搜索策略,獲得性能上的優(yōu)勢。
　　 本文通過研究文本分割領域著名模型,針對其存在的問題,提出自己的解決方案?；谌值奈谋鞠嗨菩?用Dotplotting搜索策略每次分割出一個主題邊界,本文提出了MMD模型;基于局部的區(qū)域相