1、隨著互聯(lián)網的迅速普及發(fā)展，它已經逐漸融入人們日常生活的方方面面。其中Web是人們在互聯(lián)網上互相溝通、獲取外界信息的重要途徑。作為一個很有價值的信息來源，Web憑借其直觀便利的使用方式以及豐富的內容表達能力，可以為用戶提供多種形式的信息，例如文本、音頻、視頻等。隨著時間的推移，互聯(lián)網的信息規(guī)模及其用戶群體規(guī)模也在快速增長?；ヂ?lián)網用戶的需求正在變得越發(fā)多樣化，如何為用戶快速地提供其所感興趣的信息是目前的一大難題。
　　如今自媒體已經在

2、互聯(lián)上逐漸開始興起，并且其規(guī)模越來也龐大，其中不乏各行各業(yè)優(yōu)秀代表人物，因而開始受到越來越多的關注。因此本文提出運用一定的技術手段實現(xiàn)對百度百家這一自媒體平臺完成采集其站點內的文章內容。然后對所采集的文章內容進行重新組織，以利于對這些內容的二次利用。圍繞這一目標，本文提出了基于網絡爬蟲的網站信息采集技術的整合方案的設計與實現(xiàn)。
　　本文提出的基于網絡爬蟲的網站信息采集技術的整合方案包括信息采集、信息抽取、信息檢索這三部分。其中信息