1、　　Internet 的高速發(fā)展使得互聯網逐漸滲透到人們的日常生活中，對社會的方方面面產生了深遠的影響。權威機構的調查顯示，互聯網用戶數量每年都在飛速遞增，并且中國的網民數量已經位居全球第一。互聯網用戶可以在Web 上暢所欲言，相互交流，因此互聯網已經成為虛擬“公共話語空間”，是公眾都能參與的新興公共輿論平臺。
　　隨著互聯網的迅速發(fā)展，微博己經發(fā)展成為包含多種信息資源、站點分布全球的海量信息服務網絡。微博爬蟲是一種用于幫助互

2、聯網用戶查詢信息的搜索工具，它以一定的策略在微博中搜集、發(fā)現信息，對信息進行理解、提取、組織和處理，并為用戶提供檢索服務和信息導航。
　　本課題的主要目的是設計面向微博的主題爬蟲程序，同時需要滿足性能和功能要求，考慮到微博爬蟲的不同需求，微博爬蟲應用寬度搜索技術，對URL進行分析，去重。微博爬蟲的實現使用多線程技術，使爬蟲具備更好的的抓取性能，并對網絡爬蟲的連接網絡設置連接及讀取時間進行設定，避免無限制的等待。為了適應不同需求