1、山東建筑大學(xué)山東建筑大學(xué)課程設(shè)計成果報告題目：基于Python的網(wǎng)絡(luò)爬蟲設(shè)計課程：計算機網(wǎng)絡(luò)A院（部）：管理工程學(xué)院專業(yè)：信息管理與信息系統(tǒng)班級：學(xué)生姓名：學(xué)號：指導(dǎo)教師：完成日期：01設(shè)計目的設(shè)計目的本課程設(shè)計是信息管理與信息系統(tǒng)專業(yè)重要的實踐性環(huán)節(jié)之一，是在學(xué)生學(xué)習(xí)完《計算機網(wǎng)絡(luò)》課程后進行的一次全面的綜合練習(xí)。本課程設(shè)計的目的和任務(wù)：1鞏固和加深學(xué)生對計算機網(wǎng)絡(luò)基本知識的理解和掌握；2培養(yǎng)學(xué)生進行對網(wǎng)絡(luò)規(guī)劃、管理及配置的能力或加深

2、對網(wǎng)絡(luò)協(xié)議體系結(jié)構(gòu)的理解或提高網(wǎng)絡(luò)編程能力；3提高學(xué)生進行技術(shù)總結(jié)和撰寫說明書的能力。2設(shè)計任務(wù)內(nèi)容設(shè)計任務(wù)內(nèi)容網(wǎng)絡(luò)爬蟲是從web中發(fā)現(xiàn)下載以及存儲內(nèi)容，是搜索引擎的核心部分。傳統(tǒng)爬蟲從一個或若干初始網(wǎng)頁的URL開始，獲得初始網(wǎng)頁上的URL，在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的URL放入隊列，直到滿足系統(tǒng)的一定停止條件。參照開放源碼分析網(wǎng)絡(luò)爬蟲實現(xiàn)方法，給出設(shè)計方案，畫出設(shè)計流程圖。選擇自己熟悉的開發(fā)環(huán)境，實現(xiàn)網(wǎng)絡(luò)爬蟲抓取頁面、

3、從而形成結(jié)構(gòu)化數(shù)據(jù)的基本功能，界面適當(dāng)美化。給出軟件測試結(jié)果。3網(wǎng)絡(luò)爬蟲程序總體設(shè)計網(wǎng)絡(luò)爬蟲程序總體設(shè)計在本爬蟲程序中共有三個模塊：1、爬蟲調(diào)度端：啟動爬蟲，停止爬蟲，監(jiān)視爬蟲的運行情況2、爬蟲模塊：包含三個小模塊，URL管理器、網(wǎng)頁下載器、網(wǎng)頁解析器。（1）URL管理器：對需要爬取的URL和已經(jīng)爬取過的URL進行管理，可以從URL管理器中取出一個待爬取的URL，傳遞給網(wǎng)頁下載器。（2）網(wǎng)頁下載器：網(wǎng)頁下載器將URL指定的網(wǎng)頁下載下來，