1、隨著互聯(lián)網(wǎng)的快速發(fā)展，越來越多的傳統(tǒng)行業(yè)開始與互聯(lián)網(wǎng)產(chǎn)業(yè)相結(jié)合。傳統(tǒng)的教育模式，可以為學生提供良好的現(xiàn)場反饋，但是也存在著諸多問題，比如上課時間、地點的局限性，課程的內(nèi)容的可選性差以及教師的專業(yè)水平參差不齊等等。線上教育在這些方面具有獨特的優(yōu)勢，可以為學生提供量身定做的課程學習內(nèi)容。因此，在線教育也成為了如今互聯(lián)網(wǎng)產(chǎn)業(yè)中蓬勃發(fā)展的行業(yè)。在線上教育中，尤其是英文線上教育方面，優(yōu)質(zhì)的教育資源是吸引學生的一個重要內(nèi)容。如何獲取高質(zhì)量的學習資源

2、是一個難題，而網(wǎng)絡爬蟲很好的解決了這個難題。
　　本論文來源于實際工程項目——智課網(wǎng)在線教育平臺，通過網(wǎng)絡爬蟲的方式，對互聯(lián)網(wǎng)上開源的英文教育資源的獲取，并對這些資源進行整合，從而得到具有特色的、高質(zhì)量的英文教育資源。首先，筆者參與了對獲取英文單詞相關(guān)數(shù)據(jù)，用戶練習題目等方面的需求分析以及后臺題庫展示的原型界面設(shè)計。其次，在設(shè)計與實現(xiàn)階段，筆者獨立完成了網(wǎng)絡爬蟲模塊、題庫生成模塊、Web平臺模塊的設(shè)計和開發(fā)。在測試階段，筆者獨立完

3、成了所有平臺的功能測試和單元模塊測試。本文使用了基于Python的Grab網(wǎng)絡爬蟲框架和Flask平臺框架，結(jié)合了通用網(wǎng)絡爬蟲、主題網(wǎng)絡爬蟲以及深層次網(wǎng)絡爬蟲等不同的網(wǎng)絡爬蟲手段以及網(wǎng)絡爬蟲算法，完成了對互聯(lián)網(wǎng)上開源英文教育資源的獲取，并通過數(shù)據(jù)的規(guī)范化處理和題庫的生成，最終得到了具有特色的英文學習資料和學習題庫，向用戶提供了高質(zhì)量的英文在線學習平臺。
　　目前，該項目正在處于試運行階段，筆者所負責的模塊獲取的數(shù)據(jù)準確，提供的題型