1、在因特網(wǎng)高速發(fā)展、上網(wǎng)人群急劇增長的今天，對(duì)于那些提供網(wǎng)絡(luò)服務(wù)的互聯(lián)網(wǎng)公司來說，每天都會(huì)有海量的信息需要處理，用以分析出用戶的需求、各種產(chǎn)品的效果等，往往某些數(shù)據(jù)分析都會(huì)有時(shí)間上的要求。對(duì)于現(xiàn)實(shí)中存儲(chǔ)空間和處理時(shí)間的需求，傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)已很難滿足。本文的主要目的是構(gòu)建一個(gè)成本較低的分布式海量數(shù)據(jù)處理系統(tǒng)來存儲(chǔ)和處理這些數(shù)據(jù)。
　　 本文在分析現(xiàn)有分布式計(jì)算和存儲(chǔ)等關(guān)鍵技術(shù)基礎(chǔ)上，結(jié)合對(duì)Hadoop云計(jì)算技術(shù)的研究和校園網(wǎng)實(shí)際軟

2、硬件條件，為滿足自身的業(yè)務(wù)需求，提出了一種基于云計(jì)算技術(shù)的數(shù)據(jù)處理模型，并從數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)、系統(tǒng)模塊化、程序流程化和編程技術(shù)平臺(tái)等方面研究該模型的開發(fā)方法，最后將該模型應(yīng)用于分布式海量數(shù)據(jù)搜索引擎。經(jīng)過以上研究得知，Hadoop云計(jì)算平臺(tái)的可靠性、高效性、可伸縮性滿足了分布式搜索引擎的技術(shù)需求，因此本文選用Hadoop系統(tǒng)作為該應(yīng)用系統(tǒng)的分布式計(jì)算平臺(tái)。本文對(duì)傳統(tǒng)搜索引擎中爬行、索引、搜索過程中的每一步驟進(jìn)行詳細(xì)分析，并改進(jìn)了其功能模塊，

3、將非順序執(zhí)行的步驟分解為兩個(gè)子任務(wù):數(shù)據(jù)計(jì)算任務(wù)及數(shù)據(jù)合并任務(wù)。同時(shí)，應(yīng)用MapReduce編程思想，把所有數(shù)據(jù)計(jì)算任務(wù)都封裝到Map函數(shù)中，把所有數(shù)據(jù)合并任務(wù)都封裝到Reduce函數(shù)中。研究工作主要在于將改進(jìn)的搜索引擎系統(tǒng)部署在廉價(jià)計(jì)算機(jī)構(gòu)成的Hadoop云計(jì)算環(huán)境中，使之具有較快的響應(yīng)速度、較高的可靠性及擴(kuò)展性。本文的主要特點(diǎn)是將經(jīng)研究提出的模型與實(shí)際應(yīng)用業(yè)務(wù)相結(jié)合，利用前沿的分布式框架技術(shù)較好地滿足了項(xiàng)目需求，并將該模型部署到實(shí)際