1、云平臺技術的快速發(fā)展使人們越來越關注大數據(Big data)。如果想要分析大型數據集就需要通過像Hadoop中的并行計算模型MapReduce那樣的框架為成百、成千甚至上萬臺電腦分配工作,所以大數據分析通常會和云平臺緊密的結合在一起。從技術上來講,大數據與云計算的關系可以描述為一枚硬幣的正反兩面那樣密不可分。很顯然,大數據是無法用單臺計算機來進行處理,而是必須要采用分布式計算架構。這個架構最大的特色就是能夠對海量數據進行分析,但是只有

2、依靠云計算技術中的分布式數據庫技術、分布式處理技術、云存儲技術以及虛擬化技術才能夠實現(xiàn)這個架構。
　　隨著云計算技術的發(fā)展,開源云平臺Hadoop顯然已成世界上最重要的云計算技術之一,Hadoop中的并行計算模型MapReduce也應用在分布式計算中。此框架對海量數據進行分割然后分配到多個節(jié)點上,接著對每一個節(jié)點進行并行計算,將得出的結果歸并后進行輸出。下一階段計算的輸入就是上一階段計算的輸出,因此可以想象到一個與樹狀結構類似的分

3、布式計算結構,在每一個不同階段都會產出不同的結果,同時在分布式集群的資源下并行和串行進行結合的計算也可以很好地得以高效的處理。
　　對ARGO海洋環(huán)境觀測數據進行分析,有利于保護海洋環(huán)境和預防海洋氣候災害,與此同時ARGO海洋環(huán)境觀測數據也屬于典型的大數據,但ARGO數據分析軟件很少。所以本文針對ARGO海洋環(huán)境觀測數據數據量大、離散分布等特點,為了能夠高效的研究ARGO海洋環(huán)境觀測數據,我們需要將ARGO海洋環(huán)境觀測數據的分布與

4、其它空間現(xiàn)象分布模式進行比較,也就是說我們需要將離散分布的ARGO海洋環(huán)境觀測數據轉換成為連續(xù)的數據曲面,因此本文主要工作是研究基于Hadoop平臺來對ARGO海洋環(huán)境觀測數據進行插值與檢索。由于采用不同的方法進行插值會產生不同的計算效率,本文主要實現(xiàn)了兩種插值方法:一種方法是通過分布式計算模型MapReduce的Map過程對ARGO海洋環(huán)境觀測數據區(qū)域分塊,在Reduce過程中,計算每個ARGO數據點的近鄰點,然后分別對每一塊的ARG

5、O海洋環(huán)境觀測數據分別進行插值計算,從而得出插值后連續(xù)的數據曲面。由于采用這種方法會對一個ARGO海洋環(huán)境觀測數據區(qū)域中的所有點進行檢索,就需要遍歷整個ARGO海洋環(huán)境觀測數據區(qū)域中的所有點,但是對于像ARGO海洋環(huán)境觀測數據這種大量記錄,很顯然這種方法檢索效率很低,因此提出了第二種方法:在第一種方法的基礎之上進行改進,通過KD樹近鄰算法找到每個塊的每個數據的近鄰點來建立索引表,然后直接根據索引表來計算插值,這種方法減少了搜索點的數量,