1、文本挖掘就是從非結(jié)構(gòu)化的文本數(shù)據(jù)中獲取用戶關(guān)心和有價值的信息的過程。作為數(shù)據(jù)挖掘中一個重要的研究方向，文本挖掘已經(jīng)被廣泛地應(yīng)用到搜索、分類、推薦系統(tǒng)、輿情和觀點挖掘等多個領(lǐng)域。隨著互聯(lián)網(wǎng)上信息爆炸式的增長，海量數(shù)據(jù)的處理成為了當(dāng)今的熱點也是難點，單一服務(wù)器在多數(shù)情況下已不能滿足海量數(shù)據(jù)處理的需要，所以分布式計算是未來的發(fā)展趨勢。而云計算又是分布式處理、并行計算以及網(wǎng)格計算的發(fā)展和延續(xù)，并發(fā)與分布是云計算的關(guān)鍵技術(shù)，海量數(shù)據(jù)處理和海量計算

2、是云計算的優(yōu)勢。在文本挖掘領(lǐng)域中，同樣面臨著海量數(shù)據(jù)處理的問題，所以把云計算與文本挖掘結(jié)合起來處理海量文本數(shù)據(jù)是十分有意義的。
　　本文正是以此為出發(fā)點，首先簡單介紹了文本挖掘、云計算的相關(guān)概念和關(guān)鍵技術(shù)，對Hadoop云計算平臺及MapReduce編程模式進(jìn)行了詳細(xì)說明，著重對中文分詞、新詞識別、最短距離算法進(jìn)行描述并提出了此三種算法基于Hadoop平臺的MapReduce解決方案。通過搭建Hadoop實驗平臺，編程實現(xiàn)三種改進(jìn)