1、編號：碩士學位論文碩士學位論文題目：基于云計算的粗糙集屬性約簡的研究培養(yǎng)單位：科信軟件學院專業(yè)名稱：計算機應用技術(shù)指導教師：劉天華研究生：李朋完成時間：2015.02沈陽師范大學研究生處制類別全日制研究生教育碩士同等學力I基于云計算的粗糙集屬性約簡的研究中文摘要粗糙集理論(RoughSet)在上世紀末由歐洲著名的學者PawlakZ，作為一種對進行數(shù)據(jù)分析和處理工具首次被概括歸納推出，它是一種用于描述具有不確定性、含糊性較高的數(shù)據(jù)的數(shù)學工

2、具，已被用于很多方向的研究。例如，規(guī)則發(fā)現(xiàn)、序列模式發(fā)掘、文本數(shù)據(jù)分析、圖像數(shù)據(jù)分析等。由于粗糙集可在保持分類決策能力不變的前提下，不需要額外提供所處理數(shù)據(jù)的任何先驗信息，就能有效地分析出各種不精確的、不一致的、不完整的等各種不完備信息。粗糙集還可以對數(shù)據(jù)進行分析和推理，從其中挖掘出隱含在的屬性間的依賴關(guān)系、重要性、導出簡練的決策規(guī)則和分類規(guī)則?；诖植诩膶傩约s簡在數(shù)據(jù)分析處理的相關(guān)領(lǐng)域里有著不可磨滅的重要作用，因此關(guān)于它的學習和研究

3、漸漸地成為一個全球性的焦點話題。隨著大數(shù)據(jù)時代的腳步漸漸地臨近，我們所面臨的信息數(shù)據(jù)越來越豐富，這不僅僅表現(xiàn)在數(shù)據(jù)量上，還表現(xiàn)在數(shù)據(jù)維度上。在單機上的數(shù)據(jù)處理知識挖掘平臺已經(jīng)無法滿足大數(shù)據(jù)時代對大量樣本的儲存以及處理的工作。云計算相關(guān)概念技術(shù)的出現(xiàn)為海量異構(gòu)數(shù)據(jù)的存儲、知識分析挖掘的難題給出了有效的應對方法，分布式處理系統(tǒng)和并行編程框架，是云計算相關(guān)理論中重中之重的概念。本文在具體地描述了開源云平臺Hadoop和并行編程模型的同時，基于

4、并行編程模型對粗糙集屬性約簡在云環(huán)境下進行分析實現(xiàn)。本文的主要工作如下：基于云平臺Hadoop設(shè)計了一個數(shù)據(jù)分析的框架。這個框架采用BS模式提供了Web頁面形式的交互頁面，使用者根據(jù)自己的要求，來提交相應的樣本數(shù)據(jù)的分析和處理。Server端依據(jù)收到的任務，然后生成一系列相應的Hive命令，再之后將生成的Hive命令生成對應一系列MapReduce任務。Master節(jié)點根據(jù)相應的命令，對slaver節(jié)點產(chǎn)生相應的調(diào)度分配，將數(shù)據(jù)分析處理

5、的任務放到云端執(zhí)行。最后將分析處理后的結(jié)果數(shù)據(jù)匯總呈現(xiàn)用戶。通過樣本數(shù)的測試和根據(jù)對實驗結(jié)果觀察，本文設(shè)計的框架對海量異構(gòu)數(shù)據(jù)的分析挖掘工作有較高的效率。通過對并行算法的平均時間復雜性的分析，并行編程模型在很多程度上降低了算法的復雜性。通過樣本集的逐步變大，對數(shù)據(jù)集的處理時間變化接近線性變化。為了進一步對本算效率，我們在程序執(zhí)行過程中使用了Combiner，在本地對map過程的輸出做優(yōu)化降低輸出量，進而減少了Reduce過程的輸入量。最