![](https://static.zsdocx.com/FlexPaper/FileRoot/2019-8/27/15/c2914adc-cc30-4e18-9783-dce5225e60b4/c2914adc-cc30-4e18-9783-dce5225e60b4pic.jpg)
![fourinone和hadoop的綜合對比_第1頁](https://static.zsdocx.com/FlexPaper/FileRoot/2019-8/27/15/c2914adc-cc30-4e18-9783-dce5225e60b4/c2914adc-cc30-4e18-9783-dce5225e60b41.gif)
版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、fourinone1.11.09hadoop0.21.0體積82K71M依賴關系就一個jar沒有依賴約12項jar包依賴配置就一個配置文件較多配置文件和復雜屬性集群搭建簡單,每臺機器放一個jar和配置文件復雜,需要linux操作基礎和ssh等復雜配置,還需要較多配置文件配置計算模式提供兩種計算模式:包工頭和工人直接交互方式,包工頭和工人通過消息中樞方式交互,后者不需要工人節(jié)點可直接訪問計算更多傾向于文件數據的并行讀取,而非計算過程的設計
2、。JobTracke跟TaskTracker直接交互,查詢NameNode后,TaskTracker直接從Datanode獲取數據。并行模式NN,支持單機并行,也支持多機并行,多機多實例并行1N,不支持單機并行,只支持多機單實例并行內存方式支持內存方式設計和開發(fā)應用,并內置完整的分布式緩存功能以hdfs文件方式進行數據處理,內存方式計算支持很弱文件方式自帶文件適配器處理ioHdfs處理文件io計算數據要求任意數據格式和任意數據來源,包括
3、來自數據庫,分布式文件,分布式緩存等Hdfs內的文件數據,多傾向于帶換行符的數據調度角色包工頭,可以有多個,支持鏈式處理,也支持大包工頭對小包工頭的調度JobTracke,通常與NameNode一起任務執(zhí)行角色農民工,框架支持設計多種類型的工人用于拆分或者合并任務TaskTracker,通常與Datanode一起中間結果數據保存手工倉庫,或者其他任意數據庫存儲設備Hdfs中間結果文件拆分策略自由設計,框架提供鏈式處理對于大的業(yè)務場景進行
4、環(huán)節(jié)拆分數據的存儲和計算拆分根據業(yè)務場景自定義以64m為拆分進行存儲,以行為拆分進行計算實現map接口,按行處理數據進行計算合并策略自由設計,框架提供農民工節(jié)點之間的合并接口,可以互相交互設計合并策略,也可以通過包工頭進行合并TaskTracker不透明,較少提供程序控制,合并策略設計復雜實現reduce接口進行中間數據合并邏輯實現內存耗用無需要制定JVM內存,按默認即可,根據計算要求考慮是否增加JVM內存需要制定JVM內存,每個進程默
5、認1G,常常namenode,jobtracker等啟動3個進程,耗用3G內存監(jiān)控框架提供多環(huán)節(jié)鏈式處理設計支持監(jiān)控過程,通過可編程的監(jiān)控輸出較多的系統(tǒng)監(jiān)控log,如map和reduce百分比等,但是Fourinone和hadoop運行wdcount的對比測試(平均4核4g配置,輸入數據為文件):fourinone1.11.09(n4)fourinone1.11.09(n1)hadoop0.21.0(n1)3臺機器256M4s12s72
6、s3臺機器512M7s30s140s3臺機器1G14s50s279s19臺機器1G21s60s289s10臺機器2G29s5臺機器4G60sN4說明:Fourinone可以充分利用單機并行能力,4核計算機可以4個并行實例計算,hadoop目前只能N1;另外,可以由上圖看出,如果要完成20g的數據,實際上fourinone只需要使用5臺機器用60秒完成,比使用19臺機器完成19g的hadoop節(jié)省了14臺機器,并提前了200多秒方式,給于
7、業(yè)務開發(fā)方最大靈活的監(jiān)控需求實現,為追求高性能不輸出大量系統(tǒng)監(jiān)控log會犧牲性能,業(yè)務監(jiān)控需要自己實現打包部署腳本工具上傳jar包到jobtracker機器平臺支撐支持跨平臺,windows支持良好多傾向于支持linux,Windows支持不佳,需要模擬linux環(huán)境,并且建議只用于開發(fā)學習其他協(xié)同一致性、分布式緩存、通訊隊列等跟分布式計算關系密切的功能支持不支持總結:Hadoop并不是為了追求一個并行計算的框架而設計,提供快捷和靈活的
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- fourinone源代碼分析
- Hadoop云平臺綜合優(yōu)化.pdf
- 基于云計算Hadoop平臺的綜合單價預測研究.pdf
- Hadoop框架的擴展和性能調優(yōu).pdf
- hadoop安裝 hadoop+thrift+hive
- hadoop小文件處理技術的研究和實現
- Hadoop小文件處理技術的研究和實現.pdf
- 《橋梁》和《發(fā)展?jié)h語》中級綜合教程對比分析.pdf
- 基于hadoop 的數據存儲系統(tǒng)的分析和設計
- Hadoop系統(tǒng)中調度算法的研究和改進.pdf
- 基于Hadoop的作業(yè)調度算法的研究和改進.pdf
- hadoop題庫
- 綜合收支與上年對比
- 基于Hadoop和Mahout的菜品推薦系統(tǒng)的研究和實現.pdf
- hadoop的安裝、配置
- 基于Hadoop和Hama平臺的并行算法研究.pdf
- 基于hadoop和mapnik的矢量數據渲染技術研究
- 基于Hadoop的數字大棚云系統(tǒng)的設計和實現.pdf
- 基于Hadoop的基礎教育資源的存儲和處理.pdf
- 相關教材目錄對比說明提供武漢版《科學》綜合教材和
評論
0/150
提交評論