1、隨著電子商務(wù)的蓬勃發(fā)展，與國際貿(mào)易相關(guān)的各種數(shù)據(jù)也呈井噴式的增長。為了解決國際貿(mào)易中的若干關(guān)鍵技術(shù)問題，本文設(shè)計了基于云計算的分布式處理框架來滿足項目對海量數(shù)據(jù)的存儲管理、災(zāi)難備份、信息服務(wù)的質(zhì)量保證、業(yè)務(wù)信息的高效率統(tǒng)計以及電子單證轉(zhuǎn)換各方面的要求。該設(shè)計方案充分利用了大規(guī)模集群計算機的存儲、計算資源，而且可以方便、低代價的對集群進行擴展，為國際貿(mào)易企業(yè)間的合作與信息交互建立良好的技術(shù)支撐。
　　本文所設(shè)計的分布式處理框架采用層

2、次式的架構(gòu)，自底向上分別是硬件資源管理層、業(yè)務(wù)邏輯層、用戶交互層。三層之間彼此獨立，由下層向上層提供功能調(diào)用接口，每一層內(nèi)部的變化不會對其他層產(chǎn)生影響，可以很方便的對框架進行改進和擴展。硬件資源管理層采用了云計算開源框架Hadoop對集群的硬件資源進行管理；業(yè)務(wù)邏輯層采用了Spring開源框架技術(shù)和MapReduce編程模式，利用底層提供的接口實現(xiàn)了用戶管理、文件管理、業(yè)務(wù)信息統(tǒng)計、電子單證轉(zhuǎn)換、編程接口調(diào)用等業(yè)務(wù)功能；用戶交互層采用S

3、truts2架構(gòu)結(jié)合多種Web前端技術(shù)搭建，負責集群與用戶的交互，根據(jù)用戶請求調(diào)用相應(yīng)的業(yè)務(wù)層功能模塊完成用戶請求。
　　針對項目多用戶、短作業(yè)較多的需求，對MapReduce編程模型的作業(yè)調(diào)度方式進行了深入的研究。通過大量的實驗和對已有作業(yè)調(diào)度算法的研究分析，結(jié)合項目本身特點，設(shè)計了兩級隊列期限驅(qū)動的作業(yè)調(diào)度算法。該算法將作業(yè)隊列分為長作業(yè)隊列和短作業(yè)隊列，更好的滿足了短作業(yè)隊列的需求，避免了長作業(yè)長期占用集群資源的弊端，并在一

4、定程度上實現(xiàn)了作業(yè)的并行運行，提高了集群的資源利用率。通過給作業(yè)設(shè)置最后執(zhí)行期限，讓到達執(zhí)行期限的作業(yè)被賦予最高的優(yōu)先級優(yōu)先處理，并能獲得更多的集群資源分配，很好的滿足了用戶實時性的需求。通過將暫時不能被分配到持有該任務(wù)數(shù)據(jù)的節(jié)點資源的任務(wù)延遲一段時間執(zhí)行，更好的實現(xiàn)了數(shù)據(jù)本地化，提高了集群的執(zhí)行效率。
　　最后，對本文所做的優(yōu)化和改進進行了大量的實驗驗證和比對。首先證實了通過參數(shù)的合理配置有效的提升了框架的性能，然后證實了本文所