1、隨著大數(shù)據(jù)量計(jì)算技術(shù)的發(fā)展，基于數(shù)據(jù)處理的應(yīng)用受到廣泛關(guān)注，而數(shù)據(jù)源的結(jié)構(gòu)也顯示出多樣化的趨勢(shì)，這些數(shù)據(jù)中不僅有傳統(tǒng)的非實(shí)時(shí)的、靜態(tài)結(jié)構(gòu)化數(shù)據(jù)，還有很多實(shí)時(shí)的、動(dòng)態(tài)產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)流。這類連續(xù)到達(dá)的非結(jié)構(gòu)化數(shù)據(jù)序列，它們的輸入率、輸入量和來(lái)源都在不斷變化，很難準(zhǔn)確預(yù)測(cè)。面對(duì)龐大變化的海量數(shù)據(jù)流，要獲取流數(shù)據(jù)中攜帶的重要信息，實(shí)時(shí)地進(jìn)行復(fù)雜計(jì)算，依靠傳統(tǒng)的分布式計(jì)算模式很難實(shí)現(xiàn)。這就促使本文對(duì)分布式流數(shù)據(jù)實(shí)時(shí)計(jì)算這一新的計(jì)算模式展開深入

2、研究。
　　 目前，國(guó)內(nèi)外針對(duì)分布式流數(shù)據(jù)實(shí)時(shí)計(jì)算框架的研究仍在起步階段，尚沒(méi)有一個(gè)成熟的產(chǎn)品。因此，作者在深入分析流數(shù)據(jù)處理應(yīng)用需求的情況下，設(shè)計(jì)并實(shí)現(xiàn)了完整的分布式流數(shù)據(jù)實(shí)時(shí)計(jì)算框架iStream，對(duì)框架性能的關(guān)鍵性因素—負(fù)載均衡做了深入的研究和優(yōu)化。經(jīng)過(guò)實(shí)驗(yàn)和性能測(cè)試，證明該框架可以根據(jù)實(shí)際應(yīng)用場(chǎng)景進(jìn)行靈活的定制，并具有良好的實(shí)時(shí)性和可擴(kuò)展性。本文的主要研究?jī)?nèi)容和成果如下:
　　 (1)對(duì)分布式計(jì)算框架中幾個(gè)關(guān)鍵技

3、術(shù)進(jìn)行了研究，結(jié)合數(shù)據(jù)流形式的多樣化和數(shù)據(jù)流應(yīng)用場(chǎng)景的多樣化的特點(diǎn)，本文實(shí)現(xiàn)和設(shè)計(jì)了一個(gè)不針對(duì)任何特定場(chǎng)景，可以解決多種復(fù)雜計(jì)算的分布式流數(shù)據(jù)實(shí)時(shí)計(jì)算平臺(tái)iStream，它具有很強(qiáng)通用性和可擴(kuò)展性，顯著提高了第三方開發(fā)人員的開發(fā)效率。
　　 (2)為了增加吞吐量、加強(qiáng)數(shù)據(jù)處理能力、提高計(jì)算節(jié)點(diǎn)集群的靈活性和可用性，研究了動(dòng)態(tài)調(diào)度技術(shù)以及負(fù)載均衡算法，提出了使用時(shí)間序列預(yù)測(cè)算法解決并行計(jì)算中的任務(wù)調(diào)度這—NP-完全問(wèn)題，并通過(guò)改進(jìn)

4、模型化AR模型評(píng)估算法來(lái)處理非平穩(wěn)數(shù)據(jù)序列，使得程序更有效率，預(yù)測(cè)更精準(zhǔn)，并可適用于流數(shù)據(jù)這類不能用簡(jiǎn)單的分段模型表示的數(shù)據(jù)源，同時(shí)保證了動(dòng)態(tài)負(fù)載均衡算法的性能。
　　 (3)系統(tǒng)框架的設(shè)計(jì)與實(shí)現(xiàn)。在研究了并行計(jì)算中主流編程模型，諸如MapReduce等模型的基礎(chǔ)上，將改進(jìn)的發(fā)布—訂閱者模型用到iStream框架中，并分析比較了多種主流的分布式進(jìn)程通信方式，解決了高并發(fā)實(shí)時(shí)處理，分布式系統(tǒng)數(shù)據(jù)通信安全和自適應(yīng)調(diào)整等分布式系統(tǒng)中的