1、近年來,信息處理技術(shù)的應(yīng)用領(lǐng)域得到了很大的拓展,如金融應(yīng)用、電子商務(wù)、網(wǎng)絡(luò)監(jiān)控和實(shí)時(shí)分析等。在這些應(yīng)用中,靜態(tài)的關(guān)系數(shù)據(jù)已經(jīng)不能滿足人們的需要。在處理現(xiàn)實(shí)世界的實(shí)時(shí)事件中,如何實(shí)現(xiàn)連續(xù)、快速、穩(wěn)定和低延時(shí)的數(shù)據(jù)流處理成為目前的研究熱點(diǎn)之一。而作為分布式系統(tǒng)關(guān)鍵技術(shù)的容錯(cuò)機(jī)制和負(fù)載管理技術(shù),對分布式數(shù)據(jù)流處理系統(tǒng)的性能起著十分重要的作用。因此,本文重點(diǎn)研究了分布式流處理系統(tǒng)中的關(guān)鍵技術(shù):(1)容錯(cuò)機(jī)制,(2)負(fù)載管理技術(shù)。
　　

2、為了改進(jìn)現(xiàn)有的分布式數(shù)據(jù)流處理系統(tǒng)中的容錯(cuò)機(jī)制,本文設(shè)計(jì)了一種基于自適應(yīng)修復(fù)和節(jié)點(diǎn)復(fù)制的方法(Self-Recovery and Replication—based Backup,簡稱SRRB),來實(shí)現(xiàn)快速、穩(wěn)定的數(shù)據(jù)流處理。基于SRRB修復(fù)機(jī)制的數(shù)據(jù)流處理系統(tǒng)通過使用節(jié)點(diǎn)復(fù)制機(jī)制,利用對等節(jié)點(diǎn)并行向下游節(jié)點(diǎn)發(fā)送數(shù)據(jù),使下游節(jié)點(diǎn)能夠使用最先到達(dá)該節(jié)點(diǎn)的輸入數(shù)據(jù),來提高數(shù)據(jù)流的傳輸速度。同時(shí),SRRB通過使用自適應(yīng)修復(fù)機(jī)制,實(shí)現(xiàn)了操作算子

3、之間的通信穩(wěn)定和提高了系統(tǒng)的容錯(cuò)性能。其次為了平衡網(wǎng)絡(luò)開銷和低延時(shí)保障,提出用中心節(jié)點(diǎn)算法選擇后備節(jié)點(diǎn)。
　　 為了改進(jìn)現(xiàn)有的分布式數(shù)據(jù)流處理系統(tǒng)中的負(fù)載平衡技術(shù),本文首先設(shè)計(jì)了一種基于裝箱模型的經(jīng)濟(jì)型操作算子分布策略(Economical Operator Distribution,簡稱EOD),在考慮服務(wù)器的CPU處理能力的同時(shí)引入帶寬約束條件,并將它們轉(zhuǎn)化為數(shù)學(xué)模型中的優(yōu)化問題來求解。其次設(shè)計(jì)了超操作算子(Super Op

4、erator,簡稱SO),解決系統(tǒng)在初始化時(shí)實(shí)現(xiàn)多級操作算子的負(fù)載平衡,提高了分布式數(shù)據(jù)流處理系統(tǒng)整體的穩(wěn)定性。再次提出了基于染色裝箱模型的染色超操作算子(ColorSuper-Operator,簡稱CSO)方法,把“同級”操作算子分配在不同的服務(wù)器上,增強(qiáng)系統(tǒng)的容錯(cuò)處理能力。同時(shí)充分利用基于超操作算子和染色裝箱模型的降載技術(shù),避免輸入數(shù)據(jù)流突變或波動(dòng)對系統(tǒng)造成的影響,保證了高質(zhì)量的查詢結(jié)果。
　　 最后綜合上述方案設(shè)計(jì)了一種經(jīng)