1、近年來，諸多大數(shù)據(jù)環(huán)境下的應(yīng)用呈現(xiàn)數(shù)據(jù)多源并發(fā)、數(shù)據(jù)聚合、在線實(shí)時(shí)處理的特征。原本承載著海量數(shù)據(jù)處理任務(wù)的Hadoop MapReduce計(jì)算框架，在實(shí)時(shí)數(shù)據(jù)處理方面，存在響應(yīng)時(shí)間和及時(shí)性方面的諸多限制。這促進(jìn)了實(shí)時(shí)數(shù)據(jù)處理相關(guān)技術(shù)的迅速發(fā)展，實(shí)時(shí)計(jì)算成為了目前大數(shù)據(jù)領(lǐng)域的研究熱點(diǎn)。
　　Storm作為應(yīng)用于實(shí)時(shí)數(shù)據(jù)處理領(lǐng)域的大數(shù)據(jù)處理工具，可以簡單可靠地處理大量數(shù)據(jù)流，具有廣泛的應(yīng)用場景，國內(nèi)外很多企業(yè)都在研究和構(gòu)建基于Stor

2、m的實(shí)時(shí)計(jì)算系統(tǒng)。但是早期的Storm集群中，Nimbus節(jié)點(diǎn)只有一個(gè)，存在分布式系統(tǒng)中的單點(diǎn)故障問題，降低了集群的可用性，很難保證對外提供持續(xù)不間斷的服務(wù)。而且在現(xiàn)如今的實(shí)際生產(chǎn)環(huán)境中，集群版本和業(yè)務(wù)類型復(fù)雜多樣，Storm自身又缺少完整的監(jiān)控運(yùn)維系統(tǒng)，如果不能及時(shí)發(fā)現(xiàn)異常情況，將給企業(yè)和用戶造成難以預(yù)計(jì)的損失。如何避免損失，實(shí)現(xiàn)Storm集群的高可用性，成為企業(yè)不得不面臨的一個(gè)重要問題。
　　本文首先研究了實(shí)時(shí)計(jì)算系統(tǒng)Stor

3、m，詳細(xì)分析了Storm的工作原理、作業(yè)提交處理流程以及各個(gè)節(jié)點(diǎn)的工作機(jī)制。針對Nimbus的單點(diǎn)故障問題，進(jìn)一步分析了分布式協(xié)調(diào)系統(tǒng)Zookeeper，對其體系結(jié)構(gòu)、數(shù)據(jù)模型、ZAB協(xié)議以及典型的應(yīng)用場景進(jìn)行了深入的研究。在此基礎(chǔ)上，分析探討一種基于Zookeeper的實(shí)現(xiàn)單個(gè)Storm集群自動(dòng)故障切換的高可用性解決方案，并從領(lǐng)導(dǎo)選舉與故障轉(zhuǎn)移、Topology代碼共享存儲、客戶端與Nimbus通信等方面進(jìn)行了詳細(xì)的闡述。結(jié)合當(dāng)前企業(yè)

4、的多集群工作環(huán)境，提出一種基于Zookeeper的多集群Storm高可用性解決方案，集群間提供冗余機(jī)制，當(dāng)一個(gè)集群整體故障時(shí)可以快速把拓?fù)溥w移到其他集群。通過制定計(jì)劃任務(wù)和實(shí)現(xiàn)實(shí)時(shí)報(bào)警服務(wù)完善監(jiān)控運(yùn)維模塊，實(shí)時(shí)監(jiān)控集群狀況和拓?fù)溥\(yùn)行狀態(tài)，保證集群的高效穩(wěn)定。
　　最后，通過搭建實(shí)驗(yàn)環(huán)境對高可用性解決方案進(jìn)行測試，驗(yàn)證了該方案的可行性和有效性。實(shí)驗(yàn)結(jié)果表明，該方案能夠及時(shí)發(fā)現(xiàn)定位問題并完成故障恢復(fù)工作，提高了Storm集群的可用性。