1、隨著時代的發(fā)展，大數(shù)據(jù)的出現(xiàn)給流查詢系統(tǒng)的研究帶來了一些新的挑戰(zhàn)。首先，早期流數(shù)據(jù)查詢系統(tǒng)多為集中式處理系統(tǒng)，即數(shù)據(jù)在單一節(jié)點上進行運算分析，單節(jié)點資源有限，存在性能瓶頸，數(shù)據(jù)量過大后將大幅增大數(shù)據(jù)處理的延時，降低數(shù)據(jù)處理的性能和準確度。同時，隨著大數(shù)據(jù)與云計算時代的到來，數(shù)據(jù)流的計算在分布式環(huán)境中完成，數(shù)據(jù)在不同的節(jié)點運算，結(jié)果不能共享，對流連接運算有著一定的影響。由于需要連接的流數(shù)據(jù)之間存在連接關系，若將需要連接的流數(shù)據(jù)被分發(fā)到不同

2、的節(jié)點中，則需要跨節(jié)點查找數(shù)據(jù)，帶來了巨大的網(wǎng)絡開銷；再者，流數(shù)據(jù)是無限的，數(shù)據(jù)流的連接需要將數(shù)據(jù)緩存后進行運算，這帶來了巨大的內(nèi)存開銷，而傳統(tǒng)的流查詢系統(tǒng)在內(nèi)存負荷過高時將數(shù)據(jù)隨機拋棄，導致查詢結(jié)果誤差變大，因此如何在有限的內(nèi)存中完成連接操作并保證輸出結(jié)果的準確性，成為了當前的研究熱點。最后，過大的數(shù)據(jù)必然會給系統(tǒng)帶來壓力，當系統(tǒng)過載時隨機拋棄數(shù)據(jù)會降低結(jié)果的精確性。
　　本文對以上的問題進行了深入的研究與分析，充分調(diào)研了流數(shù)據(jù)

3、管理系統(tǒng)和大數(shù)據(jù)處理平臺，基于流數(shù)據(jù)處理平臺storm設計了一種新的用戶處理連續(xù)查詢的實時查詢框架，并針對storm集群重新設計了分組算子、聚合算子、過濾算子等查詢中常用功能算子，使傳統(tǒng)的流查詢算子能夠在分布式環(huán)境中對流數(shù)據(jù)進行正確高效地計算。
　　針對其中較為復雜的流連接算子進行重點研究，提出了一種基于關系模型的等值多流連接算法RMS-Join(Relationship Multiway Streams-Join)，該算法首先通

4、過計算流連接的代價模型，用于減小數(shù)據(jù)分發(fā)和數(shù)據(jù)連接操作的總體開銷，然后通過設置主鍵分發(fā)數(shù)據(jù)，保證需要連接的數(shù)據(jù)在同一個節(jié)點進行計算，最后通過關系樹模型連接和降載數(shù)據(jù)。相比于傳統(tǒng)的多流連接算法，RMS-join算法有效地提高了數(shù)據(jù)進行連接操作時的效率與準確度。
　　最后，本論文針對大數(shù)據(jù)環(huán)境下數(shù)據(jù)多樣性、數(shù)據(jù)量巨大的問題，提出了一種局部自適應降載數(shù)據(jù)的方法。該方法通過在數(shù)據(jù)流傳入系統(tǒng)前將超過系統(tǒng)所能處理的數(shù)據(jù)了基于DTW(Dynam