1、Cloudera Impala是一個開源的大數(shù)據(jù)實時查詢系統(tǒng)。Impala使用HDFS作為底層存儲管理器。HDFS會對文件進行分塊，并為每個塊創(chuàng)建多個副本。數(shù)據(jù)多副本可提高系統(tǒng)的容錯性能，并能提供負載均衡。然而，數(shù)據(jù)多副本條件下的查詢處理并行調度將變得更加復雜。Impala的并行調度包括兩步:副本選擇和執(zhí)行節(jié)點選擇。在副本選擇的過程中，Impala未考慮通信代價和集群負載，可能延長響應時間。針對現(xiàn)有的查詢處理并行調度方法存在未考慮數(shù)據(jù)多

2、副本的問題，本文提出了基于副本選擇的大數(shù)據(jù)實時查詢處理并行調度方法。該方法將所有查詢分為單表查詢和多表查詢兩類:若是單表查詢，則首先根據(jù)數(shù)據(jù)分布構造流網(wǎng)絡，然后使用SRPushRelabelBinary算法選擇副本，最后選擇執(zhí)行節(jié)點;若是多表查詢，則結合代價模型搜索近似最優(yōu)調度策略。本文定義查詢處理的代價為從查詢開始處理時刻到預估所有連接操作完成時刻的時間間隔。其包括讀磁盤操作的執(zhí)行時間、選擇操作的執(zhí)行時間、網(wǎng)絡傳輸?shù)臅r間和連接操作的執(zhí)