1、隨著數(shù)據(jù)和業(yè)務的復雜化，查詢滿足條件的數(shù)據(jù)也會越來越復雜，當向分布式數(shù)據(jù)源查詢信息時，編程人員需要了解各種數(shù)據(jù)的存儲位置，存儲方式和存儲結(jié)構(gòu)，需要調(diào)用很多接口來獲取相關數(shù)據(jù)。這通常需要花費大量的編程精力，并要求編程人員對數(shù)據(jù)接口具有較高的熟悉程度。如果能夠向程序員提供統(tǒng)一的數(shù)據(jù)編程接口，屏蔽后端存取細節(jié)，將大大地提高程序員的編程效率。
　　本課題研究了一種基于元數(shù)據(jù)的分布式查詢方法，運用元數(shù)據(jù)定義和管理各數(shù)據(jù)源關鍵信息的虛擬表。然

2、后針對數(shù)據(jù)量級的不同，設計了小數(shù)據(jù)和大數(shù)據(jù)這兩種不同的查詢以及優(yōu)化方案。在小數(shù)據(jù)查詢方面，利用虛擬表、語法分析樹和內(nèi)存數(shù)據(jù)庫實現(xiàn)小數(shù)據(jù)查詢，通過復制、移動和分割虛擬SQL查詢語法樹分支進行優(yōu)化。在大數(shù)據(jù)查詢方面，運用Pig、Hadoop、python來實現(xiàn)大數(shù)據(jù)查詢;通過優(yōu)化Pig代碼，使用多進程處理HDFS的小文件合并及文件上傳下載，對高頻業(yè)務建立索引等來實現(xiàn)大數(shù)據(jù)的優(yōu)化。
　　利用元數(shù)據(jù)信息構(gòu)建虛擬表，實現(xiàn)對分布式數(shù)據(jù)源的統(tǒng)一

3、查詢;利用LEMON語法解析器對用戶提交的針對虛擬表的SQL語句進行語法分析和語法檢測。在小數(shù)據(jù)查詢方面，利用語法樹進行語義優(yōu)化;利用內(nèi)存數(shù)據(jù)庫實現(xiàn)多數(shù)據(jù)源結(jié)果集合并。在大數(shù)據(jù)查詢方面，利用Pig腳本提交任務;Hadoop實現(xiàn)分布式計算和查詢;通過多進程處理HDFS小文件的合并以及文件的上傳下載來減少NameNode節(jié)點的負載，提升上傳下載的速度;對高頻業(yè)務建立索引，能快速查找數(shù)據(jù)，減少數(shù)據(jù)加載量實現(xiàn)了數(shù)據(jù)查詢的優(yōu)化，達到了優(yōu)化目的。<