海量空間數(shù)據(jù)的分布式存儲查詢優(yōu)化.pdf_第1頁
已閱讀1頁,還剩63頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)

文檔簡介

1、位置服務(wù)基于用戶位置向用戶提供各類實時服務(wù),其既是一種重要的服務(wù)形態(tài),也是現(xiàn)實世界中諸多應(yīng)用的基礎(chǔ)。諸如基于位置的智慧旅游推薦、面向限定時空域的城市公共服務(wù)推送、商圈消費群體精準(zhǔn)實時定位等應(yīng)用,首先需要快速查詢出位置相關(guān)的空間區(qū)域?qū)ο?,進而采用快速的相似匹配計算來實現(xiàn)信息的實時推薦與推送。位置相關(guān)的空間對象查詢性能是保證實時性服務(wù)的重要影響因素。但空間對象的龐大規(guī)模和多樣化與查詢的連續(xù)性、高負(fù)載、實時性形成了一對矛盾,在海量空間對象的存

2、儲和訪問管理上提出了巨大挑戰(zhàn)。本文即針對位置相關(guān)服務(wù)的實時性需求,在海量空間對象的存儲與訪問優(yōu)化等方面展開深入研究。
  本文面向位置服務(wù)相關(guān)應(yīng)用中的空間對象查詢需求,針對空間對象的空間特征引入 GeoHash地理編碼系統(tǒng),并充分開采分布式內(nèi)存計算架構(gòu)的性能優(yōu)勢,設(shè)計了綜合鍵值對存儲結(jié)構(gòu)和列式存儲模式的分布式存儲模型以及空間對象范圍查詢模型。為進一步提升各類應(yīng)用的實時性響應(yīng)性能,本文基于分布式內(nèi)存計算架構(gòu)的大內(nèi)存和多核特征,設(shè)計了

3、分布式的多級索引結(jié)構(gòu),優(yōu)化了大規(guī)模空間對象的訪問性能,并從理論分析、實驗驗證兩個維度充分證明了提出模型的有效性和高效性。具體研究內(nèi)容與成果如下:
  首先,針對傳統(tǒng)數(shù)據(jù)庫和大數(shù)據(jù)計算平臺的處理模式差異,設(shè)計了大規(guī)模密集型的實驗來驗證二者在不同應(yīng)用和數(shù)據(jù)集上的性能表現(xiàn)。主要基于二者在處理架構(gòu)、存儲介質(zhì)以及查詢策略等方面的差異,分別設(shè)計實驗對索引、內(nèi)存、磁盤I/O等影響大規(guī)模數(shù)據(jù)處理性能的核心因素展開性能測評,進而基于性能表現(xiàn)綜合分析

4、各計算平臺對不同任務(wù)的適用性,為后續(xù)的大規(guī)模數(shù)據(jù)計算平臺選型和大規(guī)模數(shù)據(jù)的計算優(yōu)化提供了事實依據(jù)。
  其次,針對海量空間對象的存儲需求和實時性訪問約束,綜合分析了現(xiàn)有的分布式存儲系統(tǒng)的優(yōu)缺點,提出融合空間編碼技術(shù)和多版本數(shù)據(jù)的海量空間數(shù)據(jù)存儲模型。該模型采用 GeoHash編碼將二維空間對象轉(zhuǎn)換為一維字符串鍵值,進而與鍵值對存儲模式、列存儲模式融合設(shè)計了新型的底層數(shù)據(jù)存儲結(jié)構(gòu),能支持任意屬性的空間對象存儲和面向不同列族的查詢優(yōu)化

5、。同時,基于空間對象編碼提供的“空間相鄰性、編碼相似性”的特點,充分利用多版本數(shù)據(jù)的管理機制,提出了“高精度編碼,低精度存儲”的管理策略,并理論證明了編碼精度和查詢性能之間的影響關(guān)系。大量的實驗結(jié)果也表明所提出模型對海量空間對象具有很好的存儲可擴展性和查詢性能。
  最后,為進一步提升海量空間對象的實時性查詢響應(yīng),本文充分開采了分布式內(nèi)存計算平臺的性能優(yōu)勢,設(shè)計了基于分布式內(nèi)存的海量空間對象存儲模型和查詢優(yōu)化架構(gòu)。在充分利用 Ge

6、oHash編碼與鍵值對存儲模式的基礎(chǔ)上,本文充分兼顧內(nèi)存空間的隨機訪問特性和有效管理需求,設(shè)計了基于RDD結(jié)構(gòu)的空間對象內(nèi)存存儲模型,進而融合列式存儲的數(shù)據(jù)局部加載優(yōu)勢,優(yōu)化了不同應(yīng)用對數(shù)據(jù)的訪問性能,從硬件性能開采和存儲策略兩個角度最大化提升了空間對象的查詢性能。同時,基于分布式內(nèi)存環(huán)境設(shè)計了常駐內(nèi)存的字典樹索引結(jié)構(gòu),實現(xiàn)了高效的分布式查詢架構(gòu)。大量的實驗結(jié)果表明,該內(nèi)存存儲模型在保證數(shù)據(jù)存儲可擴展性的基礎(chǔ)上,面對不同的查詢負(fù)載更好地

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論