版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、隨著數(shù)據(jù)量的指數(shù)式增長(zhǎng),傳統(tǒng)集中式存儲(chǔ)已經(jīng)不能滿(mǎn)足業(yè)務(wù)需要。與集中式存儲(chǔ)不同,分布式存儲(chǔ)通過(guò)網(wǎng)絡(luò)將每臺(tái)普通計(jì)算機(jī)的存儲(chǔ)資源統(tǒng)一管理起來(lái)并整合成一個(gè)能通過(guò)互聯(lián)網(wǎng)以存儲(chǔ)接口的形式對(duì)外提供存儲(chǔ)服務(wù)的虛擬存儲(chǔ)設(shè)備,因此擁有極強(qiáng)的可用性、可擴(kuò)展性。Ceph是一種基于對(duì)象存儲(chǔ)的分布式存儲(chǔ)系統(tǒng)。由于采用了對(duì)象存儲(chǔ)的方式,其數(shù)據(jù)處理過(guò)程高度并行化,通過(guò)添加普通服務(wù)器至集群,Ceph可輕松將存儲(chǔ)規(guī)模擴(kuò)展至PB級(jí),而作為核心算法之一的CRUSH(Contr
2、olled Replication Under Scalable Hashing)能動(dòng)態(tài)計(jì)算數(shù)據(jù)存儲(chǔ)位置,實(shí)現(xiàn)了元數(shù)據(jù)服務(wù)器的功能,使之成為了一個(gè)沒(méi)有單點(diǎn)故障的系統(tǒng)。但是CRUSH算法并沒(méi)有考慮到不同網(wǎng)絡(luò)狀況下的存儲(chǔ)效率問(wèn)題,并且CRUSH算法中默認(rèn)使用的StrawBucker存儲(chǔ)類(lèi)型并不適用于大量的查詢(xún)操作的使用環(huán)境,而其中的Treebucket類(lèi)型在數(shù)據(jù)遷移時(shí),遷移量過(guò)大。針對(duì)這些缺陷,本文做了如下工作:
1.Ceph默認(rèn)
3、采用的Primary-Replica模型來(lái)進(jìn)行讀寫(xiě)操作,這將會(huì)導(dǎo)致系統(tǒng)在進(jìn)行寫(xiě)操作時(shí)出現(xiàn)瓶頸效應(yīng),而且節(jié)點(diǎn)的權(quán)重僅與存儲(chǔ)容量有關(guān),沒(méi)有考慮網(wǎng)絡(luò)延時(shí)對(duì)存儲(chǔ)性能的影響。本文針對(duì)這一問(wèn)題提出了基于網(wǎng)絡(luò)延時(shí)的CEPH存儲(chǔ)性能優(yōu)化方法。該方法可以在節(jié)點(diǎn)網(wǎng)絡(luò)狀況不佳時(shí)動(dòng)態(tài)調(diào)整節(jié)點(diǎn)權(quán)重,控制流入該節(jié)點(diǎn)的數(shù)據(jù)量,使數(shù)據(jù)較大概率存入網(wǎng)絡(luò)時(shí)延小的節(jié)點(diǎn),達(dá)到提升系統(tǒng)性能的目的。
2.Ceph中的各節(jié)點(diǎn)都必須在同一個(gè)網(wǎng)段內(nèi),當(dāng)某一臺(tái)服務(wù)器被攻陷后,很
4、有可能所有的服務(wù)器都被攻陷,數(shù)據(jù)的安全性得不到有效保障。對(duì)此本文考慮了數(shù)據(jù)需要安全存放、保護(hù)用戶(hù)隱私等多方面原因,設(shè)計(jì)并初步實(shí)現(xiàn)了一個(gè)面向多個(gè)云中心的分布式存儲(chǔ)系統(tǒng)。數(shù)據(jù)文件通過(guò)本系統(tǒng)可以將文件分散存儲(chǔ)至多個(gè)云中心,以此保證某一云中心被攻破后并不能還原成一個(gè)完整的文件。并且針對(duì)節(jié)點(diǎn)失效時(shí)數(shù)據(jù)的遷移效率問(wèn)題研究了兩種存儲(chǔ)拓?fù)錁?gòu)建及容災(zāi)方案,能分別提升數(shù)據(jù)遷移速度和減少遷移量:
(1)基于云中心的雙層拓?fù)錁?gòu)建方案。
普通
5、數(shù)據(jù)中心通常采用樹(shù)狀的層次結(jié)構(gòu)來(lái)描述存儲(chǔ)拓?fù)?,多副本模式下,源?shù)據(jù)與備份數(shù)據(jù)被存儲(chǔ)在不同的葉子節(jié)點(diǎn)內(nèi),節(jié)點(diǎn)失效時(shí)數(shù)據(jù)將在任意葉子節(jié)點(diǎn)內(nèi)進(jìn)行遷移。而在面向多個(gè)云的存儲(chǔ)環(huán)境下,源數(shù)據(jù)與備份數(shù)據(jù)將有可能存儲(chǔ)在不同的云中心中,節(jié)點(diǎn)失效時(shí)的數(shù)據(jù)遷移路徑將可能跨過(guò)多個(gè)云,此時(shí)的遷移效率主要取決于互聯(lián)網(wǎng)帶寬影響。為提升多云環(huán)境下節(jié)點(diǎn)失效時(shí)的數(shù)據(jù)遷移效率,本文提出了一種基于云中心的雙層拓?fù)錁?gòu)建方案并實(shí)現(xiàn)了初步的原型,當(dāng)節(jié)點(diǎn)失效時(shí)數(shù)據(jù)不會(huì)跨云進(jìn)行數(shù)據(jù)遷移
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 鉆井?dāng)?shù)據(jù)分布式存儲(chǔ)系統(tǒng)設(shè)計(jì).pdf
- 分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)再生策略研究.pdf
- 分布式共享存儲(chǔ)系統(tǒng)
- 基于Swift分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)同步與存儲(chǔ)研究.pdf
- 錢(qián)塘分布式文件存儲(chǔ)系統(tǒng)性能優(yōu)化.pdf
- 分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)訪問(wèn)子系統(tǒng)研究及實(shí)現(xiàn).pdf
- Bigtable分布式存儲(chǔ)系統(tǒng)的研究.pdf
- 基于分布式對(duì)象存儲(chǔ)系統(tǒng)的數(shù)據(jù)自毀研究
- HSChord網(wǎng)絡(luò)分布式安全協(xié)作存儲(chǔ)系統(tǒng)研究.pdf
- 分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)重構(gòu)優(yōu)化算法.pdf
- 面向分布式IDS的海量數(shù)據(jù)存儲(chǔ)系統(tǒng).pdf
- 分布式數(shù)據(jù)共享存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn).pdf
- 網(wǎng)絡(luò)編碼分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)重建研究.pdf
- 分布式小數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于Ceph分布式存儲(chǔ)系統(tǒng)的性能優(yōu)化研究.pdf
- 分布式異構(gòu)元數(shù)據(jù)存儲(chǔ)系統(tǒng)負(fù)載均衡的研究.pdf
- 分布式安全存儲(chǔ)系統(tǒng)密鑰管理研究與實(shí)現(xiàn).pdf
- 分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于分布式對(duì)象存儲(chǔ)系統(tǒng)的數(shù)據(jù)自毀研究.pdf
- 分布式網(wǎng)絡(luò)數(shù)據(jù)包索引存儲(chǔ)系統(tǒng)研究.pdf
評(píng)論
0/150
提交評(píng)論