版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、在當(dāng)今社會(huì),伴隨著社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)等技術(shù)的普及,全球數(shù)據(jù)信息正以指數(shù)級(jí)的速度爆炸性增長。而數(shù)據(jù)的存儲(chǔ)量也由TB、P B到EB、ZB甚至YB不斷擴(kuò)大。然而,在人們的生活工作中,來自自然環(huán)境破壞、網(wǎng)絡(luò)病毒感染、人為操作失誤等不良因素會(huì)導(dǎo)致數(shù)據(jù)的丟失,將會(huì)對企業(yè)和社會(huì)造成無法挽救的損失。過去采用文件三副本的方法來保證數(shù)據(jù)的安全性。但是,隨著數(shù)據(jù)指數(shù)級(jí)的增長,采用三副本需要大量的存儲(chǔ)空間,需要大量的存儲(chǔ)開銷。因此,采用三副本的容災(zāi)系統(tǒng)已
2、經(jīng)不能完全滿足系統(tǒng)容錯(cuò)需求與存儲(chǔ)效率需要。糾刪碼是一種前向錯(cuò)誤糾正技術(shù)和編碼容錯(cuò)技術(shù),作為存儲(chǔ)系統(tǒng)容錯(cuò)的主要方法越來越受到重視。
本文研究基于RS糾刪碼的云存儲(chǔ)容災(zāi)系統(tǒng),主要工作包括以下幾個(gè)方面:
1.首先,本文提出了一種掃描冷數(shù)據(jù)技術(shù),能夠定期的掃描出文件系統(tǒng)中的冷數(shù)據(jù)文件。求出系統(tǒng)中所有文件的平均熱度,如果某文件的被訪問次數(shù)與沒有被訪問的時(shí)間間隔的比值小于平均熱度,該文件視為冷數(shù)據(jù)。
2.然后,本系統(tǒng)利
3、用現(xiàn)有的RS糾刪碼技術(shù),提出了一種可降低存儲(chǔ)成本的容災(zāi)備份方案。保留HDFS中冷數(shù)據(jù)的一個(gè)副本,刪除冷數(shù)據(jù)的剩余副本,編碼冷數(shù)據(jù)生成校驗(yàn)塊。當(dāng)需要讀取冷數(shù)據(jù)的時(shí)候,如果數(shù)據(jù)發(fā)生丟失,利用冗余數(shù)據(jù)譯碼出原始冷數(shù)據(jù);如果冷數(shù)據(jù)被訪問了,冷數(shù)據(jù)變成了熱數(shù)據(jù),此時(shí),刪除冷數(shù)據(jù)的冗余數(shù)據(jù),重新為冷數(shù)據(jù)文件增添兩個(gè)副本。
3.最后,本文設(shè)計(jì)了一個(gè)云存儲(chǔ)系統(tǒng)架構(gòu)并實(shí)現(xiàn)了系統(tǒng)容災(zāi)功能。用戶在Web界面上能方便的對文件進(jìn)行操作,包括上傳文件、下
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于Pyramid糾刪碼的云存儲(chǔ)容災(zāi)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于糾刪碼的高性能云存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 用于容災(zāi)系統(tǒng)的糾刪碼技術(shù)研究.pdf
- 基于糾刪碼的云存儲(chǔ)容錯(cuò)技術(shù)研究.pdf
- 基于糾刪碼的分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于糾刪碼的云文件系統(tǒng)設(shè)計(jì)與優(yōu)化.pdf
- 基于RS糾刪碼的數(shù)據(jù)安全存儲(chǔ)與安全刪除方法研究.pdf
- 集群VoD系統(tǒng)中基于糾刪碼的存儲(chǔ)策略研究與實(shí)現(xiàn).pdf
- 基于CUDA的糾刪碼設(shè)計(jì)與實(shí)現(xiàn).pdf
- 云存儲(chǔ)系統(tǒng)中基于糾刪碼的容錯(cuò)技術(shù)研究.pdf
- 基于RS糾刪碼的數(shù)據(jù)冗余策略.pdf
- 基于RS碼的分布式容災(zāi)系統(tǒng)的研究.pdf
- 基于糾刪碼的分布式存儲(chǔ)系統(tǒng)中編碼算法的研究與實(shí)現(xiàn).pdf
- 糾刪碼在網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中的實(shí)現(xiàn)與可靠性仿真.pdf
- 安全存儲(chǔ)系統(tǒng)中糾刪碼技術(shù)研究.pdf
- 基于糾刪碼的分布式分層存儲(chǔ)系統(tǒng)研究.pdf
- 基于糾刪碼技術(shù)的HD_EC文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 糾刪碼存儲(chǔ)系統(tǒng)中性能優(yōu)化技術(shù)研究.pdf
- 面向糾刪碼存儲(chǔ)集群的離線歸檔優(yōu)化研究.pdf
- 基于糾刪碼存儲(chǔ)的數(shù)據(jù)維護(hù)關(guān)鍵技術(shù)研究.pdf
評論
0/150
提交評論