1、隨著信息化的發(fā)展，數(shù)據(jù)已經(jīng)成為企業(yè)賴以生存和發(fā)展的根本。近年來(lái)，企業(yè)數(shù)據(jù)量呈現(xiàn)出爆炸式增長(zhǎng)的趨勢(shì)，許多行業(yè)的數(shù)據(jù)量已經(jīng)從GB、TB發(fā)展到PB甚至EB級(jí)別，這在銀行和電子商務(wù)類型的企業(yè)中表現(xiàn)尤為明顯，對(duì)于這些企業(yè)，數(shù)據(jù)已經(jīng)等同于財(cái)富。為了防止因數(shù)據(jù)丟失而導(dǎo)致的業(yè)務(wù)癱瘓，越來(lái)越多的企業(yè)開(kāi)始建立自己的災(zāi)難備份系統(tǒng)。然而如此巨大的數(shù)據(jù)量如果靠簡(jiǎn)單的數(shù)據(jù)復(fù)制方式進(jìn)行全部備份，則會(huì)對(duì)存儲(chǔ)空間和網(wǎng)絡(luò)資源造成嚴(yán)重的負(fù)擔(dān)。為了在資源利用最優(yōu)化的前提下建立

2、企業(yè)災(zāi)備系統(tǒng)，重復(fù)數(shù)據(jù)消除這一概念應(yīng)運(yùn)而生。
　　重復(fù)數(shù)據(jù)消除的關(guān)鍵在于消冗算法的高效，高效的消冗算法可以達(dá)到較高的壓縮比。目前主流的重復(fù)數(shù)據(jù)消除算法有整文件消冗、固定分塊大小消冗、基于內(nèi)容的分塊消冗。消冗粒度越小，效果越好，但是內(nèi)存及磁盤(pán)管理消耗也越大。
　　本文著重研究基于內(nèi)容的消冗算法，并在此基礎(chǔ)上提出了兩個(gè)改進(jìn)算法MBasedSWC和MBasedSWC-Varsize，以及與之結(jié)合的消冗存儲(chǔ)模型FSBSM。新提出的改

3、進(jìn)算法根據(jù)實(shí)際應(yīng)用中文件版本間重復(fù)數(shù)據(jù)大多連續(xù)出現(xiàn)的情況，采用了預(yù)分塊與子分塊合并策略，旨在保證算法良好壓縮率的前提下，解決基于內(nèi)容的分塊算法塊大小波動(dòng)較大的問(wèn)題。該算法同時(shí)也避免了同類算法使用內(nèi)存磁盤(pán)消耗換取壓縮率的情況，達(dá)到了平衡算法各項(xiàng)性能的目的。而與之結(jié)合的FSBSM消冗存儲(chǔ)模型，通過(guò)文件相似度判斷、雙層存儲(chǔ)結(jié)構(gòu)以及節(jié)點(diǎn)選擇策略，使得重復(fù)數(shù)據(jù)消除技術(shù)能夠在網(wǎng)絡(luò)集群環(huán)境中發(fā)揮最大的價(jià)值。
　　最后本文結(jié)合上述理論研究，設(shè)計(jì)并