1、隨著互聯(lián)網、移動互聯(lián)網和信息技術的更新和發(fā)展,企業(yè)越來越意識到信息的載體-數據對于企業(yè)發(fā)展所起到的決定性作用。進入大數據時代,數據的爆炸式增長使得重復數據刪除技術受到包括學術界和商業(yè)領域越來越多的關注。去重率是具有重復數據刪除功能的存儲系統(tǒng)必須考慮的一個重要因素。因為是基于文件的相似性,索引方式Extreme Binning有可能會因為文件之間缺乏相似性而導致不能識別和消除大量重復數據。數據碎片是重復數據刪除系統(tǒng)中另一個急需解決的問題,

2、它會影響系統(tǒng)的讀性能,導致重復數據刪除系統(tǒng)的恢復性能不好。
　　為了進一步提升去重率,設計并實現(xiàn)了一種新的索引方式-Segment Index,不同于Extreme Binning,Segment Index基于段的相似性,而不是傳統(tǒng)的文件相似性,因此能夠更好地挖掘數據塊之間的相似性,從而在消耗更少系統(tǒng)負載的前提下提供更高的去重率。為了解決重復數據刪除系統(tǒng)帶來的數據塊碎片問題,設計并實現(xiàn)了一種重寫策略-CFL(Chunk Frag