1、隨著在線存儲需求量的增長,各大云存儲公司開始計費模式的探索,只有付費才能獲得更好的服務(wù),免費的云存儲空間已經(jīng)不能滿足用戶的需求,云存儲的成本問題已經(jīng)開始影響用戶的工作生活。針對上述問題,提出了一種基于云存儲的重復(fù)數(shù)據(jù)刪除文件系統(tǒng)。
　　該系統(tǒng)是一個具有云存儲增量同步的用戶端文件系統(tǒng),采用重復(fù)數(shù)據(jù)刪除技術(shù),自動將用戶的本地數(shù)據(jù)無冗余上傳到云端。系統(tǒng)由六個模塊構(gòu)成,用戶接口模塊接收從Fuse內(nèi)核空間傳遞過來的系統(tǒng)請求,調(diào)用相關(guān)模塊完成

2、響應(yīng)。云端同步模塊利用云存儲開放接口,配合系統(tǒng)各模塊進(jìn)行本地與云端數(shù)據(jù)同步。文件管理模塊從云端獲取文件列表,建立文件索引節(jié)點,對文件進(jìn)行組織管理。文件操作模塊處理系統(tǒng)讀寫請求。數(shù)據(jù)重刪模塊在源端進(jìn)行重復(fù)數(shù)據(jù)刪除,該模塊采用基于內(nèi)容的變長切分算法,使用一個長度固定的滑動窗口對文件數(shù)據(jù)計算指紋,如果指紋模一個特定的整數(shù)等于預(yù)定的數(shù)值,就把窗口位置作為塊的邊界,若出現(xiàn)指紋相同的塊則認(rèn)為重復(fù)。將去重后的文件和記錄數(shù)據(jù)塊信息的元數(shù)據(jù)表上傳到云端。