1、隨著科技的進步以及網(wǎng)絡(luò)的普及,人們的日常工作、生活會產(chǎn)生海量的數(shù)據(jù)信息。如何高效的挖掘這些海量數(shù)據(jù)信息的隱藏信息，是企業(yè)、政府機構(gòu)未來發(fā)展的關(guān)鍵，這就需要大數(shù)據(jù)分析技術(shù)。大數(shù)據(jù)分析的前提是如何高效的存儲和查詢這些數(shù)據(jù)信息。在分布式存儲系統(tǒng)中，為了提高大數(shù)據(jù)分析效率，必須提高存儲系統(tǒng)的訪問效率。
　　本文的應(yīng)用場景是基于在數(shù)據(jù)類型確定，數(shù)據(jù)文件的內(nèi)容特點明確，數(shù)據(jù)文件內(nèi)容大小不確定，但是大部分文件較小且用戶對于數(shù)據(jù)訪問的需求特別高。

2、本文針對這一應(yīng)用場景，提出了結(jié)合工程實踐的解決方案。
　　本文針對結(jié)構(gòu)化的大數(shù)據(jù)模型，提出了1種類文件系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)進行數(shù)據(jù)存儲，通過建立數(shù)據(jù)存儲單元、數(shù)據(jù)文件、數(shù)據(jù)頁、數(shù)據(jù)行、數(shù)據(jù)字段等多級存儲結(jié)構(gòu)，實現(xiàn)數(shù)據(jù)的層次存儲，同時該存儲結(jié)構(gòu)通過建立多級索引文件來提高查詢效率。該模型支持行存儲與列存儲模式和數(shù)據(jù)壓縮。用戶可以自主選擇壓縮模式。針對該模型，本文給出了對應(yīng)的存儲算法。在此基礎(chǔ)上，為了精確管理存儲過程中的內(nèi)存開銷，本文引入了固