1、北京譜儀Ⅲ(BESⅢ)高能物理實(shí)驗(yàn)每年產(chǎn)生PB量級的實(shí)驗(yàn)數(shù)據(jù)，實(shí)驗(yàn)人員需要對海量數(shù)據(jù)進(jìn)行處理和分析。為此，BESⅢ實(shí)驗(yàn)于2011年開始聯(lián)合多個合作單位構(gòu)建統(tǒng)一的分布式計算平臺，以應(yīng)對大數(shù)據(jù)量對存儲資源和計算資源提出的挑戰(zhàn)。對于大規(guī)模的網(wǎng)格系統(tǒng)，需要有效的記錄和分析資源的使用情況，提高資源使用效率。網(wǎng)格記賬系統(tǒng)是記錄網(wǎng)格環(huán)境下資源使用情況的系統(tǒng)，對于BESⅢ分布式計算平臺記賬系統(tǒng)來說，它的作用不僅僅是測量和記錄網(wǎng)格環(huán)境中各種操作的資源消耗

2、情況，還包括對這些信息進(jìn)行有效的分析和使用。本文主要對BESⅢ分布式計算平臺記賬系統(tǒng)的設(shè)計和實(shí)現(xiàn)進(jìn)行了研究。主要的研究內(nèi)容如下:
　　(1)對記賬系統(tǒng)的功能模塊設(shè)計進(jìn)行研究。在信息收集模塊的設(shè)計上，針對傳統(tǒng)的日志解析框架帶來的記賬延遲問題，提出了一種及時記賬框架，實(shí)現(xiàn)快速記賬;在存儲模塊的設(shè)計上，以MongoDB為基礎(chǔ)，反范式化數(shù)據(jù)建模，采用復(fù)合片鍵對數(shù)據(jù)進(jìn)行分片，提高系統(tǒng)可擴(kuò)展性，并通過副本集策略提高系統(tǒng)可用性。
　　(2

3、)對統(tǒng)計查詢的實(shí)時響應(yīng)問題進(jìn)行研究。對用戶查詢請求進(jìn)行了分析，提出了一種基于動態(tài)時間窗口的數(shù)據(jù)壓縮算法。該算法可以根據(jù)數(shù)據(jù)存在時間的不同對數(shù)據(jù)進(jìn)行不同程度的壓縮預(yù)處理，在保留必要信息的基礎(chǔ)上，極大地壓縮了數(shù)據(jù)量并減小了計算量，使統(tǒng)計查詢的效率大大提升。
　　(3)對記賬系統(tǒng)進(jìn)行整體實(shí)現(xiàn)。搭建了MongoDB集群作為系統(tǒng)底層存儲平臺;基于matplotlib設(shè)計實(shí)現(xiàn)了繪圖類，提高用戶查詢結(jié)果展示的豐富性?；趓unit機(jī)制實(shí)現(xiàn)了服務(wù)