1、離線數(shù)據(jù)和業(yè)務(wù)量的急劇增長使得傳統(tǒng)數(shù)據(jù)庫技術(shù)及單純基于Hadoop的分布式計(jì)算方法需耗費(fèi)巨大開銷，且報(bào)表查詢頁面等待時(shí)間長，嚴(yán)重影響用戶的體驗(yàn)。
　　本文提出一種基于Hadoop和Hive的離線數(shù)據(jù)處理方法，采用Java定時(shí)任務(wù)觸發(fā)處理作業(yè)的啟動(dòng)，利用不同作業(yè)對(duì)實(shí)時(shí)性要求的差異，將運(yùn)行時(shí)間分散到不同時(shí)間段，實(shí)現(xiàn)系統(tǒng)性能的平衡。首先將每種離線數(shù)據(jù)的處理均視為一個(gè)作業(yè)，每個(gè)作業(yè)又被分為若干個(gè)子任務(wù);作業(yè)依據(jù)其標(biāo)識(shí)、啟動(dòng)時(shí)間、循環(huán)間隔等

2、信息由Java定時(shí)任務(wù)觸發(fā);定時(shí)任務(wù)每分鐘查詢待啟動(dòng)的作業(yè)，并根據(jù)不同的作業(yè)類型，進(jìn)入到相應(yīng)的執(zhí)行流程。提出復(fù)雜報(bào)表數(shù)據(jù)統(tǒng)計(jì)作業(yè)的多維度統(tǒng)計(jì)方法;抽象出作業(yè)執(zhí)行流程較為相似的各個(gè)子任務(wù)模板，提高可復(fù)用性。
　　將所提出方法應(yīng)用于能力開放平臺(tái)，實(shí)例結(jié)果表明該方法可減少離線冗余數(shù)據(jù)的空間消耗;通過預(yù)測(cè)用戶欺詐行為，可提高對(duì)消費(fèi)者權(quán)益的保障;報(bào)表數(shù)據(jù)的多維度統(tǒng)計(jì)結(jié)果拆分，可大大縮短報(bào)表查詢的時(shí)間開銷;通過減少頁面等待時(shí)間提高了用戶體驗(yàn)。