1、自20世紀(jì)末以來，隨著互聯(lián)網(wǎng)的高速的發(fā)展，人們對(duì)網(wǎng)絡(luò)的需求越來越大。到目前為止，互聯(lián)網(wǎng)已經(jīng)成為人們生活中一個(gè)不可分割的部分，互聯(lián)網(wǎng)的用戶數(shù)量越來越大。在這樣的形式下，用戶每天在PC端和移動(dòng)端產(chǎn)生的用戶日志也在迅速增長(zhǎng)，現(xiàn)在已經(jīng)很難估量每天產(chǎn)生了多少用戶行為日志。這些日志中的信息量非常龐大，并且與我們每天的生活息息相關(guān)。
　　基于以上現(xiàn)狀，通過閱讀大量的參考文獻(xiàn)，以及對(duì)不同日志源進(jìn)行研究和分析，論文設(shè)計(jì)了一個(gè)基于海量日志的用戶屬性分

2、析系統(tǒng)。該系統(tǒng)主要包括：日志貫通模塊、日志預(yù)處理模塊、用戶自然屬性挖掘模塊、用戶app興趣挖掘模塊以及評(píng)估模塊。其中日志貫通模塊和日志預(yù)處理模塊將不同日志源的日志進(jìn)行聚合處理，為數(shù)據(jù)挖掘提供完整的數(shù)據(jù)；用戶屬性挖掘模塊是系統(tǒng)的核心；評(píng)估模塊是對(duì)挖掘效果的檢測(cè)。本文以數(shù)據(jù)的挖掘流程為思路，以海量日志為前提，以Hadoop為實(shí)驗(yàn)平臺(tái)，采用HDFS作為文件系統(tǒng)，采用MapReduce編程框架，采用HBase為數(shù)據(jù)庫實(shí)現(xiàn)了海量日志的用戶屬性挖掘