1、本論文的主題是機(jī)票實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，來源于公司大數(shù)據(jù)部的實(shí)際業(yè)務(wù)需求。該公司業(yè)務(wù)核心是訂購(gòu)機(jī)票服務(wù)，線上機(jī)票訂購(gòu)系統(tǒng)每天都會(huì)產(chǎn)生大量的交易數(shù)據(jù)，存儲(chǔ)在MySQL和日志文件中。由于分庫(kù)分表策略，機(jī)票交易數(shù)據(jù)分布在3500多個(gè)MySQL數(shù)據(jù)庫(kù)中，涉及近五萬(wàn)張表。本系統(tǒng)對(duì)大量的機(jī)票數(shù)據(jù)進(jìn)行實(shí)時(shí)的處理和展示，以滿足運(yùn)營(yíng)以及決策人員的數(shù)據(jù)查詢需求。
　　本系統(tǒng)分為四部分，分別為數(shù)據(jù)實(shí)時(shí)同步，數(shù)據(jù)處理，數(shù)據(jù)存儲(chǔ)以及數(shù)據(jù)展示。為了保

2、證數(shù)據(jù)采集的實(shí)時(shí)性，本系統(tǒng)使用Canal（基于MySQL Binlog的實(shí)時(shí)同步開源項(xiàng)目）來完成MySQL數(shù)據(jù)庫(kù)的實(shí)時(shí)數(shù)據(jù)同步功能。數(shù)據(jù)處理部分根據(jù)存儲(chǔ)和展示方式的不同，分為ElasticSearch（實(shí)時(shí)全文檢索引擎）處理程序，同構(gòu)數(shù)據(jù)處理程序，Storm(分布式流數(shù)據(jù)實(shí)時(shí)框架)實(shí)時(shí)處理程序三部分。ElasticSearch處理程序用于根據(jù)業(yè)務(wù)規(guī)則整合機(jī)票信息，將所有信息放入一張表，存儲(chǔ)到ElasticSearch中，用于大數(shù)據(jù)量的任

3、意字段的實(shí)時(shí)查詢。同構(gòu)數(shù)據(jù)處理部分根據(jù)分庫(kù)分表策略，將不同數(shù)據(jù)庫(kù)相同表名中的信息整合到同一張表中。全量數(shù)據(jù)存儲(chǔ)在HBase中，用于指定字段的實(shí)時(shí)查詢，不支持任意字段的實(shí)時(shí)查詢。同時(shí)，兩天內(nèi)的數(shù)據(jù)會(huì)存儲(chǔ)到MySQL，完成郵件報(bào)表等功能。Storm實(shí)時(shí)數(shù)據(jù)處理部分則實(shí)現(xiàn)了機(jī)票交易信息的實(shí)時(shí)看板功能，利用Storm的實(shí)時(shí)計(jì)算能力，對(duì)線上交易數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，通過折線圖，表格等方式實(shí)時(shí)地進(jìn)行結(jié)果展示。
　　在本系統(tǒng)之前，公司采用基于Hive的