1、互聯(lián)網(wǎng)的快速發(fā)展對交易系統(tǒng)的要求越來越高,低延遲和高可用性已經(jīng)成為衡量一個交易系統(tǒng)的重要指標(biāo)。交易系統(tǒng)不僅需要滿足數(shù)據(jù)的一致性和完整性,而且還要考慮交易延遲對用戶體驗的重要影響。同時,交易系統(tǒng)對數(shù)據(jù)的實時分析也是 IT廠商關(guān)注的重點問題。如何對海量的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)做實時分析,如何保證交易數(shù)據(jù)的穩(wěn)定性,是大數(shù)據(jù)時代的共同挑戰(zhàn)。
　　本文先介紹交易系統(tǒng)延遲相關(guān)的各個技術(shù):網(wǎng)絡(luò)技術(shù)、聯(lián)機事務(wù)處理系統(tǒng)和聯(lián)機分析處理系統(tǒng)。網(wǎng)絡(luò)技術(shù)

2、中重點對比了萬兆以太網(wǎng)和 Infiniband,萬兆以太網(wǎng)是應(yīng)用于高層網(wǎng)絡(luò)通信(比如TCP/IP)的技術(shù),傳輸距離很遠(yuǎn),而InfiniBand傳輸距離很近,是用于底層輸入/輸出通信的技術(shù),可用來提高服務(wù)器端輸入/輸出的性能。交易系統(tǒng)是典型的聯(lián)機事務(wù)處理系統(tǒng),聯(lián)機事務(wù)處理系統(tǒng)也稱為實時系統(tǒng),因為它的重要特點就是快速響應(yīng)客戶請求,即實時性高。響應(yīng)時間就是衡量一個聯(lián)機事務(wù)處理系統(tǒng)的重要指標(biāo)。交易產(chǎn)生的數(shù)據(jù)處理,是基于一個分布式系統(tǒng)上的數(shù)據(jù)管理

3、技術(shù),也稱為聯(lián)系分析處理技術(shù),在云計算和大數(shù)據(jù)快速發(fā)展的今天,Hadoop成為主流的框架平臺。而Google在2010年發(fā)布新的信息查詢技術(shù)Dremel,可以實現(xiàn)3秒內(nèi)查詢1PB數(shù)據(jù)。
　　針對實時交易系統(tǒng)和實時數(shù)據(jù)處理系統(tǒng),本文設(shè)計了整體的系統(tǒng)框架,并針對各個模塊進(jìn)行了詳細(xì)的介紹。在實時交易系統(tǒng)中,重點解決系統(tǒng)的低延遲和容錯能力,提出了基于Paxos算法的內(nèi)存復(fù)制解決方案。在實時數(shù)據(jù)處理系統(tǒng)中,運用Hadoop架構(gòu)技術(shù)進(jìn)行部署,

4、Hadoop是一個在大型集群設(shè)備上部署分布式系統(tǒng)的應(yīng)用框架,由 HDFS和MapReduce兩部分組成;同時介紹了最新的數(shù)據(jù)處理技術(shù)Dremel,可對存儲在HDFS內(nèi)和MapReduce產(chǎn)生的結(jié)果集進(jìn)行處理。系統(tǒng)整體部署中用到的核心技術(shù)有Paxos算法,Hadoop架構(gòu)技術(shù)和Dremel數(shù)據(jù)處理技術(shù)。由于Hadoop架構(gòu)技術(shù)比較成熟,只對其做了簡單的闡述,Dremel數(shù)據(jù)處理技術(shù)中,詳細(xì)地介紹了它的工作原理和優(yōu)勢。重點介紹核心的Paxo