1、隨著科技的迅猛發(fā)展，走在科技前沿的航空航天領域產(chǎn)生的數(shù)據(jù)量正在以指數(shù)級飛速增長，其處理速度方面面臨著巨大挑戰(zhàn)。課題研究初期，面對數(shù)百GB的二進制試驗數(shù)據(jù)，采用MapReduce并行計算框架實現(xiàn)的多機多線程進行解析計算，其性能遠遠超越了傳統(tǒng)的單機多線程方式的處理能力，很大程度上解決了長時間延遲短板。但是，采用MapReduce仍然存在著以下問題：耗費大量非必要時間提前將完整二進制數(shù)據(jù)上傳至分布式文件系統(tǒng)HDFS；計算結(jié)果數(shù)據(jù)無法實時展示；

2、面對規(guī)模列表數(shù)據(jù)的計算，采用的仍是單機多線程從HDFS上取數(shù)據(jù)再計算并緩存的方法，具有較大的性能局限性。
　　本文首先從架構(gòu)方面進行改進。設計基于Kafka、Spark Streaming、Redis分布式架構(gòu)，進行實時數(shù)據(jù)采集、實時解析計算以及實時緩存。數(shù)據(jù)采集由三部分組成，分別是消息隊列、消息數(shù)據(jù)的生產(chǎn)者與消費者，其中生產(chǎn)者是分布在不同試驗場區(qū)的數(shù)據(jù)采集點。采用Kafka消息隊列實現(xiàn)各試驗子系統(tǒng)間高速、低延遲的大規(guī)模數(shù)據(jù)采集，

3、降低系統(tǒng)之間的組網(wǎng)復雜度；實時解析計算引擎 Spark Streaming作為消息隊列的消費者，將從不同試驗場區(qū)采集到的二進制數(shù)據(jù)作為解析計算引擎的輸入，將流式數(shù)據(jù)按照每2秒一個間隔為單位劃分成一段一段的數(shù)據(jù)，并將每段數(shù)據(jù)轉(zhuǎn)換成解析計算引擎能夠使用的彈性分布式數(shù)據(jù)集（RDD， Resilient Distributed Dataset），然后將解析計算引擎中對流式數(shù)據(jù)的處理轉(zhuǎn)換為Spark能夠進行解析計算的數(shù)據(jù)集的操作，經(jīng)過解析計算，將

4、計算結(jié)果保存到非關系型內(nèi)存數(shù)據(jù)庫Redis中；使用Redis實現(xiàn)計算結(jié)果的快速緩存，避免數(shù)據(jù)寫入到硬盤，為計算結(jié)果的實時展示提供保障。其次在提出整個分布式系統(tǒng)架構(gòu)的基礎上，對數(shù)據(jù)采集和解析計算的性能進行分析與調(diào)優(yōu)。通過采用Topic多分區(qū)（Parititon）、緩存發(fā)送數(shù)據(jù)并壓縮等方法從消息隊列架構(gòu)與數(shù)據(jù)發(fā)送兩方面進行數(shù)據(jù)采集過程的調(diào)優(yōu)。通過平衡Spark Streaming數(shù)據(jù)接收時間窗口與速度、采用Redis連接池等策略，從數(shù)據(jù)消費