1、大飛機(jī)進(jìn)行試飛測(cè)試，能夠產(chǎn)生海量的試飛數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)離線處理方式效率低下，延遲了試飛周期，增加試飛成本。為了能夠高效的分析處理這些數(shù)據(jù)，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于內(nèi)存計(jì)算的流數(shù)據(jù)處理的試飛數(shù)據(jù)處理系統(tǒng)。本文中的試飛數(shù)據(jù)處理系統(tǒng)，采用數(shù)據(jù)實(shí)時(shí)處理方式，依靠?jī)?nèi)存計(jì)算和流計(jì)算的高效性，顯著提升數(shù)據(jù)處理效率。此外，本文提出了一種基于Markov的內(nèi)存預(yù)測(cè)動(dòng)態(tài)分配方法和一種基于時(shí)序排隊(duì)的流數(shù)據(jù)處理方法，結(jié)合Spark分布式內(nèi)存計(jì)算框架，隨機(jī)過(guò)程和

2、排隊(duì)論等相關(guān)知識(shí)，改進(jìn)了原有內(nèi)存計(jì)算和流計(jì)算的處理方式，可以加快海量試飛大數(shù)據(jù)的處理和流轉(zhuǎn)速度，提高數(shù)據(jù)的價(jià)值。
　　本文提出了一種基于Markov的內(nèi)存預(yù)測(cè)動(dòng)態(tài)分配方法，通過(guò)采用多馬爾科夫鏈方式，根據(jù)其狀態(tài)轉(zhuǎn)移概率，求得其最大概率的轉(zhuǎn)換情形，預(yù)測(cè)出最有可能需求的內(nèi)存大小，能夠節(jié)省內(nèi)存分配的查詢時(shí)間，降低內(nèi)存碎片率。本文同時(shí)提出了一種基于時(shí)序排隊(duì)的流數(shù)據(jù)處理方法，通過(guò)對(duì)帶時(shí)間戳的流數(shù)據(jù)按照時(shí)序進(jìn)行排隊(duì)，從而能夠按照試飛數(shù)據(jù)的處理要

3、求進(jìn)行按序處理，同時(shí)提升流數(shù)據(jù)的處理效率。
　　本文設(shè)計(jì)并實(shí)現(xiàn)了的一個(gè)基于內(nèi)存計(jì)算的流數(shù)據(jù)處理的試飛數(shù)據(jù)處理系統(tǒng)，主要包括了數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)預(yù)處理子系統(tǒng)、數(shù)據(jù)分析子系統(tǒng)、綜合管理子系統(tǒng)等四個(gè)主要子系統(tǒng)。數(shù)據(jù)采集子系統(tǒng)主要負(fù)責(zé)進(jìn)行機(jī)載原始數(shù)據(jù)的采集工作，并結(jié)合時(shí)間戳，形成時(shí)序原始數(shù)據(jù)；數(shù)據(jù)預(yù)處理子系統(tǒng)主要負(fù)責(zé)將原始數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換，通過(guò)幀格式轉(zhuǎn)換、工程量轉(zhuǎn)換和流數(shù)據(jù)轉(zhuǎn)換，最終形成所需的流數(shù)據(jù)；數(shù)據(jù)分析子系統(tǒng)主要負(fù)責(zé)進(jìn)行數(shù)據(jù)整理和

4、數(shù)值運(yùn)算，可以結(jié)合各種算法，完成數(shù)據(jù)訓(xùn)練和數(shù)據(jù)的計(jì)算，最后得到試飛結(jié)果；綜合管理子系統(tǒng)主要包括系統(tǒng)二次開發(fā)、系統(tǒng)管理和數(shù)據(jù)管理三方面，能夠?qū)ο到y(tǒng)和數(shù)據(jù)進(jìn)行有效的綜合管理使用，以及二次開發(fā)。
　　本文通過(guò)試飛數(shù)據(jù)處理系統(tǒng)和 Spark分布式內(nèi)存計(jì)算框架結(jié)合，充分利用Spark對(duì)于海量計(jì)算的優(yōu)勢(shì)，并采用基于Markov的內(nèi)存預(yù)測(cè)動(dòng)態(tài)分配方法來(lái)提升Spark內(nèi)存計(jì)算時(shí)內(nèi)存分配的效率，采用基于時(shí)序排隊(duì)的流數(shù)據(jù)處理方法來(lái)提升Spark St