1、當(dāng)前信息領(lǐng)域迎來(lái)跨越式發(fā)展，各種新技術(shù)和創(chuàng)新不斷的提升著人們的生活質(zhì)量，信息化使得各行業(yè)產(chǎn)生大量的數(shù)據(jù)，人們引入互聯(lián)網(wǎng)、大數(shù)據(jù)相關(guān)技術(shù)解決這些數(shù)據(jù)處理問(wèn)題。航天領(lǐng)域作為關(guān)系國(guó)家命脈重點(diǎn)領(lǐng)域近年來(lái)更加信息化智能化，各類數(shù)據(jù)呈現(xiàn)爆發(fā)式增長(zhǎng)，傳統(tǒng)存儲(chǔ)模式和計(jì)算模式已經(jīng)不能很好的滿足海量航天數(shù)據(jù)的存儲(chǔ)、分析、可視化需求，從互聯(lián)網(wǎng)、大數(shù)據(jù)相關(guān)應(yīng)用得到啟發(fā)并將其引入航天領(lǐng)域解決數(shù)據(jù)分析處理的問(wèn)題。航天領(lǐng)域數(shù)據(jù)類型多樣，每種數(shù)據(jù)的處理方式不同，通過(guò)構(gòu)

2、建航天大數(shù)據(jù)平臺(tái)完成數(shù)據(jù)高效安全存儲(chǔ)管理和快速的數(shù)據(jù)分析。不同航天科研機(jī)構(gòu)之間數(shù)據(jù)平臺(tái)相互獨(dú)立，數(shù)據(jù)之間不能完成有效共享，如何安全可靠的在不同大數(shù)據(jù)平臺(tái)之間完成數(shù)據(jù)共享成為一個(gè)問(wèn)題。
　　本文研究通過(guò)數(shù)據(jù)訂閱系統(tǒng)來(lái)解決航天大數(shù)據(jù)平臺(tái)之間的數(shù)據(jù)共享問(wèn)題，提升航天科技工作者協(xié)同進(jìn)行數(shù)據(jù)分析處理的能力。在研究數(shù)據(jù)訂閱系統(tǒng)過(guò)程深入調(diào)研數(shù)據(jù)共享的業(yè)務(wù)需求和航天數(shù)據(jù)的特點(diǎn)，著力解決了不同航天大數(shù)據(jù)平臺(tái)之間的統(tǒng)一認(rèn)證和授權(quán)問(wèn)題，使得不同平臺(tái)形成

3、統(tǒng)一網(wǎng)絡(luò)，實(shí)現(xiàn)了滿足Cron Expression解析的任務(wù)調(diào)度系統(tǒng)滿足大量元信息同步、數(shù)據(jù)文件同步、身份信息同步等周期性任務(wù)調(diào)度問(wèn)題，通過(guò)對(duì)分布式文件系統(tǒng) HDFS以及相應(yīng)數(shù)據(jù)元信息系統(tǒng)改造設(shè)計(jì)實(shí)現(xiàn)了大并發(fā)數(shù)據(jù)同步中心，滿足航天大數(shù)據(jù)平臺(tái)之間的可靠數(shù)據(jù)傳輸。數(shù)據(jù)共享系統(tǒng)滿足安全、快速、高效的需求。在系統(tǒng)實(shí)現(xiàn)過(guò)程中，針對(duì)數(shù)據(jù)訂閱系統(tǒng)面臨的問(wèn)題逐一提出解決方案，通過(guò)引入SSO單點(diǎn)登錄技術(shù)對(duì)身份認(rèn)證和用戶授權(quán)分離，實(shí)現(xiàn)統(tǒng)一身份認(rèn)證中心，既解

4、決了不同大數(shù)據(jù)平臺(tái)之間相互訪問(wèn)問(wèn)題又保證平臺(tái)獨(dú)立安全。根據(jù)航天數(shù)據(jù)存儲(chǔ)特點(diǎn)設(shè)計(jì)了元信息實(shí)時(shí)同步、文件數(shù)據(jù)基于策略同步的分離模式，保證客戶端使用體驗(yàn)，同時(shí)通過(guò)訂閱系統(tǒng)用戶能夠直接請(qǐng)求到被訂閱平臺(tái)后臺(tái)數(shù)據(jù)，數(shù)據(jù)同步中心基于TCP socket協(xié)議使用C/S模型完成并發(fā)度自適應(yīng)、加密安全、容錯(cuò)的數(shù)據(jù)同步系統(tǒng)，對(duì)于訂閱數(shù)據(jù)類型為二進(jìn)制使用MapReduce分布式計(jì)算解析處理結(jié)果的數(shù)據(jù)直接同步原始二進(jìn)制文件在訂閱端解析處理來(lái)減少網(wǎng)絡(luò)通訊量。針對(duì)文

5、件同步、元信息實(shí)時(shí)同步、平臺(tái)各種定時(shí)調(diào)度任務(wù)的統(tǒng)一特性，引入Cron Exression定時(shí)任務(wù)語(yǔ)法設(shè)計(jì)實(shí)現(xiàn)統(tǒng)一任務(wù)調(diào)度系統(tǒng)，同時(shí)能夠滿足基于平臺(tái)狀態(tài)的MapReduce任務(wù)調(diào)度。系統(tǒng)由客戶端和大數(shù)據(jù)平臺(tái)組成，以RESTful服務(wù)方式發(fā)布訂閱系統(tǒng)的各種控制API。通過(guò)有效測(cè)試驗(yàn)證了研究過(guò)程系統(tǒng)架構(gòu)設(shè)計(jì)的合理性，任務(wù)調(diào)度中心滿足大并發(fā)任務(wù)的均衡調(diào)度，元信息和數(shù)據(jù)文件能夠按照策略同步，數(shù)據(jù)訂閱系統(tǒng)能夠解決航天大數(shù)據(jù)平臺(tái)之間的數(shù)據(jù)共享問(wèn)題。當(dāng)