1、水 務 大 腦 大數據和數字孿生平臺 大數據和數字孿生平臺項目 項目 （第一部分） 第一部分） 項目背景 項目背景 XXX 公司作為 YYY 市水務集團發(fā)展新興戰(zhàn)略性產業(yè)的重要載體，承擔著面向 水務行業(yè)智慧化發(fā)展的重任。 水務大腦的研發(fā)和應用推廣是 XXX 公司實現(xiàn)戰(zhàn)略目 標的關鍵舉措。XXX 公司以自身能力為基礎，適當引入人工智能、大數據行業(yè)先進技術組件，構建面向水務行業(yè)的智慧大腦。水務大腦的研發(fā)建設是以云計算、大數據、人

2、工智能、工業(yè)互聯(lián)網、物聯(lián)網和 5G 等新一代信息技術為支撐，參照YYY 市市和行業(yè)信息化建設的要求，形成以經營服務領域、生產運營領域、設計施工領域、 管理管控領域為應用基礎的水務大腦產品框架體系， 推動水務行業(yè)的生產數字化、管理系統(tǒng)化、決策科學化和服務個性化。 項目目標 項目目標 本期建設核心目標是構建水務大腦產品體系的基礎技術平臺和重要智能模型，并基于技術平臺開發(fā)水務行業(yè)制水、供水領域的專用智能模型，滿足水務行業(yè)智能調度、安全管理等核

3、心需求。實現(xiàn)集團型企業(yè)信息系統(tǒng)數據、下屬公司信息系統(tǒng)數據匯聚、梳理需求，基于統(tǒng)一數據實現(xiàn)智慧應用開發(fā)。 根據水務大腦建設的總體規(guī)劃，按照分批實施分步上線的思路建設，本期項目為基礎建設階段，主要包括如下內容： 1、 建設水務大腦大數據平臺 2、 建設水務大腦數字孿生平臺 3、 基于兩個平臺的智慧應用群部分內容 功能需求 功能需求 水務大腦大數據平臺建設 水務大腦大數據平臺建設 統(tǒng)一大數據平臺基于數據集成、分布式數據存儲與管理、批&

4、;流數據開發(fā)、 實時多維分析、 跨源交互式分析、 數據可視化等技術為業(yè)主搭建完整的大數據技術體系，滿足針對水務領域的包括數據匯聚、多維數據分析、分布式高可用實時 分析等多種復雜應用場景的應用要求，需支持一站式數據集成、數據治理、可視k,Hue,Mahout,Sqoop 等。 平臺支持無成本接入業(yè)主現(xiàn)有的存儲、計算系統(tǒng)（對象存儲、HDFS 分布式 集群、Spark 集群等） ，平臺支持彈性擴縮容、靈活擴展存儲、計算集群，支持 靈活擴展計

5、算引擎。 任務調度管理 任務調度管理 針對統(tǒng)一大數據平臺中大量的數據計算任務， 平臺應提供可視化作業(yè)調度和 管理功能，統(tǒng)一進行工作流程的安排、調度及跨項目的作業(yè)觸發(fā)執(zhí)行，滿足不同 條件的順序、 依賴等調度邏輯以完成各種復雜的業(yè)務計算， 提高作業(yè)運行的效率。平臺應支持可視化作業(yè)編排，可視化拖拽將作業(yè)形成 DAG，按照圖的順序依 次調用，支持多任務類型，支持自定義任務類型，支持自定義程序包，支持周期 性調度，支持跳過、失敗重試等執(zhí)行策略設置

6、。 可視化開發(fā) 可視化開發(fā) Studio Studio 平臺應通過可視化開發(fā)、拖拽式插件式開發(fā)、流水線作業(yè)、作業(yè)組編排等實 現(xiàn)數據開發(fā)的可視化。支持離線開發(fā)、實時流開發(fā)，在線 SQL、自定義 Jar 程序等開發(fā)模式，高吞吐低延遲的實時計算，全方位多角度的監(jiān)控告警機制等。平臺支持可視化數據處理開發(fā)，具備 10 種以上常用可視化數據處理開發(fā)組件。 資源監(jiān)控 資源監(jiān)控 對于開源大數據生態(tài)中各種復雜的組件，平臺需提供統(tǒng)一的一鍵式集群組件部署功能

7、，并且提供集群、主機、服務等多維度、詳細的監(jiān)控報警功能。 （3）元數據管理組件 ）元數據管理組件 元數據組件需包括內容: 支持靈活定義主題、庫、表層級關系 基于技術元數據的數據權限管理（庫、表、行、列級別） 基于技術元數據的批、流、SQL 查詢、數據湖分析、聯(lián)邦查詢分析. （4）ETL ETL 組件 組件 ETL 組件負責將分布的、異構數據源中的數據如關系數據、平面數據文件等 抽取到臨時中間層后進行清洗、 轉換、 集成， 最后加載到數據

8、倉庫或數據集市中， 成為聯(lián)機分析處理、數據挖掘的基礎。 （5）大數據資源管理平臺 ）大數據資源管理平臺 1. 開源大數據組件 提供 Hadoop 生態(tài)大數據組件，包括：HDFS,Spark,FlinkHBase,MapReduce,Hive,YARN,Tez,Pig,Oozie,ZooKeeper,Storm,Flume,Kafka,Ranger,Zeppeli n Notebook,Hue,Mahout,Sqoop 等。 2. 需支持