基于數(shù)據(jù)倉庫的船舶建造數(shù)據(jù)集成技術(shù)研究
【文章頁數(shù)】:3 頁
【部分圖文】:
圖1基于數(shù)據(jù)倉庫的船舶數(shù)據(jù)集成平臺技術(shù)架構(gòu)
為實現(xiàn)船舶異構(gòu)數(shù)據(jù)庫數(shù)據(jù)的有效集成,通過對平臺需求以及數(shù)據(jù)庫需求的分析,建立了基于數(shù)據(jù)倉庫的船舶數(shù)據(jù)集成平臺架構(gòu)如圖1所示。平臺架構(gòu)包括數(shù)據(jù)源層、數(shù)據(jù)采集層、基礎(chǔ)數(shù)據(jù)庫層、數(shù)據(jù)處理層、主題數(shù)據(jù)庫層以及展示層,可提供各類數(shù)據(jù)源的離線采集和實時數(shù)據(jù)采集,具備海量數(shù)據(jù)的計算、統(tǒng)計、分析....
圖2數(shù)據(jù)采集技術(shù)架構(gòu)
針對數(shù)據(jù)量和數(shù)據(jù)特點的不同,平臺開發(fā)了大數(shù)據(jù)采集和傳統(tǒng)數(shù)據(jù)采集兩種模式,大數(shù)據(jù)采集模式主要通過Flume、Nifi、XML等采集組件實現(xiàn)對本地文本數(shù)據(jù)、圖紙數(shù)據(jù)、日志數(shù)據(jù)、XML數(shù)據(jù)等數(shù)據(jù)的采集,并將采集到的數(shù)據(jù)臨時存儲在Kafka等消息隊列中,通過Spark、Flink、Sto....
圖3數(shù)據(jù)共享架構(gòu)
3)數(shù)據(jù)服務(wù)共享。為了更好地體現(xiàn)數(shù)據(jù)服務(wù),平臺設(shè)計了通用型的數(shù)據(jù)服務(wù)接口,主要包括數(shù)據(jù)庫接口、XML服務(wù)接口等,可實現(xiàn)企業(yè)內(nèi)外部數(shù)據(jù)的交換共享如圖3所示。(4)數(shù)據(jù)處理層
圖4船舶數(shù)據(jù)倉庫架構(gòu)
主題數(shù)據(jù)庫按照數(shù)據(jù)倉庫的架構(gòu)進行設(shè)計,是面向主題和集成的,主要包括原始數(shù)據(jù)層、數(shù)據(jù)倉庫層和數(shù)據(jù)應(yīng)用層,架構(gòu)如圖4所示。數(shù)據(jù)倉庫的主要功能是聯(lián)機分析處理和數(shù)據(jù)挖掘,幫助決策者快速的從海量數(shù)據(jù)中挖掘出有價值的信息,輔助管理者進行報表分析和決策制定。企業(yè)管理者想全面掌握船舶的設(shè)計、生產(chǎn)....
本文編號:3988929
本文鏈接:http://www.wukwdryxk.cn/kejilunwen/chuanbolw/3988929.html