發(fā)布時間：2020-08-21 01:04

【摘要】：中國移動作為中國最大的通信運營商,在幾十年的運營過程中,積累了蘊含巨大價值的海量數(shù)據(jù)。中國移動集團公司為支撐省公司及地市子公司業(yè)務發(fā)展,委托華為公司為其構建大數(shù)據(jù)PaaS云平臺。省公司、子公司及第三方廠商可入駐中國移動PaaS云平臺,并在平臺中申請資源,定制工具的開發(fā)。然而,由于平臺租戶資源隔離,數(shù)據(jù)無法在租戶間流轉。且存在不同租戶的數(shù)據(jù)源異構,數(shù)據(jù)系統(tǒng)之間數(shù)據(jù)分散、冗余,數(shù)據(jù)挖掘應用獲取跨領域數(shù)據(jù)困難等問題。而直接訪問各個數(shù)據(jù)源工作量大,且不易協(xié)調。為此,中國移動建設其數(shù)據(jù)共享系統(tǒng),為租戶進行數(shù)據(jù)挖掘準備基礎條件,成為發(fā)揮數(shù)據(jù)價值所必須先期解決的問題。本文通過對中國移動數(shù)據(jù)現(xiàn)狀的分析,提出了構建中國移動數(shù)據(jù)共享系統(tǒng)面臨的兩個主要難題:(1)異構數(shù)據(jù)源集成難題。(2)數(shù)據(jù)共享難題。并給出了解決問題的方法。通過設計數(shù)據(jù)訪問接口規(guī)范,對接異構數(shù)據(jù)源,實現(xiàn)異構數(shù)據(jù)源集成。通過發(fā)布數(shù)據(jù)、訂閱數(shù)據(jù)的方式,實現(xiàn)數(shù)據(jù)共享。在數(shù)據(jù)共享的同時,實現(xiàn)低耦合、高可擴展性。論文闡述了項目背景,簡述了相關研究與應用現(xiàn)狀,綜述了包括Docker、Kubernetes、Spring Boot、RBAC、Apache Shiro等相關技術。論文簡述了系統(tǒng)總體規(guī)劃,界定了系統(tǒng)邊界,詳細分析了系統(tǒng)需求,提煉出數(shù)據(jù)源接入、數(shù)據(jù)源服務管理、數(shù)據(jù)產(chǎn)品管理、訂購管理、權限管理五大功能。在此基礎上,闡述了系統(tǒng)設計思想及工作原理,通過系統(tǒng)架構結構設計、功能組成設計、系統(tǒng)部署設計、系統(tǒng)數(shù)據(jù)庫設計等方式方法,對系統(tǒng)進行了概要設計。詳細設計了數(shù)據(jù)源接入、數(shù)據(jù)源服務管理、數(shù)據(jù)產(chǎn)品管理、訂購管理、權限管理五個功能模塊,給出具體實現(xiàn)細節(jié),并進行了系統(tǒng)測試。本系統(tǒng)已投入實際使用,較好地實現(xiàn)了中國移動多個異構數(shù)據(jù)源、多種模式的數(shù)據(jù)共享,為挖掘數(shù)據(jù)價值準備了基礎條件,經(jīng)用戶實際使用,反饋良好。
【學位授予單位】：南京大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：F626;TP311.52
【圖文】：

南京大學碩士論文邐第三章系統(tǒng)分析與總體設計逡逑數(shù)據(jù)市場運營等能力，用戶通過系統(tǒng)的門戶界面，查看數(shù)據(jù)源的元數(shù)據(jù)信息，將逡逑數(shù)據(jù)以數(shù)據(jù)產(chǎn)品的形式發(fā)布在平臺上供其他租戶訂閱，同時平臺租戶也可以訂閱逡逑其他租戶發(fā)布的數(shù)據(jù)產(chǎn)品。發(fā)布的數(shù)據(jù)產(chǎn)品被訂閱成功后，系統(tǒng)將通過返回數(shù)據(jù)逡逑使用憑證供用戶連接數(shù)據(jù)源，或進行數(shù)據(jù)推送完成數(shù)據(jù)共享。其中數(shù)據(jù)推送需要逡逑使用ＰａａＳ平臺的數(shù)據(jù)交換中間件的能力，包含定時任務調度引擎和數(shù)據(jù)遷移引逡逑擎組件，該部分設計與實現(xiàn)不在本系統(tǒng)設計和實現(xiàn)范圍內。系統(tǒng)用戶來源于中國逡逑移動ＰａａＳ云平臺用戶，ＰａａＳ平臺提供了用戶管理能力，本系統(tǒng)在ＰａａＳ平臺逡逑的用戶管理基礎上，對系統(tǒng)內部角色進一步劃分，對用戶訪問系統(tǒng)的操作權限進逡逑行校驗。逡逑一邋一－一一一－ ：－－－－－－：－？－—－

憑證信息由數(shù)據(jù)源服務保存，用戶發(fā)起獲取憑證信息請求時，數(shù)據(jù)源服務查詢憑逡逑證信息返回給用戶。逡逑圖３．２為數(shù)據(jù)源接入用例圖。數(shù)據(jù)源服務針對具體的數(shù)據(jù)源，實現(xiàn)數(shù)據(jù)訪問逡逑接口規(guī)范并對外開放數(shù)據(jù)訪問接口，以滿足數(shù)據(jù)訪問要求。數(shù)據(jù)源服務在系統(tǒng)中逡逑起到了數(shù)據(jù)源適配的作用。根據(jù)上述功能需求的描述，數(shù)據(jù)源服務需要提供測試逡逑數(shù)據(jù)源連接、獲取數(shù)據(jù)模型、創(chuàng)建數(shù)據(jù)產(chǎn)品、刪除數(shù)據(jù)產(chǎn)品、訂購數(shù)據(jù)產(chǎn)品、退逡逑訂數(shù)據(jù)產(chǎn)品、下載憑證的能力。逡逑數(shù)據(jù)源服務逡逑＃?一．《包含〉〉一逡逑（＾＾￣刪除視圖逡逑—＼，二＝．＿一＜＾＂周期調度＾）逡逑數(shù)據(jù)產(chǎn)包邐＾邐邐＿＿’逡逑數(shù)據(jù)＾５＾－－－《包含時推送逡逑＼邋＼逡逑＼邐＼邐記錄憑證信息ｊ逡逑數(shù)據(jù)包卜逡逑＼邐￣、、、、〈包含》、、逡逑＼邐、一＇＞、、數(shù)據(jù)推送逡逑圖３．２數(shù)據(jù)源接入用例圖逡逑本節(jié)將主要對創(chuàng)建數(shù)據(jù)產(chǎn)品、刪除數(shù)據(jù)產(chǎn)品、訂購數(shù)據(jù)產(chǎn)品和退訂數(shù)據(jù)產(chǎn)品逡逑進行用例描述。創(chuàng)建數(shù)據(jù)產(chǎn)品需要根據(jù)發(fā)布模式對數(shù)據(jù)源進行視圖操作或配置周逡逑１５逡逑

需要注冊不同的數(shù)據(jù)源服務以完成和不同數(shù)據(jù)源的對接。因此在數(shù)據(jù)市場中，需逡逑要對數(shù)據(jù)源服務進行管理，提供數(shù)據(jù)源服務草稿管理、發(fā)布數(shù)據(jù)源服務和下架數(shù)逡逑據(jù)源服務等功能。圖３．３為數(shù)據(jù)源服務管理用例圖。逡逑數(shù)據(jù)源服務管理逡逑〈，含Ｊ）逡逑邐＜＾邋＜＜包含》逡逑草稿管理〈包白＞〉＇＾查詢逡逑ｎ邐包含》0逡逑Ｐ￣Ｙ＾邐〈＜，＞＞邐Ｌ邋｜逡逑ＵＪ＼＾＾邐測試連接，——數(shù)據(jù)源逡逑生產(chǎn)者服務逡逑＼邐數(shù)據(jù)市場逡逑廣￣＜邐管理員逡逑ｋ下架數(shù)據(jù)源服務邋＞）－－＜〈包含＞＞－＞ｑ下架審批＾逡逑圖３．３數(shù)據(jù)源服務管理用例圖逡逑數(shù)據(jù)市場中可創(chuàng)建數(shù)據(jù)源服務草稿，配置數(shù)據(jù)源服務的信息，并提供數(shù)據(jù)源逡逑服務草稿的添加、刪除、查詢、修改和測試連接能力，連接成功的數(shù)據(jù)源服務草逡逑稿可申請發(fā)布，數(shù)據(jù)源服務擁有者可對其發(fā)布的數(shù)據(jù)源服務進行下架。通過在數(shù)逡逑據(jù)市場模塊中注冊數(shù)據(jù)源服務，系統(tǒng)可以靈活的對接數(shù)據(jù)源，且不需要關注數(shù)據(jù)逡逑源的具體細節(jié)。數(shù)據(jù)源服務草稿管理主要對數(shù)據(jù)源服務的訪問ＵＲＬ、訪問鑒權逡逑信息進行管理。此處以添加數(shù)據(jù)源服務草稿以及發(fā)布數(shù)據(jù)源服務為例

【相似文獻】

相關期刊論文 前10條

1 黃恒君;陶然;傅德印;;單位名錄庫更新:互聯(lián)網(wǎng)大數(shù)據(jù)源及其數(shù)據(jù)質量評估[J];統(tǒng)計研究;2017年01期

2 鄧松;萬常選;劉喜平;廖國瓊;;基于用戶反饋的深網(wǎng)數(shù)據(jù)源選擇[J];小型微型計算機系統(tǒng);2012年11期

3 胡志明;王仲奇;吳建軍;;基于本體的單一產(chǎn)品數(shù)據(jù)源組織研究[J];中國制造業(yè)信息化;2011年01期

4 王靜君;;高職圖書館數(shù)字參考咨詢數(shù)據(jù)源建設研究[J];當代圖書館;2011年01期

5 蔡璇;田忠和;;多數(shù)據(jù)源查詢的幾種優(yōu)化方法[J];計算機與數(shù)字工程;2006年07期

6 張岳新,姜艷,林田,姜繼春;基于C/S的FMS異構多數(shù)據(jù)源集成方法[J];南京理工大學學報(自然科學版);2002年06期

7 萬春,劉麗莉;數(shù)據(jù)源的自動生成[J];計算機時代;2001年09期

8 潘雪軍;用Registerdatabase創(chuàng)建可訪問ODBC的數(shù)據(jù)源[J];電腦學習;2000年05期

9 卜梓琴;葉建位;龐戈;陸海琛;;數(shù)據(jù)源總線化布局解決方案[J];化工自動化及儀表;2015年03期

10 孫宏旭;邢薇;馬立和;;動態(tài)多數(shù)據(jù)源的研究與實現(xiàn)[J];電腦學習;2010年03期

相關會議論文 前10條

1 張春海;劉群;李華;;基于概率統(tǒng)計及查詢質量的數(shù)據(jù)源選擇策略[A];第二十一屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2004年

2 陶然;;基于互聯(lián)網(wǎng)數(shù)據(jù)源的名錄庫更新維護問題研究[A];第十屆海峽兩岸統(tǒng)計與概率研討會摘要集[C];2016年

3 黃維篁;李國良;馮建華;;高效的數(shù)據(jù)源選擇方式[A];NDBC2010第27屆中國數(shù)據(jù)庫學術會議論文集A輯二[C];2010年

4 李國棟;顧強;郭浩;王汝英;;基于C／S和B／S結構的多數(shù)據(jù)源電能質量數(shù)字化管理平臺[A];2006電力系統(tǒng)自動化學術交流研討大會論文集[C];2006年

5 蔡t

本文編號：2798691