發(fā)布時間：2016-04-21 20:07

1 緒論

隨著信息化應(yīng)用不斷發(fā)展，實(shí)現(xiàn)信息共享已成為時代發(fā)展的要求，是世界發(fā)展的趨勢，從發(fā)現(xiàn)這一趨勢之初，我國政府就開始大力開展全國的信息化建設(shè)，政府等相關(guān)單位作為國家職能部門率先進(jìn)入信息化建設(shè)進(jìn)程。由于我國領(lǐng)土面積遼闊且各地政治、經(jīng)濟(jì)、文化等方面的發(fā)展水平不一，并非每一個政府相關(guān)部門都從一開始就擁有開展信息化建設(shè)的基礎(chǔ)，以至于各地政府職能部門的信息化建設(shè)呈現(xiàn)出一種“從上到下、從中心向四周、從部分到全局”的發(fā)展?fàn)顟B(tài)。并且由于各個不同職能部門之間的物理隔閡，雖然信息化建設(shè)在不斷發(fā)展，卻是在“獨(dú)自發(fā)展”，形成了一個個“信息孤島”，妨礙了各部門間的信息共享。大數(shù)據(jù)時代，如何對海量數(shù)據(jù)進(jìn)行挖掘、運(yùn)用、創(chuàng)造價值，引起了人們的廣泛關(guān)注，進(jìn)行這些利用的前提是先將它們“收集”起來。四川省在 2005 年依據(jù)《四川公安綜合共享數(shù)據(jù)庫設(shè)計(jì)規(guī)范》建立了省級綜合共享數(shù)據(jù)庫，采用較簡單的技術(shù)方式已經(jīng)收集整合了 27 類公安業(yè)務(wù)數(shù)據(jù)一億多條，在建設(shè)公安綜合信息應(yīng)用和跨部門數(shù)據(jù)共享上發(fā)揮了重要作用，極大方便了廣大民警的日常警務(wù)工作。
...........

2 相關(guān)技術(shù)

2.1 數(shù)據(jù)集成方法
聯(lián)邦數(shù)據(jù)庫管理系統(tǒng)系統(tǒng)（Federation Database ManagementSystem，F(xiàn)DBMS）用于操作、協(xié)調(diào)、控制 FDBS 中的成員數(shù)據(jù)庫。FDBMS 作為整個系統(tǒng)的管理中樞，負(fù)責(zé)把各個成員數(shù)據(jù)庫的存儲模式映射到公共的聯(lián)邦模式，同時還負(fù)責(zé)各種存儲模式之間的轉(zhuǎn)換，自動解決異構(gòu)數(shù)據(jù)庫的操縱和網(wǎng)絡(luò)傳輸；除此之外，，F(xiàn)DBMS 還能夠接收來自聯(lián)邦用戶的數(shù)據(jù)請求，通過“翻譯”接收到的的數(shù)據(jù)請求，然后將“翻譯”結(jié)果發(fā)送至各個目標(biāo)數(shù)據(jù)庫，最后在將各個目標(biāo)數(shù)據(jù)庫返回的結(jié)果進(jìn)行集成并返回給用戶。實(shí)現(xiàn)聯(lián)邦數(shù)據(jù)庫系統(tǒng) FDBS的五層參考體系機(jī)構(gòu)如圖 2.1所示。該系統(tǒng)的不足是它只能在一定的限制條件下實(shí)現(xiàn)，例如對加入聯(lián)邦系統(tǒng)的成員數(shù)據(jù)庫以及各個成員數(shù)據(jù)庫之間的互操作加以一定的限制，在進(jìn)行各種數(shù)據(jù)源的數(shù)據(jù)集成時不夠靈活；而且硬件要求高，系統(tǒng)建立耗時長，不是一種通用的數(shù)據(jù)集成方法。

2.2 面向服務(wù)架構(gòu)（SOA）
SOA 的全稱是 ServiceOriented Architecture，即面向服務(wù)的體系結(jié)構(gòu)。先后很多廠商和個人都各自對其有著不同的理解，比較普遍的一種是認(rèn)為 SOA 是一種以服務(wù)為導(dǎo)向的組件模型，通過一定標(biāo)準(zhǔn)的接口和協(xié)議來實(shí)現(xiàn)不同業(yè)務(wù)功能模塊（服務(wù)）間得松耦合管理，可實(shí)現(xiàn)分布式計(jì)算的軟件體系結(jié)構(gòu)，其核心價值就在于如何使服務(wù)的靈活復(fù)用達(dá)到最大限度。SOA 體系結(jié)構(gòu)由服務(wù)提供者、服務(wù)請求者、服務(wù)注冊中心等三個部分組成。服務(wù)提供者將自己經(jīng)過嚴(yán)格測試后的能夠提供的服務(wù)發(fā)布到服務(wù)注冊表（由服務(wù)注冊中心管理），服務(wù)請求者通過查詢服務(wù)注冊表中存儲的服務(wù)信息，查找到所需服務(wù)后獲取服務(wù)提供者的相應(yīng)信息，再向服務(wù)提供者提出請求，從而滿足自己的業(yè)務(wù)需求。SOA的體系結(jié)構(gòu)圖如圖 2.4所示。服務(wù)注冊中心：相當(dāng)于一個存儲、管理服務(wù)信息的節(jié)點(diǎn)，為服務(wù)請求者和服務(wù)提供者之間搭建一座橋梁，使得這兩者之間可以各取所需。服務(wù)注冊中心有一個通用的標(biāo)準(zhǔn)，只有當(dāng)服務(wù)提供者提供的服務(wù)符合這個標(biāo)準(zhǔn)的時候，服務(wù)請求者才能夠使用其服務(wù)。

3 數(shù)據(jù)集成平臺..........12

3.1 總體目標(biāo)..........12

3.2 功能需求分析.............13

4 主要功能設(shè)計(jì)...........21

4.1 數(shù)據(jù)規(guī)則定義...........21

5 關(guān)鍵技術(shù)實(shí)現(xiàn).........36

5.1 基于數(shù)據(jù)快照的全表對比增量抽取.............36

6 集成平臺性能測試

6.1 測試環(huán)境

6.2 測試對象
（1）將人口數(shù)據(jù)庫中的人口變動信息（包括增、刪、改）同步到測試數(shù)據(jù)庫中數(shù)據(jù)表。（2）將車輛數(shù)據(jù)庫的入庫車輛變動信息同步到測試數(shù)據(jù)庫中數(shù)據(jù)表.（3）將酒店居住信息數(shù)據(jù)庫上的 9張表同步到測試數(shù)據(jù)庫中的數(shù)據(jù)表。（1）測試內(nèi)容測試樣本選擇 21 個地市州，對應(yīng)人口數(shù)據(jù)庫中的 21 個人口信息視圖，選取各 25 個字段作為測試對象；測試視圖中在選定的字段上發(fā)生變化后，是否正確同步到測試數(shù)據(jù)庫對應(yīng)的測試表中。（2）測試過程首先將這 21 個視圖中選中的字段對應(yīng)的數(shù)據(jù)完整復(fù)制到同步數(shù)據(jù)表；然后設(shè)置同步任務(wù)，設(shè)置同步時間為定時定點(diǎn)，每個任務(wù)并行執(zhí)行，同步增量數(shù)據(jù)。（3）測試結(jié)果
.........

7 總結(jié)與展望

本文理論聯(lián)系實(shí)際，對面向服務(wù)架構(gòu) SOA、數(shù)據(jù)集成方法等進(jìn)行了詳細(xì)深入的調(diào)查和分析，提出采用基于 SOA 的方式進(jìn)行數(shù)據(jù)集成，以達(dá)到面向服務(wù)、易于擴(kuò)展、動態(tài)集成的集成效果。本文主要做了以下幾點(diǎn)研究：（1）分析傳統(tǒng)數(shù)據(jù)集成方法的優(yōu)點(diǎn)及缺點(diǎn)，SOA 在數(shù)據(jù)集成中得優(yōu)勢，結(jié)合公安部門業(yè)務(wù)系統(tǒng)的實(shí)際情況，使用 SOA、XML、數(shù)據(jù)快照、數(shù)據(jù)映射等技術(shù)，設(shè)計(jì)實(shí)現(xiàn)面向服務(wù)架構(gòu)的數(shù)據(jù)集成平臺。（2）根據(jù)公安部門業(yè)務(wù)系統(tǒng)的實(shí)際情況，結(jié)合觸發(fā)器方式、時間戳方式、全表對比方式、日志對比方式等抽取增量數(shù)據(jù)的方法，采用基于數(shù)據(jù)快照的全表對比增量數(shù)據(jù)抽取和基于事務(wù)日志的時間戳增量數(shù)據(jù)抽取的方法獲取到所需數(shù)據(jù)，進(jìn)一步提高數(shù)據(jù)集成效率。（3）將公安數(shù)據(jù)集成過程中的每一個數(shù)據(jù)整合服務(wù)再細(xì)化為一個個數(shù)據(jù)轉(zhuǎn)換步驟服務(wù)，形成一個個轉(zhuǎn)換服務(wù)，實(shí)現(xiàn)基于組件的流程化數(shù)據(jù)整合機(jī)制，實(shí)現(xiàn)數(shù)據(jù)整合部分代碼的重用性和可擴(kuò)展性。下一步，本數(shù)據(jù)集成平臺的研究焦點(diǎn)將轉(zhuǎn)移到數(shù)據(jù)文件傳輸模塊的研究與實(shí)現(xiàn)，解決各分布式數(shù)據(jù)源間的數(shù)據(jù)文件傳輸問題。
.........

參考文獻(xiàn)（略）

本文編號：17978