1 主數(shù)據(jù)和主數(shù)據(jù)管理的概念

主數(shù)據(jù)是指在整個企業(yè)范圍內(nèi)各信息系統(tǒng)（實時操作、事務及分析型應用系統(tǒng)）間共享的基礎數(shù)據(jù)，從企業(yè)整個范圍來看，包括客戶（customer）、卷煙商品（item）、卷煙供應商（supplier），員工（employee）以及組織機構(gòu)（organization）相關的數(shù)據(jù)。通常需要，為了實現(xiàn)主數(shù)據(jù)在整個企業(yè)范圍內(nèi)的準確性（veracity）、一致性（consistent）、完整性（complete）目標，需要建立主數(shù)據(jù)管理系統(tǒng)（Master Data Management System，MDMS）。

主數(shù)據(jù)管理（Master Data Management，MDM）是指一組約束和方法用來保證一個企業(yè)內(nèi)主題域和系統(tǒng)內(nèi)相關數(shù)據(jù)和跨主題域和系統(tǒng)的相關數(shù)據(jù)的實時性、含義和質(zhì)量。這是從深層次來說來說明主數(shù)據(jù)管理（MDM）的深度和復雜性，簡單的說，主數(shù)據(jù)管理（MDM）保證你的系統(tǒng)協(xié)調(diào)和重用通用、正確的業(yè)務數(shù)據(jù)（主數(shù)據(jù)）。通常，我們會把主數(shù)據(jù)管理作為應用流程的補充，通過從各個操作/事務型應用以及分析型應用中分離出主要的信息，使其成為一個集中的、獨立于企業(yè)中各種其他應用核心資源，從而使得企業(yè)的核心信息得以重用并確保各個操作/事務型應用以及分析型應用間的核心數(shù)據(jù)的一致性。通過主數(shù)據(jù)管理，改變企業(yè)數(shù)據(jù)利用的現(xiàn)狀，從而更好地為企業(yè)信息集成做好鋪墊。

2 流程簡介

流程是指企業(yè)運作的所有流程，即企業(yè)的所有活動都可以看作是一個個流程，流程是由若干個服務組成的，在IT技術上流程稱為工作流，服務稱為流程節(jié)點。在IT技術中，關于流程最早是以WfMC為代表的“業(yè)務流程開發(fā)商”，他們主要擁護以XPDL作為描述語言來描述業(yè)務流程；之后是以OASIS（Organization for the Advancement of Structured Information Standards，結(jié)構(gòu)化信息標準促進組織）組織為代表的，被IBM，MicroSoft，BEA所擁護的BPEL/BPEIAWS規(guī)范；之后向來以規(guī)范著稱的OMG組織也不甘示弱，聯(lián)合BPMI組織，獨辟蹊徑以Notation Specification為入口，首先推出了BPMN規(guī)范，進而推出了BPDM（Business Process Definition Metamodel BPDM）。

在本文中流程，是指主數(shù)據(jù)在企業(yè)內(nèi)信息系統(tǒng)間流轉(zhuǎn)的過程。流程部署流程服務器（WPS）上。流程監(jiān)控（PM），是指基于BPEL標準的業(yè)務流程監(jiān)控，主要實現(xiàn)系統(tǒng)和系統(tǒng)之間的整合，系統(tǒng)間數(shù)據(jù)的流轉(zhuǎn)，通過服務進行交互，服務是流程中的節(jié)點；通過服務進行數(shù)據(jù)的交互，實現(xiàn)主數(shù)據(jù)在各系統(tǒng)中的一致性。

3 主數(shù)據(jù)管理（MDM）平臺

企業(yè)可以看作是企業(yè)實體對象，包括組織、人員、產(chǎn)品等在不同的環(huán)境和條件下的不斷運轉(zhuǎn)的過程，實體對象和運轉(zhuǎn)過程映射到信息系統(tǒng)中，分別對應著數(shù)據(jù)（可以用ER圖描述）和業(yè)務流程（可以用流程圖、業(yè)務邏輯和業(yè)務規(guī)則描述）。數(shù)據(jù)和業(yè)務流程能夠全面反映實體對象及其運動的狀態(tài)。在現(xiàn)實社會中，實體對象的運動體現(xiàn)為一系列活動，在信息系統(tǒng)中，活動表現(xiàn)為一個流程節(jié)點，實體對象通過一系列的業(yè)務活動直至最終完成任務，在信息系統(tǒng)中體現(xiàn)為數(shù)據(jù)狀態(tài)的不斷變化，直到數(shù)據(jù)最終完成。

主數(shù)據(jù)管理是數(shù)據(jù)管理的一種高級形式，它必須構(gòu)建于ETL或者EII（EntERPrise Information Integration）等技術之上，因此很多主數(shù)據(jù)管理平臺本身就包含了數(shù)據(jù)模型定義、數(shù)據(jù)加載、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)質(zhì)量優(yōu)化和數(shù)據(jù)同步分發(fā)等功能。也有某些廠商把MDM作為數(shù)據(jù)集成產(chǎn)品的一個模塊交付給客戶。

4 主數(shù)據(jù)管理的分類

4.1 操作型主數(shù)據(jù)管理系統(tǒng)

這種類型的主數(shù)據(jù)管理系統(tǒng)主要用于實現(xiàn)在分步式的交易型數(shù)據(jù)環(huán)境中實現(xiàn)主數(shù)據(jù)的集成、協(xié)調(diào)、同步和控制。其強調(diào)核心商業(yè)數(shù)據(jù)在各個不同的交易系統(tǒng)中的準確和一致。其所使用的技術主要是EAI的技術。

4.2 分析型主數(shù)據(jù)管理系統(tǒng)

這種類型的主數(shù)據(jù)管理系統(tǒng)主要用于實現(xiàn)數(shù)據(jù)倉庫環(huán)境下的主數(shù)據(jù)的清洗、整合、集成等。其強調(diào)核心商業(yè)實體數(shù)據(jù)在數(shù)據(jù)倉庫中的準確、完整和可用性。其所使用的技術主要是數(shù)據(jù)集成和清洗的技術。

4.3 企業(yè)級主數(shù)據(jù)管理系統(tǒng)

這種類型的主數(shù)據(jù)管理系統(tǒng)需要在整個企業(yè)數(shù)據(jù)環(huán)境中控制、集成、協(xié)調(diào)和優(yōu)化主數(shù)據(jù)。要在整個企業(yè)數(shù)據(jù)環(huán)境中實現(xiàn)主數(shù)據(jù)的準確、完整、及時和一致，從而最大化企業(yè)數(shù)據(jù)資產(chǎn)的價值。

煙草行業(yè)所建設的主數(shù)據(jù)管理平臺的最終目標就是一個企業(yè)級主數(shù)據(jù)管理系統(tǒng)。它將作為整個企業(yè)范圍內(nèi)實現(xiàn)主數(shù)據(jù)控制、集成、協(xié)調(diào)和優(yōu)化的中樞。在當前階段，其主要目標是實現(xiàn)在操作型環(huán)境中的主數(shù)據(jù)控制、集成、協(xié)調(diào)和優(yōu)化工作，總體架構(gòu)如圖1所示：

圖1

在該架構(gòu)中，主數(shù)據(jù)管理系統(tǒng)與其他系統(tǒng)通過企業(yè)服務總線（ESB）相連接。任何系統(tǒng)中產(chǎn)生的主數(shù)據(jù)變更事件（新增、修改、刪除等）通過企業(yè)服務總線都將首先告知給主數(shù)據(jù)管理平臺，平臺首先確定這個事件是否正確，然后再確定這個事件需要通知給那些系統(tǒng)。各個系統(tǒng)連接在ESB上的服務負責實現(xiàn)相應事件消息的接收和處理。

未來的，ODS、EDW、DM和分析型應用的主數(shù)據(jù)的抽取、轉(zhuǎn)換、裝載的ETL任務也將作為服務掛接在ESB中，所有與主數(shù)據(jù)相關的同步、協(xié)調(diào)、優(yōu)化、集成都將由主數(shù)據(jù)管理平臺來總體控制，從而實現(xiàn)真正意義上的企業(yè)級主數(shù)據(jù)管理。

在實踐中，也有將主數(shù)據(jù)管理平臺的主數(shù)據(jù)集與ODS中的主數(shù)據(jù)集合并部署的模式，為保持主數(shù)據(jù)管理平臺的高度中立性和擴展性，在本架構(gòu)中，我們將主數(shù)據(jù)管理平臺的主數(shù)據(jù)集從ODS中徹底獨立出來，成立一個獨立的主數(shù)據(jù)庫。

5 平臺應用架構(gòu)及應用架構(gòu)圖

通過上面對主數(shù)據(jù)管理平臺所應具有的能力的分析，確定整個主數(shù)據(jù)管理平臺的應用架構(gòu)如2圖所示：

圖2

在整個平臺應用架構(gòu)中，除紅色標記的組件外，其他的組件都將在Loushang平臺上實現(xiàn)，下面對每二個組件進行說明。

5.1 服務注冊管理

注冊并管理所有系統(tǒng)（包括主數(shù)據(jù)管理平臺）所提供的各種主數(shù)據(jù)服務，并能被ESB訪問。

5.2 流程管理

定義主數(shù)據(jù)業(yè)務流程，如零售戶入網(wǎng)，零售戶變更等。

5.3 系統(tǒng)管理

定義平臺的用戶、角色、用戶所具有的角色權(quán)限等。確保主數(shù)據(jù)管理平臺不會被非法訪問，每一個用戶只能按照設定的權(quán)限操作系統(tǒng)。

5.4 主數(shù)據(jù)模型管理

定義各主數(shù)據(jù)的邏輯和物理模型，并確定需要審計的屬性元素集。

5.5 業(yè)務規(guī)則管理

定義主數(shù)據(jù)相關的業(yè)務規(guī)則，包括值域約束規(guī)則、完整性規(guī)則、一致性規(guī)則等。這些規(guī)則將被用于主數(shù)據(jù)準入控制、質(zhì)量評估、主數(shù)據(jù)清洗和修復。

5.6 主數(shù)據(jù)查詢

提供查詢功能，按照各種條件查詢主數(shù)據(jù)以滿足不確定的主數(shù)據(jù)查詢檢索、下載等需求。

5.7 主數(shù)據(jù)變更

提供運用平臺手工變更主數(shù)據(jù)的功能以滿足特殊情況的主數(shù)據(jù)修改需求。由其他系統(tǒng)發(fā)起的主數(shù)據(jù)變更（創(chuàng)建、修改、刪除）將通過在流程管理中確定的流程進行變更。

5.8 主數(shù)據(jù)審計

負責記錄主數(shù)據(jù)的所有歷史演化及相關責任人，它同時也相當于主數(shù)據(jù)的歷史版本記錄。記錄可以被檢索和下載，并能根據(jù)某個人工設定的時間點回滾。

5.9 主數(shù)據(jù)質(zhì)量評估

提供根據(jù)預定的規(guī)則對主數(shù)據(jù)當前質(zhì)量狀況的評估，包括準確性、完整性和一致性三個方面。

5.10 主數(shù)據(jù)清洗

提供按照預定的規(guī)則對主數(shù)據(jù)進行清洗的功能，其首先識別出重復異常主數(shù)據(jù)，然后對其進行標記，并進行記錄，然后可以人工對這些數(shù)據(jù)進行修訂后同步到相應系統(tǒng)。

5.11 主數(shù)據(jù)修復

主要提供按照預定規(guī)則對空缺主數(shù)據(jù)相關數(shù)據(jù)項的自動填充功能。

5.12 異常監(jiān)控

監(jiān)控主數(shù)據(jù)管理過程中所發(fā)生的各種異常事件。包括同步失敗、違規(guī)操作和主數(shù)據(jù)自身的異常等。

6 平臺數(shù)據(jù)架構(gòu)及數(shù)據(jù)架構(gòu)圖

從主數(shù)據(jù)管理平臺自身考慮，我們將其數(shù)據(jù)劃分為如下四個區(qū)，他們分別是元數(shù)據(jù)記錄區(qū)、主數(shù)據(jù)當前記錄區(qū)、審計日志歷史記錄區(qū)和異常與重大事件記錄區(qū)，其數(shù)據(jù)架構(gòu)如圖3所示：

圖3

具體的：

6.1 元數(shù)據(jù)記錄區(qū)

存儲與主數(shù)據(jù)相關的業(yè)務與技術元數(shù)據(jù)。包括涉及系統(tǒng)、主數(shù)據(jù)邏輯與物理模型、相關業(yè)務規(guī)則等信息。

6.2 主數(shù)據(jù)當前記錄區(qū)

存儲企業(yè)集成、完整的、面向主題的主數(shù)據(jù)當前信息，這是企業(yè)當前時刻關于主數(shù)據(jù)的最權(quán)威、最完整的信息。

6.3 主數(shù)據(jù)審計日志歷史記錄區(qū)

存儲主數(shù)據(jù)的歷史演化日志，包括變更的時間戳記、操作者等相關信息。

6.4 主數(shù)據(jù)異常與重大事件記錄區(qū)

存儲主數(shù)據(jù)管理過程中的異�；蛑卮笫录�，異常事件包括同步失敗、違規(guī)操作等；重大事件包括回滾、數(shù)據(jù)清洗和修復、手工修訂同步等。

7 主數(shù)據(jù)服務流程

傳統(tǒng)的工作流的流轉(zhuǎn)，只要兩個基本的組件：工作流引擎和自定義表單，有了這兩個基本組件就可以在一個系統(tǒng)中實現(xiàn)流程的流轉(zhuǎn)。但是如果要實現(xiàn)整合企業(yè)內(nèi)的主數(shù)據(jù)，則需要包含所有的應用（不管是什么平臺、什么開發(fā)商），特別是要將所有的業(yè)務涉及到的主數(shù)據(jù)變更全部整合到流程中，就需要流程組件提供一個松耦合的連接方式，將所有的應用整合在一塊，保證現(xiàn)有的系統(tǒng)都能最大程度的整合到統(tǒng)一的工作流中，同時對于新增的信息系統(tǒng)，可以用組件化的方式加入到現(xiàn)有流程中來，從而實現(xiàn)統(tǒng)一企業(yè)的流程。

將流程組件作為一個獨立的公共組件，為了更好的實現(xiàn)和其它業(yè)務組件以及公共組件內(nèi)部的不同模塊之間的松耦合，流程組件對外以Web服務的方式對外提供接口，通過ESB和業(yè)務組件進行調(diào)用。同時為了統(tǒng)一管理，將流程部署到企業(yè)服務總線（ESB）上，通過類總線（API）進行調(diào)用。這樣既可以實現(xiàn)和內(nèi)部業(yè)務組件之間的結(jié)合，也可以實現(xiàn)和應用外部的系統(tǒng)進行流程整合。從業(yè)務組件劃分角度來看，流程模塊可以作為獨立的業(yè)務組件，從方便管理角度來看，將其和其它的功能模塊合并在一起，是公共組件的一個部分。

8 設計的背景

為了搭建松耦合的流程組件，可以采用通過服務總線（ESB）以Web服務方式或者通過類總線以API方式進行集成，搭建企業(yè)級的公共流程組件。服務設計，除非是寫入服務提供者業(yè)務需求非常明確，只有本系統(tǒng)調(diào)用才會寫入，一般建議按照以上獨立的寫入服務方式來實現(xiàn)。采用獨立的寫入服務能更好的適應未來被動寫入、或者寫入操作需要經(jīng)過評審或者確認之后的操作。

比如零售客戶信息數(shù)據(jù)，如果是在專賣系統(tǒng)中創(chuàng)建，財務系統(tǒng)需要零售客戶數(shù)據(jù)，有三種調(diào)用方式，一是財務系統(tǒng)直接到ESB調(diào)用財務系統(tǒng)的客戶信息查詢Web服務，然后寫入系統(tǒng)。二是事件機制，專賣系統(tǒng)中的數(shù)據(jù)變化時，對外提供的客戶信息變更服務，服務調(diào)用中傳遞的消息就是變更的信息，調(diào)用財務系統(tǒng)的寫入服務。如果還有其它的系統(tǒng)需要客戶信息，可以在ESB中定義出發(fā)布/訂閱關系。

三是財務系統(tǒng)先請求ESB調(diào)用專賣系統(tǒng)的查詢服務，然后由ESB調(diào)用財務系統(tǒng)的客戶信息寫入服務，寫入數(shù)據(jù)。如果未來業(yè)務流程發(fā)生變化，改由專賣系統(tǒng)直接將客戶信息寫入財務系統(tǒng)，則直接調(diào)用財務系統(tǒng)的寫入服務即可，需要做的僅僅是配置一下ESB即可，現(xiàn)有的程序不需要改變。第一種方式下，如果改成專賣系統(tǒng)寫入，財務系統(tǒng)需要重新編碼，第二種方式如果別的系統(tǒng)來主動查詢客戶數(shù)據(jù)，需要另外增加一個客戶信息的查詢服務，第三種情況，無論是如何改變化，需要的僅僅是增加一個請求調(diào)用即可，對所有的系統(tǒng)影響最小，因此是受外界需求發(fā)生變化后影響最小的方式，更好的解決了松耦合的問題。

9 主數(shù)據(jù)流程監(jiān)控（MPM）實現(xiàn)

因為主數(shù)據(jù)主要包括系統(tǒng)間共享數(shù)據(jù)。與記錄業(yè)務活動，變動較大的交易數(shù)據(jù)相比，主數(shù)據(jù)（也稱基準數(shù)據(jù)）變化緩慢，一般每年的變化在20％左右。在正規(guī)的關系數(shù)據(jù)模型中，交易記錄（例如，訂單）可通過關鍵字（例如，訂單或發(fā)票編號和產(chǎn)品代碼）調(diào)出主數(shù)據(jù)。根據(jù)主數(shù)據(jù)管理實施的復雜程度，參照Jill Dyche，Evan Levy的觀點大體可以把主數(shù)據(jù)管理可以分為五個層次，其中Level 3（通過集中的總線處理，類似于翻譯器）可以實現(xiàn)企業(yè)內(nèi)任意兩個系統(tǒng)交換數(shù)據(jù)。Level 3是將數(shù)據(jù)轉(zhuǎn)換邏輯集中化和標準化，它支持主參照數(shù)據(jù)的分布式存在（即分布的主數(shù)據(jù)存儲，集中而標準的主數(shù)據(jù)轉(zhuǎn)換），Level 3打破了各個獨立應用的組織邊界，使用各個系統(tǒng)都能接受的數(shù)據(jù)標準統(tǒng)一建立和維護主數(shù)據(jù)（MDM）。而最高級別Level 5（企業(yè)數(shù)據(jù)集中），當主數(shù)據(jù)記錄的詳細資料被修改后，所有應用的相關數(shù)據(jù)元素都將被更新，本級別可以通過SOA的架構(gòu)平臺實現(xiàn)。根據(jù)主數(shù)據(jù)的特點，可以對它的變化進行更為詳細的監(jiān)控，對主數(shù)據(jù)的變更進行審計。從企業(yè)級主數(shù)據(jù)的管理監(jiān)控平臺來看，包含數(shù)據(jù)監(jiān)控臺和流程監(jiān)控臺，數(shù)據(jù)監(jiān)控臺對企業(yè)內(nèi)存在的主數(shù)據(jù)進行監(jiān)控對比，識別問題系統(tǒng)，預警問題數(shù)據(jù)。流程監(jiān)控臺對企業(yè)中運行的流程進行監(jiān)控、分析，診斷問題流程，發(fā)現(xiàn)問題節(jié)點，確�？缦到y(tǒng)的流程暢通無阻。還包括服務的監(jiān)控及統(tǒng)計分析，包括服務的調(diào)用歷史記錄，失敗調(diào)用記錄等情況。

10 數(shù)據(jù)監(jiān)控臺

包括零售客戶、員工、組織機構(gòu)、供應商、品牌擁有者、卷煙品牌、卷煙商品、卷煙生產(chǎn)廠家、計量單位、行政區(qū)劃。

每一個具體的主數(shù)據(jù)對象，都有對應的監(jiān)控臺，員工監(jiān)控臺示例如圖4：

圖4

監(jiān)控平臺中，可清晰的查看主數(shù)據(jù)對象的提供方、接收方和管理者。并查看各系統(tǒng)中的主數(shù)據(jù)對象的現(xiàn)狀，包括總數(shù)、最近變更情況。

流程監(jiān)控主要包含三個部分服務管理、流程實時監(jiān)控、流程統(tǒng)計分析，為了整合系統(tǒng)，建立了一個企業(yè)級的服務總線，服務總線上部署了企業(yè)內(nèi)所有的主數(shù)據(jù)流程，主數(shù)據(jù)管理系統(tǒng)保存了流程過程中的數(shù)據(jù)。為了保證對流程流轉(zhuǎn)過程的詳細記錄，將所有通過總線的業(yè)務流轉(zhuǎn)狀態(tài)信息全部存放到主數(shù)據(jù)管理平臺的數(shù)據(jù)庫。這樣數(shù)據(jù)庫中主要包含了兩部分數(shù)據(jù)：一個是流程本身所需的數(shù)據(jù)，包含流程中傳遞的數(shù)據(jù)、數(shù)據(jù)來源的系統(tǒng)、數(shù)據(jù)分發(fā)的系統(tǒng)等相關信息，另外一個就是流程的記錄數(shù)據(jù)。包含流程流轉(zhuǎn)的時間、調(diào)用了哪些服務、服務的返回狀態(tài)、是否成功等信息。

11 流程監(jiān)控數(shù)據(jù)來源

圖5

12 流程監(jiān)控臺

流程的監(jiān)控包括對服務本身的監(jiān)控，在主數(shù)據(jù)流程中，流程的主要節(jié)點大都是各系統(tǒng)暴露出來的服務。因此流程的監(jiān)控包括對服務的監(jiān)控。服務的穩(wěn)定和可用，是流程能夠順利完成的關鍵。

對服務的穩(wěn)定性進行評價是流程監(jiān)控的一部分。因此對服務的調(diào)用歷史進行記錄，并通過記錄數(shù)據(jù)進行統(tǒng)計分析，是服務評價的一個重要指標。通過對服務的分析，可以提前預防流程中的薄弱環(huán)節(jié)，對解決失敗流程問題提供經(jīng)驗。

13 流程監(jiān)控舉例

圖6

此處中的服務，主要包含下面部分：

主數(shù)據(jù)服務，主數(shù)據(jù)相關的服務，是共用的服務，主數(shù)據(jù)管理業(yè)務組件也是屬于企業(yè)公共服務平臺管理范圍，是企業(yè)級的公共業(yè)務組件。

流程服務，涉及流程程的服務，相關信息提供到工作流引擎，是共用的服務，流程管理業(yè)務組件也是屬于企業(yè)公共服務平臺管理范圍，是企業(yè)級的公共業(yè)務組件。

轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.oesoe.com/

本文標題：面向SOA架構(gòu)的主數(shù)據(jù)管理和流程監(jiān)控研究

本文網(wǎng)址：http://www.oesoe.com/html/solutions/1401931604.html