建立數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)解決企業(yè)問(wèn)題的過(guò)程,業(yè)務(wù)人員往往不懂如何建立和使用數(shù)據(jù)倉(cāng)庫(kù)發(fā)揮其決策支持的作用,信息部門(mén)的人員往往又不懂業(yè)務(wù)不知道應(yīng)該建立哪些決策主題,從數(shù)據(jù)源中抽取哪些數(shù)據(jù),因此數(shù)據(jù)倉(cāng)庫(kù)的項(xiàng)目小組應(yīng)該由業(yè)務(wù)人員和信息部門(mén)的人員共同組成雙方需要相互溝通協(xié)作開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)。
開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程包括以下幾個(gè)步驟:
一、系統(tǒng)分析確定主題
建立數(shù)據(jù)倉(cāng)庫(kù)的第一個(gè)步驟,就是通過(guò)與業(yè)務(wù)部門(mén)的充分交流了解建立數(shù)據(jù)倉(cāng)庫(kù)所要解決的問(wèn)題的真正含義,確定各個(gè)主題下的查詢(xún)分析要求。
業(yè)務(wù)人員往往會(huì)羅列出很多想解決的問(wèn)題,信息部門(mén)的人員應(yīng)該對(duì)這些問(wèn)題進(jìn)行分類(lèi)、匯總,確定數(shù)據(jù)倉(cāng)庫(kù)所實(shí)現(xiàn)的業(yè)務(wù)功能,一旦確定問(wèn)題以后,信息部門(mén)的人員還需要確定一下幾個(gè)因素:
·操作出現(xiàn)的頻率即業(yè)務(wù)部門(mén)每隔多長(zhǎng)時(shí)間做一次查詢(xún)分析
·在系統(tǒng)中需要保存多久的數(shù)據(jù)是一年兩年還是五年十年
·用戶(hù)查詢(xún)數(shù)據(jù)的主要方式如在時(shí)間維度上是按照自然年還是財(cái)政年
·用戶(hù)所能接受的響應(yīng)時(shí)間是多長(zhǎng)是幾秒鐘還是幾小時(shí)
由于雙方在理解上的差異,確定問(wèn)題和了解問(wèn)題可能是一個(gè)需要多次往復(fù)的過(guò)程,信息部門(mén)的人員可能需要做一些原型演示給業(yè)務(wù)部門(mén)的人員看,以最終確定系統(tǒng)將要實(shí)現(xiàn)的功能,確實(shí)是業(yè)務(wù)部門(mén)所需要的。
二、選擇滿(mǎn)足數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)要求的軟件平臺(tái)
在數(shù)據(jù)倉(cāng)庫(kù)所要解決的問(wèn)題確定后,第二個(gè)步驟就是選擇合適的軟件平臺(tái)。包括數(shù)據(jù)庫(kù)建模工具、分析工具等。這里有許多因素要考慮,如系統(tǒng)對(duì)數(shù)據(jù)量響應(yīng)時(shí)間分析功能的要求等,以下是一些公認(rèn)的選擇標(biāo)準(zhǔn):
·廠商的背景和支持能力能否提供全方位的技術(shù)支持和咨詢(xún)服務(wù)
·數(shù)據(jù)庫(kù)對(duì)大數(shù)據(jù)量(TB級(jí))的支持能力
·數(shù)據(jù)庫(kù)是否支持并行操作
·能否提供數(shù)據(jù)倉(cāng)庫(kù)的建模工具,是否支持對(duì)元數(shù)據(jù)的管理
·能否提供支持大數(shù)據(jù)量的數(shù)據(jù)加載轉(zhuǎn)換傳輸工具(ETT)
·能否提供完整的決策支持工具集,滿(mǎn)足數(shù)據(jù)倉(cāng)庫(kù)中各類(lèi)用戶(hù)的需要
三、建立數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型
具體步驟如下
1、確定建立數(shù)據(jù)倉(cāng)庫(kù)邏輯模型的基本方法
2、基于主題視圖把主題視圖中的數(shù)據(jù)定義轉(zhuǎn)到邏輯數(shù)據(jù)模型中
3、識(shí)別主題之間的關(guān)系
4、分解多對(duì)多的關(guān)系
5、用范式理論檢驗(yàn)邏輯數(shù)據(jù)模型
6、由用戶(hù)審核邏輯數(shù)據(jù)模型
四、邏輯數(shù)據(jù)模型轉(zhuǎn)化為數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型
具體步驟如下
1、刪除非戰(zhàn)略性數(shù)據(jù),數(shù)據(jù)倉(cāng)庫(kù)模型中不需要包含邏輯數(shù)據(jù)模型中的全部數(shù)據(jù)項(xiàng),某些用于操作處理的數(shù)據(jù)項(xiàng)要?jiǎng)h除
2、增加時(shí)間主鍵數(shù)據(jù),倉(cāng)庫(kù)中的數(shù)據(jù)一定是時(shí)間的快照,因此必須增加時(shí)間主鍵
3、增加派生數(shù)據(jù),對(duì)于用戶(hù)經(jīng)常需要分析的數(shù)據(jù),或者為了提高性能可以增加派生數(shù)據(jù)
4、加入不同級(jí)別粒度的匯總數(shù)據(jù),數(shù)據(jù)粒度代表數(shù)據(jù)細(xì)化程度,粒度越大數(shù)據(jù)的匯總程度越高,粒度是數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的一個(gè)重要因素,它直接影響到駐留在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量和可以執(zhí)行的查詢(xún)類(lèi)型,顯然粒度級(jí)別越低則支持的查詢(xún)?cè)蕉,反之能支持的查?xún)就有限
對(duì)數(shù)據(jù)操作的效率與能得到數(shù)據(jù)的詳細(xì)程度是一對(duì)矛盾,通常人們希望建成的系統(tǒng)既有較高的效率,又能得到所需的詳細(xì)資料,實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)重要原則就是不要試圖包括所有詳細(xì)數(shù)據(jù),因?yàn)?的分析需求是在匯總數(shù)據(jù)上進(jìn)行的,試圖將粒度細(xì)化到最低層只會(huì)增加系統(tǒng)的開(kāi)銷(xiāo)降低系統(tǒng)的性能。
五、數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型優(yōu)化
數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)時(shí)性能是一項(xiàng),主要考慮因素在數(shù)據(jù)倉(cāng)庫(kù)建成后也需要經(jīng)常對(duì)其性能進(jìn)行監(jiān)控并隨著需求和數(shù)據(jù)量的變更進(jìn)行調(diào)整。
優(yōu)化數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的主要方法是
·合并不同的數(shù)據(jù)表
·通過(guò)增加匯總表避免數(shù)據(jù)的動(dòng)態(tài)匯總
·通過(guò)冗余字段減少表連接的數(shù)量不要超過(guò)~個(gè)
·用ID代碼而不是描述信息作為鍵值
·對(duì)數(shù)據(jù)表做分區(qū)
六、數(shù)據(jù)清洗轉(zhuǎn)換和傳輸
由于業(yè)務(wù)系統(tǒng)所使用的軟硬件平臺(tái),不同編碼方法不同,業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在加載到數(shù)據(jù)倉(cāng)庫(kù)之前必須進(jìn)行數(shù)據(jù)的清洗和轉(zhuǎn)換,保證數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的一致性。
在設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)加載方案時(shí)必須考慮以下幾項(xiàng)要求
·加載方案必須能夠支持訪問(wèn)不同的數(shù)據(jù)庫(kù)和文件系統(tǒng)
·數(shù)據(jù)的清洗轉(zhuǎn)換和傳輸必須滿(mǎn)足時(shí)間要求能夠在規(guī)定的時(shí)間范圍內(nèi)完成
·支持各種轉(zhuǎn)換方法各種轉(zhuǎn)換方法可以構(gòu)成一個(gè)工作流
·支持增量加載只把自上一次加載以來(lái)變化的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)
七、開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)的分析應(yīng)用
建立數(shù)據(jù)倉(cāng)庫(kù)的最終目的是為業(yè)務(wù)部門(mén)提供決策支持能力,必須為業(yè)務(wù)部門(mén)選擇合適的工具,實(shí)現(xiàn)其對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行分析的要求。
信息部門(mén)所選擇的開(kāi)發(fā)工具必須能夠:
·滿(mǎn)足用戶(hù)的全部分析功能要求,數(shù)據(jù)倉(cāng)庫(kù)中的用戶(hù)包括了企業(yè)中各個(gè)業(yè)務(wù)部門(mén)他們的業(yè)務(wù),不同要求的分析功能也不同,如有的用戶(hù)只是簡(jiǎn)單的分析報(bào)表,有些用戶(hù)則要求做預(yù)測(cè)和趨勢(shì)分析
·提供靈活的表現(xiàn)方式分析的結(jié)果,必須能夠以直觀靈活的方式表現(xiàn),支持復(fù)雜的圖表使用,方式上可以是客戶(hù)機(jī)/服務(wù)器方式也可以是瀏覽器方式
事實(shí)上沒(méi)有一種工具能夠滿(mǎn)足數(shù)據(jù)倉(cāng)庫(kù)的全部分析功能,需求一個(gè)完整的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的功能可能是由多種工具來(lái)實(shí)現(xiàn),因此必須考慮多個(gè)工具之間的接口和集成性問(wèn)題,對(duì)于用戶(hù)來(lái)說(shuō)希望看到的是一致的界面。
八、數(shù)據(jù)倉(cāng)庫(kù)的管理
只重視數(shù)據(jù)倉(cāng)庫(kù)的建立而忽視數(shù)據(jù)倉(cāng)庫(kù)的管理必然導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的失敗,數(shù)據(jù)倉(cāng)庫(kù)管理主要包括數(shù)據(jù)庫(kù)管理和元數(shù)據(jù)管理。
數(shù)據(jù)庫(kù)管理需要考以下幾個(gè)方面
·安全性管理。數(shù)據(jù)倉(cāng)庫(kù)中的用戶(hù)只能訪問(wèn)到他的授權(quán)范圍內(nèi)的數(shù)據(jù)數(shù)據(jù)在傳輸過(guò)程中的加密策略
·數(shù)據(jù)倉(cāng)庫(kù)的備份和恢復(fù)。數(shù)據(jù)倉(cāng)庫(kù)的大小和備份的頻率直接影響到備份策略
·如何保證數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的可用性硬件還是軟件方法
·數(shù)據(jù)老化。設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的存放時(shí)間周期和對(duì)過(guò)期數(shù)據(jù)的老化方法,如歷史數(shù)據(jù)只保存匯總數(shù)據(jù)當(dāng)年數(shù)據(jù)保存詳細(xì)記錄
然而元數(shù)據(jù)管理貫穿于整個(gè)系統(tǒng)的建設(shè)過(guò)程中,元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù),在數(shù)據(jù)采集階段元數(shù)據(jù)主要包括下列信息:
·源數(shù)據(jù)的描述定義類(lèi)型位置結(jié)構(gòu)
·數(shù)據(jù)轉(zhuǎn)換規(guī)則編碼規(guī)則行業(yè)標(biāo)準(zhǔn)
·目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的模型描述星型/雪花模型定義維/事實(shí)結(jié)構(gòu)定義
·源數(shù)據(jù)到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的映射關(guān)系函數(shù)/表達(dá)式定義
·代碼生成轉(zhuǎn)換程序自動(dòng)加載程序等
在數(shù)據(jù)管理階段元數(shù)據(jù)主要包括下列信息
·匯總數(shù)據(jù)的描述匯總/聚合層次物化視圖結(jié)構(gòu)定義
·歷史數(shù)據(jù)存儲(chǔ)規(guī)則位置存儲(chǔ)粒度
·多維數(shù)據(jù)結(jié)構(gòu)描述立方體定義維結(jié)構(gòu)度量值鉆取層次定義等
在數(shù)據(jù)展現(xiàn)階段元數(shù)據(jù)主要包括以下信息
·報(bào)表的描述報(bào)表結(jié)構(gòu)的定義
·統(tǒng)計(jì)函數(shù)的描述各類(lèi)統(tǒng)計(jì)分析函數(shù)的定義
·結(jié)果輸出的描述圖表輸出的定義
元數(shù)據(jù)不但是獨(dú)立存放而且對(duì)用戶(hù)是透明的標(biāo)準(zhǔn)元數(shù)據(jù)之間可以互相轉(zhuǎn)換
核心關(guān)注:拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊(yùn)涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴(lài)品牌。
轉(zhuǎn)載請(qǐng)注明出處:拓步ERP資訊網(wǎng)http://www.oesoe.com/
本文標(biāo)題:如何建設(shè)ERP數(shù)據(jù)倉(cāng)庫(kù)
本文網(wǎng)址:http://www.oesoe.com/html/consultation/10820511556.html