一、引言

    神東煤炭數(shù)據(jù)存儲備份系統(tǒng)項目將完成數(shù)據(jù)庫層的數(shù)據(jù)集中存儲和備份以及應(yīng)用層面的虛擬化部署，以期達(dá)到公司應(yīng)用系統(tǒng)的整體性能和安全級別的提升。數(shù)據(jù)庫層采用100TB 物理容量的光纖硬盤作為末端存儲，以四臺IBM N6060 作為管控端，根據(jù)業(yè)務(wù)數(shù)據(jù)的安全級別要求，將存儲級別劃分為RAID DP+MIRROR 和RAID DP 方式，并配以IBM TSM 進(jìn)行數(shù)據(jù)的集中備份和管理；既實現(xiàn)了對數(shù)據(jù)的統(tǒng)一規(guī)劃管理，同時也提高數(shù)據(jù)安全性。應(yīng)用層采用VMWare 虛擬化架構(gòu)，通過對現(xiàn)有應(yīng)用服務(wù)器配置信息的分析，實現(xiàn)高性能設(shè)備的多應(yīng)用負(fù)載，并能通過VMWare 管理端的統(tǒng)一調(diào)度，實現(xiàn)應(yīng)用系統(tǒng)按負(fù)載量的冗余切換實施方案，實現(xiàn)應(yīng)用系統(tǒng)發(fā)生錯誤時的快速切換。不僅可以實現(xiàn)高性能硬件的充分應(yīng)用，同時也可以實現(xiàn)應(yīng)用系統(tǒng)的高可用性。

二、搭建統(tǒng)一數(shù)據(jù)存儲平臺

    在本項目未實施之前神東公司各應(yīng)用系統(tǒng)均為部署為SAN 孤島或服務(wù)器本地硬盤存儲狀態(tài)對于管理人員的維護(hù)工作量巨大同時存在著極大的安全隱患。本項目實現(xiàn)了各信息系統(tǒng)和數(shù)據(jù)庫系統(tǒng)等核心業(yè)務(wù)全部數(shù)據(jù)集中存儲和資源的合理利用，實現(xiàn)快速訪問、讀寫應(yīng)用的需求，同時也解決了數(shù)據(jù)安全隱患問題。

    本項目中采用高端智能數(shù)據(jù)存儲設(shè)備IBM N6060，該存儲系統(tǒng)具有高緩存、高帶寬、高擴(kuò)展性、高可靠性、高連接性等特點；統(tǒng)一硬件資源存儲，充分利用現(xiàn)有信息系統(tǒng)硬件設(shè)施和存儲設(shè)備，結(jié)合神東煤炭集團(tuán)原有存儲系統(tǒng)建設(shè)時間、規(guī)模和性能原因，對存儲中心進(jìn)行統(tǒng)一整合。配置存儲內(nèi)部的卷快照和卷復(fù)制軟件，提供對單個數(shù)據(jù)卷發(fā)生邏輯或者物理錯誤的迅速恢復(fù)手段。

    實現(xiàn)存儲設(shè)備的高可用行，將數(shù)據(jù)存儲平臺配置鏡像存儲設(shè)備或制定策略，完成存儲之間的數(shù)據(jù)復(fù)制，當(dāng)主存儲平臺失效后，可通過切換鏡像存儲設(shè)備進(jìn)行切換。當(dāng)新業(yè)務(wù)系統(tǒng)將接入數(shù)據(jù)中心時，存儲系統(tǒng)內(nèi)可支持隨機(jī)增加存儲分區(qū)和主機(jī)連接，并且不對連接主機(jī)數(shù)量、平臺進(jìn)行限制。

    隨著神東信息化程度的提高，數(shù)據(jù)類型既要考慮結(jié)構(gòu)化數(shù)據(jù)，又充分考慮神東非結(jié)構(gòu)化數(shù)據(jù)和工控數(shù)據(jù)的傳輸與存儲。對核心服務(wù)器、非關(guān)鍵應(yīng)用系統(tǒng)配置優(yōu)先級連接，以保證應(yīng)用系統(tǒng)使用過程中性能都有明顯提高。本項目中存儲設(shè)備將滿足5－10 年的容量擴(kuò)展要求，達(dá)到400TB 以上物理容量擴(kuò)展，存儲設(shè)備具有良好的掉電保護(hù)技術(shù)保護(hù)緩存數(shù)據(jù)，采用RAID DP+MIRROR 技術(shù)有效的保證了數(shù)據(jù)的安全性。

    下圖為該項目中統(tǒng)一集中存儲結(jié)構(gòu)圖：

    本次項目中的兩臺N6060 均按照上述示意圖連接，每臺N6060為雙控制器配置8 臺14*450GB 的EXN4000，根據(jù)N6060 官方最有性能的考慮采用4 臺EXN4000 串聯(lián)成一個loop，通過雙控制器實現(xiàn)鏈路冗余，保證每臺磁盤擴(kuò)展柜均為雙鏈路到達(dá)控制器從而保證核心存儲設(shè)備的高可用性。

三、搭建集中備份/恢復(fù)及歸檔平臺

    本項目實現(xiàn)了對核心業(yè)務(wù)數(shù)據(jù)庫數(shù)據(jù)、應(yīng)用數(shù)據(jù)、操作系統(tǒng)快速集中備份，同時有效的支持異構(gòu)硬件環(huán)境，實現(xiàn)了任意時間點的備份和恢復(fù)。

    備份平臺的建設(shè)須具有以下功能，通過備份平臺對所有關(guān)鍵業(yè)務(wù)數(shù)據(jù)進(jìn)行集中網(wǎng)絡(luò)數(shù)據(jù)備份，備份軟件操作界面簡單、高效穩(wěn)定；集中備份設(shè)備是使用IBM 虛擬磁帶庫TS7650G，充分利用其全局?jǐn)?shù)據(jù)刪減技術(shù)在數(shù)據(jù)源端發(fā)現(xiàn)并刪除冗余數(shù)據(jù)段，不會因為太多的備份數(shù)據(jù)量而導(dǎo)致的網(wǎng)絡(luò)帶寬不足，影響應(yīng)用系統(tǒng)的正常運行；改善備份設(shè)備性能，實現(xiàn)高級磁盤備份方式，提高備份速率，備份操作完成后，后臺進(jìn)行無人值守的數(shù)據(jù)遷移至物理磁盤，從而完成數(shù)據(jù)的完整保存；本項目實現(xiàn)了數(shù)據(jù)庫和應(yīng)用系統(tǒng)的在線備份，并且支持通過IP 網(wǎng)絡(luò)的異地遠(yuǎn)程復(fù)制，為以后異地容災(zāi)系統(tǒng)做好基礎(chǔ)；同時制定了科學(xué)、可靠的備份策略，減少備份給信息中心維護(hù)人員帶來的數(shù)據(jù)恢復(fù)的復(fù)雜度，并且能夠提供定期的恢復(fù)測試策略，保證備份數(shù)據(jù)安全有效。

    制定簡單、快捷、完整的數(shù)據(jù)恢復(fù)策略；并支持?jǐn)?shù)據(jù)的異機(jī)恢復(fù)，即將備份數(shù)據(jù)恢復(fù)到其他主機(jī)上進(jìn)行數(shù)據(jù)驗證等工作；存儲在備份平臺上的數(shù)據(jù)能夠高效、加密、異步的復(fù)制到遠(yuǎn)程地點部署的設(shè)備上，而無需運送磁帶。備份平臺通過RAIN 和RAID 保護(hù)、熱備份磁盤、自我告警等機(jī)制對備份數(shù)據(jù)加以保護(hù)，提高了備份數(shù)據(jù)的可恢復(fù)性。在本項目中構(gòu)建一套數(shù)據(jù)恢復(fù)/測試環(huán)境，能夠支持每天從備份系統(tǒng)中將數(shù)據(jù)進(jìn)行恢復(fù)測試，同時使用測試應(yīng)用系統(tǒng)進(jìn)行數(shù)據(jù)完整性驗證。并且將數(shù)據(jù)驗證工作加入IT 日常管理流程中，使得備份數(shù)據(jù)更加的有效及完整。

    項目實施過程中在備份服務(wù)器上安裝oracle 數(shù)據(jù)庫軟件，數(shù)據(jù)庫使用和當(dāng)前生產(chǎn)環(huán)境相同的release 的數(shù)據(jù)庫。在我們神東環(huán)境中最高版本使用Oracle10.2.0.4。創(chuàng)建種子數(shù)據(jù)庫，創(chuàng)建catalog 知識庫所有者用戶，例如可以創(chuàng)建名為netback 的方案用戶，并授權(quán)netback 用戶有catalog_owner_，創(chuàng)建catalog 知識庫的表空間，創(chuàng)建catalog。

    以下介紹知識庫創(chuàng)建的過程

    創(chuàng)建知識庫表空間：

    SQL>create tablespace netback datafile /u01/oradata/

    netback/netback.dbf'size 2048M；

    Tablespace created.

    創(chuàng)建netback 用戶：

    SQL>create user netback identified by netback default

    tablespace netback；

    User created.

    授權(quán)netback 可以使用知識庫：

    SQL>grant connect，resource，recovery_catalog_owner to

    netback；

    Grant succeeded.

    然后創(chuàng)建catalog：

    [oracle@OAtest~]$rman catalog netback/netback@netback

    RMAN>create catalog；

    RMAN>quit

    至此，oracle 備份知識庫創(chuàng)建完成。

    在數(shù)據(jù)庫服務(wù)器上安裝TSM 備份軟件的備份客戶端。安裝數(shù)據(jù)庫軟件的備份代理。在數(shù)據(jù)庫服務(wù)器上創(chuàng)建到catalog 知識庫的名字解析服務(wù)，確認(rèn)oracle 數(shù)據(jù)庫能夠訪問catalog 知識庫，在知識庫中注冊備份數(shù)據(jù)庫。使用新的介質(zhì)管理層接口替換oracle 或者先前備份軟件的介質(zhì)管理層接口，確認(rèn)備份代理工作正常�？梢允褂胦racle 提供的介質(zhì)管理層測試工具sbttest 進(jìn)行測試，如下：

    $sbttest test

    返回為sbtinit succeeded 表示測試成功。

    在數(shù)據(jù)庫服務(wù)器上，首先配置rman 使用環(huán)境，可以使用類似

    如下命令查看oracle 數(shù)據(jù)庫默認(rèn)的備份環(huán)境：

    RMAN>show all；

    RMAN configuration parameters are：

    CONFIGURE RETENTION POLICY TO REDUNDANCY 1；# default

    在catalog 知識庫中注冊數(shù)據(jù)庫，命令如下：

    RMAN>register database；

    如果遇到如下錯誤：

    bash-3.00$ rman target/catalog netback/netback@

    netback

    表明知識庫版本低于生產(chǎn)數(shù)據(jù)庫，需要升級catalog，命令為：

    RMAN>upgrade catalog；

    recovery catalog owner is netback

    enter UPGRADE CATALOG command again to confirm catalog

    upgrade

    提示需要再次運行一次：

    RMAN>upgrade catalog；

    RMAN>quit

    成功后即可使用catalog。

    修改數(shù)據(jù)庫默認(rèn)備份通道為sbt，命令如下：

    RMAN>CONFIGURE DEFAULT DEVICE TYPE TO sbt；

    必須打開控制文件的自動備份，否則數(shù)據(jù)庫仍然不能恢復(fù)。

    RMAN>CONFIGURE CONTROLFILE AUTOBACKUP on；

    至此，備份軟件對數(shù)據(jù)庫的備份配置完成。

    使用rman 腳本對數(shù)據(jù)庫進(jìn)行全備，rman 應(yīng)該同時連接到目標(biāo)數(shù)據(jù)庫（即需要進(jìn)行數(shù)據(jù)備份的數(shù)據(jù)庫）和catalog 知識庫。需要記錄數(shù)據(jù)庫的DBID。

四、建立虛擬化服務(wù)器（VMware）基礎(chǔ)架構(gòu)

    目前在神東公司環(huán)境降低服務(wù)器大量增加和對平臺依賴性等因素成為企業(yè)實現(xiàn)其目標(biāo)的障礙。

    通過本項目在一臺高性能服務(wù)器上運行多個操作系統(tǒng)和應(yīng)用程序，提高硬件的利用率，降低能耗，并減少資金成本和運營成本。通過虛擬化架構(gòu)實現(xiàn)硬件性能、可擴(kuò)展性和可用性級別的提升。在實時過程中使用在線遷移虛擬機(jī)避免計劃內(nèi)停機(jī)；通過自動化負(fù)載平衡實現(xiàn)基于策略的IT 資源動態(tài)分配；消除許多重復(fù)的配置和維護(hù)任務(wù)。確保計劃內(nèi)硬件維護(hù)和備份時間依然保持業(yè)務(wù)運轉(zhuǎn)不停頓。確保永不宕機(jī)的可用性，并在發(fā)生災(zāi)難后進(jìn)行快速、有效恢復(fù)。

    VMWARE 軟件分為兩個主要部分：VMWARE vCenter server，即原來的ESX server 和Vcenter console。

    Server 用于創(chuàng)建虛擬環(huán)境，運行虛擬主機(jī)。VC 服務(wù)器要求的安裝的操做系統(tǒng)為WINDOWS SERVER 2003，上面安裝SQL 2000 SP4或是SQL 2005 SP1 以上。在此系統(tǒng)上面配置VC 服務(wù)和LICENCE服務(wù)。VC 服務(wù)器要與ESX 主機(jī)的SERVICE CONSOLE 在同一網(wǎng)段內(nèi)。

    使用多臺ESXserver，兩臺serer 共享LUN。虛擬機(jī)創(chuàng)建在LUN 上（事實上也就位于N6060 上），然后創(chuàng)建N6060 的LUN 到虛擬機(jī)。在專用的LUN 上保存數(shù)據(jù)庫，以確保虛擬機(jī)處理數(shù)據(jù)庫的性能。任何一臺ESXserver 故障，只需要在另一臺ESXserver 上啟動虛擬機(jī)操作系統(tǒng)即可。能夠?qū)崿F(xiàn)快速接管。

    Vcenter console 用于遠(yuǎn)程管理vCenter SERVER。安裝后可通過管理界面對虛擬機(jī)進(jìn)行管理和調(diào)整。

    使用VMware vCenter Converter 轉(zhuǎn)換物理主機(jī)到虛擬機(jī)這一步是整個項目中難度最大，也是風(fēng)險最大的步驟。所以，一定要確認(rèn)系統(tǒng)各項備份成功。并完整保留用戶生產(chǎn)環(huán)境直到這個轉(zhuǎn)換過程完成。

    轉(zhuǎn)換過程比較簡單。首先在需要遷移的服務(wù)器上安裝VMwarevCenter Converter 企業(yè)版，隨后在夜間指定的時間點停止數(shù)據(jù)庫和應(yīng)用服務(wù)，使用VMware vCenter Converter 將整個服務(wù)器所有文件系統(tǒng)及分區(qū)表等相關(guān)內(nèi)容轉(zhuǎn)換到外部存儲設(shè)備上，成為一個虛擬機(jī)目錄。

    然后將這個目錄復(fù)制到N6060 上，在VMWARE server 中打開該虛擬文件即可。整個轉(zhuǎn)換過程通常都在分鐘級。虛擬機(jī)啟動后，啟動虛擬機(jī)中的數(shù)據(jù)庫和應(yīng)用程序。

五、神東數(shù)據(jù)中心SAN 架構(gòu)

    N6060 配置有4Gb 速率FC 接口24 個，這24 個接口分為連接擴(kuò)展存儲柜的接口和連接主機(jī)的主機(jī)接口。擴(kuò)展接口應(yīng)確保磁盤柜雙冗余接入控制器。主機(jī)接口應(yīng)分別接入不同的光纖通道交換機(jī)，并進(jìn)行FC 綁定，提高設(shè)備帶庫和冗余；N6060 配置有千兆以太網(wǎng)接口8 個，這8 個接口應(yīng)分別接入到Cisco 以太網(wǎng)交換機(jī)中。

    每臺N6060 部署4 個aggerates，兩臺N6060 之間25TB 實現(xiàn)mirror，剩余13TB 存儲空間疊加使用，劃分相應(yīng)的Volume、Qtree、LUN 給相應(yīng)的主機(jī)。

    在神東煤炭數(shù)據(jù)中心環(huán)境中部署兩臺MDS9506 作為核心存儲交換機(jī)，在項目的設(shè)計中基于神東集團(tuán)公司業(yè)務(wù)的不同將核心存儲交換機(jī)邏輯的劃分為多個虛擬交換機(jī)，保證數(shù)據(jù)存儲過程中業(yè)務(wù)的相對隔離。在主機(jī)與存儲設(shè)備的部署上采用業(yè)內(nèi)成熟的zone技術(shù)，保證不同主機(jī)與存儲設(shè)備的獨立性。

六、項目總結(jié)

    神東煤炭公司數(shù)據(jù)存儲備份系統(tǒng)的實施核心分為三個部分：數(shù)據(jù)集中存儲、關(guān)鍵數(shù)據(jù)的熱備份以及全網(wǎng)應(yīng)用服務(wù)器虛擬化的實現(xiàn)，通過三大模塊的改造升級安全合理的保證神東信息化的運行。

    全網(wǎng)的數(shù)據(jù)集中存儲在部署高安全性策略的N6060 設(shè)備上，有效保證關(guān)鍵性業(yè)務(wù)數(shù)據(jù)的安全性及穩(wěn)定性。Tivoli StorageManager 管理軟件配合虛擬磁帶備份設(shè)備針對數(shù)據(jù)庫實時更新的數(shù)據(jù)部署在線熱備份，避免人為及自燃災(zāi)難帶來的數(shù)據(jù)丟失。全網(wǎng)應(yīng)用服務(wù)器實現(xiàn)VMware 虛擬化，有效的控制和減少服務(wù)器數(shù)量，明顯的提升了每個服務(wù)區(qū)的利用率；加快的新建應(yīng)用系統(tǒng)的部署，所有的服務(wù)器資源將統(tǒng)一分配管理并按需進(jìn)行資源調(diào)配，大量的減少信息管理人員的維護(hù)工作量。通過三面的合理部署運行為神東煤炭集團(tuán)公司信息化運作提供一個高速、安全、可靠的平臺。

核心關(guān)注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.oesoe.com/

本文標(biāo)題：數(shù)據(jù)存儲備份系統(tǒng)的有效構(gòu)建淺析

本文網(wǎng)址：http://www.oesoe.com/html/support/1112157984.html