一、引言

    神東煤炭數(shù)據(jù)存儲備份系統(tǒng)項目將完成數(shù)據(jù)庫層的數(shù)據(jù)集中存儲和備份以及應用層面的虛擬化部署，以期達到公司應用系統(tǒng)的整體性能和安全級別的提升。數(shù)據(jù)庫層采用100TB 物理容量的光纖硬盤作為末端存儲，以四臺IBM N6060 作為管控端，根據(jù)業(yè)務數(shù)據(jù)的安全級別要求，將存儲級別劃分為RAID DP+MIRROR 和RAID DP 方式，并配以IBM TSM 進行數(shù)據(jù)的集中備份和管理；既實現(xiàn)了對數(shù)據(jù)的統(tǒng)一規(guī)劃管理，同時也提高數(shù)據(jù)安全性。應用層采用VMWare 虛擬化架構，通過對現(xiàn)有應用服務器配置信息的分析，實現(xiàn)高性能設備的多應用負載，并能通過VMWare 管理端的統(tǒng)一調度，實現(xiàn)應用系統(tǒng)按負載量的冗余切換實施方案，實現(xiàn)應用系統(tǒng)發(fā)生錯誤時的快速切換。不僅可以實現(xiàn)高性能硬件的充分應用，同時也可以實現(xiàn)應用系統(tǒng)的高可用性。

二、搭建統(tǒng)一數(shù)據(jù)存儲平臺

    在本項目未實施之前神東公司各應用系統(tǒng)均為部署為SAN 孤島或服務器本地硬盤存儲狀態(tài)對于管理人員的維護工作量巨大同時存在著極大的安全隱患。本項目實現(xiàn)了各信息系統(tǒng)和數(shù)據(jù)庫系統(tǒng)等核心業(yè)務全部數(shù)據(jù)集中存儲和資源的合理利用，實現(xiàn)快速訪問、讀寫應用的需求，同時也解決了數(shù)據(jù)安全隱患問題。

    本項目中采用高端智能數(shù)據(jù)存儲設備IBM N6060，該存儲系統(tǒng)具有高緩存、高帶寬、高擴展性、高可靠性、高連接性等特點；統(tǒng)一硬件資源存儲，充分利用現(xiàn)有信息系統(tǒng)硬件設施和存儲設備，結合神東煤炭集團原有存儲系統(tǒng)建設時間、規(guī)模和性能原因，對存儲中心進行統(tǒng)一整合。配置存儲內(nèi)部的卷快照和卷復制軟件，提供對單個數(shù)據(jù)卷發(fā)生邏輯或者物理錯誤的迅速恢復手段。

    實現(xiàn)存儲設備的高可用行，將數(shù)據(jù)存儲平臺配置鏡像存儲設備或制定策略，完成存儲之間的數(shù)據(jù)復制，當主存儲平臺失效后，可通過切換鏡像存儲設備進行切換。當新業(yè)務系統(tǒng)將接入數(shù)據(jù)中心時，存儲系統(tǒng)內(nèi)可支持隨機增加存儲分區(qū)和主機連接，并且不對連接主機數(shù)量、平臺進行限制。

    隨著神東信息化程度的提高，數(shù)據(jù)類型既要考慮結構化數(shù)據(jù)，又充分考慮神東非結構化數(shù)據(jù)和工控數(shù)據(jù)的傳輸與存儲。對核心服務器、非關鍵應用系統(tǒng)配置優(yōu)先級連接，以保證應用系統(tǒng)使用過程中性能都有明顯提高。本項目中存儲設備將滿足5－10 年的容量擴展要求，達到400TB 以上物理容量擴展，存儲設備具有良好的掉電保護技術保護緩存數(shù)據(jù)，采用RAID DP+MIRROR 技術有效的保證了數(shù)據(jù)的安全性。

    下圖為該項目中統(tǒng)一集中存儲結構圖：

    本次項目中的兩臺N6060 均按照上述示意圖連接，每臺N6060為雙控制器配置8 臺14*450GB 的EXN4000，根據(jù)N6060 官方最有性能的考慮采用4 臺EXN4000 串聯(lián)成一個loop，通過雙控制器實現(xiàn)鏈路冗余，保證每臺磁盤擴展柜均為雙鏈路到達控制器從而保證核心存儲設備的高可用性。

三、搭建集中備份/恢復及歸檔平臺

    本項目實現(xiàn)了對核心業(yè)務數(shù)據(jù)庫數(shù)據(jù)、應用數(shù)據(jù)、操作系統(tǒng)快速集中備份，同時有效的支持異構硬件環(huán)境，實現(xiàn)了任意時間點的備份和恢復。

    備份平臺的建設須具有以下功能，通過備份平臺對所有關鍵業(yè)務數(shù)據(jù)進行集中網(wǎng)絡數(shù)據(jù)備份，備份軟件操作界面簡單、高效穩(wěn)定；集中備份設備是使用IBM 虛擬磁帶庫TS7650G，充分利用其全局數(shù)據(jù)刪減技術在數(shù)據(jù)源端發(fā)現(xiàn)并刪除冗余數(shù)據(jù)段，不會因為太多的備份數(shù)據(jù)量而導致的網(wǎng)絡帶寬不足，影響應用系統(tǒng)的正常運行；改善備份設備性能，實現(xiàn)高級磁盤備份方式，提高備份速率，備份操作完成后，后臺進行無人值守的數(shù)據(jù)遷移至物理磁盤，從而完成數(shù)據(jù)的完整保存；本項目實現(xiàn)了數(shù)據(jù)庫和應用系統(tǒng)的在線備份，并且支持通過IP 網(wǎng)絡的異地遠程復制，為以后異地容災系統(tǒng)做好基礎；同時制定了科學、可靠的備份策略，減少備份給信息中心維護人員帶來的數(shù)據(jù)恢復的復雜度，并且能夠提供定期的恢復測試策略，保證備份數(shù)據(jù)安全有效。

    制定簡單、快捷、完整的數(shù)據(jù)恢復策略；并支持數(shù)據(jù)的異機恢復，即將備份數(shù)據(jù)恢復到其他主機上進行數(shù)據(jù)驗證等工作；存儲在備份平臺上的數(shù)據(jù)能夠高效、加密、異步的復制到遠程地點部署的設備上，而無需運送磁帶。備份平臺通過RAIN 和RAID 保護、熱備份磁盤、自我告警等機制對備份數(shù)據(jù)加以保護，提高了備份數(shù)據(jù)的可恢復性。在本項目中構建一套數(shù)據(jù)恢復/測試環(huán)境，能夠支持每天從備份系統(tǒng)中將數(shù)據(jù)進行恢復測試，同時使用測試應用系統(tǒng)進行數(shù)據(jù)完整性驗證。并且將數(shù)據(jù)驗證工作加入IT 日常管理流程中，使得備份數(shù)據(jù)更加的有效及完整。

    項目實施過程中在備份服務器上安裝oracle 數(shù)據(jù)庫軟件，數(shù)據(jù)庫使用和當前生產(chǎn)環(huán)境相同的release 的數(shù)據(jù)庫。在我們神東環(huán)境中最高版本使用Oracle10.2.0.4。創(chuàng)建種子數(shù)據(jù)庫，創(chuàng)建catalog 知識庫所有者用戶，例如可以創(chuàng)建名為netback 的方案用戶，并授權netback 用戶有catalog_owner_，創(chuàng)建catalog 知識庫的表空間，創(chuàng)建catalog。

    以下介紹知識庫創(chuàng)建的過程

    創(chuàng)建知識庫表空間：

    SQL>create tablespace netback datafile /u01/oradata/

    netback/netback.dbf'size 2048M；

    Tablespace created.

    創(chuàng)建netback 用戶：

    SQL>create user netback identified by netback default

    tablespace netback；

    User created.

    授權netback 可以使用知識庫：

    SQL>grant connect，resource，recovery_catalog_owner to

    netback；

    Grant succeeded.

    然后創(chuàng)建catalog：

    [oracle@OAtest~]$rman catalog netback/netback@netback

    RMAN>create catalog；

    RMAN>quit

    至此，oracle 備份知識庫創(chuàng)建完成。

    在數(shù)據(jù)庫服務器上安裝TSM 備份軟件的備份客戶端。安裝數(shù)據(jù)庫軟件的備份代理。在數(shù)據(jù)庫服務器上創(chuàng)建到catalog 知識庫的名字解析服務，確認oracle 數(shù)據(jù)庫能夠訪問catalog 知識庫，在知識庫中注冊備份數(shù)據(jù)庫。使用新的介質管理層接口替換oracle 或者先前備份軟件的介質管理層接口，確認備份代理工作正常�？梢允褂胦racle 提供的介質管理層測試工具sbttest 進行測試，如下：

    $sbttest test

    返回為sbtinit succeeded 表示測試成功。

    在數(shù)據(jù)庫服務器上，首先配置rman 使用環(huán)境，可以使用類似

    如下命令查看oracle 數(shù)據(jù)庫默認的備份環(huán)境：

    RMAN>show all；

    RMAN configuration parameters are：

    CONFIGURE RETENTION POLICY TO REDUNDANCY 1；# default

    在catalog 知識庫中注冊數(shù)據(jù)庫，命令如下：

    RMAN>register database；

    如果遇到如下錯誤：

    bash-3.00$ rman target/catalog netback/netback@

    netback

    表明知識庫版本低于生產(chǎn)數(shù)據(jù)庫，需要升級catalog，命令為：

    RMAN>upgrade catalog；

    recovery catalog owner is netback

    enter UPGRADE CATALOG command again to confirm catalog

    upgrade

    提示需要再次運行一次：

    RMAN>upgrade catalog；

    RMAN>quit

    成功后即可使用catalog。

    修改數(shù)據(jù)庫默認備份通道為sbt，命令如下：

    RMAN>CONFIGURE DEFAULT DEVICE TYPE TO sbt；

    必須打開控制文件的自動備份，否則數(shù)據(jù)庫仍然不能恢復。

    RMAN>CONFIGURE CONTROLFILE AUTOBACKUP on；

    至此，備份軟件對數(shù)據(jù)庫的備份配置完成。

    使用rman 腳本對數(shù)據(jù)庫進行全備，rman 應該同時連接到目標數(shù)據(jù)庫（即需要進行數(shù)據(jù)備份的數(shù)據(jù)庫）和catalog 知識庫。需要記錄數(shù)據(jù)庫的DBID。

四、建立虛擬化服務器（VMware）基礎架構

    目前在神東公司環(huán)境降低服務器大量增加和對平臺依賴性等因素成為企業(yè)實現(xiàn)其目標的障礙。

    通過本項目在一臺高性能服務器上運行多個操作系統(tǒng)和應用程序，提高硬件的利用率，降低能耗，并減少資金成本和運營成本。通過虛擬化架構實現(xiàn)硬件性能、可擴展性和可用性級別的提升。在實時過程中使用在線遷移虛擬機避免計劃內(nèi)停機；通過自動化負載平衡實現(xiàn)基于策略的IT 資源動態(tài)分配；消除許多重復的配置和維護任務。確保計劃內(nèi)硬件維護和備份時間依然保持業(yè)務運轉不停頓。確保永不宕機的可用性，并在發(fā)生災難后進行快速、有效恢復。

    VMWARE 軟件分為兩個主要部分：VMWARE vCenter server，即原來的ESX server 和Vcenter console。

    Server 用于創(chuàng)建虛擬環(huán)境，運行虛擬主機。VC 服務器要求的安裝的操做系統(tǒng)為WINDOWS SERVER 2003，上面安裝SQL 2000 SP4或是SQL 2005 SP1 以上。在此系統(tǒng)上面配置VC 服務和LICENCE服務。VC 服務器要與ESX 主機的SERVICE CONSOLE 在同一網(wǎng)段內(nèi)。

    使用多臺ESXserver，兩臺serer 共享LUN。虛擬機創(chuàng)建在LUN 上（事實上也就位于N6060 上），然后創(chuàng)建N6060 的LUN 到虛擬機。在專用的LUN 上保存數(shù)據(jù)庫，以確保虛擬機處理數(shù)據(jù)庫的性能。任何一臺ESXserver 故障，只需要在另一臺ESXserver 上啟動虛擬機操作系統(tǒng)即可。能夠實現(xiàn)快速接管。

    Vcenter console 用于遠程管理vCenter SERVER。安裝后可通過管理界面對虛擬機進行管理和調整。

    使用VMware vCenter Converter 轉換物理主機到虛擬機這一步是整個項目中難度最大，也是風險最大的步驟。所以，一定要確認系統(tǒng)各項備份成功。并完整保留用戶生產(chǎn)環(huán)境直到這個轉換過程完成。

    轉換過程比較簡單。首先在需要遷移的服務器上安裝VMwarevCenter Converter 企業(yè)版，隨后在夜間指定的時間點停止數(shù)據(jù)庫和應用服務，使用VMware vCenter Converter 將整個服務器所有文件系統(tǒng)及分區(qū)表等相關內(nèi)容轉換到外部存儲設備上，成為一個虛擬機目錄。

    然后將這個目錄復制到N6060 上，在VMWARE server 中打開該虛擬文件即可。整個轉換過程通常都在分鐘級。虛擬機啟動后，啟動虛擬機中的數(shù)據(jù)庫和應用程序。

五、神東數(shù)據(jù)中心SAN 架構

    N6060 配置有4Gb 速率FC 接口24 個，這24 個接口分為連接擴展存儲柜的接口和連接主機的主機接口。擴展接口應確保磁盤柜雙冗余接入控制器。主機接口應分別接入不同的光纖通道交換機，并進行FC 綁定，提高設備帶庫和冗余；N6060 配置有千兆以太網(wǎng)接口8 個，這8 個接口應分別接入到Cisco 以太網(wǎng)交換機中。

    每臺N6060 部署4 個aggerates，兩臺N6060 之間25TB 實現(xiàn)mirror，剩余13TB 存儲空間疊加使用，劃分相應的Volume、Qtree、LUN 給相應的主機。

    在神東煤炭數(shù)據(jù)中心環(huán)境中部署兩臺MDS9506 作為核心存儲交換機，在項目的設計中基于神東集團公司業(yè)務的不同將核心存儲交換機邏輯的劃分為多個虛擬交換機，保證數(shù)據(jù)存儲過程中業(yè)務的相對隔離。在主機與存儲設備的部署上采用業(yè)內(nèi)成熟的zone技術，保證不同主機與存儲設備的獨立性。

六、項目總結

    神東煤炭公司數(shù)據(jù)存儲備份系統(tǒng)的實施核心分為三個部分：數(shù)據(jù)集中存儲、關鍵數(shù)據(jù)的熱備份以及全網(wǎng)應用服務器虛擬化的實現(xiàn)，通過三大模塊的改造升級安全合理的保證神東信息化的運行。

    全網(wǎng)的數(shù)據(jù)集中存儲在部署高安全性策略的N6060 設備上，有效保證關鍵性業(yè)務數(shù)據(jù)的安全性及穩(wěn)定性。Tivoli StorageManager 管理軟件配合虛擬磁帶備份設備針對數(shù)據(jù)庫實時更新的數(shù)據(jù)部署在線熱備份，避免人為及自燃災難帶來的數(shù)據(jù)丟失。全網(wǎng)應用服務器實現(xiàn)VMware 虛擬化，有效的控制和減少服務器數(shù)量，明顯的提升了每個服務區(qū)的利用率；加快的新建應用系統(tǒng)的部署，所有的服務器資源將統(tǒng)一分配管理并按需進行資源調配，大量的減少信息管理人員的維護工作量。通過三面的合理部署運行為神東煤炭集團公司信息化運作提供一個高速、安全、可靠的平臺。

核心關注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理，全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域，是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。

轉載請注明出處：拓步ERP資訊網(wǎng)http://www.oesoe.com/

本文標題：數(shù)據(jù)存儲備份系統(tǒng)的有效構建淺析

本文網(wǎng)址：http://www.oesoe.com/html/support/1112157984.html