在一臺物理服務器之上構(gòu)建虛擬化抽象層，采用虛擬機監(jiān)視器或虛擬化平臺2種實現(xiàn)方式，負責服務器的抽象、資源的調(diào)度與管理，將項目管理與綜合管理系統(tǒng)分別運行在2個獨立的虛擬機之上，從而提高服務器的資源利用率。在虛擬機的運行過程中，采用實時遷移技術(shù)將虛擬機的完整運行狀態(tài)快速、平滑地遷移到新的服務器上，用于故障服務器的維護，并通過虛擬機動態(tài)調(diào)度方法，對資源進一步整合，實現(xiàn)資源的動態(tài)分配與調(diào)度，從而進一步提高服務器的資源利用率。

    在提高服務器資源利用率的同時，應解決可靠性和性能開銷問題。解決可靠性的有效方法是采用隔離機制，在服務器之上存在多個虛擬機實例情況下，應確保虛擬機之間的完全隔離，即一個虛擬機崩潰不會影響到其他的虛擬機，能及時從故障中恢復。目前，電力數(shù)據(jù)中心的業(yè)務應用系統(tǒng)普遍采用企業(yè)級J2EE 應用服務器，通過國際商用機器公司（IBM）和VMware對Ｗeb Sphere和VMware ESX的性能測試可以看出，服務器虛擬化會付出系統(tǒng)開銷，但性能下降的幅度已經(jīng)變得可以接受。

    2．3 電力數(shù)據(jù)中心云計算平臺

    2．3．1 Hadoop的技術(shù)架構(gòu)及其特征

    電力數(shù)據(jù)中心云計算平臺是一個面向智能電網(wǎng)業(yè)務應用的私有云。以Google與Amazon為代表的商用型云計算技術(shù)主要應用于各自企業(yè)的搜索引擎與電子商務等典型互聯(lián)網(wǎng)應用，無法直接應用于電力數(shù)據(jù)中心云計算平臺。

    Hadoop作為一個開源的云計算框架，其核心包括Hadoop分布式文件系統(tǒng)、分布式數(shù)據(jù)處理和分布式結(jié)構(gòu)化數(shù)據(jù)表，可以滿足電力數(shù)據(jù)中心的需要，保證其高可靠性、高可用性與可伸縮性，主要體現(xiàn)在以下方面。

    1）Hadoop分布式文件系統(tǒng)具備較為完善的冗余備份和故障恢復機制，可以部署在廉價硬件之上，能夠高容錯、高可靠存儲智能電網(wǎng)海量數(shù)據(jù)。

    2）Hadoop分布式文件系統(tǒng)將支持負載均衡策略，保證可伸縮性。若某個節(jié)點的空閑空間下降到一定程度，會自動將數(shù)據(jù)搬移到其他節(jié)點。這樣，在負載變大的時候可提高自身的能力以適應負載。

    3）分布式數(shù)據(jù)處理和分布式結(jié)構(gòu)化數(shù)據(jù)表可支持結(jié)構(gòu)化存儲，屏蔽底層分布式編程，降低開發(fā)難度，保證對智能電網(wǎng)大規(guī)模數(shù)據(jù)集的高吞吐量訪問。

    4）Hadoop是Google云計算平臺的開源實現(xiàn)，已經(jīng)被中國移動、雅虎等企業(yè)作為各自海量數(shù)據(jù)存儲與處理平臺的基本技術(shù)。開源化便于針對智能電網(wǎng)業(yè)務應用進行研究與二次開發(fā)，以確保自主知識產(chǎn)權(quán)。

    2．3．2 基于Hadoop的電力數(shù)據(jù)中心云計算平臺

    電力數(shù)據(jù)中心建設(shè)的最終目的是為各個業(yè)務系統(tǒng)、數(shù)據(jù)挖掘與輔助支持等應用提供數(shù)據(jù)存儲、管理與高性能計算環(huán)境。為了滿足智能電網(wǎng)對電力數(shù)據(jù)中心的更高需求，設(shè)計了基于Hadoop的電力數(shù)據(jù)中心云計算平臺，如圖4所示。

圖4 基于Hadoop的電力數(shù)據(jù)中心云計算平臺

      整個平臺采用主從架構(gòu)，從電力數(shù)據(jù)中心的虛擬化服務器集群中選擇一個服務器作為主節(jié)點，其他節(jié)點作為從節(jié)點。NameNode部署在主節(jié)點，負責管理分布式文件系統(tǒng)的元數(shù)據(jù)，執(zhí)行文件的打開、關(guān)閉與重命名等命名空間操作，并協(xié)調(diào)客戶端對文件的訪問。DataNode負責處理客戶端對數(shù)據(jù)塊的創(chuàng)建、復制、刪除及讀寫請求。每個文件被分成默認大小為64 MB 的數(shù)據(jù)塊，冗余存儲在從節(jié)點的DataNode，例如，當復制因子為3時，一個數(shù)據(jù)塊副本存放在本地機架的DataNode中，另一個副本存放在同一個機架的另一個DataNode中，最后一個副本存放在其他機架的DataNode中。這種方法實現(xiàn)簡單，通過冗余備份和故障恢復機制，可以確保電力數(shù)據(jù)中心對大規(guī)模智能電網(wǎng)信息的可靠存儲。

    采用MapReduce作為處理電力數(shù)據(jù)中海量數(shù)據(jù)的并行編程模型和計算框架。對于大規(guī)模數(shù)據(jù)集的操作，采用任務分解與結(jié)果匯總的方法。例如，將計算狀態(tài)監(jiān)測信息的最大值、最小值、平均值、同比與環(huán)比等數(shù)據(jù)進行二次加工操作，分發(fā)給JobTracker（部署在主節(jié)點）管理下的各個TaskTracker（部署在從節(jié)點）共同完成，然后整合各個TaskTracker的中間結(jié)果，獲得最終的計算結(jié)果。另外，采用建立在MapReduce編程模型之上的高級數(shù)據(jù)流語言Pig，用于簡化MapReduce任務的開發(fā)過程。上述方法將計算節(jié)點TaskTracker與存儲節(jié)點DataNode部署在同一服務器，能夠避免網(wǎng)絡(luò)帶寬瓶頸，有效減少傳統(tǒng)分布式計算中數(shù)據(jù)在網(wǎng)絡(luò)中的傳輸，為電力數(shù)據(jù)中心提供高性能的分布式計算環(huán)境。

    數(shù)據(jù)庫與數(shù)據(jù)倉庫是電力數(shù)據(jù)中心實現(xiàn)數(shù)據(jù)挖掘與輔助決策的基礎(chǔ)。采用HBase作為電力數(shù)據(jù)中心所要求的高可靠、高性能、實時讀寫的分布式數(shù)據(jù)庫系統(tǒng)，將粗粒度、結(jié)構(gòu)化的數(shù)據(jù)按列族存儲在一張巨大的稀疏表中，按照行鍵將表劃分成多個Region，分布在從節(jié)點的RegionServer之上，并將Region以文件的形式存儲在分布式文件系統(tǒng)中。RegionServer負責客戶端對Region的讀寫請求與操作，而主節(jié)點的MasterServer負責Region的分配，協(xié)調(diào)RegionServer的負載并進行狀態(tài)的維護。另外，采用Hive作為電力數(shù)據(jù)中心的數(shù)據(jù)倉庫平臺，對分布式文件系統(tǒng)上的智能電網(wǎng)業(yè)務數(shù)據(jù)進行ETL，構(gòu)建數(shù)據(jù)倉庫，采用類似于結(jié)構(gòu)化查詢語言（SQL）的HiveQL實現(xiàn)對大規(guī)模數(shù)據(jù)集的查詢與分析。分布式數(shù)據(jù)分析處理與傳統(tǒng)SQL相結(jié)合有利于傳統(tǒng)系統(tǒng)向新平臺的遷移。

3 現(xiàn)有電力數(shù)據(jù)中心向云計算的遷移策略

    3．1 遷移的目的

    電力數(shù)據(jù)中心的設(shè)計與建設(shè)是一項龐大的系統(tǒng)工程�，F(xiàn)有的數(shù)據(jù)中心由國家電網(wǎng)公司統(tǒng)一規(guī)劃建設(shè)，但各地的信息化水平、業(yè)務系統(tǒng)應用與成熟程度不同，使得各個網(wǎng)省公司數(shù)據(jù)中心建設(shè)有其自身的特點，部分電力數(shù)據(jù)中心已經(jīng)引入了虛擬化技術(shù)，初步具備了云計算能力，而多數(shù)電力數(shù)據(jù)中心仍然停留在傳統(tǒng)數(shù)據(jù)中心的水平，遠未達到新一代數(shù)據(jù)中心對智能電網(wǎng)海量數(shù)據(jù)存儲與高效計算、高可靠性、高可用性與可伸縮性的要求。

    基于云計算的新一代電力數(shù)據(jù)中心是未來的發(fā)展方向�？紤]到電力數(shù)據(jù)中心已經(jīng)初步建立，智能電網(wǎng)仍處于初級建設(shè)階段，應確保現(xiàn)有電力數(shù)據(jù)中心向新一代云計算數(shù)據(jù)中心的分階段平穩(wěn)過渡，一方面保障現(xiàn)有電力數(shù)據(jù)中心的正常運行，另一方面逐步適應智能電網(wǎng)發(fā)展的需要。

    3．2 遷移策略及需要解決的難點問題

    給出現(xiàn)有電力數(shù)據(jù)中心向基于云計算的新一代電力數(shù)據(jù)中心的分階段遷移策略，以確保平穩(wěn)過渡。

    1）逐步將公司總部以及各個網(wǎng)省公司的電力數(shù)據(jù)中心升級為云節(jié)點。將數(shù)據(jù)中心的基礎(chǔ)設(shè)施虛擬化，提升服務的可用性與彈性可擴展性，升級或改造為面向云計算的數(shù)據(jù)中心，即云節(jié)點。

    2）將各個云節(jié)點連接成電力企業(yè)內(nèi)部的私有云。各個電力數(shù)據(jù)中心部署為高可用、可擴展的云節(jié)點后，將各個云節(jié)點連接在一起，構(gòu)成一個多中心的私有云，如圖5所示。

圖5 電力數(shù)據(jù)中心私有云

    在基于云計算的新一代電力數(shù)據(jù)中心的建設(shè)和遷移過程中，面臨著如下需要重點解決的問題。

    1）在電力數(shù)據(jù)中心升級為云節(jié)點的過程中，需要重點解決基礎(chǔ)設(shè)施虛擬化的問題。目前存在多種虛擬化解決方案，例如IBM 的zVM 與PowerVM，VMware的VMware ESX Server，微軟的Hyper－V等。在選擇解決方案時應充分考慮與現(xiàn)有電力數(shù)據(jù)中心的兼容性，減少遷移成本。

    2）在電力數(shù)據(jù)中心私有云中，各個網(wǎng)省公司數(shù)據(jù)中心與公司總部數(shù)據(jù)中心之間需要傳送大量的業(yè)務數(shù)據(jù)，可以在各個云節(jié)點設(shè)置負載均衡設(shè)備，構(gòu)建電力系統(tǒng)廣域網(wǎng)的加速通道，以解決數(shù)據(jù)傳輸瓶頸問題。

    3）安全性是云計算在電力數(shù)據(jù)中心應用過程中需要解決的一個重要問題�；�于云計算的新一代電力數(shù)據(jù)中心是在電力企業(yè)內(nèi)部建立的私有云，可自我管理與維護，業(yè)務數(shù)據(jù)通過電力系統(tǒng)廣域?qū)＞W(wǎng)傳輸。電力數(shù)據(jù)中心在電力安全分區(qū)體系中屬于管理信息大區(qū)（安全區(qū)Ⅲ），可以設(shè)置電力專用的單向安全隔離裝置，在物理層面上實現(xiàn)與生產(chǎn)控制大區(qū)及外部公共信息網(wǎng)的安全隔離。

    4）在電力數(shù)據(jù)中心私有云之上，統(tǒng)一部署基于Hadoop的云計算平臺。在Hadoop技術(shù)的基礎(chǔ)上自主研發(fā)云計算平臺，將是建設(shè)新一代電力數(shù)據(jù)中心的關(guān)鍵，相關(guān)研究工作正在進一步開展，研究成果將另文討論。

4 結(jié)語

    本文通過研究服務器虛擬化、實時遷移、Hadoop等技術(shù)問題，給出了電力企業(yè)云計算數(shù)據(jù)中心的整體架構(gòu)，并設(shè)計了基于Hadoop的電力數(shù)據(jù)中心云計算平臺，以符合新一代數(shù)據(jù)中心的發(fā)展趨勢，滿足智能電網(wǎng)的業(yè)務需要。云計算作為新興技術(shù)，其體系結(jié)構(gòu)、虛擬化、數(shù)據(jù)存儲及資源管理等問題仍然有待進一步研究。后續(xù)擬針對智能電網(wǎng)的具體業(yè)務應用與信息服務，研究作業(yè)的分配策略與調(diào)度算法，并采用云仿真工具CloudSim 進行性能比較和優(yōu)化。  

核心關(guān)注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領(lǐng)域、行業(yè)應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.oesoe.com/

本文標題：基于云計算的電力數(shù)據(jù)中心基礎(chǔ)架構(gòu)及其關(guān)鍵技術(shù)(下)

本文網(wǎng)址：http://www.oesoe.com/html/consultation/1083976751.html