伴隨著全球化電子商務(wù)、無紙化辦公和云計算的大規(guī)模開展，在各種應(yīng)用系統(tǒng)的存儲設(shè)備上，信息正以數(shù)據(jù)存儲的TB甚至是PB級方式高速增長。正如EMC CEO喬圖斯對股東們說的那樣“IT行業(yè)出現(xiàn)了最勢不可擋的兩種趨勢：云計算和海量數(shù)據(jù)”。伴隨著云計算的迅猛發(fā)展，海量數(shù)據(jù)的高效存儲需求和管理成為一個研究的重點。高效存儲不僅可以為用戶提供更高效的存儲，而且還可以降低用戶成本，實現(xiàn)高效低碳的環(huán)保型存儲。
隨著綠色I(xiàn)T的提出，存儲系統(tǒng)作為IT架構(gòu)的重要組成部分，當(dāng)仁不讓地承擔(dān)了節(jié)能降耗的重?fù)?dān)。浪潮存儲及時退出了自己的產(chǎn)品LiveStor，LiveStor系統(tǒng)解決了用戶的需求，滿足了對數(shù)據(jù)的高效存儲和管理。本文基于LiveStor系統(tǒng)對大數(shù)據(jù)量存儲常用策略進(jìn)行分析研究，這其中主要用到了多協(xié)議訪問技術(shù)、存儲虛擬化、自動精簡配置、重復(fù)數(shù)據(jù)刪除和分級存儲等關(guān)鍵技術(shù)。
1.高效存儲技術(shù)特點分析
1.1 海量數(shù)據(jù)存儲的特點
伴隨著云存儲等技術(shù)的發(fā)展，各企業(yè)對數(shù)據(jù)的存儲和管理顯得尤為重要。高效、低碳、易管理的存儲解決方案成為浪潮存儲研究的一個重要方向，浪潮存儲與其他傳統(tǒng)的存儲相比具有以下優(yōu)勢：
1)易于擴展、成本低廉：存儲系統(tǒng)支持自動精簡配置，可以很方便地支持?jǐn)U充容量。減少各單位存在的硬盤空問浪費，用戶根據(jù)自己的需要向服務(wù)器彈性地申請所需要的空間，降低了用戶的使用成本。
2)方便管理、可靠性高：易于管理是存儲系統(tǒng)設(shè)計時重點考慮的問題，數(shù)據(jù)采用集中存儲的方式。由數(shù)據(jù)中心的管理員對數(shù)據(jù)進(jìn)行統(tǒng)一管理、數(shù)據(jù)保護、安全控制，并能更可靠地進(jìn)行數(shù)據(jù)的遠(yuǎn)程復(fù)制和備份還原，降低了數(shù)據(jù)風(fēng)險。
3)高效存儲：支持多協(xié)議訪問技術(shù)，用戶可以通過SAN和NAS存取自己數(shù)據(jù)，支持重復(fù)數(shù)據(jù)刪除技術(shù)，提高存儲的利用率。
1.2 存儲虛擬化
存儲虛擬化是將零散的存儲資源整合起來，構(gòu)建海量存儲資源池。從而提高整體的利用率，同時降低系統(tǒng)的管理成本。其基本思想是將資源的邏輯映像與物理存儲分開，從而為系統(tǒng)和管理員提供一簡化、無縫的資源虛擬視圖，這其中一個鶯要的概念就是存儲池。存儲池屏蔽了底層存儲的差異，使用戶屏蔽具體磁盤、磁帶等存儲設(shè)備的差異，也不必關(guān)心自己的數(shù)據(jù)經(jīng)過哪一條路徑通往哪一個具體的存儲設(shè)備。存儲虛擬化可以提高存儲空間的利用率，與傳統(tǒng)的空間管理和靜態(tài)虛擬化空問管理相比，動態(tài)虛擬化空間管理是后端存儲具有更高的利用率，如圖1所示，LiveStor是采用動態(tài)虛擬化空間管理策略來實現(xiàn)存儲的。
圖1 存儲虛擬化管理
例如，給用戶A和B提前分配好100GB的存儲空間。真正使用時，用戶A可能不到5GB，而用戶B可能需要190GB，這樣真實的物理存儲如果最開始是200GB時，靜態(tài)虛擬化無法滿足需求。需要對用戶B的容量擴展至190GB滿足需求，總物理容量將達(dá)到100+190=290GB，分配的容量利用率為195/290=67.2%；基于動態(tài)虛擬化管理技術(shù)的LiveStor，物理容量為200GB組成資源池，在存儲池上建立邏輯卷，用戶A和用戶B所在卷組分別為vol1和vol2。分別為200GB，用戶A只消耗5GB，則只分配5GB，用戶B消耗190GB，則分配190GB，最終利用率達(dá)到195/200—97.5%，該方案大大提高了利用率。
1.3多協(xié)議支持
后端存儲通過LiveStor可以向服務(wù)器提供SAN和NAS服務(wù)，方便用戶的使用和數(shù)據(jù)的存儲，提高了后端存儲的高可用性，如圖2所示。NAS服務(wù)支持ftp，samba，nfs功能，可以為用戶提供可靠的文件級數(shù)據(jù)整合，提供存儲資源；SAN服務(wù)可以為用戶提供FC SAN和IP-SAN服務(wù)，F(xiàn)C-SAN針對對數(shù)據(jù)帶寬有較高要求的用戶，為用戶提供快速、高效的塊級應(yīng)用，提高了存儲的性能，IP-SAN技術(shù)簡單、低成本，基于標(biāo)準(zhǔn)的TCP/IP協(xié)議，在以太網(wǎng)上為用戶提供塊級的應(yīng)用。
圖2 支持多協(xié)議平臺
1.4 自動精簡配置
隨著企業(yè)規(guī)模的發(fā)展。需要的數(shù)據(jù)空間會隨著業(yè)務(wù)的擴展而增加，然而一個企業(yè)開始規(guī)模還是比較小的，不需要太多的存儲空間，如果開始就要購置5年后的存儲空間，既浪費了財力和初始構(gòu)建的成本，也會造成大量空間的浪費和電力的消耗，自動精簡配置可以解決這些問題，比如在部署了自動精簡配置之后，存儲系統(tǒng)可以為用戶提供2TB的邏輯單元，而實際上只有1TB的物理空間可被分配，如圖3所示：
圖3 自動精簡配置
自動精簡配置能夠?qū)⒋鎯臻g利用率從60%提升到80%，推遲用戶磁盤擴容的時間、減少磁盤購買數(shù)量，減少環(huán)境對存儲的壓力，降低總體實現(xiàn)成本，從而降低系統(tǒng)的整體能耗、冷卻成本、以及二氧化碳排放量，符合綠色存儲的要求。
LiveStor提供El志、郵件和SNMP Trap 3種告警機制，當(dāng)物理空間存儲池的利用率達(dá)到一定閾值時就會向管理員發(fā)送告警，當(dāng)實際空間已經(jīng)沒有空余，在新磁盤被添加之前，卷訪問將被鎖定，當(dāng)存儲池告警之后。存儲管理員需跟據(jù)實際存儲容量狀況添加新的磁盤進(jìn)行擴容以確保系統(tǒng)的連續(xù)性。
1.5 重復(fù)數(shù)據(jù)刪除
隨著存儲技術(shù)的不斷發(fā)展，重復(fù)數(shù)據(jù)刪除成了主存儲系統(tǒng)中高效存儲的一個重要技術(shù)點，重復(fù)數(shù)據(jù)刪除可以降低存儲系統(tǒng)的采購成本、節(jié)約電力、減少散熱。重復(fù)數(shù)據(jù)刪除技術(shù)主要有3種類型：文件級重復(fù)數(shù)據(jù)刪除、塊級重復(fù)數(shù)據(jù)刪除、字節(jié)級重復(fù)數(shù)據(jù)刪除。
LiveStor采用基于散列的塊級重復(fù)數(shù)據(jù)刪除技術(shù)，它把需要存儲的數(shù)據(jù)分成固定的數(shù)據(jù)塊，然后為每個數(shù)據(jù)塊生成一個獨特的指紋，如果新數(shù)據(jù)塊的指紋與設(shè)備散列索引中的某個散列匹配，僅存人指針，并指向存儲相同數(shù)據(jù)塊的原始位置，如果數(shù)據(jù)塊是唯一的就被寫入磁盤，其指紋也存入索引中。這種方法用小容量的指針替代重復(fù)的數(shù)據(jù)塊，而不是將重復(fù)數(shù)據(jù)塊再次寫入存儲，節(jié)省了磁盤存儲空間，實現(xiàn)流程如圖4所示：
圖4 重復(fù)數(shù)據(jù)刪除流程圖
塊級重復(fù)數(shù)據(jù)刪除采用定長塊的切分方法，每個數(shù)據(jù)塊的長度都是相同的。文件在切分時，如果切分最后剩余部分不足一個數(shù)據(jù)塊的長度，那么就向該數(shù)據(jù)塊填充空數(shù)據(jù)，如圖5所示：
圖5 定長切分
圖5中Padding表示不足一個數(shù)據(jù)塊，重刪的數(shù)據(jù)變換效果如圖6所示：
圖6 重復(fù)數(shù)據(jù)刪除前后數(shù)據(jù)變化
LiveStor系統(tǒng)在Web界面上顯示去重率，去重率是用來定義重復(fù)數(shù)據(jù)刪除中的優(yōu)化率，等于原數(shù)據(jù)大小除以去重之后的數(shù)據(jù)大小。根據(jù)實際應(yīng)用統(tǒng)計，一般情況下有效存儲容量是磁盤總?cè)萘康?0～20倍，因此，重復(fù)數(shù)據(jù)刪除技術(shù)可以有效節(jié)省存儲空間。
2.LiveStor實現(xiàn)高效存儲分析
2.1 LiveStor簡介
LiveStor是新一代高效存儲系統(tǒng)，它通過高速光纖網(wǎng)絡(luò)連接后端存儲陣列，支持存儲虛擬化、支持SAN存儲網(wǎng)絡(luò)架構(gòu)和NAS的多協(xié)議存儲、支持自動精簡配置、支持重復(fù)數(shù)據(jù)刪除功能，具有高性能、高可用性、易用、易管理的特點。LiveStor能提高存儲性能，減少環(huán)境的壓力，降低總體實現(xiàn)成本，降低能耗和降低二氧化碳排放量，符合綠色存儲的要求。
LiveStor不僅提供高效存儲，還能基于快照技術(shù)為用戶提供本地邏輯分區(qū)的持續(xù)數(shù)據(jù)保護，結(jié)合本地CDP提供遠(yuǎn)程復(fù)制和恢復(fù)功能，滿足生產(chǎn)運行的連續(xù)性和災(zāi)難恢復(fù)的需求，最大程度地保護用戶數(shù)據(jù)安全。
2.2 自動精簡的屬性設(shè)置
LiveStor建立的NAS分區(qū)可以創(chuàng)建大于物理存儲的邏輯卷，各個邏輯卷共享整個存儲池的大小，LiveStor使用set quota設(shè)置邏輯卷的大小。
LiveStor建立的SAN分區(qū)可以創(chuàng)建大于物理存儲大小的邏輯卷，建立的分區(qū)大小是自己設(shè)定的，獨立于存儲池大小之外，但可用存儲池的大小還是原來存儲池的大小，只是在分區(qū)顯示時存儲池的利用率是假象還是真實的情況，使用zfs create—S—b128K—V設(shè)置邏輯卷的大小。映射出來的磁盤就是自動精簡配置設(shè)置的大小，但可用的容量還是原來總存儲池的大小，當(dāng)LiveStor管理員通過設(shè)置的存儲池告警獲得警告信息，就要按需擴容后端存儲，添加硬盤，為用戶提供持續(xù)可用的高效存儲。
2.3 重刪技術(shù)的屬性設(shè)置
LiveStor的重刪功能是基于塊級的重復(fù)數(shù)據(jù)刪除，LiveStor默認(rèn)使用的是SHA一256，不作校驗。它利用SHA一256哈希函數(shù)提供數(shù)據(jù)塊級重復(fù)數(shù)據(jù)刪除功能，開啟重復(fù)數(shù)據(jù)刪除的LiveStor需要較強的處理能力(比如多核處理器)，因此提高處理器能力和內(nèi)存就可以提高重復(fù)數(shù)據(jù)刪除的速度。
LiveStor對重復(fù)數(shù)據(jù)刪除技術(shù)設(shè)置了3個屬性值，分別為on，off，verify。當(dāng)屬性設(shè)置為on時，這種方法是在重刪技術(shù)中速度最快的，因為它是按塊的哈希值進(jìn)行對比重刪的，但是這種重刪存在2*256的可能性將不同的數(shù)據(jù)作為相同的哈希值來刪除。為了確保散列重復(fù)數(shù)據(jù)刪除的安全性，可以將重刪功能的屬性值設(shè)為verify，讓存儲數(shù)據(jù)進(jìn)行全部字節(jié)對比。針對重復(fù)數(shù)據(jù)刪除，也可以使用改進(jìn)的、簡單的散列算法來減少所需的處理能力，并將它與驗證功能結(jié)合在一起以提高重復(fù)數(shù)據(jù)刪除的整體速度。
LiveStor重復(fù)數(shù)據(jù)刪除功能可根據(jù)文件系統(tǒng)的大小進(jìn)行調(diào)整塊的大小，LiveStor設(shè)置塊大小為128 KB，塊的大小可以自動配置，LiveStor的重刪技術(shù)可以有選擇地設(shè)置，可以針對包含重復(fù)多的數(shù)據(jù)，在存儲時就進(jìn)行重復(fù)數(shù)據(jù)刪除工作，節(jié)約硬盤的使用，對重復(fù)數(shù)據(jù)少的數(shù)據(jù)不進(jìn)行重刪，提高數(shù)據(jù)的讀寫速度。
3.基于塊級重刪的高效存儲的性能分析
實驗是將后端存儲映射給LiveStor存儲系統(tǒng)，在其上建立存儲池和邏輯分區(qū)，將邏輯分區(qū)通過光纖再映射給服務(wù)器作為客戶端，利用Iometer(2006)對具有存儲虛擬化、自動精簡配置和重刪的LiveStor分區(qū)進(jìn)行性能測試，添加standard。icf腳本，進(jìn)行裸盤測試，對運行Iometer(2006)并保存測試數(shù)據(jù)進(jìn)行分析，測試結(jié)果如圖7～10所示(其中off為邏輯分區(qū)和存儲池的重刪功能關(guān)閉的狀態(tài)，on是指邏輯分區(qū)和存儲池采用sha一256校驗算法開啟重刪功能，verify是指邏輯分區(qū)和存儲池采用按字節(jié)比對的重刪功能)。
圖7 3種情況下順序讀的性能
圖8 3種情況下順序?qū)懙男阅軋D
圖9 3種情況下隨機讀的性能
圖10 3種情況下隨機寫的性能
通過以上對LiveStor存儲系統(tǒng)在隨機讀、隨機寫、順序讀以及順序?qū)懙男阅鼙容^可以看出，在集成了自動精簡配置和重復(fù)數(shù)據(jù)刪除技術(shù)的邏輯卷的帶寬還是比較穩(wěn)定的，最高的帶寬達(dá)到了388.721 469 MBps，具有較高的性能保證。
4.總結(jié)
本文基于LiveStor系統(tǒng)對大數(shù)據(jù)量存儲常用策略進(jìn)行了分析研究，滿足了當(dāng)今IT發(fā)展的需求。大數(shù)據(jù)的高效存儲和管理不僅為用戶提供更高質(zhì)量的服務(wù)，而且還可以降低用戶成本，實現(xiàn)高效低碳的環(huán)保型綠色I(xiàn)T，也為云計算和云存儲的存儲方案打下了堅實的基礎(chǔ)。
核心關(guān)注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.oesoe.com/
本文標(biāo)題：一種高效存儲解決方案的分析與研究
本文網(wǎng)址：http://www.oesoe.com/html/support/11121511845.html
相關(guān)文章
