近年來,一些基于純以太網(wǎng)的大型視頻編輯網(wǎng)絡(luò)陸續(xù)上馬,在這些網(wǎng)絡(luò)中,一般都選擇了基于分布的IP存儲設(shè)備作為系統(tǒng)的主存儲。其代表產(chǎn)品有:AVID公司的ISIS:OMNEON公司的IQ6000等。那么,什么是分布是IP存儲產(chǎn)品?它與我們通常使用的NAS有什么不同?其大致的優(yōu)缺點與技術(shù)背景的什么?我們陸續(xù)為大家傲一個簡略的介紹。
1、技術(shù)概述
以太網(wǎng)絡(luò)具有結(jié)構(gòu)簡單,建設(shè)、維護成本低等優(yōu)點,是目前應(yīng)用最為廣泛的網(wǎng)絡(luò)結(jié)構(gòu),它的缺點在于傳輸時延與波動較大。而通常的視頻編輯類應(yīng)用中.非編主機一般采用的都是基于硬件的編解碼器(如MATROX的LE、LX卡)。硬件編解碼受限于結(jié)構(gòu)與造價,板載緩沖都很小。如數(shù)據(jù)傳輸不及時,就會出現(xiàn)丟幀,黑場等情況。所以,以往的視頻編輯網(wǎng)絡(luò),一般都采取傳輸時延與波動都很小的“FC+太網(wǎng)”的雙網(wǎng)結(jié)構(gòu),并以FC存儲設(shè)備作為主存儲,很少將IP的存儲作為主存儲使用。
近年來,隨著CPU,GPU性能的不斷增強,大部分的非編軟件已不在依賴于硬件的編解碼,而是通過CPU+OPU來完成相應(yīng)的工作。(硬件板卡僅用于實現(xiàn)與視、音頻設(shè)備的I/O接口)把編解碼放在軟件層面完成,除了能降低成本,能靈活應(yīng)對格式變化外,還有個很大的好處就是可以利用系統(tǒng)的內(nèi)存來創(chuàng)建一個大緩沖,覆蓋掉因傳輸速率波動而對應(yīng)用造成的影響,從而將使用純以太網(wǎng)作為視頻編輯的網(wǎng)絡(luò)結(jié)構(gòu)成為了可能。
網(wǎng)絡(luò)結(jié)構(gòu)可行后,第一個要解決的問題就是要選擇什么樣的IP存儲設(shè)備作為系統(tǒng)的主存儲。視音頻應(yīng)用對系統(tǒng)的性能,容量都有很大的要求?而傳統(tǒng)的NAS存儲產(chǎn)品。將數(shù)據(jù)存放在一個單體設(shè)備上,在容量、性能、擴展性上都無法滿足視音頻的苛刻要求,在這樣的背景下各廠商推出了分布式的IP存儲產(chǎn)品(集群NAS)。如AVID公司的ISIS;伽NEON公司的WEDIAGRID;ISILON公司的IQB000等。
2、工作原理
顧名思義,分布式的IP集群存儲是由多個受命名空間管理的存儲節(jié)點所構(gòu)成的。寫入時,數(shù)據(jù)被拆分為多個片段,存儲在所有的存儲節(jié)點上,每個存儲節(jié)點連接到以太網(wǎng)交換機,提供基于IP的訪問服務(wù)。
圖1 以太網(wǎng)集群示意圖
如圖所示,以3個節(jié)點為例,當(dāng)數(shù)據(jù)寫入時,被分為3個數(shù)據(jù)塊,其數(shù)據(jù)的寫入由3個存儲節(jié)點共同執(zhí)行;讀出也同理。由于文件不是孤立的存在于一個存儲節(jié)點上,讀出、寫入操作都是由所有的存儲體共同完成,因此,隨著數(shù)據(jù)文件在各存儲節(jié)點上的分散,系統(tǒng)的總體性能接近各存儲節(jié)點的性能之和。
2.1 IsILON介紹
每個Isilon IQ集群包括3到家96個IsilonIQ節(jié)點。每個節(jié)點2u高,包括12個磁盤,CPU,內(nèi)存和2KM網(wǎng)絡(luò)接口,節(jié)點自動配合工作,利用它們的合力形成一個統(tǒng)一的存儲系統(tǒng).該系統(tǒng)可以承受任何組件故障,包括磁盤,交換機以及整個節(jié)點.
圖2 IsilonIQ集群
Isilon采取標(biāo)準(zhǔn)的網(wǎng)絡(luò)文件系統(tǒng),客戶端無需安裝驅(qū)動程序,集群內(nèi)的所有內(nèi)容創(chuàng)建了一個共享池,一個訪問點,文件系統(tǒng)可以支持高達1000TB的單個網(wǎng)絡(luò)驅(qū)動器,集群一旦建立,用戶便能夠連接任何存儲節(jié)點,并訪問整個文件系統(tǒng)中的每個文件。
1)容錯能力
由于每個存儲節(jié)點都存放著數(shù)據(jù)的一部分副本,而任何一個副本的丟失都將導(dǎo)致數(shù)據(jù)的完整性被破壞,因此確保任何一個節(jié)點出現(xiàn)問題后,數(shù)據(jù)安全依然有保障,是系統(tǒng)的關(guān)鍵。
IP集群存儲一般用2種不同的方式來應(yīng)對這一問題,其中,Isilon通過REED SOLIMONECC(糾錯碼)、奇偶校驗塊級拆分(從N+I到N+4)的組合,可提供N+I到N+4的不同安全級別。在N+4時(最高安全級別),可以承受驅(qū)動器或整個節(jié)點的四個同時故障,從而為整個系統(tǒng)提供極高的安全性。
圖3 存儲節(jié)點
如圖所示,統(tǒng)在所有節(jié)點間做校驗計算,以便當(dāng)一個節(jié)點完全崩潰時,可以由其它節(jié)點讀出數(shù)據(jù),并結(jié)合校驗碼進行逆向運算,恢復(fù)出故障節(jié)點的數(shù)據(jù),保障數(shù)據(jù)的完整性.
2)容量與性能擴展
集群存儲產(chǎn)品均支持磁盤容量的在線擴展,即可在不停機、不重新格式化卷的情況下,對原有存儲窄間進行擴展。同樣,可通過增加節(jié)點的方式實現(xiàn)性能的提升,系統(tǒng)節(jié)點數(shù)越多,總體性能越好.
2.2 AVID ISIS介紹
AVID ISIS每個存儲儲節(jié)點包含32個磁盤,每節(jié)點通常選配2個帶8KM以太網(wǎng)端口的交換模塊,節(jié)點問通過CX-4進行互聯(lián),最大支持12個節(jié)點,ISIS的客戶端需要安裝驅(qū)動程序(目前僅提供WINDOWS平臺下的驅(qū)動)來訪問文件系統(tǒng),其文件系統(tǒng)為目錄形式,可根據(jù)客戶端的權(quán)限對訪問內(nèi)容,可用容量等進行控制.
1)容錯能力
ISiS通過復(fù)制方式實現(xiàn)系統(tǒng)的安全性。也就是說,任何一個文件都會在不同的節(jié)點(磁盤)保留一個副本,在磁盤或節(jié)點損壞的情況下同,由另外一個副本恢復(fù)數(shù)據(jù),系統(tǒng)的有效容量為實際容量的一半。如圖所示:
圖4 存儲節(jié)點
2)容量與性能擴展
集群存儲產(chǎn)品均支持磁盤容量的在線擴展,即可在不停機,不重新格式化卷的情況下,對原有存儲空間進行擴展,同樣,可通過增加節(jié)點的方式實現(xiàn)性能的提升,系統(tǒng)節(jié)點數(shù)越多?傮w性能越好.
3、技術(shù)比較
Isilon校驗型集群存儲的代表,Isilon使用標(biāo)準(zhǔn)的CIFS或NFS協(xié)議進行了數(shù)據(jù)傳輸,也就是說任意一臺連接在lsilon網(wǎng)絡(luò)中的工作站無需任何配置就能直接訪問存儲:Isilon與Isiion、MediaGrid另一個很大不同是Isilon將元數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)存放在一起,不再需要單獨的元數(shù)據(jù)服務(wù)器,從用戶角度來看,所有Isilon存儲單元地位完全相同,通過任意節(jié)點都可以訪問到存儲在Isilon中的數(shù)據(jù)。
ISIS和MediaGrid都是數(shù)據(jù)復(fù)制集群存儲,除此以外,它們都需要元數(shù)據(jù)服務(wù)器。
圖5 技術(shù)指標(biāo)一覽表
4、綜合分析
IP集群產(chǎn)品可滿足視音頻編輯應(yīng)用的要求,其優(yōu)點在于系統(tǒng)結(jié)構(gòu)相對簡單,部署的復(fù)雜程度低。其缺點在于,在超實時應(yīng)用,如文件遷移,島間數(shù)據(jù)交換,文件歸檔等應(yīng)用中,傳輸效率不如FC網(wǎng)絡(luò),特別是媒資歸檔類應(yīng)用,由于磁帶機本身是FC接口,即便是選擇IP存儲產(chǎn)品,依然需要配置FC結(jié)構(gòu)的客戶端,同時,遷移本身會對IP網(wǎng)絡(luò)形成較大的帶寬壓力,在有此方面應(yīng)用時,需特別注意系統(tǒng)架構(gòu)的規(guī)劃。
綜上所述,我們認(rèn)為:以IP集群存儲產(chǎn)品為核心的單網(wǎng)結(jié)構(gòu)將會與以高性能FC存儲產(chǎn)品為核心的雙網(wǎng)結(jié)構(gòu)并存,選擇什么樣的結(jié)構(gòu)取決于用戶的最終需求.
核心關(guān)注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請注明出處:拓步ERP資訊網(wǎng)http://www.oesoe.com/
本文標(biāo)題:IP集群存儲技術(shù)特點
本文網(wǎng)址:http://www.oesoe.com/html/support/1112152914.html