根據(jù)相關(guān)報告,員工的工作站和筆記本電腦中的數(shù)據(jù)并未得到充分保護,即使這些數(shù)據(jù)占到了公司所有數(shù)據(jù)的60%到70%。目前越來越多個人開始重視自己的數(shù)據(jù),并對它們進行備份。同時國外的Google,Amazon,Nirvanix,國內(nèi)的聯(lián)想,電信,金山等越來越多的企業(yè)進入云存儲領(lǐng)域。SNIA(Storage Networking Industry Association)也于2010年4月發(fā)布了關(guān)于云存儲的標準CDMI(Cloud Data Management Interface)。該標準定義了云存儲中的相關(guān)概念如Data Object,ContainerObject,Queue Object,MetaData,以及對訪問權(quán)限,訪問接口,訪問安全性等問題都做了說明與要求。本文通過增加云存儲接口層來屏蔽各廠商接口的差異,同時利用擴充文件和目錄元數(shù)據(jù)來實現(xiàn)目錄傳輸以及多種備份策略,并設(shè)計文件分片和斷點傳輸機制,實現(xiàn)對大文件的傳輸。
1 系統(tǒng)設(shè)計
1.1總體設(shè)計
備份客戶端運行于客戶機上,根據(jù)用戶所使用的云存儲服務(wù),備份客戶端將數(shù)據(jù)備份到不同的云存儲平臺上。數(shù)據(jù)分為元數(shù)據(jù)和數(shù)據(jù),元數(shù)據(jù)和數(shù)據(jù)即可在獨立的HTTPi青求中傳輸,也可在同一個HTTP請求中傳輸。如圖1所示,傳輸協(xié)議采用HTTP或者HTTPS。在完成整體設(shè)計中需要考慮云存儲的數(shù)據(jù)模型,安全訪問控制以及備份策略,下面分別說明這幾點文件。
圖1 系統(tǒng)總體設(shè)計
圖2 接口模型圖
圖3 系統(tǒng)結(jié)構(gòu)圖
1.2云存儲中的數(shù)據(jù)模型
SNIA在CDM中定義云存儲的資源域模型。云存儲中所有的資源通過URI進行描述,對資源的CRUD操作通過HTTP協(xié)議進行。資源采用數(shù)據(jù)和元數(shù)據(jù)分離存儲,元數(shù)據(jù)包括了對資源的訪問控制,第三方可增加自定義元數(shù)據(jù)。
圖2是SNIA在CDMI中定義的接口模型,該圖中有兩個重要的概念Container和DataObjecto Container}c示容器可以容納DataObject以及Containero DataObject代表著數(shù)據(jù)對象。
2 實現(xiàn)與關(guān)鍵技術(shù)
2.1整體結(jié)構(gòu)
系統(tǒng)從下向上分為:云存儲層,云存儲接口層,系統(tǒng)核心模塊,用戶。系統(tǒng)核心模塊細分為:傳輸管理,備份策略,差錯控制與冗余消除,文件及目錄傳輸,文件元數(shù)據(jù)提取,本地數(shù)據(jù)存儲,定時設(shè)置等子模塊。
2.2云存儲接口層
在云存儲服務(wù)之上是系統(tǒng)需要直接處理的云存儲接口,即SNIA中定義的CDMI接口標準。這里以SNAI的CDMI標準進行說明,并對比Google和Nirvanix提供的接口。
表1中并未列出所使用的所有接口僅對容器和數(shù)據(jù)對象做了說明。這里需要強調(diào)的一點是,SNIA在CDMI中說Update a Data Object可以更新指定范圍的數(shù)據(jù)對象內(nèi)容,類似文件的隨機修改,也可以追加數(shù)據(jù)對象內(nèi)容,類似文件追加寫入。
3 實驗結(jié)果與分析
本文實現(xiàn)了一個備份客戶端的原型,利用實驗室的私有云做云存儲進行了性能實驗。實驗室的私有云平臺遵循了CDMI中的接口標準,向備份客戶端提供Restful風格接口。實驗環(huán)境如下:
(1)硬件組成
服務(wù)器端:基于PC的服務(wù)器;雙64bInter Xeon 2.0GHz,4048KB Cache CPU:8GB內(nèi)存,掛在RAIDS存儲2TB,1000Mbps網(wǎng)卡。客戶端:Intel Core2 2.53GHzCPU,2GB內(nèi)存,SATA 7200轉(zhuǎn)硬盤,1000Mbps網(wǎng)卡。網(wǎng)絡(luò):1000Mbps交換機構(gòu)建的LAN。
(2)軟件環(huán)境
服務(wù)器端:RedHat ASS(內(nèi)核2.6.30),Web服務(wù)器APACHE(2.2.16)。客戶端:Windows XP(SP2)。
(3)測試方法
選用不同大小的連續(xù)數(shù)據(jù)文件進行測試,文件上傳包括元數(shù)據(jù)提取,文件分片等操作。先進行的是分片測試,通過選用不同的分片大小測試出該環(huán)境下最佳的文件分片。
從圖4中顯示,選用SOM,l00M的數(shù)據(jù)文件在分片大小為4M時具有最大寫速度,速度大小為7MBps。
選用25M到500M不等的數(shù)據(jù)進行上傳實驗。從圖5的對比分析可以看出,備份客戶端具有較穩(wěn)定的傳輸速度。FTP隨文件增大而性能出現(xiàn)了下降。最后在300M以上的文件時備份客戶端與FTP具有相同的寫速度。備份客戶端因采用分片傳輸,所以在傳輸速度上具有較為穩(wěn)定的特性,比FTP有較好的傳輸穩(wěn)定性。
表1 云存儲接口對照表
圖4 備份寫速度
圖5 FTP與備份客戶端對比
4 總結(jié)
本文分析了現(xiàn)有云存儲接口的差異性,指出大部分云備份軟件對目錄備份,大文件備份的局限。并詳細介紹了備份客戶端的實現(xiàn)細節(jié),可以看出增加云存儲接口層是屏蔽云存儲接口差異的可行辦法。同時將目錄層次與云端數(shù)據(jù)模型進行映射,采用分層傳輸?shù)姆椒苡行У剡M行目錄的備份。最后文件分片,斷點傳輸機制,以及文件追加接口能較好地解決了大文件備份。
核心關(guān)注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請注明出處:拓步ERP資訊網(wǎng)http://www.oesoe.com/
本文標題:云計算的桌面?zhèn)浞菹到y(tǒng)實現(xiàn)
本文網(wǎng)址:http://www.oesoe.com/html/support/1112159971.html