5 云存儲(chǔ)

    5.1 云存儲(chǔ)實(shí)例分析

    現(xiàn)有的云存儲(chǔ)更多的是一種在線遠(yuǎn)程備份系統(tǒng)，Hu等人針對(duì)上面的4種云存儲(chǔ)系統(tǒng)進(jìn)行了測(cè)試、比較和分析，當(dāng)將8GB的文件備份到云存儲(chǔ)系統(tǒng)中時(shí)，有的系統(tǒng)的備份時(shí)間超過(guò)了30個(gè)小時(shí)，還有的系統(tǒng)在經(jīng)過(guò)4天的時(shí)間還未備份完成，當(dāng)他們將數(shù)據(jù)集減小到2GB左右時(shí)，云備份系統(tǒng)才回復(fù)到基本正常的工作狀態(tài)。

圖6 2.12GB數(shù)據(jù)的備份時(shí)間

    圖6表示Hu等人在四個(gè)不同的云存儲(chǔ)系統(tǒng)下備份2.12GB數(shù)據(jù)時(shí)的遠(yuǎn)程備份時(shí)間，其中橫坐標(biāo)從左到右的四種情況分別表示單個(gè)2.12GB的大普通文件、單個(gè)2.12GB的大稀疏文件、很多小的普通文件組成2.12GB的數(shù)據(jù)集、很多小的稀疏文件組成2.12GB的數(shù)據(jù)集，這里的稀疏文件表示該文件不包含用戶數(shù)據(jù)，也沒(méi)有分配用來(lái)存儲(chǔ)用戶數(shù)據(jù)的磁盤(pán)空間，當(dāng)數(shù)據(jù)被寫(xiě)入稀疏文件時(shí)，文件系統(tǒng)(例如:NTFS)才逐漸地為其分配磁盤(pán)空間．可以看到對(duì)于正常2，12GB的文件數(shù)據(jù)四個(gè)系統(tǒng)的備份時(shí)間都超過(guò)了5小時(shí)，圖7表示相應(yīng)的恢復(fù)時(shí)間，恢復(fù)比備份要相對(duì)塊很多，這主要是由于網(wǎng)絡(luò)的上行鏈路和下行鏈路帶寬的不對(duì)稱造成的，通過(guò)大量的測(cè)試分析，Hu等人得出了以下結(jié)論:

圖7 2.12GB數(shù)據(jù)的恢復(fù)時(shí)間

    1)云存儲(chǔ)系統(tǒng)必須對(duì)于網(wǎng)絡(luò)失效具有回彈性，同時(shí)能夠?qū)崿F(xiàn)大文件的增量備份;

    2)云存儲(chǔ)提供商在進(jìn)行大數(shù)據(jù)的網(wǎng)絡(luò)傳輸時(shí)還要進(jìn)行加密、壓縮等預(yù)處理以避免網(wǎng)絡(luò)延遲;

    3)云存儲(chǔ)用戶需要手動(dòng)檢測(cè)重要的文件是否都已經(jīng)進(jìn)行了備份;

    4)云存儲(chǔ)用戶應(yīng)該將云存儲(chǔ)系統(tǒng)作為本地備份系統(tǒng)的一種補(bǔ)充，而不能將其當(dāng)成主要的備份策略。

    個(gè)人認(rèn)為，現(xiàn)有的云存儲(chǔ)應(yīng)對(duì)普通用戶小數(shù)據(jù)的備份與恢復(fù)應(yīng)該問(wèn)題不大，但是企業(yè)級(jí)用戶大數(shù)據(jù)量的存儲(chǔ)與恢復(fù)則要慎重考慮。

    5.2云存儲(chǔ)系統(tǒng)面臨的挑戰(zhàn)

    云存儲(chǔ)系統(tǒng)中主要的存儲(chǔ)設(shè)備磁盤(pán)驅(qū)動(dòng)器是一種機(jī)電混合設(shè)備，這使得和計(jì)算相比，存儲(chǔ)系統(tǒng)具有了很多不同的特性，由于信息數(shù)字化所產(chǎn)生的呈指數(shù)級(jí)增漲的數(shù)據(jù)對(duì)存儲(chǔ)系統(tǒng)提出了嚴(yán)峻的挑戰(zhàn)，隨著社會(huì)信息化程度的不斷提高，對(duì)數(shù)據(jù)存儲(chǔ)的急劇提升，導(dǎo)致了以"計(jì)算"為中心到以"數(shù)據(jù)存儲(chǔ)"為中心的觀念革新，在過(guò)去的十多年中，磁盤(pán)的區(qū)域密度、軌密度和線密度分別獲得了100%，50%和30%的增長(zhǎng)，在存儲(chǔ)領(lǐng)域有兩個(gè)重要的技術(shù)對(duì)存儲(chǔ)系統(tǒng)的發(fā)展和存儲(chǔ)容量的擴(kuò)展產(chǎn)生了重要的影響，第一個(gè)是并行存儲(chǔ)，比如磁盤(pán)陣列技術(shù)，第二個(gè)就是網(wǎng)絡(luò)技術(shù)對(duì)存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)的影響，通過(guò)將網(wǎng)絡(luò)引入存儲(chǔ)系統(tǒng)，改變主機(jī)與外部存儲(chǔ)節(jié)點(diǎn)間的連接模式，出現(xiàn)了若干新型存儲(chǔ)體系結(jié)構(gòu):附網(wǎng)存儲(chǔ)(networkattached storage，NAS)和存儲(chǔ)區(qū)域網(wǎng)(storage area network，SAN)，網(wǎng)絡(luò)存儲(chǔ)技術(shù)對(duì)于解決存儲(chǔ)設(shè)備的分散性、I/O的并行性、協(xié)議的高效性提供了一種很好的手段，網(wǎng)絡(luò)與存儲(chǔ)設(shè)備不同的結(jié)合方式可以形成不同拓?fù)浣Y(jié)構(gòu)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)，不同的拓?fù)浣Y(jié)構(gòu)對(duì)于系統(tǒng)性能的影響又各不相同．但由于性能、價(jià)格、可擴(kuò)展性等各方面的原因，他們也還是不足以應(yīng)對(duì)爆炸性的數(shù)據(jù)增長(zhǎng)。

    存儲(chǔ)系統(tǒng)必須要從少數(shù)的存儲(chǔ)引擎向連在網(wǎng)絡(luò)上的成千上萬(wàn)的商用化存儲(chǔ)設(shè)備進(jìn)行轉(zhuǎn)變，在過(guò)去的十多年中集群網(wǎng)絡(luò)的重要進(jìn)展之一是可以將成千上萬(wàn)的節(jié)點(diǎn)連起來(lái)，同時(shí)保證高可擴(kuò)展性和相對(duì)較低的通訊開(kāi)銷(xiāo)，因此，我們認(rèn)為，采用商用化的技術(shù)來(lái)構(gòu)造可擴(kuò)展的集群是云存儲(chǔ)的基本組件，因?yàn)椋�我們可以像搭積木的形式來(lái)聚合存儲(chǔ)組件以構(gòu)造大規(guī)模的存儲(chǔ)系統(tǒng)，但是現(xiàn)有的存儲(chǔ)系統(tǒng)進(jìn)行規(guī)模的擴(kuò)展之后還存在很多待解決的問(wèn)題。

    5.2.1 名字空間

    存儲(chǔ)器空間的組織和分配，數(shù)據(jù)的存儲(chǔ)、保護(hù)和檢索都依賴于文件系統(tǒng)，文件系統(tǒng)由文件和目錄組成，數(shù)據(jù)按其內(nèi)容、結(jié)構(gòu)和用途命名成不同的文件，而目錄則構(gòu)建文件系統(tǒng)的層次化結(jié)構(gòu)，現(xiàn)代的文件系統(tǒng)一般都是按樹(shù)形的層次架構(gòu)來(lái)組織文件和目錄，集群文件系統(tǒng)往往也采用樹(shù)形架構(gòu)來(lái)構(gòu)造名字空間，然而，當(dāng)數(shù)據(jù)的訪問(wèn)從樹(shù)根走向樹(shù)葉的時(shí)候，訪問(wèn)的延遲會(huì)響應(yīng)的增加，另外，還有兩個(gè)重要的因素導(dǎo)致樹(shù)形架構(gòu)不適合于云存儲(chǔ)環(huán)境，第一，樹(shù)根本身就是一個(gè)單一失效點(diǎn)，而且很容易形成系統(tǒng)的瓶頸，第二，樹(shù)形架構(gòu)很難在Internet上擴(kuò)展到地理上分布的規(guī)模，另外，層次化結(jié)構(gòu)使得文件的訪問(wèn)效率不高，每一層目錄都隱藏了它所包含的子目錄和文件，用戶很難知道一個(gè)目錄下面到底有哪些文件和子目錄，因此,用戶訪問(wèn)某個(gè)文件時(shí)，必須通過(guò)層次型的目錄樹(shù)結(jié)構(gòu)到達(dá)其保存位置，如果不知道文件保存位置，必須遍歷整個(gè)目錄，因此云存儲(chǔ)只有采用非集中式的名字空間來(lái)避免潛在的性能瓶頸和單點(diǎn)失效。

    5.2.2 元數(shù)據(jù)組織

    元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，主要用來(lái)反映地址信息和控制信息，通常包括文件名、文件大小、時(shí)間戳、文件屬性等等．元數(shù)據(jù)主要是用來(lái)管理的操作數(shù)據(jù)，研究表明，在文件系統(tǒng)的操作中，超過(guò)50%的操作是針對(duì)元數(shù)據(jù)的，另有研究指出，使用NFS3，0時(shí)，其客戶端和服務(wù)器端交互的信息中65%的信息是和元數(shù)據(jù)相關(guān)的，元數(shù)據(jù)最重要的特點(diǎn)是其往往是小的隨機(jī)請(qǐng)求，一般來(lái)講，元數(shù)據(jù)都是存儲(chǔ)在磁盤(pán)上的，然而，和磁盤(pán)存儲(chǔ)容量的增長(zhǎng)不同的是，由于機(jī)械組件所帶來(lái)的延遲，磁盤(pán)的平均訪問(wèn)時(shí)間每年的降低不足8%．圖8表示了Hitachi的磁盤(pán)在過(guò)去十年里磁盤(pán)訪問(wèn)時(shí)間和尋道時(shí)間的發(fā)展趨勢(shì)，對(duì)于這種由小的隨機(jī)請(qǐng)求所組成的數(shù)據(jù)訪問(wèn)流中，磁盤(pán)的尋道時(shí)間是磁盤(pán)訪問(wèn)延遲中最組要的部分，這是由于磁頭的穩(wěn)定時(shí)間主導(dǎo)著磁盤(pán)的尋道時(shí)間，而且磁頭的穩(wěn)定時(shí)間數(shù)年來(lái)基本上沒(méi)有太大的變化，因此，對(duì)于大規(guī)模系統(tǒng)來(lái)講，元數(shù)據(jù)的訪問(wèn)往往成為制約整個(gè)系統(tǒng)性能的瓶頸。

    很多分布式的存儲(chǔ)系統(tǒng)將數(shù)據(jù)訪問(wèn)和元數(shù)據(jù)的訪問(wèn)分離開(kāi)來(lái)，在這樣的系統(tǒng)中，客戶端首先和元數(shù)據(jù)服務(wù)器通訊來(lái)獲取元數(shù)據(jù)包括文件名、文件位置等信息，然后，利用該元數(shù)據(jù)，客戶端直接和數(shù)據(jù)服務(wù)器通訊去訪問(wèn)相應(yīng)的數(shù)據(jù)，一般來(lái)講，元數(shù)據(jù)服務(wù)器的內(nèi)存可以滿足大部分的讀請(qǐng)求，但服務(wù)器不得不周期性地訪問(wèn)磁盤(pán)來(lái)讀取需要的數(shù)據(jù)，并且所有元數(shù)據(jù)的更新也要寫(xiě)回到磁盤(pán)，存儲(chǔ)系統(tǒng)空間的增長(zhǎng)可以通過(guò)增加額外的存儲(chǔ)服務(wù)器來(lái)保證，然而，對(duì)于一個(gè)管理數(shù)以億計(jì)的數(shù)據(jù)文件的云存儲(chǔ)系統(tǒng)，如何保證元數(shù)據(jù)的訪問(wèn)性能和可擴(kuò)展性?對(duì)于象云這樣的需要高可擴(kuò)展性的環(huán)境，對(duì)元數(shù)據(jù)的依賴性給系統(tǒng)設(shè)計(jì)帶來(lái)了巨大的挑戰(zhàn)。

6 云傳輸

    按照Nielsen法則，終端用戶的網(wǎng)絡(luò)帶寬以每年50%的速度增長(zhǎng)，然而，和局域網(wǎng)形成鮮明對(duì)照的是，廣域網(wǎng)的性能不盡人意，例如，一條T1線路的帶寬只相當(dāng)于千兆網(wǎng)的千分之一，許多幀中繼線路的帶寬只有256Kbits/秒，Garfinkel通過(guò)測(cè)量發(fā)現(xiàn)從美國(guó)伯克利大學(xué)到西雅圖的平均網(wǎng)絡(luò)寫(xiě)帶寬大約是5to18Mbits/秒，通過(guò)使用網(wǎng)絡(luò)測(cè)試工具iperf，采用256個(gè)數(shù)據(jù)流，我們的測(cè)量數(shù)據(jù)表明在格林尼治標(biāo)準(zhǔn)時(shí)間下午7點(diǎn)到10點(diǎn)，從英國(guó)劍橋大學(xué)到中國(guó)北京的平均網(wǎng)絡(luò)帶寬大約是14Mbits/秒。

     基于以上的測(cè)試數(shù)據(jù)，如果假設(shè)網(wǎng)絡(luò)帶寬為20Mbits/秒，Armbrustetal，等人作了簡(jiǎn)單的計(jì)算，計(jì)算結(jié)果表明從美國(guó)伯克利大學(xué)傳輸10TB數(shù)據(jù)到西雅圖需要45天的時(shí)間(10×1012Bytes/(20×106bits/秒)=4，000，000秒=45天)．如果通過(guò)亞馬遜來(lái)進(jìn)行該數(shù)據(jù)傳輸，需要另外向亞馬遜支付1000美金的網(wǎng)絡(luò)傳輸費(fèi)用，另外，由于廣域網(wǎng)物理距離的原因，不可避免的時(shí)延也會(huì)對(duì)帶寬造成影響，例如，一個(gè)T3鏈路(44.736Mbits/秒)，當(dāng)時(shí)延超過(guò)40ms時(shí)，其帶寬很快就下降到與T1鏈路(1.544Mbits/秒)相當(dāng)。

    如果是進(jìn)行云備份，時(shí)間上的開(kāi)銷(xiāo)相對(duì)還可以忍受，因?yàn)橛脩粼诒镜剡�有一個(gè)數(shù)據(jù)拷貝可供使用，但如果是從云存儲(chǔ)系統(tǒng)中恢復(fù)數(shù)據(jù)，這是無(wú)法讓人接受的，特別是對(duì)于那些需要提供24×7×365業(yè)務(wù)連續(xù)性的企業(yè)級(jí)用戶，為了緩解這個(gè)問(wèn)題，對(duì)于云存儲(chǔ)系統(tǒng)中大數(shù)據(jù)量的恢復(fù)，云存儲(chǔ)提供商Mozy和CrashPlan提供了一個(gè)不得已的選擇，在用戶許可的情況下，將數(shù)據(jù)轉(zhuǎn)存在DVD或者硬盤(pán)上，然后通過(guò)特快專遞的形式交付給用戶。

    為了優(yōu)化廣域網(wǎng)環(huán)境下大規(guī)模數(shù)據(jù)傳輸?shù)男阅�，我們�(cè)鴮��?shù)據(jù)在套接字層，在發(fā)送端進(jìn)行分割，然后利用多個(gè)套接字流進(jìn)行并行傳輸，最后在接收端進(jìn)行數(shù)據(jù)的重組(如圖10(c)所示)，理論上講，對(duì)TCP管道而言，其最大的吞吐量為帶寬延遲乘積，即容量=帶寬×環(huán)回時(shí)間，在傳輸窗口一定的情況下(圖10中紅色的方形區(qū)表示傳輸窗口，缺省為64K字節(jié))，按通常100Mb的網(wǎng)絡(luò)帶寬來(lái)計(jì)算，傳統(tǒng)的單套接字流顯然無(wú)法填滿TCP管道(如圖10(a)所示)，使得其效率極低，通過(guò)加大傳輸窗口可以在一定程度上提高TCP管道的利用率(如圖10(b)所示)，但在丟包的情況下，會(huì)導(dǎo)致每次重傳的數(shù)據(jù)增加，因此，通過(guò)多個(gè)套接字流來(lái)并行傳輸?shù)男Ч�較好，另外，由于采用了多流，不同的數(shù)據(jù)流在必要的情況下可以走不同的路由，也能夠進(jìn)一步優(yōu)化廣域網(wǎng)的性能。

    正如前面提到的，云基礎(chǔ)設(shè)施必須是地理上分布的，因?yàn)樵频某晒υ诤艽蟪潭壬蠜Q定于其規(guī)模效應(yīng)，計(jì)算和存儲(chǔ)相對(duì)便宜，然而，由于廣域網(wǎng)環(huán)境下的低帶寬、高延遲和較高的丟包率，使得廣域網(wǎng)成為云環(huán)境下那塊最短的木板，因此，在地理上分布的云環(huán)境下進(jìn)行大規(guī)模的數(shù)據(jù)傳輸是非常昂貴的．圖靈獎(jiǎng)獲得者JimGray在2006年就指出在廣域網(wǎng)上處理大數(shù)據(jù)集時(shí)，應(yīng)該將程序傳給數(shù)據(jù)，而不是將數(shù)據(jù)傳給程序，另外，也可以通過(guò)數(shù)據(jù)壓縮、數(shù)據(jù)的去重等方法來(lái)減少網(wǎng)域網(wǎng)上的數(shù)據(jù)傳輸流量，降低對(duì)網(wǎng)絡(luò)帶寬的需求，還可以采用動(dòng)態(tài)緩存、IP流量管理以及QoS等方法來(lái)降低廣域網(wǎng)的延遲，但是，這些方法只能在一定程度上來(lái)緩解網(wǎng)絡(luò)瓶頸問(wèn)題，不能從根本上解決問(wèn)題，因此，在設(shè)計(jì)云架構(gòu)時(shí)，必須要考慮廣域網(wǎng)的帶寬、延遲和包丟失率所帶來(lái)的影響。

7 討論

    云正成為當(dāng)前學(xué)術(shù)界討論的熱點(diǎn)問(wèn)題，工業(yè)界也紛紛推進(jìn)自己的云產(chǎn)品，例如，EMC的云存儲(chǔ)產(chǎn)品Atmos，亞馬遜的云計(jì)算產(chǎn)品EC2、云存儲(chǔ)產(chǎn)品S3(Simple Storage Service)和EBS(Elastic Block Store)，IBM的云計(jì)算產(chǎn)品BlueCloud，Google推出的在線存儲(chǔ)服務(wù)GDrive，Microsoft也推出WindowsAzure，各IT業(yè)巨頭也紛紛將云計(jì)算作為其戰(zhàn)略制高點(diǎn)并在世界各地建立龐大的數(shù)據(jù)中心。

    但是，正如我們?cè)?.2節(jié)和5.2節(jié)中提到的，云計(jì)算環(huán)境下虛擬機(jī)的I/O問(wèn)題，云存儲(chǔ)環(huán)境下的元數(shù)據(jù)性能問(wèn)題必將是云基礎(chǔ)設(shè)施的設(shè)計(jì)者不得不面對(duì)的挑戰(zhàn)，閃存(FlashMemory)是一種非易失性(在斷電情況下仍能保持所存儲(chǔ)的數(shù)據(jù)信息)的存儲(chǔ)器，它可以被電擦除和重編程，它具有很多優(yōu)點(diǎn)，例如尺寸小、沒(méi)有機(jī)械部件、低功耗、高性能等，閃存已經(jīng)在越來(lái)越多的場(chǎng)合開(kāi)始取代傳統(tǒng)的磁盤(pán)，下頁(yè)圖11和圖12分別比較了4種不同性能的磁盤(pán)和由閃存組成的固態(tài)盤(pán)的帶寬和訪問(wèn)時(shí)間，可以看到固態(tài)盤(pán)在性能方面具有非常大的優(yōu)勢(shì)，在論文中我們還進(jìn)一步比較了磁盤(pán)和固態(tài)盤(pán)的功耗，結(jié)果表明固態(tài)盤(pán)也具有相當(dāng)?shù)膬?yōu)勢(shì)，這表明，從性能的角度，固態(tài)盤(pán)可以在一定程度上解決云計(jì)算和云存儲(chǔ)所面臨的I/O問(wèn)題，更為詳細(xì)的分析請(qǐng)參看論文。

    閃存具有4個(gè)特點(diǎn):

    1)數(shù)據(jù)擦除是以塊為單位，但數(shù)據(jù)寫(xiě)是以頁(yè)為單位，一個(gè)塊往往是由多個(gè)頁(yè)組成;

    2)在向某一個(gè)塊寫(xiě)數(shù)據(jù)之前，該塊中的數(shù)據(jù)必須要擦除;

    3)每一個(gè)塊只能被寫(xiě)有限的次數(shù);

    4)在一個(gè)塊內(nèi)寫(xiě)數(shù)據(jù)必須要順序進(jìn)行。

    這些特性導(dǎo)致固態(tài)盤(pán)的寫(xiě)性能比較微妙，另外，和磁盤(pán)的壽命相比，固態(tài)盤(pán)有限的寫(xiě)次數(shù)也是不得不考慮的問(wèn)題，再者，固態(tài)盤(pán)的價(jià)格和容量目前還無(wú)法和磁盤(pán)競(jìng)爭(zhēng)，因此，在試圖使用固態(tài)盤(pán)來(lái)緩解I/O問(wèn)題時(shí)，還必須要同時(shí)考慮到磁盤(pán)的優(yōu)勢(shì)，兩者結(jié)合使用才能發(fā)揮各自所長(zhǎng)。

    同云計(jì)算和云存儲(chǔ)相比，對(duì)于云傳輸?shù)膱?bào)道相對(duì)較少，現(xiàn)有的工作主要集中在對(duì)廣域網(wǎng)下的大規(guī)模數(shù)據(jù)傳輸?shù)男阅苓M(jìn)行優(yōu)化，EMC就采用SilvERPeak公司的廣域網(wǎng)優(yōu)化產(chǎn)品來(lái)提高廣域網(wǎng)環(huán)境下數(shù)據(jù)復(fù)制的性能、可擴(kuò)展性和安全性，同時(shí)降低在進(jìn)行遠(yuǎn)程復(fù)制以實(shí)現(xiàn)災(zāi)難恢復(fù)和業(yè)務(wù)連續(xù)性時(shí)的廣域網(wǎng)的帶寬需求，Cisco也收購(gòu)了Actona公司來(lái)提高其網(wǎng)絡(luò)設(shè)備在網(wǎng)域網(wǎng)環(huán)境下的性能問(wèn)題，主要原因在于，目前廣泛使用的TCP/IP協(xié)議是在實(shí)驗(yàn)室低速網(wǎng)絡(luò)環(huán)境下誕生的，在設(shè)計(jì)初期只是為了保證數(shù)據(jù)在鏈路上的可靠傳輸，因此，它并不是為廣域網(wǎng)而設(shè)計(jì)的網(wǎng)絡(luò)傳輸協(xié)議，例如，TCP/IP協(xié)議的滑動(dòng)窗口，重傳和恢復(fù)等機(jī)制使得廣域網(wǎng)的傳輸效率急劇下降，另外，TCP的窗口尺寸、慢啟動(dòng)等機(jī)制也無(wú)法充分利用已有的網(wǎng)絡(luò)帶寬。

    云傳輸問(wèn)題，在5，2節(jié)中提到的云存環(huán)境下的名字空間問(wèn)題，都促使我們要重新審視在大規(guī)模數(shù)據(jù)存儲(chǔ)和傳輸?shù)那闆r下的性能優(yōu)化相關(guān)的一系列問(wèn)題。

    P2P是一種分布式網(wǎng)絡(luò)，網(wǎng)絡(luò)的參與者共享他們所擁有的一部分資源(如處理能力、存儲(chǔ)能力、數(shù)據(jù)資源等)，在此網(wǎng)絡(luò)中的參與者既是資源提供者(Server)，又是資源的獲取者(Client)，P2P網(wǎng)絡(luò)由于其高可擴(kuò)展性得到了廣泛的使用。其中分布式且結(jié)構(gòu)化的P2P網(wǎng)絡(luò)尤其具有應(yīng)用前景，這種P2P網(wǎng)絡(luò)中的關(guān)鍵技術(shù)是使用分布式哈希表(DistributedHashTables，DHT)來(lái)構(gòu)造結(jié)構(gòu)化拓?fù)�，�?mesh、ring、d-dimensiontorus and butterfly等等，在這種網(wǎng)絡(luò)中，每個(gè)節(jié)點(diǎn)都有一個(gè)ID，每個(gè)文件有一個(gè)關(guān)鍵字Key，當(dāng)宣告一個(gè)關(guān)鍵字為K1的文件時(shí)，先通過(guò)哈希映射得到對(duì)應(yīng)的K1→ID1，然后將該文件存到ID號(hào)為ID1的節(jié)點(diǎn)，文件的存放過(guò)程需要將文件路由到該節(jié)點(diǎn)ID1，反過(guò)來(lái)，當(dāng)查找一個(gè)關(guān)鍵字為K1的文件時(shí)，先進(jìn)行哈希映射得到K1→ID1，然后將該文件從ID號(hào)為ID1的節(jié)點(diǎn)上取到該文件，從該網(wǎng)絡(luò)中取文件需要將請(qǐng)求消息路由到ID1節(jié)點(diǎn)，然后文件從ID1節(jié)點(diǎn)原路返回，其優(yōu)點(diǎn)在于，在資源管理過(guò)程中同時(shí)擁有自組織特性、規(guī)模的強(qiáng)可縮放特性以及部署的廉價(jià)性等等，這為規(guī)模龐大的資源整合及共享提供了可能性，其中OceanStore，PAST，F(xiàn)reeHeaven，是最具有代表性的幾個(gè)大規(guī)模的、結(jié)構(gòu)化的P2P存儲(chǔ)系統(tǒng)的代表。

圖 帶寬比較和訪問(wèn)時(shí)間比較和OceanStore 的體系結(jié)構(gòu)

    圖表示了OceanStore的體系結(jié)構(gòu)，其中最關(guān)鍵技術(shù)是將多個(gè)資源池進(jìn)行高度的互連，從而允許數(shù)據(jù)在各個(gè)不同的資源池中自由地流動(dòng)，用于可以根據(jù)需要連接到一個(gè)或者多個(gè)資源池，例如，如果離用戶最近的資源池中存在其所需要的數(shù)據(jù)副本，用戶可以連接到該資源池以最大程度地降低廣域網(wǎng)對(duì)其性能的影響，個(gè)人認(rèn)為，這種結(jié)構(gòu)化的P2P如果能和云存儲(chǔ)結(jié)合起來(lái)，對(duì)于其云存儲(chǔ)名字空間的管理，對(duì)于廣域網(wǎng)環(huán)境下大規(guī)模數(shù)據(jù)傳輸?shù)男阅軆?yōu)化都會(huì)帶來(lái)很大的幫助。

8 結(jié)論

    在云計(jì)算之前，網(wǎng)格計(jì)算在學(xué)術(shù)界曾被廣為推崇并進(jìn)行了大量的研究，網(wǎng)格計(jì)算依托互聯(lián)網(wǎng)絡(luò)，將地理上分布的、異構(gòu)的各種不同資源組織起來(lái)，統(tǒng)一調(diào)度，組成虛擬的超級(jí)計(jì)算機(jī)，以協(xié)同完成需要大量計(jì)算機(jī)資源的任務(wù)，網(wǎng)格計(jì)算的這種架構(gòu)主要用于科學(xué)計(jì)算、并行計(jì)算等問(wèn)題，其往往通過(guò)作業(yè)的形式向網(wǎng)格提交任務(wù)，并等待處理結(jié)果的完成，因此，缺乏和普通用戶的交互性，由于其面向特定的有限的用戶，未被工業(yè)界廣泛推廣，另外，大部分的網(wǎng)格環(huán)境和平臺(tái)都是基于Globus來(lái)開(kāi)發(fā)的，雖然Globus是一個(gè)典型的網(wǎng)格計(jì)算平臺(tái)，但是其構(gòu)筑在傳統(tǒng)的操作系統(tǒng)之上，現(xiàn)代軟件往往采用模塊化的分層設(shè)計(jì)，物理資源的性能經(jīng)過(guò)每一層軟件都會(huì)導(dǎo)致性能不同程度的降低，因此，由Globus軟件本身所帶來(lái)的性能開(kāi)銷(xiāo)在加上操作系統(tǒng)的性能開(kāi)銷(xiāo)所導(dǎo)致的網(wǎng)格環(huán)境性能的整體下降一直是網(wǎng)格研究社區(qū)里經(jīng)常討論的問(wèn)題。

    不同于網(wǎng)格計(jì)算，云計(jì)算以用戶需求為導(dǎo)向，利用虛擬化技術(shù)將存儲(chǔ)資源、計(jì)算資源、軟件資源、數(shù)據(jù)資源等構(gòu)造成動(dòng)態(tài)和、可伸縮的虛擬資源，并通過(guò)網(wǎng)絡(luò)以服務(wù)的方式交付給廣大用戶，由于其以普通用戶為主導(dǎo)，并具有廣泛的市場(chǎng)前景，所以，最開(kāi)始是由工業(yè)界以產(chǎn)品的形式大力推動(dòng)并在短時(shí)間內(nèi)產(chǎn)生廣泛的影響，云計(jì)算擁有網(wǎng)格計(jì)算所不具備的大量潛在的普通用戶，但是，云如果要避免網(wǎng)格計(jì)算的重蹈覆轍，必須要從體系結(jié)構(gòu)進(jìn)行一個(gè)全新的顛覆性的設(shè)計(jì)，當(dāng)然，云最終能否成功，還受到其它很多因素的影響(例如，大量的數(shù)據(jù)存儲(chǔ)在云端，如何保證數(shù)據(jù)的安全和用戶隱私)。

轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.oesoe.com/

本文標(biāo)題：云基礎(chǔ)設(shè)施下的體系結(jié)構(gòu)、挑戰(zhàn)與機(jī)遇(下)

本文網(wǎng)址：http://www.oesoe.com/html/support/1112156979.html