云計(jì)算最重要的技術(shù)實(shí)現(xiàn)就是虛擬化技術(shù),計(jì)算虛擬化商用的解決方案得到了較成熟的應(yīng)用,而存儲(chǔ)虛擬化已經(jīng)在SAN上實(shí)現(xiàn)得很好了,在網(wǎng)絡(luò)虛擬化技術(shù)方面。業(yè)界主流廠商都提出了自己的解決方案,本文分析了數(shù)據(jù)中心中網(wǎng)絡(luò)虛擬化的實(shí)現(xiàn)相關(guān)技術(shù)和發(fā)展思路。
最早的網(wǎng)絡(luò)虛擬化技術(shù)代表是交換機(jī)集群(Cluster)技術(shù),多以盒式小交換機(jī)為主,較為古老,當(dāng)前數(shù)據(jù)中心里面已經(jīng)很少見了。而新的技術(shù)則主要分為兩個(gè)方向,控制平面虛擬化與數(shù)據(jù)平面虛擬化。在探討網(wǎng)絡(luò)虛擬化技術(shù)之前,先定義一下云計(jì)算數(shù)據(jù)中心中各種網(wǎng)絡(luò)類型的定義,數(shù)據(jù)中心中網(wǎng)絡(luò)流量的根本出發(fā)點(diǎn)是服務(wù)器,結(jié)合云計(jì)算最適合的核心——接入二層網(wǎng)絡(luò)結(jié)構(gòu),可以把各種網(wǎng)絡(luò)分類:
Network1:VM本地互訪網(wǎng)絡(luò),邊界是AccessSwitch,包括物理服務(wù)器本機(jī)VM互訪和跨AccessSwitch的不同物理服務(wù)器VM互訪兩個(gè)層面。
Network2:Ethemet與FC融合就是FCoE,邊界仍然是AccessSwitch。
Network3:跨核心層服務(wù)器互訪網(wǎng)絡(luò),邊界是AccessSwitch與Core Switch。
Network4:數(shù)據(jù)中心跨站點(diǎn)二層網(wǎng)絡(luò),邊界是Core Switch。
Network5:數(shù)據(jù)中心外部網(wǎng)絡(luò),邊界是CoreSwitch與ISP IP網(wǎng)絡(luò)。
在大規(guī)模數(shù)據(jù)中心部署虛擬化計(jì)算和虛擬化存儲(chǔ)以后,對(duì)網(wǎng)絡(luò)產(chǎn)生了新的需求:虛擬機(jī)(VM)之間的互通,在DC內(nèi)部和DC間任意互通,遷移和擴(kuò)展資源-更多的接口,更多的帶寬,至少按照10000個(gè)l0Gbit/s端口容量構(gòu)建資源池。二層網(wǎng)絡(luò)規(guī)模擴(kuò)大,保證業(yè)務(wù)與底層硬件的透明和隨需部署,數(shù)據(jù)中心站點(diǎn)間二層互聯(lián)。DC資源整合,地域無(wú)差別。構(gòu)建真正的大云。服務(wù)器前后端網(wǎng)絡(luò)融合,DC內(nèi)部網(wǎng)絡(luò)整合。
1 控制平面虛擬化
顧名思義,控制平面虛擬化是將所有設(shè)備的控制平面合而為一,只有一個(gè)主體去處理整個(gè)虛擬交換機(jī)的協(xié)議處理,表項(xiàng)同步等工作。從結(jié)構(gòu)上來(lái)說,控制平面虛擬化又可以分為縱向與橫向虛擬化兩種方向。
縱向虛擬化指不同層次設(shè)備之間通過虛擬化合多為一,相當(dāng)于將下游交換機(jī)設(shè)備作為上游設(shè)備的接口擴(kuò)展而存在,虛擬化后的交換機(jī)控制平面和轉(zhuǎn)發(fā)平面都在上游設(shè)備上,下游設(shè)備只有一些簡(jiǎn)單的同步處理特性,報(bào)文轉(zhuǎn)發(fā)也都需要上送到上游設(shè)備進(jìn)行?梢岳斫鉃榧惺睫D(zhuǎn)發(fā)的虛擬交換機(jī)。
橫向虛擬化多是將同一層次上的同類型交換機(jī)設(shè)備虛擬合一,控制平面工作如縱向一般,都由一個(gè)主體去完成,但轉(zhuǎn)發(fā)平面上所有的機(jī)框和盒子都可以對(duì)流量進(jìn)行本地轉(zhuǎn)發(fā)和處理,是典型分布式轉(zhuǎn)發(fā)結(jié)構(gòu)的虛擬交換機(jī)?刂破矫嫣摂M化從一定意義上來(lái)說是真正的虛擬交換機(jī),能夠同時(shí)解決統(tǒng)一管理與接口擴(kuò)展的需求。
2 數(shù)據(jù)平面虛擬化
數(shù)據(jù)通信的兩個(gè)維度,一個(gè)是控制平面,另一個(gè)就是數(shù)據(jù)平面,也就是數(shù)據(jù)轉(zhuǎn)發(fā)平面。為實(shí)現(xiàn)數(shù)據(jù)平面的虛擬化,于是有了TRILL和SPB這兩個(gè)新的協(xié)議的推出。兩個(gè)協(xié)議都是用L2 ISIS作為控制協(xié)議在所有設(shè)備上進(jìn)行拓?fù)渎窂接?jì)算,轉(zhuǎn)發(fā)的時(shí)候會(huì)對(duì)原始報(bào)文進(jìn)行外層封裝,以不同的目的Tag在TRILL/SPB區(qū)域內(nèi)部進(jìn)行轉(zhuǎn)發(fā)。對(duì)外界來(lái)說,可以認(rèn)為TRILL/SPB區(qū)域網(wǎng)絡(luò)就是一個(gè)大的虛擬交換機(jī),Ethemet報(bào)文從人口進(jìn)去后,完整的從出口吐出來(lái),內(nèi)部的轉(zhuǎn)發(fā)過程對(duì)外是不可見且無(wú)意義的。
這種數(shù)據(jù)平面虛擬化多合一已經(jīng)是廣泛意義上的多虛一了,此方式在二層Ethemet轉(zhuǎn)發(fā)時(shí)可以有效的擴(kuò)展規(guī)模范圍,作為網(wǎng)絡(luò)節(jié)點(diǎn)的多個(gè)節(jié)點(diǎn)虛擬成一個(gè)節(jié)點(diǎn)來(lái)說,控制平面虛擬化目前還在個(gè)位到十位數(shù)級(jí)別,數(shù)據(jù)平面虛擬化已經(jīng)可以輕松達(dá)到百位的范疇。但其缺點(diǎn)也很明顯,引入了控制協(xié)議報(bào)文處理,增加了網(wǎng)絡(luò)的復(fù)雜度,同時(shí)由于轉(zhuǎn)發(fā)時(shí)對(duì)數(shù)據(jù)報(bào)文多了外層頭的封包解包動(dòng)作,降低了Ethemet的轉(zhuǎn)發(fā)效率。
在構(gòu)建數(shù)據(jù)中心二層網(wǎng)絡(luò)模型中,核心層與接入層設(shè)備有兩個(gè)問題是必須要解決的,一是拓?fù)錈o(wú)環(huán)路,二是多路徑轉(zhuǎn)發(fā)。但在傳統(tǒng)Ethemet轉(zhuǎn)發(fā)中只有使用STP才能確保無(wú)環(huán),但STP導(dǎo)致了多路徑冗余中部分路徑被阻塞浪費(fèi)帶寬,給整網(wǎng)轉(zhuǎn)發(fā)能力帶來(lái)了瓶頸。因此云計(jì)算中需要新的技術(shù)在避免環(huán)路的基礎(chǔ)上提升多路徑帶寬利用率,網(wǎng)絡(luò)虛擬化技術(shù)提到了兩個(gè)解決上述需求的思路。
首先是控制平面多虛一,將核心層虛擬為一個(gè)邏輯設(shè)備,通過鏈路聚合使此邏輯設(shè)備與每個(gè)接入層物理或邏輯節(jié)點(diǎn)設(shè)備均只有一條邏輯鏈路連接,將整個(gè)網(wǎng)絡(luò)邏輯拓?fù)湫纬蔁o(wú)環(huán)的樹狀連接結(jié)構(gòu),從而滿足無(wú)環(huán)與多路徑轉(zhuǎn)發(fā)的需求。
另一個(gè)思路是數(shù)據(jù)平面多虛一,在接入層與核心層交換機(jī)引入外層封裝標(biāo)識(shí)和動(dòng)態(tài)尋址協(xié)議來(lái)解決L2MP(Layer2 MultiPath)需求,可以理解這個(gè)思路相當(dāng)于在Ethemet外面搞出一套類似IP+OSPF的協(xié)議機(jī)制來(lái)。對(duì)接入層以下設(shè)備來(lái)說,整個(gè)接入層與核心層交換機(jī)虛擬成了一臺(tái)邏輯的框式交換機(jī),Ethemet報(bào)文進(jìn)Ethemet報(bào)文出,中間系統(tǒng)就是個(gè)黑盒,就好像IP層面用不著了解到Ethemet是怎么轉(zhuǎn)發(fā)處理的一樣。這種思路的代表技術(shù)是IETF(Intemet EngineeringTask Force)標(biāo)準(zhǔn)組織提出的TRILL和IEEE提出的802.1aq SPB兩套標(biāo)準(zhǔn)控制平面多虛一技術(shù)。
3 控制平面多虛一技術(shù)
目前業(yè)界應(yīng)用最廣泛的控制平面多虛一技術(shù)就是VSS和IRF,VSS(Virtual Switching System)是Cisco的私有技術(shù),IRF(Intellig嘰t ResilientFramework)是在H3C所有數(shù)據(jù)中心交換機(jī)中實(shí)現(xiàn)的私有技術(shù)。二者的關(guān)鍵技術(shù)點(diǎn)如下:
(1)專用鏈路跑私有協(xié)議:Vss使用VSL(Virtual Switch Link),IRF使用IRF link來(lái)承載各自的控制平面私有交互協(xié)議VsLP和IRF。專用鏈路使用私有協(xié)議來(lái)初始化建立鄰接、協(xié)商主備(描繪拓?fù)?、同步協(xié)議狀態(tài),同時(shí)會(huì)在虛擬化完成后,傳輸跨機(jī)框轉(zhuǎn)發(fā)的數(shù)據(jù)流量;
(2)基于引擎的主備模式:二者的控制平面都是只有一塊主控引擎作為虛擬交換機(jī)的主控制引擎,其它的引擎都是備份。
所有的協(xié)議學(xué)習(xí),表項(xiàng)同步等工作都是由這一塊引擎獨(dú)立完成。好在這些設(shè)備大都是分布式交換,數(shù)據(jù)轉(zhuǎn)發(fā)的工作由交換板自己完成了,只要不是類似OsPF鄰居太多,拓?fù)涮蟮葢?yīng)用情況,一塊主控大部分也都能完成了。
(3)跨設(shè)備鏈路聚合:前面說了網(wǎng)絡(luò)虛擬化主要是應(yīng)對(duì)二層多路徑環(huán)境下防止環(huán)路,因此跨設(shè)備鏈路聚合就是必須的了;
(4)雙活檢測(cè)處理:當(dāng)VSL或IRF link故障后,組成虛擬化的兩個(gè)物理設(shè)備由于配置完全相同會(huì)在網(wǎng)絡(luò)中出現(xiàn)雙活節(jié)點(diǎn),對(duì)上下游設(shè)備造成IP網(wǎng)關(guān)混亂。因此VSS/IRF都設(shè)計(jì)了一些雙活處理機(jī)制以應(yīng)對(duì)專用鏈路故障。首先網(wǎng)絡(luò)中如果有跨設(shè)備鏈路聚合時(shí),VSS使用PAgP,IRF使用LACP擴(kuò)展報(bào)文來(lái)互相檢測(cè)通知,如果有富裕接口在虛擬化的兩臺(tái)物理設(shè)備間可以單獨(dú)再拉根直連線路專門用做監(jiān)控,Vss使用VSLP FastHello、IRF使用BFD機(jī)制進(jìn)行檢測(cè)通知。另外vss還可以使用IP BFD通過互聯(lián)的三層鏈路進(jìn)行監(jiān)控,IRF則支持使用免費(fèi)ARP通過二層鏈路進(jìn)行監(jiān)控。上述幾種方式都是監(jiān)控報(bào)文傳輸?shù)逆溌坊蛘咄鈱映休d協(xié)議不同。當(dāng)發(fā)現(xiàn)專用鏈路故障時(shí),VSS/IRF操作結(jié)果目前都是會(huì)將處于備份狀態(tài)的物理機(jī)框設(shè)備的所有接口全部關(guān)閉,直到專用鏈路恢復(fù)時(shí)再重新協(xié)商。需要注意這兩種虛擬化技術(shù)在進(jìn)行初始協(xié)商時(shí)都需要將角色為備份的機(jī)框設(shè)備進(jìn)行重啟才能完成虛擬化部署。下面以ciscoVss的3種故障檢測(cè)方式舉例,IRF也差不多。如圖1所示。
除了上述4個(gè)關(guān)鍵技術(shù)點(diǎn)外,Vss/IRF還有一些小的相似技術(shù)設(shè)定,如Domain的設(shè)定、版本一致性檢查、三層虛接口MAC協(xié)商等,都是基于各方面的細(xì)節(jié)需求來(lái)的。由于應(yīng)用環(huán)境相似,因此實(shí)現(xiàn)的東西也區(qū)別不大。VSs和IRF都是當(dāng)前較為成熟的虛擬化技術(shù),其優(yōu)點(diǎn)是可以簡(jiǎn)化組網(wǎng),便捷管理,目前IRF技術(shù)已經(jīng)可以支持4個(gè)框式核心設(shè)備虛擬化一個(gè)核心設(shè)備,提供單節(jié)點(diǎn)超過2000個(gè)10Gbit/s接口,具有很強(qiáng)的系統(tǒng)擴(kuò)展性。
4 數(shù)據(jù)平面多虛一技術(shù)
數(shù)據(jù)平面多虛一技術(shù)的統(tǒng)一特征就是在二層Ethemet報(bào)文外面再封裝一層標(biāo)識(shí)用于尋址轉(zhuǎn)發(fā),這樣基于外層標(biāo)識(shí)就可叭做些多路徑負(fù)載均衡和環(huán)路避免等處理工作了。目前正在推動(dòng)的公有標(biāo)準(zhǔn)協(xié)議主要有TRILL/SPB。
4.1 TRILL協(xié)議及其技術(shù)實(shí)現(xiàn)
TRILL(TRansDarent Interconnect of Lots ofLinks)全稱透明多鏈路互連,在2010年3月時(shí)TRlLL已經(jīng)提交了IETF RFC 5556規(guī)范(TRILL:Problemand Applicability Statement),此RFc只是描述了TRILL要解決的問題以及應(yīng)用范圍,定義協(xié)議細(xì)節(jié)的文檔目前都還處于Draft階段,形成完整的協(xié)議標(biāo)準(zhǔn)體系應(yīng)該還得1~2年。TRILL是專門為數(shù)據(jù)中心開發(fā)的技術(shù),其定義的是在大型Ethemet網(wǎng)絡(luò)中解決多路徑問題的方案。
控制平面上TRILL引入了L2 ISIS作為尋址協(xié)議,運(yùn)行在所有的TRILL RB(Routing Bridge)之間,部署于一個(gè)可自定義的獨(dú)立協(xié)議VLAN內(nèi),做的還是建立鄰接、繪制拓?fù)浜蛡鬟fTag那幾件事。數(shù)據(jù)平面在內(nèi)外層Ethemet報(bào)頭之間引入了TRILL報(bào)頭,使用NickName作為轉(zhuǎn)發(fā)標(biāo)識(shí),用于報(bào)文在TRILL網(wǎng)絡(luò)中的尋址轉(zhuǎn)發(fā)(可理解為類似IP地址在IP網(wǎng)絡(luò)里面轉(zhuǎn)發(fā)時(shí)的作用)。每個(gè)RB都具有唯一的Nickname,同時(shí)維護(hù)其它RB的TRILL公共區(qū)域MAC地址、Nickname和私有區(qū)域內(nèi)部MAC地址的對(duì)應(yīng)關(guān)系表。因?yàn)門RILL封裝是MACinMAC方式,因此在TRILL公共區(qū)域數(shù)據(jù)報(bào)文可以經(jīng)過傳統(tǒng)Bridge和Hub依靠外部Ethemet報(bào)頭轉(zhuǎn)發(fā)。
普通Ethemet報(bào)文在首次從TRILL邊緣RB設(shè)備進(jìn)入TRILL區(qū)域時(shí),作為未知單播還是依照傳統(tǒng)以太網(wǎng)傳播方式,廣播給所有其它的RB節(jié)點(diǎn)。但是除了邊緣RB外,TRILL區(qū)域中間的RB和傳統(tǒng)Bridge都不會(huì)學(xué)習(xí)此數(shù)據(jù)報(bào)文中私有區(qū)域內(nèi)部MAC地址信息,有效的降低了中間設(shè)備的MAC地址表壓力。為了防止環(huán)路同時(shí)做到多路徑負(fù)載均衡,TRILL的每個(gè)RB在初始建立鄰接繪制拓?fù)鋾r(shí),都會(huì)構(gòu)造出多個(gè)多播樹,分別以不同的Nickname為根,將不同的未知單播/多播/廣播流量Hash到不同的樹,分發(fā)給其它所有RB。由于全網(wǎng)拓?fù)湮ㄒ磺覙?gòu)造樹時(shí)采用的算法一致,可保證全網(wǎng)RB的多播/廣播樹一致。在RB發(fā)送報(bào)文時(shí),通過將報(bào)文TRILL頭中的M標(biāo)志位置l來(lái)標(biāo)識(shí)此報(bào)文為多播,并填充樹根Nickname到目的Nickname字段,來(lái)確保沿途所有RB采用同一顆樹進(jìn)行廣播。多播與廣播報(bào)文的轉(zhuǎn)發(fā)方式與未知單播相同。已知單播報(bào)文再發(fā)送的時(shí)候,會(huì)根據(jù)目的RB的Nickname進(jìn)行尋路,如果RB問存在多條路徑時(shí),會(huì)逐流進(jìn)行Hash發(fā)送,以確保多路徑負(fù)載分擔(dān)。另外TRILL除了支持外層Ethemet封裝在傳統(tǒng)以太網(wǎng)中傳輸外,還規(guī)定了一種外層PPP封裝方式可以跨廣域網(wǎng)技術(shù)傳輸。
TRILL的主要技術(shù)結(jié)構(gòu)就是上面這些了,目前各個(gè)芯片廠商都已經(jīng)進(jìn)入TRILL Ready的階段,隨著技術(shù)標(biāo)準(zhǔn)完善發(fā)布并被廣泛客戶所接受,相關(guān)產(chǎn)品商用是很快的。
4.2 SPB協(xié)議及其技術(shù)實(shí)現(xiàn)
要說SPB需要先談PBB(Provider BackboneBridging)。PBB是IEEE于2008年完成的802.1ah標(biāo)準(zhǔn),為運(yùn)營(yíng)商城域以太網(wǎng)定義了一整套MACinMAC的轉(zhuǎn)發(fā)機(jī)制。但PBB只定義了轉(zhuǎn)發(fā)平面的封裝內(nèi)容,當(dāng)報(bào)文封裝上外層Ethemet報(bào)頭在運(yùn)營(yíng)商骨干區(qū)域二層網(wǎng)絡(luò)中時(shí),仍然需要依靠傳統(tǒng)的STP進(jìn)行環(huán)路避免和轉(zhuǎn)發(fā)控制。于是IEEE在2009年又定義了802.1QayPBB—TE(Provider Backbone Bridge TrafficEngineering),用于在運(yùn)營(yíng)商的骨干區(qū)域中進(jìn)行拓?fù)涔芾砼c環(huán)路保護(hù),說白了就是通過手工方式配置一堆指定路徑取代STP的自動(dòng)收斂。目前IEEE還有個(gè)相關(guān)的標(biāo)準(zhǔn)P802.1Qbf,PBB—TE infraStructure protection處于草案階段,預(yù)計(jì)2011年發(fā)布。
PBB—TE靜態(tài)規(guī)劃轉(zhuǎn)發(fā)路徑,明顯無(wú)法適用于大型二層網(wǎng)絡(luò)擴(kuò)展,于是IEEE再搞出個(gè)P802.1aq SPB(ShoIrtest Path Bridging)來(lái),當(dāng)前也還處于草案階段。從IEEE的資料上看SPB主要是為了解決STP阻塞鏈路浪費(fèi)帶寬的問題而研究出來(lái)的。從實(shí)現(xiàn)上來(lái)看,同樣是采用了L2 ISIS作為其控制平面協(xié)議進(jìn)行拓?fù)鋵W(xué)習(xí)計(jì)算,用MACinMAC封裝方式在SPB區(qū)域內(nèi)部進(jìn)行報(bào)文傳輸。
SPB可細(xì)分為SPBV(VLAN QinQ)和SPBM(MACinMAC)兩個(gè)部分,目前看主要用到的是SPBM。
SPBM是標(biāo)準(zhǔn)的MACinMAC封裝,在SPB區(qū)域中數(shù)據(jù)報(bào)文也都是依靠外層MAC做傳統(tǒng)Ethemet轉(zhuǎn)發(fā)。外層Ethemet報(bào)頭中的源目的MAC就代表了SPB區(qū)域邊緣的UNI設(shè)備,此設(shè)備MAC是由L2 ISIS在SPB區(qū)域中傳遞的。
由于在SPB網(wǎng)絡(luò)中還是采用傳統(tǒng)Ethemet進(jìn)行轉(zhuǎn)發(fā),因此需要定義一系列的軟件算法以保證多路徑的廣播無(wú)環(huán)和單播負(fù)載均衡。下面介紹幾個(gè)主要的部分:
(1)首先SPB定義了I—SID來(lái)區(qū)分多個(gè)拓?fù)洌琁—SID信息在數(shù)據(jù)報(bào)文中以BVID(外層Ethemet報(bào)頭中的VLAN Tag)形式攜帶,這樣可以解決不同業(yè)務(wù)多拓?fù)滢D(zhuǎn)發(fā)的問題;
(2)每個(gè)SPB節(jié)點(diǎn)都會(huì)為每個(gè)I—SID計(jì)算3棵樹:到達(dá)所有相關(guān)UNI節(jié)點(diǎn)的SPT(Shortest Path Tree)用于單播與多播報(bào)文的轉(zhuǎn)發(fā)l ECT(Equal Cost Tree)以處理兩個(gè)UNI間存在多條等價(jià)路徑時(shí)負(fù)載均衡轉(zhuǎn)發(fā),自己為根的多播樹MT(Multicast Tree)用于未知單播與廣播報(bào)文轉(zhuǎn)發(fā)。
表1 SPB和TRILL相比主要不同
(3)任意兩點(diǎn)間的Shortest Path一定是對(duì)稱的IECT的負(fù)載均衡是基于不同I—SID分擔(dān)的。
總的來(lái)說,SPB和TRILL相比主要不同如表1所示。SPB目前的最大困擾是轉(zhuǎn)發(fā)路徑靠軟件算法保障,尤其在多路徑負(fù)載分擔(dān)時(shí),對(duì)CPU計(jì)算壓力遠(yuǎn)遠(yuǎn)超過TRILL和FabricPath。因此實(shí)際轉(zhuǎn)發(fā)效率還有待驗(yàn)證。
5 小結(jié)
從云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)虛擬化技術(shù)發(fā)展來(lái)看,控制平面的虛擬化技術(shù),如已經(jīng)得到廣泛商用的VSS/IRF,這個(gè)技術(shù)的使用,作為網(wǎng)絡(luò)虛擬化技術(shù)的第一步,目前能夠?qū)?shù)據(jù)中心單節(jié)點(diǎn)的端口容量擴(kuò)展到2000個(gè)10Gbit/s端口,后續(xù)會(huì)向3000個(gè)10Gbit/s端口的規(guī)模升級(jí)。隨著云計(jì)算網(wǎng)絡(luò)規(guī)模的增大,如運(yùn)營(yíng)商提出在云基地建設(shè)40萬(wàn)臺(tái)服務(wù)器規(guī)模的數(shù)據(jù)中心,勢(shì)必要引入新的技術(shù),其中本文提到的數(shù)據(jù)平面虛擬化技術(shù)TRILL/SPB都是下一步網(wǎng)絡(luò)虛擬化實(shí)施中可能的選擇,這些技術(shù)比以前的STP在帶寬上多了一倍的擴(kuò)充,組網(wǎng)規(guī)模上也得到擴(kuò)展,可以構(gòu)建多層次,面向l~5萬(wàn)個(gè)10Gbit/s端口級(jí)別的數(shù)據(jù)中心網(wǎng)絡(luò),更適用于云計(jì)算超大規(guī)模的網(wǎng)絡(luò)需求。
核心關(guān)注:拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊(yùn)涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請(qǐng)注明出處:拓步ERP資訊網(wǎng)http://www.oesoe.com/
本文標(biāo)題:網(wǎng)絡(luò)虛擬化技術(shù)在云計(jì)算數(shù)據(jù)中心的應(yīng)用
本文網(wǎng)址:http://www.oesoe.com/html/support/1112153702.html