每一家互聯(lián)網公司的本質就是一個軟件公司,所以每一家互聯(lián)網企業(yè)最重要的就是數(shù)據(jù)中心。可以說數(shù)據(jù)中心承載著互聯(lián)網企業(yè)的產品、業(yè)務、理念和夢想。而在數(shù)據(jù)中心建設過程中,除了開源軟件系統(tǒng)的集群、定制、利用、優(yōu)化,更多面臨的是資源、網絡、運維管理等方面的問題。下面我們來一一探討。
一、機房的類型
互聯(lián)網所有業(yè)務應用都承載在數(shù)據(jù)中心中,因此互聯(lián)網數(shù)據(jù)中心不僅需要快速安全的網絡,還有對服務器監(jiān)管、流量監(jiān)控等網絡管理方面的需求,而且要有高度可靠的、安全的機房網絡環(huán)境。
租用機房
這個方式是最為普遍。形式上來說,運營商如聯(lián)通、電信建設完機房后,大型客戶會自己直接洽談業(yè)務,自己親自運維。特點是柜子多、運營商鏈路單一、鏈路帶寬大。但對于中小型客戶,資源租用(機柜、帶寬、IP地址)比較零散,運維管理壓力大,所以運營商就會將一部分機柜租給第三方運營商,由第三方負責資源劃分、管理、運維及銷售。由于第三方運營商身份的特殊性,往往會找一些傳輸機房,將其他運營商的鏈路拉通。所以第三方有個天然優(yōu)勢就是多運營商鏈路,服務好,價格雖高了一點,但鏈路種類多,質量好,所以很多互聯(lián)網公司初期均會選擇第三方運營商的租用服務。
合建及自建機房
建設機房流程上很麻煩,投入較大。部分第三方運營商會和運營商合作合建機房,也有和企業(yè)合作合建機房,也有實力比較強的企業(yè)選擇自建機房。對于租用機房來說,電不是大問題。因為運營商會限制一個機柜的供電量。一般為10A~13A。但對于合建或自建機房來說,決定一個機房能使用多大規(guī)模的因素除了柜子更重要的就是電。例如某銀行建設完大型機房園區(qū)后,發(fā)現(xiàn)機房電量不夠,導致1/3的機柜空置;某企業(yè)預期20萬臺Server機房,也因為供電問題降為8萬臺。所以整個行業(yè)都開始重視數(shù)據(jù)中心的功耗問題。一方面考慮設備的綠色節(jié)能問題,設備用電越少,可使用的設備數(shù)量就越多。另一方面也要考慮數(shù)據(jù)中心冷熱風道的散熱問題,所以現(xiàn)在數(shù)據(jù)中心級別的交換機產品推薦為前后通風設備。從設備級別的可靠性來說,也要考慮設備的風扇模塊、電源模塊是否冗余,是否支持熱插拔(因為除模塊外,設備硬件故障率最高的地方就在風扇和電源模塊)。
但對于中小企業(yè)而言,通常只能選擇第三方運營商的租用機房。痛苦的地方在于,第三方運營商手里的機柜資源其實并不多,不會整片機柜給客戶預留。而互聯(lián)網這個行業(yè)的魅力在于,說不定哪天由于某個業(yè)務、某個應用苦苦掙扎的互聯(lián)網企業(yè)就咸魚翻身了。這時會發(fā)現(xiàn),機柜需要擴容了。而原有機房并不能滿足業(yè)務擴容需求,這時機房之間互聯(lián)需求就體現(xiàn)了。
而對于網絡建設來說,除了租用公有云服務,無論是租用、合建、還是自建機房,均需要互聯(lián)網企業(yè)自己搭建網絡基礎架構。每一個互聯(lián)網企業(yè),無論大小,都會經歷以下四個模式數(shù)據(jù)中心的一種或多種。
二、數(shù)據(jù)中心的四種建設模式
1.早期的數(shù)據(jù)中心
在互聯(lián)網企業(yè)中,筆者見到過最“精簡”的網絡架構如圖1所示:一臺核心網管/出口設備,上行連接防火墻(若沒有防火墻則直接連接至運營商)、下行單鏈路連接百兆二層接入交換機;百兆接入二層交換機單鏈路連接至服務器。服務器網關則部署在核心交換機上,整網二層網絡環(huán)境,核心至運營商之間靜態(tài)路由即可。防火墻若不啟用NAT功能則為二層模式部署,若啟用NAT功能則三層模式部署。
圖1 早期的數(shù)據(jù)中心
這種單設備單鏈路的架構唯一的優(yōu)點就是便宜。缺點卻非常明顯:單點故障、設備可用性低、資源規(guī)劃不清。
之所以很多互聯(lián)網公司會有這樣的架構,是因為早期的互聯(lián)網公司網絡規(guī)劃建設都是由系統(tǒng)人員負責,在系統(tǒng)人員的設計思路中,網絡只要通就OK,所以并沒有全面的考慮問題。在運營一段時間后,會發(fā)現(xiàn)網絡的各種瓶頸。當然為解決以上問題,互聯(lián)網企業(yè)會對數(shù)據(jù)中心進行優(yōu)化。
圖2 優(yōu)化后的數(shù)據(jù)中心
如圖2所示,優(yōu)化后的數(shù)據(jù)中心為考慮設備、鏈路的冗余性,采用了雙鏈路上行、核心設備冗余備份,協(xié)議方面使用STP/MST+VRRP/HSRP。當然也有互聯(lián)網公司,如騰訊、百度在早期就將網關位置放在接入層,整張網絡為三層IP網絡。至于內外網是否分離問題,從性價比考慮,很多互聯(lián)網企業(yè)都會選擇內外網物理合一、邏輯分離。但對于從內網流量數(shù)據(jù)、外網安全隔離的角度看,游戲型的互聯(lián)網企業(yè)一般會選擇內外網物理分離的架構。
以我們現(xiàn)在的技術和思路來看,圖2的架構實際已經是大二層網絡環(huán)境,但無法滿足現(xiàn)在云計算大二層網絡環(huán)境中的鏈路利用率、故障收斂及運維管理等方面的需求。而這種架構由于網絡硬件發(fā)展問題,會有設備硬件表項、端口速率、網絡收斂比等諸多限制。在云計算及網絡虛擬化技術發(fā)展之前,早期的大型互聯(lián)網公司會過渡到模塊化、區(qū)域化的數(shù)據(jù)中心模型。但在云計算及網絡虛擬化技術成熟的今天,無論是大型互聯(lián)網公司還是中小型互聯(lián)網公司都會過渡到云就緒網絡數(shù)據(jù)中心。
2.模塊化、區(qū)域化數(shù)據(jù)中心
模塊化、區(qū)域化數(shù)據(jù)中心具有高可用、高可靠、高可控、分布式安全部署、易擴展、易管理等好處。從設計角度看很簡單,就是業(yè)務功能區(qū)域劃分POD。區(qū)域核心設備實際在整張網絡架構中屬于匯聚層設備(如圖3所示)。
圖3 模塊化、區(qū)域化數(shù)據(jù)中心
這種模型從設計出發(fā),無論是設備表項問題、安全區(qū)域防護、還是運維排障(因為三層物理架構下的大二層網絡排障是一件極其痛苦的事,很多時候的業(yè)務故障只能通過MAC逐步排查實現(xiàn)),所以綜合考慮各區(qū)域網關最好的是部署在匯聚層。核心設備與匯聚設備之間為IP互通,架構上簡單的或者是安全防護較高(各區(qū)域部署HA防火墻)的情況下,可采用VRRP/HSRP+靜態(tài)路由的方式,如果不存在上述條件,還是建議采用OSPF協(xié)議部署。當然,像騰訊、百度的服務器網關均部署在接入交換機,整網均為OSPF協(xié)議部署。好處是IP層網絡通過ECMP的方式,可消除早期STP/MST的鏈路耗損問題,但帶來的問題是會過多的消耗IP地址,也會很難過渡到云就緒網絡數(shù)據(jù)中心,不過這點在現(xiàn)在可通過SDN+Overlay數(shù)據(jù)中心模型解決。
3.云計算數(shù)據(jù)中心
說起云計算,就要先說說虛擬主機(下文簡稱“虛機”)。虛機最大的優(yōu)點就是提高物理服務器資源和帶寬資源的利用率。中國最早大規(guī)模部署虛機的互聯(lián)網企業(yè)就是淘寶,淘寶之所以虛機用的規(guī)模最大,實際上也是因為其電商的業(yè)務性質導致,畢竟都是網頁、文字和圖片,服務器利用率很低。不過像百度這種搜索業(yè)務的數(shù)據(jù)中心,服務器利用率很高,且業(yè)務應用層面而言早已分布式部署,所以對虛機需求還不高。
早期的虛機可靠性很低,一臺服務器掛掉,整個服務器上的虛機均受影響。而云計算的出現(xiàn)不僅實現(xiàn)了虛機的可靠性,還實現(xiàn)了池化后資源的動態(tài)分配。這點對于今天百花齊放的互聯(lián)網企業(yè)而言,是無與倫比的誘惑力。試想一下,物理設備資源池化后可以隨時根據(jù)新業(yè)務的開發(fā)、老業(yè)務的拓展、促銷活動甚至是網絡攻擊,系統(tǒng)可以根據(jù)業(yè)務應用所需自動分配及回收虛機資源,多么令人激動!不僅保障了虛機的可靠性,大大提高了資源利用率,還實現(xiàn)了資源的動態(tài)部署分配,減少了網絡規(guī)劃設計難度,可謂是一舉多得。所以云計算數(shù)據(jù)中心正在全國各行各業(yè)開花結果。但從網絡建設角度看,實際上由于云計算的產生,傳統(tǒng)的設備硬件也好,還是傳統(tǒng)的交換路由協(xié)議也好,并不能很好的支撐池化后的服務器資源。所以為了支撐云計算,支撐服務器資源池化,作為基礎設施的網絡設備,從早期園區(qū)網設備級別發(fā)展到數(shù)據(jù)中心專業(yè)級網絡設備,從硬件的CLOS架構、大緩存、虛擬化、綠色節(jié)能、散熱風道、高密40GE/100GE、可變長信源流量調度,到軟件級別的IRF、MDC、VEPA、Trill、VEPA、FCoE、VXLAN、NVGRE、Openflow,再到操作系統(tǒng)的分布式/高可用架構、SCM、LIPC、DBM、ISSU、進程級GR等等,從硬件架構、操作系統(tǒng)、交換協(xié)議、軟件特性均做了重大升級。而網絡架構也會根據(jù)網絡和軟件的不同理念發(fā)展為云就緒網絡數(shù)據(jù)中心和SDN+Overlay數(shù)據(jù)中心兩種。
云就緒網絡數(shù)據(jù)中心
云就緒網絡數(shù)據(jù)中心的核心發(fā)展理念是:虛機的MAC封裝傳遞由網絡設備負責。所以為了保證虛機之間或與網關通信的MAC傳遞,整張網絡為大二層網絡環(huán)境(如圖4所示)。
圖4 云就緒網絡解決方案
這其中應用到如下關鍵的技術:
橫向IRF解決了傳統(tǒng)路由協(xié)議中STP/MST+VRRP的鏈路耗損、故障收斂和運維管理;
縱向IRF和Openflow解決了云就緒網絡的控制與轉發(fā)層面物理分離;
MDC則解決了網絡資源池化后的網絡資源物理分配;
VEPA解決物理交換機與vSwitch之間的流量交互與配置管理;
Trill用來應對數(shù)據(jù)中心的超大規(guī)模大二層網絡環(huán)境;
EVI解決了跨數(shù)據(jù)中心之間客戶層面的私有二層隧道。
圖5 云就緒網絡解決方案
所以如圖5所示,云就緒網絡數(shù)據(jù)中心從網絡層面是一套完整的云計算網絡解決方案。但是,隨著硬件技術的不斷升級、云計算的網絡規(guī)模不斷擴大,對核心網關設備要求越來越高,包括各種表項的要求,刷新率的要求,以及很多生產數(shù)據(jù)中心需要面對從三層IP網絡到大二層網絡的過渡瓶頸,所以綜上考慮,云就緒網絡更適合中小型,較為傳統(tǒng)的云計算數(shù)據(jù)中心。
SDN+Overlay數(shù)據(jù)中心
為了解決云就緒網絡數(shù)據(jù)中心的問題,SDN+Overlay數(shù)據(jù)中心的核心理念是:虛機的MAC封裝由虛機自行完成,網絡作為通道只要IP可達即可。簡單來說,就是虛機自行將MAC已標簽形式封裝進IP報文內進行傳遞,可以理解為虛機之間自行實現(xiàn)Tunnel的技術,網絡則作為IP通道的大三層,網關在接入交換機上即可。
VXLAN是目前主流的Overlay技術,但它也只是封裝技術,而控制則是通過網關設備——SDN的Contrller(控制器)解決,從而在未來云就緒數(shù)據(jù)中心條件不滿足的情況下,支撐云計算網絡的搭建。但目前由于VXLAN需要面對來自數(shù)據(jù)中心中應用STP和VLAN帶來的限制問題(STP對與端口和網絡鏈路的浪費和VLAN的數(shù)量限制)以及對于多用戶組環(huán)境的需要和ToR交換機上的流表數(shù)量不足的問題,而Openflow也需要面對版本不兼容和不穩(wěn)定的問題,所以“SDN+Overlay”數(shù)據(jù)中心還未正式規(guī)模商用。
三、解決互聯(lián)網訪問瓶頸的三種方法
曾經有一句笑話:世界上最遠的距離不是我在你面前,你不知道我愛你,而是我在聯(lián)通、你在電信。其實講得就是各個運營商網絡之間互聯(lián)的通道,這條通道會直接影響跨運營商的業(yè)務訪問。所以現(xiàn)在來看大部分互聯(lián)網公司的主營IDC,一定是覆蓋聯(lián)通和電信兩家最重要的運營商。當然教育和移動這兩家運營商也覆蓋了大量網民,成為互聯(lián)網企業(yè)在聯(lián)通和電信之后最值得關注和覆蓋的兩家運營商。而前期互聯(lián)網企業(yè)基本都是某一家運營商IDC下運營。就是典型的單線IDC模式。何為單線IDC?就是我們租用某一運營商,由某一運營商分配互聯(lián)網可訪問的公網IP地址段。業(yè)務部署后,域名通過DNS解析至實際的IP地址。這種模式在此運營商網內用戶訪問的效果良好,而跨運營商的用戶訪問,當網絡訪問的高峰期來臨時,傳輸?shù)膱笪木秃帽缺本└叻鍟r期的地鐵人流一樣,根本擠不上這條通道快車,用戶直觀的感受就是丟包、延遲增大,應用無法打開。而互聯(lián)網行業(yè)所有的產品都是基于網絡傳輸?shù),丟包和延遲恰恰是用戶無法忍受的。為解決廣域網訪問問題,就有了如下三個方法:
1.多運營商鏈路機房
如果說跨運營商流量的丟包和延遲是在穿透骨干網時發(fā)生的,那么就讓流量不穿過骨干網的互聯(lián)通道就好了。最普遍的做法就是做多線機房。在主營IDC架設多運營商鏈路,擁有支撐多運營商用戶的訪問能力,避免單線IDC中的骨干網穿行流量。這種方式可以提高單個IDC多運營商用戶的訪問能力。但上文中也講過,對于中國地大物博的現(xiàn)狀,如果北京到廣州的某個鏈路質量不穩(wěn)定的話,也會對該運營商用戶的業(yè)務訪問造成影響。所以對于小型互聯(lián)網公司,當只有一個機房的情況下,基本上推薦多運營商鏈路機房。
具體使用的線路類型如下:
雙線機房:電信、聯(lián)通
三線機房:電信、聯(lián)通、移動
四至八線機房:電信、聯(lián)通、移動、教育、鐵通、科技、和一些中小型運營商鏈路
而對于中大型互聯(lián)網公司的多機房業(yè)務而言,主站業(yè)務為保證客戶的動態(tài)流量及CDN回源流量的訪問質量,都會采用多運營商鏈路機房,某些重要業(yè)務機房,也會采用雙線機房。
2.CDN
CDN的全稱是Content Delivery Network(內容分發(fā)網絡)。其基本思路是盡可能避開互聯(lián)網上有可能影響數(shù)據(jù)傳輸速度和穩(wěn)定性的瓶頸和環(huán)節(jié),使內容傳輸?shù)母、更穩(wěn)定。通過在網絡各處放置節(jié)點服務器所構成的,在現(xiàn)有的互聯(lián)網基礎之上的一層智能虛擬網絡。CDN系統(tǒng)能夠實時地根據(jù)網絡流量和各節(jié)點的連接、負載狀況以及到用戶的距離和響應時間等綜合信息將用戶的請求重新導向離用戶最近的服務節(jié)點上。其目的是使用戶可就近取得所需內容,提高用戶訪問網站的響應速度。通俗理解就是網站加速,CPU均衡負載,可以解決跨運營商,跨地區(qū),服務器負載能力過低,帶寬過少等帶來的網站打開速度慢等問題。
在國內訪問量較高的大型網站如淘寶、騰訊、新浪、網易,還有視頻類網站,如土豆、優(yōu)酷等,均使用CDN網絡加速技術,雖然網站的訪問巨大,但無論在什么地方訪問都會感覺速度很快。而一般的網站如果服務器在網通,電信用戶訪問很慢,如果服務器在電信,網通用戶訪問又很慢。
CDN采取了分布式網絡緩存結構(即國際上流行的Web Cache技術),通過在現(xiàn)有的Internet中增加一層新的網絡架構,將網站的內容發(fā)布到最接近用戶的Cache服務器內,通過DNS負載均衡的技術,判斷用戶來源就近訪問Cache服務器取得所需的內容,解決Internet網絡擁塞狀況,提高用戶訪問網站的響應速度,如同提供了多個分布在各地的加速器,以達到快速、可冗余的為多個網站加速的目的。
總體來說,CDN服務優(yōu)缺點都很明顯。優(yōu)點是CDN服務用于確?焖倏煽康胤职l(fā)靜態(tài)內容。靜態(tài)內容包括HTML頁面文件、視頻文件、JS文件、CSS文件、EXE文件、圖片文件(JPEG、GIF、PNG)等。雖然現(xiàn)在有SSL卸載及TCP加速等四至七層網絡加速技術,但對于動態(tài)流量比如實時的聊天、交易數(shù)據(jù)等等需要訪問主站數(shù)據(jù)庫的業(yè)務是無能為力的,所以動態(tài)內容必須是通過互聯(lián)網的IP網絡來傳輸。因此要想提供快速的網絡體驗,滿足當今用戶的要求,只能通過對互聯(lián)網流量的獨特視角來達到。比如上文中的多運營商鏈路機房,比如未來的SDN廣域網技術。目的是了解通過互聯(lián)網的最佳路由,充分利用這些最佳路由,加速通過互聯(lián)網協(xié)議的數(shù)據(jù)通訊。
在架構上,CDN核心節(jié)點為整張CDN網絡的核心Controller,部署在主站多線機房。而分支節(jié)點為節(jié)省成本,一般選擇為三大運營商各省市二三線城市的核心節(jié)點,一是機柜、鏈路資源價格便宜,二是一個CDN分支節(jié)點基本上可以滿足各省用戶的業(yè)務訪問。對于中小型互聯(lián)網企業(yè)而言,由于自建CDN需要投入一定的人力、物力,大多會選擇商用CDN,當性價比達到瓶頸時,再選擇“自建+商用”的模式。而對于大型互聯(lián)網企業(yè),其自建CDN可以基本覆蓋90%不同運營商下的用戶業(yè)務訪問,只有在做促銷活動或部署偏僻省份的CDN節(jié)點時,會選擇商用CDN。
3.分布式IDC
如前文所講,CDN可以完美解決互聯(lián)網用戶的靜態(tài)流量訪問,且現(xiàn)在已經實現(xiàn)SSL卸載及TCP加速(握手)等技術,但對于動態(tài)流量來說,CDN依然存在缺陷,這時就有了第三種方法——分布式IDC。
分布式IDC的思路與CDN不同的是,CDN是把內容推送到前端,而分布式IDC是把IDC中的“內容+數(shù)據(jù)”均推送到前端,后端數(shù)據(jù)庫之間做同城機房同步備份/異地機房異步備份。同城分布機房之間的傳輸網則是城域網建設部分。
在城域網建設中,基礎鏈路可選擇運營商專線,也可選擇裸纖,通過千兆、萬兆、40GE長距模塊或波分設備實現(xiàn)鏈路擴容,在建設過程中也可考慮通過二層傳輸交換機使用VLAN、Trunk劃分邏輯通道,而IP層面城域網的路由協(xié)議一般選用OSPF協(xié)議,如果考慮未來建設廣域骨干網啟用BGP協(xié)議的話,城域網也可考慮選用ISIS協(xié)議。
而骨干網建設中,除了考慮物理專線、波分,在IP層面一般底層路由協(xié)議選用ISIS協(xié)議,當然OSPF協(xié)議也可以,但如果底層選用OSPF,則需考慮Area0的部署范圍。未來如果考慮企業(yè)自身的多業(yè)務專線,則會在BGP基礎上使用MPLS VPN或VPLS。如果骨干網規(guī)模很大,下一步將考慮MPLS TE。但目前互聯(lián)網公司中自建廣域骨干網的企業(yè)很少,使用MPLS TE的更少。在光纖資源稀缺的現(xiàn)狀下,全網的分布式IDC使用裸纖連接從成本考慮是不現(xiàn)實的。所以很多互聯(lián)網企業(yè)早期也會使用GRE VPN、IPsec VPN實現(xiàn)基于廣域網鏈路的三層互通。而在云計算如火如荼的今天,現(xiàn)在也有EVI、OTV等各廠商私有協(xié)議實現(xiàn)基于廣域網鏈路的二層互通。本文只是描述分布式數(shù)據(jù)中心建設的思路,而具體的城域網、骨干網詳細的網絡架構設計思路在此不再展開。
四、非互聯(lián)網企業(yè)的借鑒思路
本文闡述了互聯(lián)網企業(yè)其數(shù)據(jù)中心發(fā)展過程中內部、外部面臨的問題,并提出了解決的思路與建議。對于需要互聯(lián)網化轉型的其它行業(yè)企業(yè)而言,由于前期自身已建設好辦公網及數(shù)據(jù)中心,在轉型的時候需要考慮以下兩個方面:
一、大多數(shù)企業(yè)的數(shù)據(jù)中心初期建設時,主要為辦公和自有業(yè)務而建;ヂ(lián)網化轉型時需要優(yōu)化、改造其原有數(shù)據(jù)中心。而一步跨度到云計算數(shù)據(jù)中心比較有難度。所以從功能性考慮出發(fā),在轉型過程中建議過渡到到模塊化、區(qū)域化數(shù)據(jù)中心(各層面的網絡設備均采用IRF虛擬化技術),如圖6所示,將原有業(yè)務及辦公業(yè)務通過匯聚層設備隔離,從安全性考慮在各個模塊中部署相應安全設備。數(shù)據(jù)中心模塊化、區(qū)域化后,互聯(lián)網業(yè)務模塊為保證業(yè)務訪問質量、網絡訪問安全性等方面,建議采用獨立出口區(qū)域。
圖6 某企業(yè)互聯(lián)網化網絡改造方案
二、如文章開篇時所講,互聯(lián)網企業(yè)的本質是軟件開發(fā)公司,所以軟件開發(fā)、自研能力很強。某些大型互聯(lián)網企業(yè)也會自研防DDOS攻擊的黑洞設備。而這樣的軟件開發(fā)、自研能力并不是一蹴而就的,需要長時間的摸索和累積。所以傳統(tǒng)企業(yè)面臨互聯(lián)網化轉型時,結合其自身軟件開發(fā)人員的綜合素質考慮,像負載均衡、防火墻、IPS和CDN等方面,在商用設備達到性能和性價比瓶頸之前,在數(shù)據(jù)中心建設時推薦使用成熟穩(wěn)定的商用產品。
五、結束語
本文的數(shù)據(jù)中心建設演進之路僅供參考,不能一概而論。無論是互聯(lián)網企業(yè)還是互聯(lián)網化的其它行業(yè)企業(yè),在數(shù)據(jù)中心建設、升級、優(yōu)化、改造過程中,需結合自身業(yè)務需求特點,按階段建設出最適合的數(shù)據(jù)中心,才是我們不斷追求的方向。
附錄:互聯(lián)網企業(yè)的網絡建設之路
核心關注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理,全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域,是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.oesoe.com/