越來越多的應(yīng)用涉及到大數(shù)據(jù)，這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長的復(fù)雜性，所以，大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素�；诖�，大數(shù)據(jù)分析方法理論有哪些呢？
大數(shù)據(jù)分析的五個基本方面
PredictiveAnalyticCapabilities（預(yù)測性分析能力）
數(shù)據(jù)挖掘可以讓分析員更好的理解數(shù)據(jù)，而預(yù)測性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測性的判斷。
DataQualityandMasterDataManagement（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理）
數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實踐。通過標準化的流程和工具對數(shù)據(jù)進行處理可以保證一個預(yù)先定義好的高質(zhì)量的分析結(jié)果。
AnalyticVisualizations（可視化分析）
不管是對數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求�？梢暬梢灾庇^的展示數(shù)據(jù)，讓數(shù)據(jù)自己說話，讓觀眾聽到結(jié)果。
SemanticEngines（語義引擎）
我們知道由于非結(jié)構(gòu)化數(shù)據(jù)的多樣性帶來了數(shù)據(jù)分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數(shù)據(jù)。語義引擎需要被設(shè)計成能夠從“文檔”中智能提取信息。
DataMiningAlgorithms（數(shù)據(jù)挖掘算法）
可視化是給人看的，數(shù)據(jù)挖掘就是給機器看的。集群、分割、孤立點分析還有其他的算法讓我們深入數(shù)據(jù)內(nèi)部，挖掘價值。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。
假如大數(shù)據(jù)真的是下一個重要的技術(shù)革新的話，我們最好把精力關(guān)注在大數(shù)據(jù)能給我們帶來的好處，而不僅僅是挑戰(zhàn)。
大數(shù)據(jù)處理
大數(shù)據(jù)處理數(shù)據(jù)時代理念的三大轉(zhuǎn)變：要全體不要抽樣，要效率不要絕對精確，要相關(guān)不要因果。具體的大數(shù)據(jù)處理方法其實有很多，但是根據(jù)長時間的實踐，筆者總結(jié)了一個基本的大數(shù)據(jù)處理流程，并且這個流程應(yīng)該能夠?qū)Υ蠹依眄槾髷?shù)據(jù)的處理有所幫助。整個處理流程可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計和分析，以及挖掘。
采集
大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進行簡單的查詢和處理工作。比如，電商會使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等來存儲每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。
在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。并且如何在這些數(shù)據(jù)庫之間進行負載均衡和分片的確是需要深入的思考和設(shè)計。
統(tǒng)計/分析
統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。統(tǒng)計與分析這部分的主要特點和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資源，特別是I/O會有極大的占用。
導(dǎo)入/預(yù)處理
雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡單的清洗和預(yù)處理工作。也有一些用戶會在導(dǎo)入時使用來自Twitter的Storm來對數(shù)據(jù)進行流式計算，來滿足部分業(yè)務(wù)的實時計算需求。導(dǎo)入與預(yù)處理過程的特點和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會達到百兆，甚至千兆級別。
挖掘
與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預(yù)測的效果，從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的K-Means、用于統(tǒng)計學(xué)習的SVM和用于分類的Naive Bayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計算涉及的數(shù)據(jù)量和計算量都很大，還有，常用數(shù)據(jù)挖掘算法都以單線程為主。
大數(shù)據(jù)分析工具詳解 IBM惠普微軟工具在列
去年，IBM宣布以17億美元收購數(shù)據(jù)分析公司Netezza；EMC繼收購數(shù)據(jù)倉庫軟件廠商Greenplum后再次收購集群NAS廠商Isilon；Teradata收購了Aster Data 公司；隨后，惠普收購實時分析平臺Vertica等，這些收購事件指向的是同一個目標市場——大數(shù)據(jù)。是的，大數(shù)據(jù)時代已經(jīng)來臨，大家都在摩拳擦掌，搶占市場先機。
而在這里面，最耀眼的明星是hadoop，Hadoop已被公認為是新一代的大數(shù)據(jù)處理平臺，EMC、IBM、Informatica、Microsoft以及Oracle都紛紛投入了Hadoop的懷抱。對于大數(shù)據(jù)來說，最重要的還是對于數(shù)據(jù)的分析，從里面尋找有價值的數(shù)據(jù)幫助企業(yè)作出更好的商業(yè)決策。下面，我們就來看以下八大關(guān)于大數(shù)據(jù)分析的工具。
EMC Greenplum統(tǒng)一分析平臺(UAP)
Greenplum在2010年被EMC收購了其EMC Greenplum統(tǒng)一分析平臺（UAP）是一款單一軟件平臺，數(shù)據(jù)團隊和分析團隊可以在該平臺上無縫地共享信息、協(xié)作分析，沒必要在不同的孤島上工作，或者在不同的孤島之間轉(zhuǎn)移數(shù)據(jù)。正因為如此，UAP包括ECM Greenplum關(guān)系數(shù)據(jù)庫、EMC Greenplum HD Hadoop發(fā)行版和EMC Greenplum Chorus。
EMC為大數(shù)據(jù)開發(fā)的硬件是模塊化的EMC數(shù)據(jù)計算設(shè)備（DCA），它能夠在一個設(shè)備里面運行并擴展Greenplum關(guān)系數(shù)據(jù)庫和Greenplum HD節(jié)點。DCA提供了一個共享的指揮中心（Command Center）界面，讓管理員可以監(jiān)控、管理和配置Greenplum數(shù)據(jù)庫和Hadoop系統(tǒng)性能及容量。隨著Hadoop平臺日趨成熟，預(yù)計分析功能會急劇增加。
IBM打組合拳提供BigInsights和BigCloud
幾年前，IBM開始在其實驗室嘗試使用Hadoop，但是它在去年將相關(guān)產(chǎn)品和服務(wù)納入到商業(yè)版IBM在去年5月推出了InfoSphere BigI云版本的 InfoSphere BigInsights使組織內(nèi)的任何用戶都可以做大數(shù)據(jù)分析。云上的BigInsights軟件可以分析數(shù)據(jù)庫里的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，使決策者能夠迅速將洞察轉(zhuǎn)化為行動。
IBM隨后又在10月通過其智慧云企業(yè)（SmartCloud EntERPrise）基礎(chǔ)架構(gòu)，將BigInsights和BigSheets作為一項服務(wù)來提供。這項服務(wù)分基礎(chǔ)版和企業(yè)版；一大賣點就是客戶不必購買支持性硬件，也不需要IT專門知識，就可以學(xué)習和試用大數(shù)據(jù)處理和分析功能。據(jù)IBM聲稱，客戶用不了30分鐘就能搭建起Hadoop集群，并將數(shù)據(jù)轉(zhuǎn)移到集群里面，數(shù)據(jù)處理費用是每個集群每小時60美分起價。
Informatica 9.1：將大數(shù)據(jù)的挑戰(zhàn)轉(zhuǎn)化為大機遇
Informatica公司在去年10月則更深入一步，當時它推出了HParser，這是一種針對Hadoop而優(yōu)化的數(shù)據(jù)轉(zhuǎn)換環(huán)境。據(jù)Informatica聲稱，軟件支持靈活高效地處理Hadoop里面的任何文件格式，為Hadoop開發(fā)人員提供了即開即用的解析功能，以便處理復(fù)雜而多樣的數(shù)據(jù)源，包括日志、文檔、二進制數(shù)據(jù)或?qū)哟问綌?shù)據(jù)，以及眾多行業(yè)標準格式（如銀行業(yè)的NACHA、支付業(yè)的SWIFT、金融數(shù)據(jù)業(yè)的FIX和保險業(yè)的ACORD）。正如數(shù)據(jù)庫內(nèi)處理技術(shù)加快了各種分析方法，Informatica同樣將解析代碼添加到Hadoop里面，以便充分利用所有這些處理功能，不久會添加其他的數(shù)據(jù)處理代碼。
Informatica HParser是Informatica B2B Data Exchange家族產(chǎn)品及Informatica平臺的最新補充，旨在滿足從海量無結(jié)構(gòu)數(shù)據(jù)中提取商業(yè)價值的日益增長的需求。去年， Informatica成功地推出了創(chuàng)新的Informatica 9.1 for Big Data，是全球第一個專門為大數(shù)據(jù)而構(gòu)建的統(tǒng)一數(shù)據(jù)集成平臺。
甲骨文大數(shù)據(jù)機——Oracle Big Data Appliance
甲骨文的Big Data Appliance集成系統(tǒng)包括Cloudera的Hadoop系統(tǒng)管理軟件和支持服務(wù)Apache Hadoop 和Cloudera Manager。甲骨文視Big Data Appliance為包括Exadata、 Exalogic和 Exalytics In-Memory Machine的“建造系統(tǒng)”。Oracle大數(shù)據(jù)機(Oracle Big Data Appliance)，是一個軟、硬件集成系統(tǒng)，在系統(tǒng)中融入了Cloudera的Distribution Including Apache Hadoop、Cloudera Manager和一個開源R。該大數(shù)據(jù)機采用Oracle Linux操作系統(tǒng)，并配備Oracle NoSQL數(shù)據(jù)庫社區(qū)版本和Oracle HotSpot Java虛擬機。Big Data Appliance為全架構(gòu)產(chǎn)品，每個架構(gòu)864GB存儲，216個CPU內(nèi)核，648TBRAW存儲，每秒40GB的InifiniBand連接。Big Data Appliance售價45萬美元，每年硬軟件支持費用為12%。
甲骨文Big Data Appliance與EMC Data Computing Appliance匹敵，IBM也曾推出數(shù)據(jù)分析軟件平臺InfoSphere BigInsights，微軟也宣布在2012年發(fā)布Hadoop架構(gòu)的SQL Server 2012大型數(shù)據(jù)處理平臺。
統(tǒng)計分析方法以及統(tǒng)計軟件詳細介紹
統(tǒng)計分析方法有哪幾種？下面我們將詳細闡述，并介紹一些常用的統(tǒng)計分析軟件。
一、指標對比分析法指標對比分析法
統(tǒng)計分析的八種方法一、指標對比分析法指標對比分析法，又稱比較分析法，是統(tǒng)計分析中最常用的方法。是通過有關(guān)的指標對比來反映事物數(shù)量上差異和變化的方法。有比較才能鑒別。單獨看一些指標，只能說明總體的某些數(shù)量特征，得不出什么結(jié)論性的認識；一經(jīng)過比較，如與國外、外單位比，與歷史數(shù)據(jù)比，與計劃相比，就可以對規(guī)模大小、水平高低、速度快慢作出判斷和評價。
指標分析對比分析方法可分為靜態(tài)比較和動態(tài)比較分析。靜態(tài)比較是同一時間條件下不同總體指標比較，如不同部門、不同地區(qū)、不同國家的比較，也叫橫向比較；動態(tài)比較是同一總體條件不同時期指標數(shù)值的比較，也叫縱向比較。這兩種方法既可單獨使用，也可結(jié)合使用。進行對比分析時，可以單獨使用總量指標或相對指標或平均指標，也可將它們結(jié)合起來進行對比。比較的結(jié)果可用相對數(shù)，如百分數(shù)、倍數(shù)、系數(shù)等，也可用相差的絕對數(shù)和相關(guān)的百分點（每1％為一個百分點）來表示，即將對比的指標相減。
二、分組分析法指標對比分析法
分組分析法指標對比分析法對比，但組成統(tǒng)計總體的各單位具有多種特征，這就使得在同一總體范圍內(nèi)的各單位之間產(chǎn)生了許多差別，統(tǒng)計分析不僅要對總體數(shù)量特征和數(shù)量關(guān)系進行分析，還要深入總體的內(nèi)部進行分組分析。分組分析法就是根據(jù)統(tǒng)計分析的目的要求，把所研究的總體按照一個或者幾個標志劃分為若干個部分，加以整理，進行觀察、分析，以揭示其內(nèi)在的聯(lián)系和規(guī)律性。
統(tǒng)計分組法的關(guān)鍵問題在于正確選擇分組標值和劃分各組界限。
三、時間數(shù)列及動態(tài)分析法
時間數(shù)列。是將同一指標在時間上變化和發(fā)展的一系列數(shù)值，按時間先后順序排列，就形成時間數(shù)列，又稱動態(tài)數(shù)列。它能反映社會經(jīng)濟現(xiàn)象的發(fā)展變動情況，通過時間數(shù)列的編制和分析，可以找出動態(tài)變化規(guī)律，為預(yù)測未來的發(fā)展趨勢提供依據(jù)。時間數(shù)列可分為絕對數(shù)時間數(shù)列、相對數(shù)時間數(shù)列、平均數(shù)時間數(shù)列。
時間數(shù)列速度指標。根據(jù)絕對數(shù)時間數(shù)列可以計算的速度指標：有發(fā)展速度、增長速度、平均發(fā)展速度、平均增長速度。
動態(tài)分析法。在統(tǒng)計分析中，如果只有孤立的一個時期指標值，是很難作出判斷的。如果編制了時間數(shù)列，就可以進行動態(tài)分析，反映其發(fā)展水平和速度的變化規(guī)律。
進行動態(tài)分析，要注意數(shù)列中各個指標具有的可比性�？傮w范圍、指標計算方法、計算價格和計量單位，都應(yīng)該前后一致。時間間隔一般也要一致，但也可以根據(jù)研究目的，采取不同的間隔期，如按歷史時期分。為了消除時間間隔期不同而產(chǎn)生的指標數(shù)值不可比，可采用年平均數(shù)和年平均發(fā)展速度來編制動態(tài)數(shù)列。此外在統(tǒng)計上，許多綜合指標是采用價值形態(tài)來反映實物總量，如國內(nèi)生產(chǎn)總值、工業(yè)總產(chǎn)值、社會商品零售總額等計算不同年份的發(fā)展速度時，必須消除價格變動因素的影響，才能正確的反映實物量的變化。也就是說必須用可比價格（如用不變價或用價格指數(shù)調(diào)整）計算不同年份相同產(chǎn)品的價值，然后才能進行對比。
為了觀察我國經(jīng)濟發(fā)展的波動軌跡，可將各年國內(nèi)生產(chǎn)總值的發(fā)展速度編制時間數(shù)列，并據(jù)以繪制成曲線圖，令人得到直觀認識。
四、指數(shù)分析法
指數(shù)是指反映社會經(jīng)濟現(xiàn)象變動情況的相對數(shù)。有廣義和狹義之分。根據(jù)指數(shù)所研究的范圍不同可以有個體指數(shù)、類指數(shù)與總指數(shù)之分。
指數(shù)的作用：一是可以綜合反映復(fù)雜的社會經(jīng)濟現(xiàn)象的總體數(shù)量變動的方向和程度；二是可以分析某種社會經(jīng)濟現(xiàn)象的總變動受各因素變動影響的程度，這是一種因素分析法。操作方法是：通過指數(shù)體系中的數(shù)量關(guān)系，假定其他因素不變，來觀察某一因素的變動對總變動的影響。
用指數(shù)進行因素分析。因素分析就是將研究對象分解為各個因素，把研究對象的總體看成是各因素變動共同的結(jié)果，通過對各個因素的分析，對研究對象總變動中各項因素的影響程度進行測定。因素分析按其所研究的對象的統(tǒng)計指標不同可分為對總量指標的變動的因素分析，對平均指標變動的因素分析。
五、平衡分析法
平衡分析是研究社會經(jīng)濟現(xiàn)象數(shù)量變化對等關(guān)系的一種方法。它把對立統(tǒng)一的雙方按其構(gòu)成要素一一排列起來，給人以整體的概念，以便于全局來觀察它們之間的平衡關(guān)系。平衡關(guān)系廣泛存在于經(jīng)濟生活中，大至全國宏觀經(jīng)濟運行，小至個人經(jīng)濟收支。平衡種類繁多，如財政平衡表、勞動力平衡表、能源平衡表、國際收支平衡表、投入產(chǎn)出平衡表，等等。平衡分析的作用：一是從數(shù)量對等關(guān)系上反映社會經(jīng)濟現(xiàn)象的平衡狀況，分析各種比例關(guān)系相適應(yīng)狀況；二是揭示不平衡的因素和發(fā)展?jié)摿�；三是利用平衡關(guān)系可以從各項已知指標中推算未知的個別指標。
六、綜合評價分析
社會經(jīng)濟分析現(xiàn)象往往是錯綜復(fù)雜的，社會經(jīng)濟運行狀況是多種因素綜合作用的結(jié)果，而且各個因素的變動方向和變動程度是不同的。如對宏觀經(jīng)濟運行的評價，涉及生活、分配、流通、消費各個方面；對企業(yè)經(jīng)濟效益的評價，涉及人、財、物合理利用和市場銷售狀況。如果只用單一指標，就難以作出恰當?shù)脑u價。
進行綜合評價包括四個步驟：
1.確定評價指標體系，這是綜合評價的基礎(chǔ)和依據(jù)。要注意指標體系的全面性和系統(tǒng)性。
2.搜集數(shù)據(jù)，并對不同計量單位的指標數(shù)值進行同度量處理�？刹捎孟鄬幚�、函數(shù)化處理、標準化處理等方法。
3.確定各指標的權(quán)數(shù)，以保證評價的科學(xué)性。根據(jù)各個指標所處的地位和對總體影響程度不同，需要對不同指標賦予不同的權(quán)數(shù)。
4.對指標進行匯總，計算綜合分值，并據(jù)此作出綜合評價。
七、景氣分析
經(jīng)濟波動是客觀存在的，是任何國家都難以完全避免的。如何避免大的經(jīng)濟波動，保持經(jīng)濟的穩(wěn)定發(fā)展，一直是各國政府和經(jīng)濟之專家在宏觀調(diào)控和決策中面臨的重要課題，景氣分析正是適應(yīng)這一要求而產(chǎn)生和發(fā)展的。景氣分析是一種綜合評價分析，可分為宏觀經(jīng)濟景氣分析和企業(yè)景氣調(diào)查分析。
宏觀經(jīng)濟景氣分析。是國家統(tǒng)計局20世紀80年代后期開始著手建立監(jiān)測指標體系和評價方法，經(jīng)過十多年時間和不斷完善，已形成制度，定期提供景氣分析報告，對宏觀經(jīng)濟運行狀態(tài)起到晴雨表和報警器的作用，便于國務(wù)院和有關(guān)部門及時采取宏觀調(diào)控措施。以經(jīng)常性的小調(diào)整，防止經(jīng)濟的大起大落。
企業(yè)景氣調(diào)查分析。是全國的大中型各類企業(yè)中，采取抽樣調(diào)查的方法，通過問卷的形式，讓企業(yè)負責人回答有關(guān)情況判斷和預(yù)期。內(nèi)容分為兩類：一是對宏觀經(jīng)濟總體的判斷和預(yù)期；一是對企業(yè)經(jīng)營狀況的判斷和預(yù)期，如產(chǎn)品訂單、原材料購進、價格、存貨、就業(yè)、市場需求、固定資產(chǎn)投資等。
八、預(yù)測分析
宏觀經(jīng)濟決策和微觀經(jīng)濟決策，不僅需要了解經(jīng)濟運行中已經(jīng)發(fā)生了的實際情況，而且更需要預(yù)見未來將發(fā)生的情況。根據(jù)已知的過去和現(xiàn)在推測未來，就是預(yù)測分析。
統(tǒng)計預(yù)測屬于定量預(yù)測，是以數(shù)據(jù)分析為主，在預(yù)測中結(jié)合定性分析。統(tǒng)計預(yù)測的方法大致可分為兩類：一類是主要根據(jù)指標時間數(shù)列自身變化與時間的依存關(guān)系進行預(yù)測，屬于時間數(shù)列分析；另一類是根據(jù)指標之間相互影響的因果關(guān)系進行預(yù)測，屬于回歸分析。
預(yù)測分析的方法有回歸分析法、滑動平均法、指數(shù)平滑法、周期（季節(jié)）變化分析和隨機變化分析等。比較復(fù)雜的預(yù)測分析需要建立計量經(jīng)濟模型，求解模型中的參數(shù)又有許多方法。
轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.oesoe.com/
本文標題：大數(shù)據(jù)分析方法解讀以及相關(guān)工具介紹
本文網(wǎng)址：http://www.oesoe.com/html/support/11121518954.html
相關(guān)文章
