1 研究背景
當(dāng)前,科技創(chuàng)新模式、科學(xué)研究范式、知識(shí)形態(tài)、知識(shí)獲取、知識(shí)交流及處理機(jī)制都面臨著巨大的挑戰(zhàn),導(dǎo)致知識(shí)管理模式以及科技服務(wù)工作流的關(guān)鍵知識(shí)瓶頸發(fā)生重大變化,由此呼喚適應(yīng)未來(lái)大數(shù)據(jù)處理需求的新型知識(shí)服務(wù)模式的出現(xiàn),促使信息服務(wù)形態(tài)從傳統(tǒng)的知識(shí)分析型服務(wù)向知識(shí)預(yù)測(cè)型服務(wù)轉(zhuǎn)型。移動(dòng)互聯(lián)網(wǎng)、傳感網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)、可信計(jì)算等新興信息技術(shù)的迅速發(fā)展及數(shù)字信息環(huán)境的泛在化、移動(dòng)化、智能化、虛擬化的發(fā)展趨勢(shì),特別是海量結(jié)構(gòu)化數(shù)據(jù)的復(fù)雜處理需求、海量半結(jié)構(gòu)及非結(jié)構(gòu)化數(shù)據(jù)多維度處理需求為探索新型知識(shí)服務(wù)模式,解決信息服務(wù)領(lǐng)域發(fā)展中面臨的瓶頸問(wèn)題提供了新思路與新挑戰(zhàn)。
近幾年,在科學(xué)研究、計(jì)算機(jī)仿真、互聯(lián)網(wǎng)、電子商務(wù)等領(lǐng)域數(shù)據(jù)量呈現(xiàn)快速增長(zhǎng)的趨勢(shì),數(shù)據(jù)成本的下降,類(lèi)似于傳感網(wǎng)絡(luò)數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)、社交網(wǎng)絡(luò)數(shù)據(jù)等新興數(shù)據(jù)源和數(shù)據(jù)采集技術(shù)的出現(xiàn)使得數(shù)據(jù)類(lèi)型增多,而各類(lèi)難以處理的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的出現(xiàn)又極大地增加了數(shù)據(jù)處理的難度,為了從這些數(shù)據(jù)中發(fā)現(xiàn)知識(shí)并加以利用,必須對(duì)大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策過(guò)程進(jìn)行深入研究,從中發(fā)現(xiàn)具有前瞻性、挑戰(zhàn)性和實(shí)用性的社會(huì)問(wèn)題及科學(xué)問(wèn)題,從而使得科學(xué)研究第四范式和新型知識(shí)服務(wù)范式的實(shí)現(xiàn)成為現(xiàn)實(shí)。
2 大數(shù)據(jù)知識(shí)服務(wù)的內(nèi)涵及典型特征
2.1 大數(shù)據(jù)知識(shí)服務(wù)的內(nèi)涵
大數(shù)據(jù)知識(shí)服務(wù)是為適應(yīng)信息服務(wù)業(yè)智慧化、協(xié)作化、綠色化、先覺(jué)化和泛在化的發(fā)展趨勢(shì)而衍生的一種基于網(wǎng)絡(luò)(包括電信網(wǎng)、廣播電視網(wǎng)、互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等)的,用以解決結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)多維度處理的信息服務(wù)新模式,是嵌入式協(xié)作化知識(shí)服務(wù)模式的一種新發(fā)展,是現(xiàn)代信息服務(wù)理念的具體體現(xiàn)。伴隨著RFID射頻數(shù)據(jù)、傳感網(wǎng)數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)逐漸成為未來(lái)大數(shù)據(jù)的幾個(gè)主要來(lái)源,我們發(fā)現(xiàn),現(xiàn)有的信息服務(wù)模式及信息管理技術(shù)已經(jīng)無(wú)法滿足結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的復(fù)雜處理需求,這一形勢(shì)的發(fā)展使得數(shù)據(jù)量快速增長(zhǎng)所帶來(lái)的存儲(chǔ)及計(jì)算能力的挑戰(zhàn),結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的多維度數(shù)據(jù)處理需求,傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)管理模式與非結(jié)構(gòu)化數(shù)據(jù)管理模式的有機(jī)融合等逐漸成為現(xiàn)階段知識(shí)服務(wù)模式變革所面臨的三大挑戰(zhàn)。
大數(shù)據(jù)知識(shí)服務(wù)模式強(qiáng)調(diào)知識(shí)、能力、資源和過(guò)程以服務(wù)的形式進(jìn)行有機(jī)融合,并基于網(wǎng)絡(luò)自由流通,對(duì)大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析、決策和顯示等按照“將計(jì)算推向數(shù)據(jù),而不是移動(dòng)數(shù)據(jù)”的策略,實(shí)現(xiàn)大數(shù)據(jù)知識(shí)服務(wù)體系中的知識(shí)動(dòng)態(tài)協(xié)調(diào)構(gòu)建、能力智慧管理、資源按需使用、過(guò)程智能控制。大數(shù)據(jù)知識(shí)服務(wù)體系是大數(shù)據(jù)生態(tài)系統(tǒng)中最重要和核心的內(nèi)容。一方面,全球?qū)⒔?7.5%的數(shù)據(jù)未得到真正利用,85%以上的是非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù),傳統(tǒng)知識(shí)服務(wù)模式僅僅能夠提供極小部分?jǐn)?shù)據(jù)給用戶有效地使用,并且能提供的數(shù)據(jù)處理服務(wù)也極其有限,就使得半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)難以得到充分利用,從而無(wú)法實(shí)現(xiàn)知識(shí)的橫向擴(kuò)展以及數(shù)據(jù)多維度、深層次的智能分析。通過(guò)大數(shù)據(jù)知識(shí)服務(wù)模式的引入,使得復(fù)雜的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)處理變得可行和經(jīng)濟(jì)高效,從而實(shí)現(xiàn)知識(shí)橫向擴(kuò)展以滿足急劇擴(kuò)張的知識(shí)服務(wù)需求,可以在為用戶提供大數(shù)據(jù)進(jìn)行獲取、存儲(chǔ)、組織、分析和決策等服務(wù)的同時(shí),為其提供結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的常規(guī)、廣度及深度分析、科技創(chuàng)新能力智能評(píng)價(jià)、知識(shí)服務(wù)競(jìng)爭(zhēng)力分析、知識(shí)創(chuàng)新預(yù)測(cè)性分析、服務(wù)態(tài)勢(shì)綜述等高附加值服務(wù)。另一方面,為滿足用戶專(zhuān)業(yè)化、集成化、敏捷化和個(gè)性化的知識(shí)服務(wù)需求,需要大數(shù)據(jù)知識(shí)服務(wù)平臺(tái)提供高質(zhì)量、低成本、可擴(kuò)展、多維度和多粒度的知識(shí)服務(wù)。通過(guò)大數(shù)據(jù)生態(tài)系統(tǒng)的知識(shí)服務(wù)技術(shù),可以實(shí)現(xiàn)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化大數(shù)據(jù)及知識(shí)服務(wù)資源的智能、靈活的知識(shí)、服務(wù)能力、服務(wù)資源及服務(wù)過(guò)程的有效組合與分解,使其能夠利用大數(shù)據(jù)、現(xiàn)有資源及知識(shí)服務(wù)能力形成不同維度、不同粒度、不同功能及不同類(lèi)型的大數(shù)據(jù)知識(shí)服務(wù)組合,并按需提供給用戶,以便最大限度地滿足用戶的大數(shù)據(jù)處理需求。
2.2 大數(shù)據(jù)知識(shí)服務(wù)的典型特征
與已有的信息服務(wù)模式相比,大數(shù)據(jù)知識(shí)服務(wù)模式和構(gòu)建過(guò)程越來(lái)越趨向于個(gè)性化、自主化、虛擬化、智能化、透明化和體驗(yàn)化,知識(shí)創(chuàng)造模式、組織模式、傳播模式和應(yīng)用模式也呈現(xiàn)出規(guī)模化、集約化、數(shù)字化和網(wǎng)絡(luò)化的趨勢(shì),在數(shù)字化、網(wǎng)絡(luò)化、規(guī)模化和集約化等共性技術(shù)特征的基礎(chǔ)上,大數(shù)據(jù)知識(shí)服務(wù)模式更為突出的典型特征可以概括為以下幾點(diǎn)。
(1)是面向智慧服務(wù)和自主需求的知識(shí)服務(wù)。大數(shù)據(jù)知識(shí)服務(wù)模式實(shí)現(xiàn)的核心是知識(shí)服務(wù)全生命周期活動(dòng)中用戶、技術(shù)、管理、知識(shí)、能力、資源和過(guò)程的有機(jī)集成和優(yōu)化。為此,大數(shù)據(jù)知識(shí)服務(wù)體系融合了物聯(lián)網(wǎng)、傳感網(wǎng)、云計(jì)算、可信計(jì)算和信息物理融合系統(tǒng)[7]等新興信息技術(shù),提出要實(shí)現(xiàn)大數(shù)據(jù)用戶、技術(shù)、管理、知識(shí)、能力、資源和過(guò)程的全方位、全生命周期地接入和感知,尤其是關(guān)注資源(如軟硬件資源、信息資源、網(wǎng)絡(luò)資源、服務(wù)資源等,包括半結(jié)構(gòu)化、非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù))和能力(如大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析、決策和顯示等)的接入和智能感知。
在大數(shù)據(jù)知識(shí)服務(wù)模式下,各類(lèi)資源能夠通過(guò)各種傳感器、RFID、適配器、人機(jī)交互等實(shí)現(xiàn)資源半自動(dòng)或全自動(dòng)感知,然后借助3G或4G網(wǎng)絡(luò)、互聯(lián)網(wǎng)絡(luò)、電信網(wǎng)、廣播電視網(wǎng)等傳輸信息,在對(duì)各類(lèi)資源進(jìn)行管理和處理的基礎(chǔ)上,同時(shí)匯集資源、能力、過(guò)程、知識(shí),構(gòu)建跨領(lǐng)域、跨行業(yè)、智能的多學(xué)科知識(shí)庫(kù),隨著大數(shù)據(jù)知識(shí)服務(wù)體系的持續(xù)進(jìn)化,并不斷擴(kuò)大,從而進(jìn)一步服務(wù)于大數(shù)據(jù)知識(shí)服務(wù)的業(yè)務(wù)執(zhí)行過(guò)程。
(2)是不確定性服務(wù)。大數(shù)據(jù)知識(shí)服務(wù)對(duì)于用戶大數(shù)據(jù)處理需求不具備唯一解,而是用大數(shù)據(jù)生態(tài)系統(tǒng)中所提供的技術(shù)和方法,依據(jù)用戶大數(shù)據(jù)處理需求,形成知識(shí)服務(wù)解集合。大數(shù)據(jù)用戶通過(guò)大數(shù)據(jù)知識(shí)服務(wù)平臺(tái)提出大數(shù)據(jù)處理需求,并按用戶自主需求構(gòu)建的大數(shù)據(jù)知識(shí)服務(wù)組合模型,部署服務(wù)實(shí)施方案。大數(shù)據(jù)知識(shí)服務(wù)平臺(tái)通過(guò)支持語(yǔ)義的知識(shí)服務(wù)匹配技術(shù)、智能優(yōu)化技術(shù),對(duì)用戶所提出的大數(shù)據(jù)知識(shí)服務(wù)進(jìn)行匹配部署,從而關(guān)聯(lián)到核心服務(wù)層的具體服務(wù),從搜索到的符合用戶需求的大數(shù)據(jù)知識(shí)服務(wù)解集合中,選擇合適的服務(wù)參與組合,并從所有可能的大數(shù)據(jù)知識(shí)服務(wù)解集合中優(yōu)選與組合出最佳的一組組合來(lái)協(xié)同完成用戶請(qǐng)求,再通過(guò)知識(shí)服務(wù)最優(yōu)化管理技術(shù)、知識(shí)服務(wù)智能優(yōu)化技術(shù),對(duì)服務(wù)組合質(zhì)量進(jìn)行評(píng)估,并采用智能優(yōu)化算法對(duì)整個(gè)過(guò)程進(jìn)行優(yōu)選,在確定最優(yōu)云服務(wù)組合和資源組合方式后,將服務(wù)與資源進(jìn)行關(guān)聯(lián)綁定,進(jìn)而部署執(zhí)行。這個(gè)過(guò)程體現(xiàn)了大數(shù)據(jù)知識(shí)服務(wù)的不確定性特征。
(3)是強(qiáng)調(diào)用戶參與的知識(shí)服務(wù)。大數(shù)據(jù)的數(shù)據(jù)來(lái)源、知識(shí)服務(wù)能力、服務(wù)資源、服務(wù)過(guò)程及知識(shí)本身都是嵌入到網(wǎng)絡(luò)和大數(shù)據(jù)環(huán)境中的,且所有大數(shù)據(jù)主要都是來(lái)自于大數(shù)據(jù)用戶,使得大數(shù)據(jù)知識(shí)服務(wù)關(guān)注的重心應(yīng)該轉(zhuǎn)移或回歸到用戶自身的需求。大數(shù)據(jù)生態(tài)系統(tǒng)致力于構(gòu)建一個(gè)用戶、大數(shù)據(jù)制造方、大數(shù)據(jù)運(yùn)營(yíng)方及大數(shù)據(jù)處理方等可以充分進(jìn)行大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策的公用服務(wù)環(huán)境。在大數(shù)據(jù)知識(shí)服務(wù)模式下,強(qiáng)調(diào)用戶參與不僅僅局限于傳統(tǒng)的用戶提出需求和用戶評(píng)價(jià),而是滲透到大數(shù)據(jù)知識(shí)服務(wù)過(guò)程及大數(shù)據(jù)自身全生命周期管理的每一個(gè)環(huán)節(jié)。
(4)是支持按需使用、按需付費(fèi)的知識(shí)服務(wù)模式。大數(shù)據(jù)知識(shí)服務(wù)是一種由用戶需求驅(qū)動(dòng)的、按需付費(fèi)的知識(shí)服務(wù)新模式。用戶往往需要通過(guò)海量非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)了解現(xiàn)在發(fā)生了什么,甚至需要利用數(shù)據(jù)預(yù)測(cè)未來(lái)將要發(fā)生什么,以便在行動(dòng)上做出利于發(fā)展的主動(dòng)準(zhǔn)備。例如,通過(guò)預(yù)測(cè)用戶的流失預(yù)先采取行動(dòng),或預(yù)測(cè)競(jìng)爭(zhēng)對(duì)手下一步行動(dòng)以便采取主動(dòng)等。在這些過(guò)程中,用戶不需要過(guò)多關(guān)注大數(shù)據(jù)處理的細(xì)節(jié),只需要根據(jù)自身的數(shù)據(jù)處理需求調(diào)用或知識(shí)服務(wù)組合,占用大數(shù)據(jù)知識(shí)服務(wù)資源,并支付相應(yīng)的費(fèi)用即可。彼此之間的關(guān)系是一種按需使用、按需付費(fèi)、用完即解散的關(guān)系。
(5)是共性技術(shù)目標(biāo)與異性技術(shù)特征相輔相成的知識(shí)服務(wù)模式。大數(shù)據(jù)知識(shí)服務(wù)通過(guò)第三方構(gòu)建服務(wù)平臺(tái),將大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策過(guò)程中所涉及的所有資源、知識(shí)、能力及過(guò)程都虛擬化為大單項(xiàng)數(shù)據(jù)知識(shí)服務(wù),再聚合成大數(shù)據(jù)知識(shí)服務(wù)虛擬資源池,進(jìn)行統(tǒng)一的管理與處理。針對(duì)不同的行業(yè)、領(lǐng)域或不同需求,大數(shù)據(jù)的獲取、存儲(chǔ)、組織、分析和決策的管理和處理方法有共性,但必然也存在著異性,因此,針對(duì)不同行業(yè)、領(lǐng)域及大數(shù)據(jù)處理需求,就需要在原有共性技術(shù)體系的基礎(chǔ)上,形成專(zhuān)業(yè)性較強(qiáng)的專(zhuān)業(yè)化大數(shù)據(jù)知識(shí)服務(wù)體系,從而針對(duì)獨(dú)特的專(zhuān)業(yè)化要求,形成其獨(dú)有的大數(shù)據(jù)異性技術(shù)體系。以美國(guó)國(guó)防部高級(jí)研究計(jì)劃局為例,其大數(shù)據(jù)研究項(xiàng)目在美國(guó)政府的大數(shù)據(jù)研究與發(fā)展的共性技術(shù)目標(biāo)要求之外,具備了國(guó)防部獨(dú)有的技術(shù)特征。但在國(guó)防部?jī)?nèi)部又依據(jù)不同領(lǐng)域的大數(shù)據(jù)處理需求,形成了具備異性技術(shù)特征的大數(shù)據(jù)知識(shí)服務(wù)體系。
(6)是基于知識(shí)、能力、資源、過(guò)程共享和交易的知識(shí)服務(wù)模式。與傳統(tǒng)的知識(shí)服務(wù)模式相比,大數(shù)據(jù)知識(shí)服務(wù)模式共享的不僅僅是服務(wù)資源,還有知識(shí)、能力及服務(wù)過(guò)程。隨著大數(shù)據(jù)時(shí)代的來(lái)臨,對(duì)大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策過(guò)程進(jìn)行管理的基本策略不是移動(dòng)數(shù)據(jù),而是將計(jì)算、知識(shí)及服務(wù)推向數(shù)據(jù),在相應(yīng)的知識(shí)庫(kù)、專(zhuān)家?guī)、?shù)據(jù)處理模型(如MapReduce、NoSql、Sql-MapReduce等)、數(shù)據(jù)處理框架(如Hadoop、HadoopDB、LinearDB、Dumbo等)的支持下,實(shí)現(xiàn)資源、知識(shí)、能力及過(guò)程的虛擬化封裝、描述、發(fā)布、配置、調(diào)用和顯示,真正實(shí)現(xiàn)大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策過(guò)程中的知識(shí)、能力、資源、過(guò)程的全面共享和交易。
(7)是基于群體創(chuàng)新的知識(shí)服務(wù)模式。正如美國(guó)國(guó)家科學(xué)基金會(huì)(NSF)的大數(shù)據(jù)研究和發(fā)展計(jì)劃所言,大數(shù)據(jù)知識(shí)服務(wù)旨在促進(jìn)管理、分析、可視化和從大量多樣分散異構(gòu)的數(shù)據(jù)集中提取有用信息,并充分利用群體創(chuàng)新的力量,創(chuàng)造有意義的網(wǎng)絡(luò)基礎(chǔ)設(shè)施以及一體化水平的數(shù)據(jù)和工具,以支持科學(xué)和教育。
(8)是更為綠色環(huán)保的知識(shí)服務(wù)模式。大數(shù)據(jù)知識(shí)服務(wù)的目標(biāo)之一是圍繞結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化大數(shù)據(jù)處理需求,實(shí)現(xiàn)大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策過(guò)程中的知識(shí)、能力、資源和過(guò)程等的全面共享,提高大數(shù)據(jù)的利用率,實(shí)現(xiàn)數(shù)據(jù)、知識(shí)及服務(wù)增值。換句話說(shuō),就是實(shí)現(xiàn)綠色低碳的環(huán)保型大數(shù)據(jù)知識(shí)服務(wù)模式。
2.3 大數(shù)據(jù)知識(shí)服務(wù)概念模型
綜合現(xiàn)有的關(guān)于大數(shù)據(jù)的各種解釋與分析,并結(jié)合大數(shù)據(jù)知識(shí)服務(wù)模式下對(duì)各種類(lèi)型大數(shù)據(jù)管理和處理需求,本文將大數(shù)據(jù)知識(shí)服務(wù)描述為:大數(shù)據(jù)知識(shí)服務(wù)是在大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策過(guò)程中產(chǎn)生,體現(xiàn)了在大數(shù)據(jù)管理和處理過(guò)程中對(duì)知識(shí)、服務(wù)、資源和過(guò)程等的知識(shí)服務(wù)配置和整合的能力,反映了知識(shí)服務(wù)實(shí)體或機(jī)構(gòu)完成相應(yīng)行業(yè)、領(lǐng)域、任務(wù)及預(yù)期目標(biāo)的服務(wù)水平,包含了大數(shù)據(jù)知識(shí)服務(wù)全生命周期過(guò)程中所涉及的知識(shí)、服務(wù)、資源和過(guò)程等因素,其概念模型如圖1所示。
圖1 大數(shù)據(jù)知識(shí)服務(wù)概念模型圖
大數(shù)據(jù)知識(shí)服務(wù)概念模型包括數(shù)據(jù)、知識(shí)、資源、能力、服務(wù)、過(guò)程和任務(wù)七個(gè)元素。
(1)數(shù)據(jù)。數(shù)據(jù)是指通過(guò)RFID射頻數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得的各種類(lèi)型的結(jié)構(gòu)化、半結(jié)構(gòu)化(或稱(chēng)之為弱結(jié)構(gòu)化)及非結(jié)構(gòu)化的海量數(shù)據(jù),是大數(shù)據(jù)知識(shí)服務(wù)模型的根本。
(2)知識(shí)。知識(shí)是指在大數(shù)據(jù)知識(shí)服務(wù)過(guò)程中所涉及的各類(lèi)知識(shí),如方法、模型、結(jié)構(gòu)及流程等。知識(shí)是構(gòu)建大數(shù)據(jù)的基礎(chǔ),貫穿于大數(shù)據(jù)知識(shí)服務(wù)全生命周期管理的各個(gè)要素,在資源、能力、服務(wù)維中的知識(shí)是指智力資源、計(jì)算能力、服務(wù)能力的描述(如行業(yè)數(shù)據(jù)處理經(jīng)驗(yàn)、資源組合優(yōu)化方案、服務(wù)組合方案等);在過(guò)程維中的知識(shí)主要是指各種服務(wù)設(shè)計(jì)方案、運(yùn)行法則、基本規(guī)范和經(jīng)驗(yàn)方法等;在任務(wù)維中的知識(shí)表現(xiàn)為大數(shù)據(jù)知識(shí)服務(wù)完成的狀態(tài)、用戶反饋等。
(3)資源。資源是指在大數(shù)據(jù)知識(shí)服務(wù)過(guò)程中所涉及的軟硬件資源、信息資源、人力資源、服務(wù)資源、網(wǎng)絡(luò)資源等,反映了大數(shù)據(jù)知識(shí)服務(wù)是對(duì)大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策過(guò)程中所涉及的各類(lèi)資源的有效集成與共享。
(4)能力及服務(wù)。能力是指大數(shù)據(jù)知識(shí)服務(wù)平臺(tái)所提供的計(jì)算能力、存儲(chǔ)能力、服務(wù)組合能力等;服務(wù)則是指大數(shù)據(jù)生態(tài)系統(tǒng)中所提供的技術(shù)和方法等。
(5)過(guò)程。過(guò)程是指在大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策過(guò)程中大數(shù)據(jù)知識(shí)服務(wù)體系對(duì)資源、能力及服務(wù)的優(yōu)化配置過(guò)程,強(qiáng)調(diào)以資源、能力及服務(wù)為基礎(chǔ),對(duì)所發(fā)生業(yè)務(wù)過(guò)程及其中的各類(lèi)知識(shí)、大數(shù)據(jù)的描述,如大數(shù)據(jù)處理業(yè)務(wù)過(guò)程約束條件、數(shù)據(jù)處理方案、服務(wù)方案、計(jì)算模型及經(jīng)驗(yàn)知識(shí)等。
(6)任務(wù)。任務(wù)反映了利用大數(shù)據(jù)知識(shí)服務(wù)平臺(tái)及其他相關(guān)資源要素完成大數(shù)據(jù)管理及處理任務(wù),主要包括兩個(gè)方面的內(nèi)容:一方面,大數(shù)據(jù)管理及處理的目標(biāo)任務(wù)及預(yù)期目標(biāo);另一方面,指的是實(shí)現(xiàn)該大數(shù)據(jù)處理任務(wù)或業(yè)務(wù)功能的情況,其中包括用戶完成該任務(wù)的一些客觀因素(如時(shí)間、人力、軟硬件、經(jīng)濟(jì)成本等),還包括用戶對(duì)大數(shù)據(jù)處理任務(wù)完成情況的評(píng)估,以及完成任務(wù)情況滿意度的表現(xiàn)指標(biāo)(如效率、性能等內(nèi)在因素,服務(wù)、創(chuàng)新等外在因素等)。任務(wù)維是大數(shù)據(jù)知識(shí)服務(wù)體系在大數(shù)據(jù)生態(tài)系統(tǒng)中面向用戶的最重要的交流依據(jù)和表現(xiàn)形式。
3 需要解決的幾個(gè)關(guān)鍵問(wèn)題
目前,大數(shù)據(jù)的研究主要是將其作為一種技術(shù)方法或一種提供知識(shí)服務(wù)的新工具,而不是把數(shù)據(jù)本身作為研究目標(biāo)。作為一種技術(shù)方法和工具,它與數(shù)據(jù)挖掘、預(yù)測(cè)分析、統(tǒng)計(jì)分析、個(gè)性化搜索等人工智能方法有密切聯(lián)系,但也有著不同于人工智能、統(tǒng)計(jì)學(xué)和信息科學(xué)的本質(zhì)內(nèi)涵。在物聯(lián)網(wǎng)、傳感網(wǎng)及互聯(lián)網(wǎng)數(shù)據(jù)為各個(gè)領(lǐng)域帶來(lái)機(jī)遇的同時(shí),由于數(shù)據(jù)的異質(zhì)、異構(gòu)、半結(jié)構(gòu)化、非結(jié)構(gòu)化及不可信等特征,大數(shù)據(jù)知識(shí)服務(wù)的管理和處理研究需要解決大數(shù)據(jù)的可表示性、可處理性、可融合性及可靠性四個(gè)關(guān)鍵問(wèn)題。
(1)可表示性問(wèn)題。當(dāng)前物聯(lián)網(wǎng)、傳感網(wǎng)及互聯(lián)網(wǎng)中的數(shù)據(jù)正在向著異質(zhì)、異構(gòu)、半結(jié)構(gòu)化、非結(jié)構(gòu)化及不可信等方向發(fā)展,半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)占據(jù)了非常大的比例。目前已有的數(shù)據(jù)表示方法已不能完整表達(dá)已有數(shù)據(jù)的結(jié)構(gòu)及數(shù)據(jù)本身的含義,要想有效地對(duì)數(shù)據(jù)進(jìn)行管理和利用,必須找到最合適的數(shù)據(jù)表示方法。
(2)可處理性問(wèn)題。隨著數(shù)據(jù)規(guī)模的急劇擴(kuò)張,數(shù)據(jù)類(lèi)型的迅速增加、數(shù)據(jù)結(jié)構(gòu)的日趨復(fù)雜化,已有數(shù)據(jù)的處理需求已經(jīng)遠(yuǎn)遠(yuǎn)超越現(xiàn)有計(jì)算機(jī)處理能力。而傳統(tǒng)數(shù)學(xué)方法和計(jì)算模式已無(wú)法使用不確定、動(dòng)態(tài)大數(shù)據(jù)的獲取、存儲(chǔ)、組織、分析和決策的需求,因此,需要將計(jì)算機(jī)科學(xué)、數(shù)學(xué)、物理學(xué)、管理學(xué)等學(xué)科結(jié)合起來(lái),形成新的數(shù)據(jù)處理方法。
(3)可融合性問(wèn)題。數(shù)據(jù)規(guī)模的擴(kuò)張、數(shù)據(jù)類(lèi)型的增加及數(shù)據(jù)結(jié)構(gòu)的復(fù)雜化給大數(shù)據(jù)處理帶來(lái)了前所未有的挑戰(zhàn),同時(shí)也使得異質(zhì)、異構(gòu)、半結(jié)構(gòu)化、非結(jié)構(gòu)化及不可信數(shù)據(jù)的融合變得異常艱難。而大數(shù)據(jù)作為連接人類(lèi)社會(huì)、物理空間和信息世界的重要紐帶,有效地實(shí)現(xiàn)數(shù)據(jù)融合也是無(wú)法回避的關(guān)鍵問(wèn)題之一。
(4)可靠性問(wèn)題。物聯(lián)網(wǎng)、傳感網(wǎng)及互聯(lián)網(wǎng)等網(wǎng)絡(luò)環(huán)境的開(kāi)放性,使得大數(shù)據(jù)知識(shí)服務(wù)體系中的數(shù)據(jù)質(zhì)量面臨考驗(yàn)。正如美國(guó)著名咨詢(xún)公司Gartner所指出的那樣,全球1000強(qiáng)公司中有超過(guò)25%的關(guān)鍵數(shù)據(jù)不正確或不精確;英國(guó)British Telecom公司因使用數(shù)據(jù)質(zhì)量工具而給企業(yè)創(chuàng)造的經(jīng)濟(jì)效益每年高達(dá)6億英鎊。用戶在享受大數(shù)據(jù)所帶來(lái)價(jià)值的同時(shí),也承擔(dān)著日益嚴(yán)重的安全威脅和隱私風(fēng)險(xiǎn)。
4 結(jié)語(yǔ)
隨著科學(xué)研究、傳感網(wǎng)絡(luò)、互聯(lián)網(wǎng)應(yīng)用及電子商務(wù)等應(yīng)用領(lǐng)域數(shù)據(jù)量的飛速增長(zhǎng),大數(shù)據(jù)正逐漸成為學(xué)術(shù)界和產(chǎn)業(yè)界關(guān)注的焦點(diǎn),相較于Web2.0、云計(jì)算、物聯(lián)網(wǎng)等信息技術(shù)的發(fā)展軌跡,大數(shù)據(jù)技術(shù)似乎來(lái)得更為猛烈。當(dāng)倫敦奧運(yùn)會(huì)采用大數(shù)據(jù)技術(shù)監(jiān)測(cè)網(wǎng)絡(luò)安全、《時(shí)代》周刊發(fā)文指出大數(shù)據(jù)技術(shù)為奧巴馬的連任立下汗馬功勞時(shí),人們猛然發(fā)現(xiàn),大數(shù)據(jù)原來(lái)離我們?nèi)绱酥。但頗感遺憾的是,國(guó)內(nèi)學(xué)術(shù)界似乎對(duì)大數(shù)據(jù)研究還沒(méi)有引起足夠的重視,研究工作遠(yuǎn)遠(yuǎn)落后于國(guó)外,研究成果也少得可憐。然而,值得慶幸的是,在李國(guó)杰院士、李德毅院士及李未院士的極力呼吁下,已經(jīng)有越來(lái)越多的人加入到大數(shù)據(jù)研究的隊(duì)伍中來(lái),相信在不久的將來(lái),會(huì)出現(xiàn)屬于我們自己的“大數(shù)據(jù)”。
核心關(guān)注:拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊(yùn)涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴(lài)品牌。
轉(zhuǎn)載請(qǐng)注明出處:拓步ERP資訊網(wǎng)http://www.oesoe.com/
本文標(biāo)題:大數(shù)據(jù)知識(shí)服務(wù)的內(nèi)涵、典型特征及概念模型
本文網(wǎng)址:http://www.oesoe.com/html/consultation/1083979970.html