1.引言
隨著移動互聯(lián)網(wǎng)技術對國民經(jīng)濟日益深入的影響過程,作為現(xiàn)代經(jīng)濟生活的底層支柱,物流行業(yè)也越來越體現(xiàn)出標準化、數(shù)據(jù)化和智能化的特點。這里標準化又是所有數(shù)據(jù)化和智能化改造升級的起點,負責對日常海量的物流數(shù)據(jù)從底層標準上建立統(tǒng)一的規(guī)范,進而影響基于大數(shù)據(jù)的上層模型和算法創(chuàng)新。可以說,標準化的質量和程度,決定了大數(shù)據(jù)和人工智能所能達到的高度;標準化工作中遇到的問題和應對策略,也都融合在現(xiàn)代物流行業(yè)在“互聯(lián)網(wǎng)+”升級浪潮的解決方案之中。
在國家指導層面上,2015年3月國務院印發(fā)了《深化標準化工作改革方案》。方案指出,要“更好發(fā)揮標準化在推進國家治理體系和治理能力現(xiàn)代化中的基礎性、戰(zhàn)略性作用,促進經(jīng)濟持續(xù)健康發(fā)展和社會全面進步”。2015年11月,國家標準化管理委員會又進一步印發(fā)了《物流標準化中長期發(fā)展規(guī)劃(2015—2020年)》,明確了到2020年我國物流標準化工作的發(fā)展目標、主要任務、重點領域、重點工程等。
在具體實施層面上,百度外賣自從2014年5月成立以來,專注于城市物流配送領域,在物流行業(yè)的數(shù)據(jù)化和智能化改造方面探索出諸多成果。這其中很大程度上得益于物流標準化建設的工作,為百度外賣物流配送效率和體驗提升提供了持久動力。
2.物流調度系統(tǒng)設計架構
物流調度系統(tǒng)是所有涉及線下運力調配應用的最核心環(huán)節(jié),也是關聯(lián)諸多因素的綜合系統(tǒng)。需要依托海量歷史訂單數(shù)據(jù)、配送/駕駛員定位數(shù)據(jù)、精準的商戶特征數(shù)據(jù),針對配送/駕駛員實時情景(任務量、配送距離、并單情況、評級),對訂單進行智能匹配,實現(xiàn)自動化調度以及資源的全局最優(yōu)配置,在保證系統(tǒng)效率的前提下,最大限度地提高用戶體驗。
具體來說,包括以下幾部分內容。
(1)綜合交通數(shù)據(jù)采集平臺
綜合交通數(shù)據(jù)采集平臺主要提供多源異構數(shù)據(jù)的采集與清洗功能,解決數(shù)據(jù)的不一致性問題,有效提高數(shù)據(jù)質量評價與數(shù)據(jù)清洗技術,主要功能包括以下幾個方面:
● 根據(jù)業(yè)務范圍及應用類型提供數(shù)據(jù)采集中間件與信息采集工具;
● 實現(xiàn)連續(xù)、實時、高效、準確的交通運輸領域中結構化與非結構化大數(shù)據(jù)的獲取與采集;
● 結合
物聯(lián)網(wǎng)、互聯(lián)網(wǎng)和衛(wèi)星定位技術開發(fā)智能終端,實現(xiàn)在動態(tài)環(huán)境下的交通數(shù)據(jù)實時采集;
● 實現(xiàn)數(shù)據(jù)清洗和預處理功能,解決數(shù)據(jù)冗余和不相容性并消除噪聲的數(shù)據(jù)集成與融合技術。
(2)物流運輸調度決策平臺
物流運輸調度決策平臺主要提供實時數(shù)據(jù)環(huán)境下物流調度規(guī)劃、下發(fā)、反饋、評估和追蹤定位技術,主要功能包括以下幾個方面:
● 采集并計算所在地區(qū)道路、橋梁、河流、障礙物等地理經(jīng)緯度和距離信息;
● 實時采集點對點物流運輸需求數(shù)據(jù)和物流配送人員的動態(tài)信息;
● 進行物流運輸路徑規(guī)劃和配送任務指派的決策判斷;
● 結合應用場景,線下模擬真實物流運輸?shù)亩嗑S指標及演進狀態(tài);
● 設計并實現(xiàn)分布式、高并發(fā)、大容量的流式計算框架;
● 采集并存儲所有調度參數(shù)信息,提供歷史調度場景的追查定位服務。
(3)物流運力預警及分配平臺
物流運力預警及分配平臺主要提供跨平臺數(shù)據(jù)環(huán)境下物流運力警報的評估、發(fā)布和關閉以及相應級別下分配物流運力的技術,主要功能包括以下幾個方面:
● 多維度采集公共平臺和行業(yè)領域綜合交通業(yè)務數(shù)據(jù),比如天氣、節(jié)假日、重大社會活動、運力資源等;
● 實時采集目標區(qū)域內的運力指標數(shù)據(jù),評判行業(yè)運力緊張狀況,預估時間、空間、持續(xù)范圍及程度;
● 結合智能終端設備,下發(fā)并適時調整運力警報分級,通報實時狀態(tài);
● 針對不同分級警報狀態(tài),有差異化地采取降級應對措施,提供運力災備和最低限度服務能力。
3.物流配送標準化的必要性
結合百度外賣的業(yè)務實踐經(jīng)驗發(fā)現(xiàn),標準化對于物流配送的必要性,或者說能實際發(fā)揮重要作用的地方主要有兩點:
● 精準描述用戶的運力需求和平臺的配送能力,便于抽象到模型層面,實現(xiàn)算法調度和行程規(guī)劃,提高物流配送效率;
● 消除信息差異帶來的平臺擴充成本,適應現(xiàn)實環(huán)境中復雜多變的配送場景,便于統(tǒng)一接入調度系統(tǒng),靈活擴展到更多物流行業(yè),滿足更多配送需求。
因此,在物流配送標準化建設中,要注意從提高單次配送效率和節(jié)省多次配送成本兩方面著重設計標準化的解決方案,做到有的放矢。具體來說,可以從標準化在調度系統(tǒng)和開放平臺的應用中觀察到更多細節(jié)。
4.標準化在調度系統(tǒng)中的應用
標準化在調度系統(tǒng)中主要是解決低效率的傳統(tǒng)外賣配送形式和行程規(guī)劃問題,將原先需要依賴相關人員經(jīng)驗數(shù)值和手工處理的流程改造成可大規(guī)模自動處理的標準化數(shù)據(jù)和可靈活配置復用的標準化流程。
(1)訂單樣本數(shù)據(jù)標準化
調度模型機器學習算法需要千萬級的訓練樣本,告訴學習算法可以從中抽取出哪些特征值,才能經(jīng)過數(shù)學模型求導出最優(yōu)參數(shù)。從百度外賣平臺的歷史訂單數(shù)據(jù)中抽取出實例不難,難點在于如何認定這些訂單的實際出餐時間、騎士到店時間和用戶收餐時間。由于現(xiàn)實網(wǎng)絡環(huán)境限制和實際操作規(guī)范管理難度,并不是采集到的原始數(shù)據(jù)就可以直接利用,通常需要利用騎士軌跡多次回傳記錄,并結合地理形態(tài)和道路交通屬性對缺失數(shù)據(jù)和異常數(shù)據(jù)進行預測和校驗,才能清洗掉由于商戶和騎士操作不規(guī)范導致的干擾數(shù)據(jù)。
(2)商戶和菜品數(shù)據(jù)標準化
對于餐飲外賣平臺來說,商戶和菜品信息標準化是提供優(yōu)質服務體驗的基礎,也是數(shù)據(jù)標準化的另外一個重要內容。通常有關商戶和菜品的信息都是由餐飲運營方提供,平臺負責錄入和存儲。但這樣采集到的數(shù)據(jù)并不規(guī)范,每家餐廳對經(jīng)營類別、菜品名稱的定義標準都各不相同,需要平臺方提供一整套的商戶和菜品的標準化體系。比如,在經(jīng)營類別方面,首先制定出17個大類、110個小類的分級體系,并為每個商戶明確其對應的經(jīng)營范圍標簽;其次對數(shù)以百萬計的原始菜品名稱進行去重、合并,得到歸一化后的標準化菜名,對應到菜品數(shù)據(jù)庫中唯一的標識符;在此基礎上,針對每個菜品建立菜式、菜系、口味、食材、做法等各類標簽,并進一步得到商戶在這些菜品標簽上的分布情況。
構建全面的商戶和菜品標簽體系可以應用在很多方面,比如,通過商戶的品牌、營業(yè)面積等信息可以估算該商戶的產(chǎn)能,通過菜品在材料、價格、烹飪方法上的差異可以估算制作時間。
(3)虛擬場景構建標準化
虛擬調度系統(tǒng)用來線下模擬物流配送的真實場景及變化過程,以商圈為粒度構建由騎士、用戶、配送事件、場景參數(shù)等虛擬數(shù)據(jù)組成的虛擬場景,達到線下演算、優(yōu)化調度算法系統(tǒng)的效果。標準化的虛擬場景不僅是對靜態(tài)數(shù)據(jù)提供可量化、可復用的規(guī)范,而且還需要定義一系列的虛擬物流配送動作,才能在線下完成真實場景的變化過程。
不管接入什么樣的受測調度算法,設置什么樣的初始狀態(tài)參數(shù),虛擬調度系統(tǒng)都能按照預設的物流運力和調度壓力運轉完整的多輪配送流程,并統(tǒng)計得出受測調度算法的整體效果指標。比如,在虛擬調度系統(tǒng)里,一次完整的調度配送涉及用戶、騎士和調度員3個角色,每次配送行為可以包括下單、取餐、送餐、上崗和下崗等操作,監(jiān)控和評估環(huán)節(jié)需要統(tǒng)計的指標包括配送時間、配送距離、空駛距離、準時率、并單率、壓單率等。當啟動虛擬調度系統(tǒng)以后,同時有多個并發(fā)進程在以某個時鐘頻率實時更新虛擬場景狀態(tài),并觸發(fā)某個時段后各個角色的新行為。
5 標準化在開放平臺中的應用
標準化在開放平臺中主要是解決復雜多變的外部數(shù)據(jù)結構和業(yè)務需求帶來的成本問題,將原先需要一對一制定方案的封閉式合作模式改造成一對多復用方案的開放式合作模式。
不管是接入不同商戶自有的訂單管理系統(tǒng),還是接入不同物流公司的配送管理系統(tǒng),開放平臺負責提供標準化的商戶訂單生成、制作、取貨、配送的全過程字段定義以及標準化的能對接多套物流公司的元調度接口。這一整套物流標準化解決方案包含了內外部系統(tǒng)的交互數(shù)據(jù)標準(比如訂單格式)、交互操作標準(因為存在需要協(xié)同合作的多個機構或者系統(tǒng))以及對外部合作方的服務要求標準等。
雙方通過超文本傳輸協(xié)議(hypertext transfer protocol,HTTP)方式交互數(shù)據(jù),第三方平臺通過POST方式發(fā)送提交內容,內容參數(shù)為JSON串。雙方需要保證數(shù)據(jù)傳輸?shù)耐暾院桶踩,每次發(fā)送請求都有響應(響應返回格式為純文本),安全驗證目前采用數(shù)據(jù)簽名的方式。
接口采用靜態(tài)KEY+參數(shù)方式進行簽名,以防止數(shù)據(jù)在過程中被篡改,參數(shù)值為非數(shù)字、字符串的參數(shù)不參與簽名。簽名的具體步驟如下。
步驟1 將請求字段按照字典順序進行排序,將字段key與value用“=”連接,字段之間用“&”相連,例如out_order_id=12121& immediate_deliver=1&…;
步驟2 在步驟1中拼接好的字符串結尾拼“&APPID&APPKEY”;
步驟3 對步驟2的結果進行sha1方式簽名,獲得簽名sign;
步驟4 將簽名參數(shù)sign=”3da541559 918a808c2402bba5012f6c60b27661c”,放入請求字段中。
對于第三方平臺新訂單的格式要求為:請求URL:{SERVER_HOST}/api/createorder。
請求參數(shù)則包括了訂單號、用戶聯(lián)系手機號、用戶經(jīng)緯度坐標、用戶配送地址、期望送達時間等字段。具體部分字段的示例見表1。
表1 請求參數(shù)部分字段示例
常用的交 互 操作包 括取消訂單(請求URL:{SERVER_HOST}/api/cancelorder)和批量查詢訂單(請求URL:{SERVER_HOST}/api/listordermulti)。
對于騎士的配送服務要求則分別定義了接單取餐、送餐和完成訂單3類標準接口。以接單取餐為例可以看到請求字段為:
{
“order_id”:100001,
“confirm_time”:1439544470,
“sign”:“ jsadieuddye73625wr stdedfcvfgbh096lhogit6”,
“delivery_name”:“John”,
“delivery_ phone”:“13288909981”,
“push_time”:1428374657
}
返回字段為:
{
“error_no”:0,
“message”:“success”,
}
6.標準化能力通用性及效果評估
以上標準化能力已經(jīng)被證明在物流配送行業(yè)具有較強的通用性。
● 在百度外賣自有物流業(yè)務中得到應用,通過大規(guī)模地在百度物流配送業(yè)務運用智能化調度系統(tǒng),調度效率提升明顯,配送準時率達98.78%,平均送達時長為32 min。
● 完成對多家品牌商戶訂單管理系統(tǒng)的對接,比如:和合谷、正一味、眉州東坡酒樓,每天承接這些入口商戶帶來的物流訂單,無縫納入百度物流的運力資源。
● 完成對眾包物流運力的服務對接,每天發(fā)布高峰時期的峰值訂單,由富余的眾包運力負責配送。
● 完成能兼容多家物流配送公司的元調度接口測試,比如:許鮮網(wǎng)、多點網(wǎng),混合調度多家異質運力資源,做到兼容并包,統(tǒng)一調配,實現(xiàn)了錯峰時段的運力最大化利用。
7.對城市物流領域典型問題的貢獻
百度外賣在物流標準化建設的工作為物流配送效率和體驗提升提供了持久動力,也對城市物流領域在提升效率、評估效果和降低成本等典型問題上探索出了有益經(jīng)驗,做出了相應貢獻。
(1)提高調度系統(tǒng)機器學習的優(yōu)化效果
綜合利用各種地理定位數(shù)據(jù)和校驗手段,獲得精準的標準化訂單樣本數(shù)據(jù)。結合餐飲領域特點構建全面的商戶和菜品標簽體系,構建標準化的分層商戶經(jīng)營范圍和多維度菜品數(shù)據(jù)庫。
在此基礎上,才能夠利用機器學習方法從千萬量級的訓練樣本訓練產(chǎn)出預測誤差在7 min以內的出餐時間預估,才能夠實現(xiàn)多目標優(yōu)化規(guī)劃算法將原先40多分鐘的平均配送時長縮短到32 min,極大改變了整個城市短途物流配送行業(yè)的生態(tài)。
(2)建立模擬系統(tǒng)線下效果的評估能力
通過離線的標準化處理和在線的異步處理模式,實現(xiàn)精準推演。通過模擬真實約束情況將多變的場景變量(比如商圈、天氣、整體運力)在高層作為調優(yōu)參數(shù)進行優(yōu)化,盡可能地模擬多維限制條件下的真實約束情況。模擬系統(tǒng)會分商圈、分時間地統(tǒng)計每個調度場景下的訂單分布數(shù)據(jù),解析成騎士在崗率、平均壓單數(shù)、訂單出單位置密度等參數(shù)的基礎物理分布函數(shù),并作為刻畫該調度場景的約束條件組。
模擬系統(tǒng)還可以進一步調整這些分布函數(shù)的參數(shù),得到人工設定的約束條件組,從而模擬出更復雜豐富的設定場景。以這些與動態(tài)場景相關的參數(shù)組作為調度算法 的輸入約束條件,調用模擬系統(tǒng),反復推演虛擬訂單的分配過程,通過梯度下降優(yōu)化算法,求解出多目標下的最優(yōu)解。
(3)實現(xiàn)物流平臺調度能力的橫向輸出
受限于業(yè)務場景的復雜性,各個不同配送場景下的運力難以互相調劑,表現(xiàn)為:時段、空間上的運力不均勻現(xiàn)象。如果能將這些孤立的運力資源區(qū)間打通,將有效地發(fā)揮城市物流運力的作用,提高運力使用效率。
對物流調度的相關元素做標準化處理,抽象出更基本的元調度接口,極大降低了各種異質運力的接入成本,實現(xiàn)城市內自由運力的互聯(lián)互通。通用的元調度(meta dispatch)將所有的調度行為抽象成最核心的操作和數(shù)據(jù)結構,對外提供簡易可行的通用接口。
8.結束語
通過在外賣配送行業(yè)的實踐可以發(fā)現(xiàn),遵循國家層面在標準化建設的指導意見,適應并積極推動移動互聯(lián)網(wǎng)技術為物流配送領域帶來的挑戰(zhàn)和變革,解決一線業(yè)務實際需求面臨的大數(shù)據(jù)標準化問題,就一定能很好地解決大數(shù)據(jù)技術在應用層面遇到的工程問題,并為其他人工智能創(chuàng)新提供支持。百度外賣物流在這一領域開展了一些有益嘗試,并將在標準化方案研制和應用推廣方面持續(xù)深入進行下去。尤其是在物流運輸需求預測及供需調配方面,有必要進一步提供大數(shù)據(jù)環(huán)境下城市物流運輸?shù)念A測需求、調配供給和平衡供需等技術,未來可能涉及的研究方向包括:基于歷史交易和消費信息,采集并存儲特定行業(yè)領域的物流運輸需求大數(shù)據(jù);利用數(shù)據(jù)挖掘和機器學習方法,分析物流運輸需求在時間、空間和人群上的分布規(guī)律和性質特點;動態(tài)調配可供給運力資源在人員數(shù)量、工具類型、投放能力等指標上的配比,以適應需求變化;主動采用動態(tài)定價、劃分服務范圍、人群畫像和推送消息等技術手段,引導運輸需求發(fā)生變化,使之趨于均勻有效分布。
核心關注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理,全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域,是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網(wǎng)http://www.oesoe.com/
本文標題:物流大數(shù)據(jù)標準及案例研究
本文網(wǎng)址:http://www.oesoe.com/html/news/10515521093.html