配送業(yè)務(wù)介紹機(jī)器學(xué)習(xí)在美團(tuán)配送中的應(yīng)用美團(tuán)配送算法數(shù)據(jù)平臺(tái)數(shù)據(jù)閉環(huán)和平臺(tái)化第一頁(yè)，共36頁(yè)。物流行業(yè)的分類物流成本居高不下，具備很大優(yōu)化空間國(guó)際物流國(guó)內(nèi)物流同城配送快遞業(yè)務(wù)：401億件物流成本：12.1萬(wàn)億，GDP

14.6%2017年國(guó)內(nèi)物流行業(yè)情況，F(xiàn)rom：中國(guó)物流與采購(gòu)聯(lián)合會(huì)第二頁(yè)，共36頁(yè)。同城即時(shí)物流的價(jià)值：到家服務(wù)即時(shí)配送給人們提供更多優(yōu)質(zhì)的服務(wù)餐飲商品快件準(zhǔn)時(shí)品質(zhì)安全配送時(shí)長(zhǎng)60分鐘以內(nèi)平均30分鐘高頻度高密度第三頁(yè)，共36頁(yè)。美團(tuán)配送的技術(shù)定位構(gòu)建信息化+自動(dòng)化+智能化的即時(shí)配送平臺(tái)信息化自動(dòng)化智能化商家畫像騎手畫像用戶畫像商圈數(shù)據(jù)全方位收集，構(gòu)建數(shù)據(jù)閉環(huán)績(jī)效管理騎手運(yùn)營(yíng)自動(dòng)結(jié)算業(yè)務(wù)報(bào)表構(gòu)建業(yè)務(wù)系統(tǒng)，提升運(yùn)營(yíng)效率智能調(diào)度智能定價(jià)智能規(guī)劃智能運(yùn)營(yíng)通過(guò)人工智能技術(shù)，全面提升配送能力智能化是核心戰(zhàn)略方向！第四頁(yè)，共36頁(yè)。配送業(yè)務(wù)介紹機(jī)器學(xué)習(xí)在美團(tuán)配送中的應(yīng)用美團(tuán)配送算法數(shù)據(jù)平臺(tái)演進(jìn)歷程數(shù)據(jù)閉環(huán)和平臺(tái)化第五頁(yè)，共36頁(yè)。機(jī)器學(xué)習(xí)在配送中的應(yīng)用全環(huán)節(jié)智能化覆蓋1)瀏覽配送費(fèi)定價(jià)供需平衡2)下單智能定價(jià)用戶定位修正3)收發(fā)單用戶商家騎手4)派單5)接單商家客戶端美團(tuán)收銀7)出餐6)到店8)離店智能改派任務(wù)規(guī)劃自動(dòng)到店識(shí)別出餐提醒9)到客11)離客10)交付交付點(diǎn)提示自動(dòng)交付識(shí)別騎手語(yǔ)音助手ETA出餐預(yù)估接單預(yù)估取餐時(shí)長(zhǎng)交付時(shí)長(zhǎng)行駛速度排序+推薦行駛?cè)〔托旭偨桓督訂螇簡(jiǎn)魏蠁闻蓡温窂揭?guī)劃智能定價(jià)第六頁(yè)，共36頁(yè)。機(jī)器學(xué)習(xí)在配送中的應(yīng)用人工智能正在深入配送的各個(gè)環(huán)節(jié)機(jī)器學(xué)習(xí)時(shí)間預(yù)估騎手語(yǔ)音助手配送范圍規(guī)劃騎手補(bǔ)貼定價(jià)配送費(fèi)定價(jià)智能調(diào)度天平爆單配送區(qū)域規(guī)劃第七頁(yè)，共36頁(yè)。配送業(yè)務(wù)介紹機(jī)器學(xué)習(xí)在美團(tuán)配送中的應(yīng)用美團(tuán)配送算法數(shù)據(jù)平臺(tái)數(shù)據(jù)閉環(huán)和平臺(tái)化第八頁(yè)，共36頁(yè)。石器時(shí)代當(dāng)配送很小的時(shí)候LRRFGBDT特點(diǎn)算法簡(jiǎn)單性能要求低算法介入少快速試錯(cuò)配送費(fèi)定價(jià)時(shí)間預(yù)測(cè)智能調(diào)度技術(shù)選型粗粒度高耦合能快速實(shí)現(xiàn)即可能解決問(wèn)題即可第九頁(yè)，共36頁(yè)。石器時(shí)代當(dāng)配送很小的時(shí)候時(shí)間預(yù)測(cè)服務(wù)離線特征讀取模型加載消費(fèi)運(yùn)單消息（特征計(jì)數(shù)）上下文數(shù)據(jù)算法邏輯（線上預(yù)測(cè)）工程邏輯時(shí)間預(yù)估輸出離線數(shù)據(jù)/日志(Hive)ETL/MR特征庫(kù)MySQL離線特征提?。ㄋ惴≧D）離線數(shù)據(jù)/日志(Hive)SparkML模型訓(xùn)練（算法RD）特征庫(kù)MySQL運(yùn)單核心流程MQ實(shí)時(shí)特征收集（工程RD）工程RD充當(dāng)算法翻譯，算法任何改動(dòng)都需經(jīng)過(guò)工程RD第十頁(yè)，共36頁(yè)。石器時(shí)代當(dāng)配送很小的時(shí)候特征工程模型預(yù)測(cè)業(yè)務(wù)服務(wù)B重復(fù)造輪子特征工程模型訓(xùn)練模型預(yù)測(cè)特征口徑混亂特征重復(fù)開發(fā)統(tǒng)計(jì)口徑不一致迭代效率低下算法之間難以協(xié)同特征工程模型預(yù)測(cè)業(yè)務(wù)服務(wù)A模型訓(xùn)練模型訓(xùn)練特征工程模型預(yù)測(cè)業(yè)務(wù)服務(wù)C模型訓(xùn)練第十一頁(yè)，共36頁(yè)。算法數(shù)據(jù)平臺(tái)工業(yè)革命：算法數(shù)據(jù)平臺(tái)搭建離線特征平臺(tái)實(shí)時(shí)特征平臺(tái)模型管理平臺(tái)

數(shù)據(jù)圖譜回放平臺(tái)在線策略平臺(tái)離線訓(xùn)練平臺(tái)SparkMLXGBoostTensorFlowHadoop/Yarn第十二頁(yè)，共36頁(yè)。實(shí)時(shí)特征工程算法深入到配送各個(gè)環(huán)節(jié)調(diào)度站點(diǎn)批次規(guī)劃靜態(tài)

位置信息動(dòng)態(tài)靜態(tài)干線運(yùn)力規(guī)劃靜態(tài)倉(cāng)儲(chǔ)批次傳統(tǒng)物流即時(shí)物流調(diào)度騎手負(fù)載情況動(dòng)態(tài)

位置信息動(dòng)態(tài)動(dòng)態(tài)商家出餐情況動(dòng)態(tài)當(dāng)前路網(wǎng)情況第十三頁(yè)，共36頁(yè)。實(shí)時(shí)特征工程數(shù)據(jù)到知識(shí)的淬煉過(guò)程收集分揀計(jì)算發(fā)布APP業(yè)務(wù)服務(wù)數(shù)據(jù)庫(kù)API管道Binlog管道路由規(guī)則運(yùn)單表結(jié)算表訂單表騎手狀態(tài)事件運(yùn)單全流程預(yù)估運(yùn)單信息寬表騎手信息表騎手狀態(tài)事件騎手信息寬表并行調(diào)度區(qū)域1計(jì)算分片區(qū)域1計(jì)算分片區(qū)域1計(jì)算分片特征1特征2特征3區(qū)域維度特征池特征4特征5特征6商家維度特征池區(qū)域1特征1特征組1特征2商家1特征3特征組2特征4數(shù)據(jù)

=實(shí)時(shí)和數(shù)字信息

=有組織的數(shù)據(jù)知識(shí)

=提煉的信息數(shù)據(jù)上報(bào)統(tǒng)一標(biāo)準(zhǔn)化路由規(guī)則靈活配置化計(jì)算可擴(kuò)展并行化存取高性能聚合化第十四頁(yè)，共36頁(yè)。收集側(cè)實(shí)時(shí)特征工程數(shù)據(jù)

管道數(shù)據(jù)格式APPAPI網(wǎng)關(guān)上報(bào)SDK后端服務(wù)上報(bào)SDK數(shù)據(jù)庫(kù)算法服務(wù)上報(bào)SDKCanalSchema轉(zhuǎn)換Kafka實(shí)時(shí)數(shù)據(jù)總線Binlog通道Kafka實(shí)時(shí)數(shù)據(jù)總線API通道統(tǒng)一Schema表名：****維度：區(qū)域/商家/運(yùn)單維度值：1101數(shù)據(jù)：{a:1,b:2,…}維度區(qū)域商家騎手運(yùn)單GeoHash第十五頁(yè)，共36頁(yè)。分揀側(cè)實(shí)時(shí)特征工程數(shù)據(jù)匯集數(shù)據(jù)存儲(chǔ)訂單ID菜品訂單金額運(yùn)單ID區(qū)域ID訂單ID配送距離商家ID預(yù)計(jì)未來(lái)平均出餐時(shí)間運(yùn)單ID騎手ID到店時(shí)間商家ID預(yù)計(jì)未來(lái)平均配送時(shí)長(zhǎng)API管道Binlog管道訂單表運(yùn)單表區(qū)域維度時(shí)間預(yù)估商家維度時(shí)間預(yù)估騎手到店時(shí)間緩存關(guān)聯(lián)配置分揀規(guī)則引擎運(yùn)單ID區(qū)域ID訂單ID菜品配送距離預(yù)計(jì)未來(lái)平均配送時(shí)長(zhǎng)預(yù)計(jì)未來(lái)平均出餐時(shí)間到店時(shí)間運(yùn)單維度內(nèi)存寬表字段映射規(guī)則索引生成規(guī)則數(shù)據(jù)內(nèi)存化Schema動(dòng)態(tài)化數(shù)據(jù)量大分布式內(nèi)存表動(dòng)態(tài)Protobuf第十六頁(yè)，共36頁(yè)。計(jì)算側(cè)實(shí)時(shí)特征工程調(diào)度層計(jì)算層數(shù)據(jù)層定時(shí)觸發(fā)事件觸發(fā)任務(wù)隊(duì)列任務(wù)隊(duì)列計(jì)算分片1內(nèi)存數(shù)據(jù)庫(kù)SQL引擎計(jì)算分片2內(nèi)存數(shù)據(jù)庫(kù)SQL引擎計(jì)算分片3內(nèi)存數(shù)據(jù)庫(kù)SQL引擎特征計(jì)算配置分布式內(nèi)存表特征庫(kù)計(jì)算架構(gòu)邏輯表達(dá)效率學(xué)習(xí)成本低開發(fā)成本低無(wú)需發(fā)版表現(xiàn)力強(qiáng)開發(fā)成本高學(xué)習(xí)成本高SQLUDF第十七頁(yè)，共36頁(yè)。發(fā)布側(cè)實(shí)時(shí)特征工程特征門戶聚合特取門戶調(diào)度提單頁(yè)ETA補(bǔ)貼定價(jià)補(bǔ)貼定價(jià)C端定價(jià)實(shí)時(shí)特征庫(kù)特征組1：區(qū)域維度特征1特征2特征3特征組2：商家維度特征4特征5特征6實(shí)時(shí)特征庫(kù)特征1特征2特征3特征4特征5特征6特征4特征5特征6特征4特征5特征6讀爆炸問(wèn)題第十八頁(yè)，共36頁(yè)。離線特征工程算法深入到配送各個(gè)環(huán)節(jié)訂單數(shù)據(jù)用戶數(shù)據(jù)商家數(shù)據(jù)騎手?jǐn)?shù)據(jù)智能配送系統(tǒng)騎手畫像商家畫像區(qū)域畫像城市畫像用戶畫像路線熟悉度個(gè)人承載能力騎手行為模型供需平衡情況地理路況情況取餐難度出餐時(shí)間品類體積精準(zhǔn)交付點(diǎn)交付難度大數(shù)據(jù)平臺(tái)（Hive/ETL/MR/Spark）配送業(yè)務(wù)時(shí)間預(yù)估騎手語(yǔ)音助手配送范圍規(guī)劃騎手補(bǔ)貼定價(jià)配送費(fèi)定價(jià)智能調(diào)度天平爆單配送區(qū)域規(guī)劃如何將線下的特征（畫像數(shù)據(jù)）應(yīng)用到線上，支撐配送各個(gè)子業(yè)務(wù)高并發(fā)以及算法快速迭代，是離線特征平臺(tái)要解決的問(wèn)題！線下線上第十九頁(yè)，共36頁(yè)。離線特征工程算法深入到配送各個(gè)環(huán)節(jié)緩存聚合騎手畫像商家畫像區(qū)域畫像城市畫像用戶畫像KV集群ETL20商家100特征2000KV每次100KV20次mget緩存mget的TP99約5~10ms，20次mget，TP99接近100ms，而上游超時(shí)時(shí)間約80ms，服務(wù)連2個(gè)9都無(wú)法保證。特征1特征2……特征n聚合KV同一維度特征特征1特征2……特征n特征1KV特征2KV……特征nKVDB集群ETL獲取一個(gè)KV的耗時(shí)不到1ms，似乎性能不是問(wèn)題Spark-JOB統(tǒng)一聚合完全配置化第二十頁(yè)，共36頁(yè)。算法模型平臺(tái)算法深入到配送各個(gè)環(huán)節(jié)算法種類多樣LRGBDTRFRNNLSTMXGBDNN訓(xùn)練平臺(tái)多樣SparkMLTensorFlowXGB異構(gòu)資源支持GPUCPU移動(dòng)設(shè)備提供統(tǒng)一的模型訓(xùn)練、發(fā)現(xiàn)、部署、切換、降級(jí)等解決方案，為ML和DL模型實(shí)時(shí)計(jì)算提供高可用線上預(yù)測(cè)服務(wù)目標(biāo)第二十一頁(yè)，共36頁(yè)。算法模型平臺(tái)算法深入到配送各個(gè)環(huán)節(jié)統(tǒng)一A適配b優(yōu)化C模型格式預(yù)測(cè)接口LRGBDTSVMBayesRFPMML學(xué)習(xí)平臺(tái)異構(gòu)資源交互協(xié)議線下訓(xùn)練線上預(yù)測(cè)SparkMLTFXGBCPUGPULocalRemote統(tǒng)一接口gRPCThrift/RPC開源PMML庫(kù)性能差？TF性能提升5倍第二十二頁(yè)，共36頁(yè)。算法模型平臺(tái)算法深入到配送各個(gè)環(huán)節(jié)SparkMLTensorFlowXGBoost訓(xùn)練平臺(tái)（YARN）HDFS算法模型平臺(tái)（Web

Console）模型調(diào)度器ZK模型狀態(tài)機(jī)指令中樞MetaStore(MySQL)資源路由HttpFS代理業(yè)務(wù)服務(wù)A(節(jié)點(diǎn)1)Model

Agent模型數(shù)據(jù)預(yù)測(cè)模塊業(yè)務(wù)服務(wù)A(節(jié)點(diǎn)1)Model

Agent模型數(shù)據(jù)預(yù)測(cè)模塊業(yè)務(wù)服務(wù)A(節(jié)點(diǎn)1)Model

Agent模型數(shù)據(jù)預(yù)測(cè)模塊ModelServer(節(jié)點(diǎn)1)Model

Agent模型數(shù)據(jù)預(yù)測(cè)執(zhí)行模塊ModelServer(節(jié)點(diǎn)2)Model

Agent模型數(shù)據(jù)預(yù)測(cè)執(zhí)行模塊ModelServer(節(jié)點(diǎn)3)Model

Agent模型數(shù)據(jù)預(yù)測(cè)執(zhí)行模塊業(yè)務(wù)服務(wù)B(節(jié)點(diǎn)1)Model

Agent路由模塊預(yù)測(cè)Facade業(yè)務(wù)服務(wù)B(節(jié)點(diǎn)2)Model

Agent路由模塊預(yù)測(cè)Facade業(yè)務(wù)服務(wù)B

(節(jié)點(diǎn)3)Model

Agent路由模塊預(yù)測(cè)Facade指令通道心跳保持HDFS本地計(jì)算方式遠(yuǎn)程計(jì)算方式第二十三頁(yè)，共36頁(yè)。本地計(jì)算vs.分布式計(jì)算算法模型平臺(tái)本地計(jì)算效率分布式計(jì)算占用業(yè)務(wù)服務(wù)資源本地計(jì)算性能高無(wú)額外網(wǎng)絡(luò)開銷模型計(jì)算與業(yè)務(wù)解耦高度并行化集群計(jì)算資源異構(gòu)額外網(wǎng)絡(luò)開銷業(yè)務(wù)服務(wù)1Model

AModel

B模型調(diào)度器業(yè)務(wù)服務(wù)1Model

AModel

BHDFS模型調(diào)度器HDFSModel

Server1Model

AModel

BModel

EModel

FModel

Server2Model

AModel

B業(yè)務(wù)服務(wù)2業(yè)務(wù)服務(wù)1業(yè)務(wù)服務(wù)1單機(jī)多線程多機(jī)多線程CPU

+

GPU第二十四頁(yè)，共36頁(yè)。模型Sharding算法模型平臺(tái)分區(qū)模型1Model

Server

1分區(qū)模型3分區(qū)模型2分區(qū)模型4業(yè)務(wù)服務(wù)Model

Agent預(yù)測(cè)Facade路由模塊分區(qū)模型1Model

Server

2分區(qū)模型5分區(qū)模型2分區(qū)模型6分區(qū)模型3Model

Server

3分區(qū)模型3分區(qū)模型4分區(qū)模型4大模型超大模型，單機(jī)資源裝不下？按照配送區(qū)域、城市進(jìn)行分區(qū)訓(xùn)練，每個(gè)區(qū)域或者城市產(chǎn)生一個(gè)小模型。第二十五頁(yè)，共36頁(yè)。A/B實(shí)驗(yàn)平臺(tái)算法深入到配送各個(gè)環(huán)節(jié)更多更快更好第二十六頁(yè)，共36頁(yè)。配送AB實(shí)驗(yàn)的特點(diǎn)在線策略平臺(tái)傳統(tǒng)Ab實(shí)驗(yàn)策略之間相互影響配送AB實(shí)驗(yàn)特點(diǎn)策略效果滯后線下因素影響大調(diào)度時(shí)間預(yù)估騎手行為面向C端用戶進(jìn)行流量選擇流量之間獨(dú)立決策、互不干擾第二十七頁(yè)，共36頁(yè)。配送AB實(shí)驗(yàn)在線策略平臺(tái)獨(dú)占流量試驗(yàn)區(qū)并行試驗(yàn)區(qū)哈希分桶UUID哈希騎手ID哈希地理位置哈希調(diào)度提單頁(yè)ETA補(bǔ)貼定價(jià)補(bǔ)貼定價(jià)列表頁(yè)ETAC端定價(jià)分時(shí)間片哈希分桶區(qū)域城市ABABABBABABAABABABAAAAAA區(qū)域城市UUID哈希騎手ID哈希地理位置哈希單層實(shí)驗(yàn)必保證流量互斥才可保證實(shí)驗(yàn)正交分層實(shí)驗(yàn)每一層哈希均勻即可保證實(shí)驗(yàn)正交外賣C端第二十八頁(yè)，共36頁(yè)。分時(shí)間片對(duì)照在線策略平臺(tái)策略A策略B策略A策略B策略A策略B策略A策略B策略A策略B策略A策略B第二天第三天第四天第五天第六天第一天策略A/B在兩組區(qū)域類交替切換，最大限度減少線下因素的影響，確保實(shí)驗(yàn)科學(xué)、公正第二十九頁(yè)，共36頁(yè)。A/B實(shí)驗(yàn)平臺(tái)算法深入到配送各個(gè)環(huán)節(jié)實(shí)驗(yàn)前實(shí)驗(yàn)中試驗(yàn)后流量選擇AA回朔指標(biāo)體系分流統(tǒng)一埋點(diǎn)效果分析實(shí)驗(yàn)報(bào)告第三十頁(yè)，共36頁(yè)。配送業(yè)務(wù)介紹機(jī)器學(xué)習(xí)在美團(tuán)配送中的應(yīng)用美團(tuán)配送算法數(shù)據(jù)平臺(tái)演進(jìn)歷程數(shù)據(jù)閉環(huán)和平臺(tái)化第三十一頁(yè)，共36頁(yè)。數(shù)據(jù)閉環(huán)問(wèn)題問(wèn)題在哪里？上下文收集特征收集模型計(jì)算日志收集分流實(shí)驗(yàn)業(yè)務(wù)服務(wù)上層業(yè)務(wù)算法支撐線上數(shù)據(jù)線下數(shù)據(jù)特征平臺(tái)模型管理版本管理分流實(shí)驗(yàn)算法Dashboard業(yè)務(wù)數(shù)據(jù)庫(kù)MySQL特征緩存特征數(shù)據(jù)模型文件離線業(yè)務(wù)數(shù)據(jù)HiveFlume日志Hive54112331模型不知道由那些特征數(shù)據(jù)訓(xùn)練生產(chǎn)2Flume