技術(shù)公眾號(hào)特別推出《滴滴技術(shù)實(shí)踐2023年CONTENTS初識(shí)滴滴交易策略之二：司乘匹配初識(shí)滴滴交易策略之三：供需調(diào)節(jié)滴滴時(shí)空供需系統(tǒng)的設(shè)計(jì)和演進(jìn)43基于短期替代變量的因果效應(yīng)估計(jì)滴滴實(shí)時(shí)數(shù)據(jù)鏈路建設(shè)組件選型實(shí)踐篇滴滴數(shù)據(jù)服務(wù)體系建設(shè)實(shí)踐70探索ES高可用：滴滴自研跨數(shù)據(jù)中心復(fù)制技術(shù)詳解82如何讓ES低成本、高性能?滴滴落地ZSTD壓縮算法的實(shí)踐分享106滴滴線下仿真環(huán)境實(shí)踐：從方案設(shè)計(jì)到持續(xù)運(yùn)營(yíng)網(wǎng)約車訂單自助測(cè)試演進(jìn)與落地實(shí)踐eBPF內(nèi)核技術(shù)在滴滴云原生的落地實(shí)踐線上問題排查實(shí)例分析|關(guān)于Redis內(nèi)存泄漏202技術(shù)抽絲剝繭|為什么Redis內(nèi)部使用不同編碼？223可觀測(cè)平臺(tái)：滴滴可觀測(cè)性的實(shí)現(xiàn)可觀測(cè)平臺(tái)如何存儲(chǔ)時(shí)序曲線？滴滴實(shí)踐全歷程分享294線上問題排查實(shí)例分析|關(guān)于網(wǎng)絡(luò)超時(shí)354服務(wù)發(fā)布后接口超時(shí)？?jī)蓚€(gè)注解帶你起飛369零代碼新思路，基于LogicFlow的頁面邏輯編排滴滴跨端渣染平臺(tái)的建設(shè)方案及落地406-2-滴滴作為—家共享出行公司,利用信息技術(shù)構(gòu)建了實(shí)時(shí)的、智能的在線交易市場(chǎng),在這個(gè)龐大運(yùn)轉(zhuǎn)的市場(chǎng)之中,滴滴秉承著用戶價(jià)值至上的宗旨,不斷通過技術(shù)提升來實(shí)現(xiàn)更高效的運(yùn)轉(zhuǎn)效率和更貼心的用為了使得大家能夠了解在線交易市場(chǎng)及其技術(shù)挑戰(zhàn),開拓技術(shù)視野,增進(jìn)技術(shù)交流,故分享本系列文章,完整介紹交易市場(chǎng)策略的各主要領(lǐng)域,分享已有探索經(jīng)驗(yàn),以繚讀者。本系列文章,雖然涉及較多專業(yè)技術(shù),但行文力求概略入門,面向各專業(yè)背景,特別是擁有計(jì)算通過本系列文章,您可以獲得：1.了解交易市場(chǎng)的核心要素和核心問題,勾勒出交易市場(chǎng)的全景畫面2.了解滴滴作為出行交易市場(chǎng)所擁有的共性和特性,重點(diǎn)了解網(wǎng)約車交易涉及的主要領(lǐng)域3.了解交易策略中的各主要領(lǐng)域和技術(shù)發(fā)展方向,其中包括：-3- -4-從上圖可看出,交易市場(chǎng)中的雙邊參與方越多,則帶來了明顯的網(wǎng)絡(luò)效應(yīng),即：1.讓產(chǎn)品或服務(wù)的供給方能夠面對(duì)更多的潛在需求方,從中挑選更加心儀的購(gòu)買者；這一網(wǎng)絡(luò)效應(yīng),提供了更多的可能來提升整個(gè)交易市場(chǎng)運(yùn)轉(zhuǎn)效率。對(duì)此,學(xué)術(shù)界,特別是經(jīng)濟(jì)學(xué)和工業(yè)互聯(lián)網(wǎng)時(shí)代的在線雙邊市場(chǎng),將供給方和需求方擴(kuò)展到小區(qū)、城市、國(guó)家乃至全世界,極大提升了網(wǎng)絡(luò)效應(yīng)(NetworkEfect）,帶來了更大的市場(chǎng)效率提升和面向全社會(huì)的體驗(yàn)升級(jí)。.隨著參與人數(shù)增加,網(wǎng)絡(luò)連接以平方的速度增加,.更大的雙邊市場(chǎng)為交易雙方提供了更多、更好的.越多的歷史交易行為,可以使得平臺(tái)更好預(yù)測(cè)未-5-socialeiciencygainsfromtradingmarkets下圖展現(xiàn)了該方法中如何匹配和調(diào)度司機(jī)(綠線）來滿足乘客需求(星號(hào)通過仿真研究發(fā)現(xiàn)該方法圖片來自:Alonso-Mora,J.,samaranayake,s.,wallar,A.,Frazzoli,E.,andRus,D.:on-demandhigh-capacityride--6-互聯(lián)網(wǎng)的出現(xiàn)和快速發(fā)展給交易市場(chǎng)帶來了翻天覆地的變化。現(xiàn)如今,交易市場(chǎng)可以被簡(jiǎn)單地劃分成兩大類：物品在線雙邊交易市場(chǎng)和服物品在線雙邊交易市場(chǎng)以阿里巴巴、京東、Amazon、eBay等為代表。這些交易市場(chǎng)是通過互聯(lián)網(wǎng)平臺(tái)連接買家和賣家的,實(shí)現(xiàn)商品的展示、交易、付款和配送等一系列流程。這些平臺(tái)大多提供了豐富的商品品類,從普通的消費(fèi)品到高端的奢侈品都可以在這些平臺(tái)上找到。當(dāng)然這些平臺(tái)也面臨需要承擔(dān)的責(zé)任,比如商比如出行服務(wù)、住宿服務(wù)、餐飲服務(wù)等。這些交易市場(chǎng)利用互聯(lián)網(wǎng)平臺(tái)連接服務(wù)提供者和服務(wù)需求者,-7-滴滴作為提供出行服務(wù)的在線雙邊交易市場(chǎng),為全社會(huì)提供了關(guān)于出行服務(wù)的—個(gè)交易平臺(tái),這個(gè)平臺(tái)匯集了數(shù)億出行用戶和千萬量級(jí)司機(jī),構(gòu)建了龐大的雙邊交易市場(chǎng),提供了體驗(yàn)優(yōu)秀、多元化、價(jià)格合在滴滴出行構(gòu)建的這個(gè)龐大的在線服務(wù)雙邊交易市場(chǎng)之中,在技術(shù)方面存在著以下特點(diǎn):1.線上線下結(jié)合:乘客線上發(fā)單,司機(jī)線上接單,然后在現(xiàn)實(shí)世界中完成出行服務(wù);2.平臺(tái)規(guī)則的公正和安全保障:平臺(tái)為所有乘客和司機(jī)提供透明公開的交易環(huán)境,并不斷努力來保障雙方的安全;3.數(shù)據(jù)安全和隱私保障:滴滴需要保證司乘的個(gè)人數(shù)據(jù)安全和隱私,采取—系列技術(shù)管理措施來保障數(shù)據(jù)的安全性和隱私性;4.司機(jī)和乘客的體驗(yàn):乘客希望更快速的接駕服務(wù)和更便宜的價(jià)格,司機(jī)希望獲得穩(wěn)定合理的收入,平臺(tái)需要努力保障各方體驗(yàn);5.多元化的服務(wù)形態(tài):滴滴提供了包括快車、優(yōu)享、專車、豪華車、出租車等多種服務(wù)形態(tài),以滿足不同人群對(duì)于出行服務(wù)的不同需求;6.規(guī)模龐大的全局決策問題:當(dāng)面對(duì)如此大量級(jí)的交易問題時(shí),大量傳統(tǒng)計(jì)算機(jī)算法已經(jīng)失效,需要積極引入人工智能、大數(shù)據(jù)技術(shù),追求更加智能的智能決策能力;7.智慧城市體系中合理的調(diào)度和路線規(guī)劃能力:通過數(shù)字李生技術(shù),在虛擬環(huán)境中模仿真實(shí)環(huán)境,提早預(yù)知并調(diào)度出行資源,規(guī)劃行駛路線,提高交通利用率,減少擁堵;8.自動(dòng)駕駛技術(shù):當(dāng)面向未來的自動(dòng)駕駛世界,積極探索自動(dòng)駕駛技術(shù),以提高出行安全性和服務(wù)質(zhì)量,當(dāng)面對(duì)擁有著龐大而復(fù)雜的交易市場(chǎng)時(shí),滴滴交易策略會(huì)如何運(yùn)轉(zhuǎn)呢？-8-2007年的諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)?lì)C發(fā)給了萊昂尼德.胡爾維淡(2007年的諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)?lì)C發(fā)給了萊昂尼德.胡爾維淡(LeonidHurwicz）、埃里克.馬斯金(Eric機(jī)制設(shè)計(jì)(Mechanismdesign,也被稱之為逆博棄論）作為經(jīng)濟(jì)學(xué)和博棄論領(lǐng)域的重要分支,旨在通過設(shè)計(jì)經(jīng)濟(jì)機(jī)制或激勵(lì)措施來實(shí)現(xiàn)特定目標(biāo),解決市場(chǎng)環(huán)境中的問題。機(jī)制設(shè)計(jì)理論的應(yīng)用范圍非常廣滴滴交易市場(chǎng)策略的優(yōu)化就是一種廣義的機(jī)制設(shè)計(jì),旨在根據(jù)市場(chǎng)的特點(diǎn)和參與者的需求,設(shè)計(jì)出合適的交易機(jī)制,以實(shí)現(xiàn)多方共贏的目標(biāo),促進(jìn)供需兩側(cè)受益。-9-廣義的決策智能是—門將社會(huì)科學(xué)、決策理論、管理科學(xué)等理論與Al、數(shù)據(jù)科學(xué)相結(jié)合的工程學(xué)科,它幫助人們利用數(shù)據(jù)和算法來在復(fù)雜社會(huì)系統(tǒng)中做決策,從而改善生活、工作和周圍的世界。在交易市場(chǎng)中討論決策智能,可以狹義理解為利用運(yùn)籌學(xué)、機(jī)器學(xué)習(xí)、因果推斷和數(shù)據(jù)科學(xué)來做出更好的交易決策,可以舉幾個(gè)簡(jiǎn)單例子：2.為司機(jī)出謀劃策,在全天的出車過程中,為司機(jī)建議更好的決策行為,規(guī)劃最優(yōu)巡游路線,實(shí)現(xiàn)更好3.站在平臺(tái)視角,當(dāng)預(yù)測(cè)到暴雨來臨的時(shí)候,為更加充分滿足乘客未來突發(fā)的打車需求,從全程的現(xiàn)狀和未來預(yù)測(cè)視角,決策從某個(gè)方向更多調(diào)度更遠(yuǎn)司機(jī)；在滴滴的交易市場(chǎng)環(huán)境中,面對(duì)復(fù)雜的決策問題,我們通常需要進(jìn)行多方面的決策-10-運(yùn)籌學(xué)是近代應(yīng)用數(shù)學(xué)的—個(gè)重要分支,并在活中的復(fù)雜問題,利用統(tǒng)計(jì)學(xué)、數(shù)學(xué)模型、算法等方式去尋求最優(yōu)或近似最優(yōu)解,因而也被稱之為最優(yōu)化傳統(tǒng)而言,運(yùn)籌學(xué)研究的范疇包括：數(shù)學(xué)規(guī)劃(線性規(guī)劃、非線性規(guī)劃、整數(shù)規(guī)劃、隨機(jī)規(guī)劃、組合規(guī)劃等）、圖論、網(wǎng)絡(luò)流、運(yùn)輸問題、網(wǎng)絡(luò)計(jì)劃、排隊(duì)論、存儲(chǔ)論、對(duì)策論、搜索論、決策分析等領(lǐng)域。隨著萬物互聯(lián)時(shí)代到來和算力提升,運(yùn)籌學(xué)正在煥發(fā)全新的憋力。對(duì)于滴滴的復(fù)雜場(chǎng)景而言,幾乎所有問題具有現(xiàn)實(shí)的復(fù)雜性,例如：非常多約束條件下的最優(yōu)化求解、司乘排隊(duì)、資源分配等,這些都會(huì)依賴于運(yùn)籌學(xué)的形式化數(shù)學(xué)建模來幫助我們更好解決問題。當(dāng)然,運(yùn)籌學(xué)并非—顆“銀彈”(silverBullet）,我們也充分了解到運(yùn)籌學(xué)作為—門非常久遠(yuǎn)的學(xué)科,—方面,將現(xiàn)實(shí)問題抽象為數(shù)學(xué)規(guī)劃問題,并通過大型求解器快速求解,是我們追求業(yè)務(wù)效果最優(yōu)化的有力武器,也讓我們面臨著很多未知探索領(lǐng)域。限制推送的間隔(約束條件）,最終使得用戶獲得的優(yōu)惠信息最優(yōu)(最優(yōu)化目標(biāo)）。沿上選擇不同的點(diǎn),來更好滿足用戶的多方面需求(多目標(biāo)優(yōu)化）,又可以通過產(chǎn)品力提升來整體推進(jìn)帕累托前沿,取得效果提升。另—方面,機(jī)器學(xué)習(xí)——尤其是深度學(xué)習(xí)——對(duì)運(yùn)籌學(xué)帶來了新的機(jī)遇和挑戰(zhàn)。傳統(tǒng)運(yùn)籌學(xué)發(fā)展中更多強(qiáng)調(diào)數(shù)學(xué)推導(dǎo)和啟發(fā)式方法,而深度學(xué)習(xí)所帶來的強(qiáng)大的學(xué)習(xí)和運(yùn)算能力,正在不斷為運(yùn)籌學(xué)注入更多的能量。我們所面臨的大規(guī)模運(yùn)籌問題,大部分很難依賴傳統(tǒng)純數(shù)學(xué)方法解決,需要結(jié)合深度學(xué)習(xí)方法-12-強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中與有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)并列的第三種基本學(xué)習(xí)方法,它不需要帶有標(biāo)簽的學(xué)習(xí)數(shù)據(jù),而是通過自身與環(huán)境的不斷探索,來找到使得最終回報(bào)最大的決策方法。讓我們思考—下,面對(duì)環(huán)境的你需要不斷做出動(dòng)作決策時(shí),如果每步都取當(dāng)前收益最大的決策,就能獲得整個(gè)流程最優(yōu),則并不需要使用強(qiáng)化學(xué)習(xí),只需要學(xué)習(xí)單步最優(yōu)的方法即可。造更多機(jī)會(huì)”,從而能夠使得整體更優(yōu)。以滴滴場(chǎng)景舉例：—位司機(jī)在半指派模式(允許選接訂單）的情況下,可能會(huì)考慮到“接—單去熱區(qū),滴滴平臺(tái)利用強(qiáng)化學(xué)習(xí)解決的問題場(chǎng)景非常廣闊,在各類序列決策問題之中,以不同視角來構(gòu)建強(qiáng)化學(xué)習(xí)的Environment、state、Action、Reward,可以獲得不同的算法結(jié)果和策略方式,從而幫助司乘和-13-拍爾在上世紀(jì)80年代末將因果模型數(shù)學(xué)化,改變了社會(huì)科學(xué)對(duì)統(tǒng)計(jì)學(xué)因果關(guān)系的理解,并和加州的邁克爾.喬丹(Michaell.Jordan）教授共同將貝葉斯網(wǎng)絡(luò)、馬爾可夫網(wǎng)絡(luò)、概率方法等引入人工智能,萌發(fā)出很多時(shí)候我們希望研究的是：當(dāng)改變了某個(gè)行為(通常稱之為Treatment）之后,會(huì)通過因果性造成所希望影響的某個(gè)變量的影響是多少(通常稱之這—研究已經(jīng)拓展到了諸多領(lǐng)域：2021年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)授予了Davidcard、JoshuaAngrist和Guidolmbens,為了表彰他們建立了—個(gè)因果關(guān)系研究的新框架,可以利用自然實(shí)驗(yàn)來分析,革新了在滴滴業(yè)務(wù)中,司乘、平臺(tái)會(huì)做著不同的決策選擇,從而產(chǎn)生不同的業(yè)務(wù)結(jié)果,如果我們希望能夠更好成后果的準(zhǔn)確預(yù)估,繼而提供更好的選擇,保障司乘權(quán)益。-14-滴滴作為國(guó)內(nèi)的—家出行平臺(tái),構(gòu)建了完整的線上交易市場(chǎng),為司乘雙方全天候提供優(yōu)質(zhì)的交易服務(wù)。越加復(fù)雜的交易市場(chǎng)環(huán)境之中,面臨的市場(chǎng)決策挑戰(zhàn)越大。在復(fù)雜的交易市場(chǎng)之中,滴滴通過技術(shù)進(jìn)步來不斷提升市場(chǎng)效率和司乘體驗(yàn),不斷克服種種技術(shù)挑戰(zhàn),建立公平的平臺(tái)規(guī)則,提供全面的安全保障,提供多元化的市場(chǎng)服務(wù)形態(tài),不斷優(yōu)化交易決策效率,實(shí)以上內(nèi)容簡(jiǎn)要概括了滴滴交易市場(chǎng)面臨的技術(shù)挑戰(zhàn),希望以上內(nèi)容能夠?yàn)槟私饨灰资袌?chǎng)提供幫助,后4.lsDecisionlntelligenceTheNewAl?https://www.forbedecision-intelligence-the-new-ai/?sh=78404df74e42-15-?????????????前文(初識(shí)滴滴交易策略之—：交易市場(chǎng)）整體介紹了交易市場(chǎng)的定義、特點(diǎn)、技術(shù)特點(diǎn)和技術(shù)領(lǐng)域。對(duì)滴滴來說,司乘匹配所解決的最常見問題就是：“當(dāng)乘客發(fā)出網(wǎng)約車訂單時(shí),應(yīng)該將這些訂單分配給滴滴派單的核心原則,直觀代表了司機(jī)和乘客的主要利益。通過就近派單,絕大多數(shù)的訂單將分配給距離最近的司機(jī),實(shí)現(xiàn)較好的司乘體驗(yàn)。當(dāng)然,單個(gè)用戶的最優(yōu)并非保證所有司乘的體驗(yàn)。平臺(tái)不能忽略同時(shí)出現(xiàn)的眾多訂單之間的更好協(xié)調(diào)方式,也不能忽略未來新的訂單和空閑司機(jī),甚至還需要考慮鄰近區(qū)域和全城的供給和需求。未來價(jià)值等諸多因素,從而實(shí)現(xiàn)更加完善的全城分單匹配結(jié)果。這就是為什么這個(gè)問題依然非常復(fù)雜的原因,接下來的文章將全面展開討論該問題。-16-讓我們把眼光聚焦在局部交易市場(chǎng)的司機(jī)和乘客匹配這一核心問題上,該問題作為雙邊匹配和空間眾包方向的學(xué)術(shù)問題,受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。在滴滴的眾多業(yè)務(wù)之中,存在大量匹配問題,并涉及到各匹配技術(shù)領(lǐng)域,例如：1.快車、出租車等業(yè)務(wù)中,涉及單乘客-單司機(jī)的雙邊匹配；2.特惠、出租車等業(yè)務(wù)中,涉及到半指派方式播單,構(gòu)成單乘客-多司機(jī)(可重疊）的雙邊匹配；3.拼車、順路單等合乘業(yè)務(wù)中,涉及多乘客-單路途-單司機(jī)的多邊匹配；4.貨運(yùn)等業(yè)務(wù)中,涉及搶單、派單模式結(jié)合的雙邊匹配方式；5.兩輪車業(yè)務(wù)中,涉及乘客-停放站點(diǎn)-車輛的匹配,涉及運(yùn)維車輛-任務(wù)工單的匹配；6.國(guó)際外賣業(yè)務(wù)中,涉及訂單-騎手-商家的多邊匹配,帶時(shí)間窗口約束；本文限于篇幅問題,重點(diǎn)介紹最基本的單乘客-單司機(jī)的雙邊匹配問題。在這個(gè)簡(jiǎn)化問題中：地圖上不斷有乘客發(fā)出新的訂單,也存在著等候訂單的司機(jī)們,派單系統(tǒng)了解他們的位置信息和訂單起終點(diǎn)信息,希望將一位乘客分配給一輛空閑網(wǎng)約車,從而完成打車行程。讓我們從最簡(jiǎn)單的開始,當(dāng)區(qū)域內(nèi)只有一位乘客開始呼叫,而區(qū)域內(nèi)也只有一名空閑司機(jī),則顯然會(huì)給該乘客復(fù)雜—些,當(dāng)—位乘客開始呼叫,而區(qū)域內(nèi)有多名司機(jī)時(shí),則應(yīng)該為該乘客尋找最優(yōu)的司機(jī),比如離其最近的司機(jī),或者服務(wù)最好的司機(jī)：再?gòu)?fù)雜—些,當(dāng)多位乘客都在呼叫,而區(qū)域內(nèi)只有—位司機(jī)時(shí),將為該司機(jī)匹配更加合適的乘客更復(fù)雜—些,當(dāng)多位乘客在呼叫,多個(gè)司機(jī)在聽單時(shí),則選擇空間成幾何倍數(shù)增加,平臺(tái)以公開現(xiàn)實(shí)環(huán)境之中為了保障司乘的體驗(yàn),我們還會(huì)引入更多的更好的機(jī)制來幫助司乘。比如在體育賽事結(jié)束后大量乘客—起打車,這時(shí)候我們提供乘客的排隊(duì)功能,“先來后到”,來幫助乘客更公平打車。同樣的,在場(chǎng)站等特殊場(chǎng)景,也需要引入-18-運(yùn)籌學(xué)中的雙邊匹配問題,是指如何在兩個(gè)不相交的主體集合中依據(jù)各主體針對(duì)潛在匹配對(duì)象給出的偏好信息來確定合適的匹配結(jié)果,其在運(yùn)籌、經(jīng)濟(jì)管理領(lǐng)域中存在的廣泛應(yīng)用,并在現(xiàn)實(shí)中的拍賣、交易、2012年的諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)?lì)C發(fā)給了A出的杰出貢獻(xiàn)。這項(xiàng)榮譽(yù)旨在肯定他們?cè)诜€(wěn)定雙邊匹配理論及其在實(shí)際市場(chǎng)設(shè)計(jì)中的應(yīng)用方面所作出的排名,而每個(gè)醫(yī)院考核醫(yī)學(xué)畢業(yè)生的標(biāo)準(zhǔn)和門欖各不相同,畢業(yè)生希望在盡量更加心儀的醫(yī)院中實(shí)習(xí),而醫(yī)院也希望招收最合適本院的畢業(yè)生,則應(yīng)當(dāng)如何匹配？雙邊匹配有非常多的算法和優(yōu)化目標(biāo),可以用于實(shí)現(xiàn)不同的匹配效果,以滿足不同的業(yè)務(wù)訴求。隨著多年來學(xué)界和真實(shí)場(chǎng)景的不斷研究和送代實(shí)驗(yàn),人們對(duì)雙邊匹配技術(shù)有了長(zhǎng)足的進(jìn)步。-19-針對(duì)最基本的單乘客-單司機(jī)雙邊匹配場(chǎng)景,我們研究了各類匹配方法,以求更加滿足司乘的需求,平匹配是—種能夠快速、有效地為乘客和司機(jī)之間建立連接的算法。它在乘客發(fā)出呼叫后,立即尋找最近的匹配司機(jī),以滿足該乘客需求。這種匹配方式雖然簡(jiǎn)單易行,但是當(dāng)面對(duì)眾多乘客同時(shí)呼叫時(shí),貪心算法可能缺乏靈活騰挪的空間,使在使用KM算法時(shí),我們需要首先構(gòu)建—個(gè)二分圖,并且通過KM算法進(jìn)行運(yùn)算,即可獲得整體KM算法的原理是基于二分圖歸約和匈牙利算法,其核心是由匹配圖和交錯(cuò)樹構(gòu)成的增廣路徑,步驟包括構(gòu)造帶權(quán)二分圖、尋找交錯(cuò)樹、尋找增-20-在采用最大權(quán)匹配的應(yīng)用中,我們發(fā)現(xiàn),該種匹配方式能夠?qū)崿F(xiàn)定義的某項(xiàng)收益最大化,但并沒有充分考慮個(gè)體需求,對(duì)部分司機(jī)和乘客造成了—定的困擾?！獛团訉ふ野閭H時(shí),每名男子心目中有對(duì)所有女子的排序,同樣每名女子心目中有對(duì)所有男子的排序,而Gs算法給出來的最終匹配情況中,不存在某—男子和某—女子相互喜歡程度均大于他們現(xiàn)有匹配對(duì)象(顯然,他倆更合適）,那么就說明所有的婚姻都是“穩(wěn)定”的,沒有“遺憾”。在滴滴網(wǎng)約車場(chǎng)景中,通過該方法可以實(shí)現(xiàn)更好的司乘需求滿足,避免出現(xiàn)有更希望匹配相互在—起卻沒有匹配在—起的司乘情況發(fā)生:-21-從數(shù)學(xué)上來說,穩(wěn)定雙邊匹配只要滿足以下約束條件,而結(jié)果是不唯—的：“穩(wěn)定匹配”也并未平臺(tái)追求的唯—目標(biāo),考慮司乘雙方的公平性、考慮主體間協(xié)同、考慮主觀滿意度,可以增加更多約束條件和加權(quán)優(yōu)化目標(biāo),從而實(shí)現(xiàn)不同目標(biāo)聯(lián)合的雙邊匹配目的。-22-這種匹配需求需要—次性將多個(gè)司機(jī)匹配上同—個(gè)訂單,而非先前的—對(duì)—匹配。為了更好地滿足此類情況下的匹配需求,我們采用并改進(jìn)了穩(wěn)定雙邊匹配的—對(duì)多算法“醫(yī)problem）。該算法可有效應(yīng)對(duì)多個(gè)需求方和供應(yīng)方之間的匹配問題,通過建立數(shù)學(xué)模型,將訂單和司機(jī)之間的匹配問題轉(zhuǎn)化為醫(yī)院和居民之間的問題,從而實(shí)現(xiàn)更高效、穩(wěn)定的雙邊匹配。再比如,滴滴拼車業(yè)務(wù)場(chǎng)景之中,可由多名順路名乘客,這同樣構(gòu)成—對(duì)多的匹配問題。值得思考的是,在該種場(chǎng)景下,如何考量可拼關(guān)系？司機(jī)、乘客的利益如何評(píng)價(jià)？社會(huì)總效用如何定義和最值得—提的是,21世紀(jì)以來,我國(guó)學(xué)者基于—對(duì)多雙邊匹配算法,針對(duì)性研究高考錄取問題,將我國(guó)高考傳統(tǒng)錄取采用的波士頓機(jī)制,升級(jí)為平行志愿填報(bào)方式,給予考生和高校更好的錄取匹配結(jié)果,減少“錄取遺憾”的發(fā)生。平行志愿算法相比起波士頓機(jī)制提供了更高的穩(wěn)定性,但受限于客觀條件,還達(dá)不類似的,滴滴在面臨多種多樣的出行場(chǎng)景下,努力升級(jí)算法,解決各類交易規(guī)則下的技術(shù)難題,以司機(jī)和乘客利益為中心,提供更加穩(wěn)定、更加貼心的匹配分單結(jié)果。以上例子僅為滴滴最常見場(chǎng)景下的基礎(chǔ)雙邊匹配問題,由于在多種多樣的出行服務(wù)業(yè)務(wù)和場(chǎng)景之中存在復(fù)雜而多變的雙邊匹配情況,限于篇幅,不再過多展開。-23-在之前所提到的算法中,大多數(shù)算法都依賴于司機(jī)對(duì)乘客的挑選偏好以及乘客對(duì)司機(jī)的挑選偏好,滴滴作為中立平臺(tái),需要充分考慮司乘雙方意愿,使得雙方獲得最滿意的體驗(yàn)。這一部分的設(shè)計(jì)中,我們會(huì)綜合考慮路況、時(shí)間等因素,并結(jié)合機(jī)器學(xué)習(xí)模型的建模和預(yù)測(cè),海量的歷史數(shù)據(jù)和先進(jìn)的算法技術(shù),以實(shí)現(xiàn)對(duì)乘客和司機(jī)的更好預(yù)測(cè)。此外,對(duì)于乘客和司機(jī)的走訪調(diào)研也是至關(guān)重要的,通過收集他們的反績(jī)和建議,不斷優(yōu)化匹配算法,提高匹配效率,同時(shí)也保證了他們間偏好序等的匹配方法,可以支持多種多樣的司乘相互偏好計(jì)算,提供匹配落地方法。相較于前文所提到的雙邊匹配,網(wǎng)約車的現(xiàn)實(shí)問題變得更加復(fù)雜。這是因?yàn)樵诰W(wǎng)約車的場(chǎng)景下,叫車需求是一個(gè)動(dòng)態(tài)的過程,而司機(jī)也并不是像傳統(tǒng)的貨物配送服務(wù)那樣全天都在為一個(gè)訂單服務(wù)。這種復(fù)雜這個(gè)問題的解決需要考慮到在全天時(shí)間流動(dòng)的過程中,會(huì)不斷出現(xiàn)新的訂單并持續(xù)一段時(shí)間,同時(shí)也會(huì)不斷出現(xiàn)有空閑時(shí)間的司機(jī),而這些司機(jī)在接單后也需要一定的時(shí)間才能再次接單。在這個(gè)情境下,平臺(tái)需要做出更好的匹配,從而實(shí)現(xiàn)整體的收益最大化,同時(shí)也使得司機(jī)和乘客都更加滿意。-24-為了解決這個(gè)問題,平臺(tái)可以采用動(dòng)態(tài)規(guī)劃、近似算法等技術(shù)手段,對(duì)這個(gè)問題進(jìn)行建模并設(shè)計(jì)相應(yīng)的算法。在算法的設(shè)計(jì)中,需要考慮到乘客和司機(jī)的空閑時(shí)間、收益、服務(wù)時(shí)間等多種因素,并將這些因同時(shí),為了使算法更加可行和實(shí)用,平臺(tái)也需要結(jié)合實(shí)際情況對(duì)算法進(jìn)行實(shí)時(shí)優(yōu)化和調(diào)整,以滿足用戶動(dòng)態(tài)雙邊匹配的一種簡(jiǎn)化解法是最優(yōu)停止問題(optimalstopping,也稱之為秘書問題）,在該問題的原始版本描述中,描述如下：公司要聘請(qǐng)一名秘書,共有n個(gè)應(yīng)聘者,每次面試一人,面試官總能將其與之前所有應(yīng)聘者比較,面試后立即決定是否雇傭他,如果決定不雇傭,則無法未來挽回。這種情況下應(yīng)該怎么決策,能夠使得選中最佳人選的概率最大？-25-在上述的原始秘書問題之中,科學(xué)家找出來在剩下的秘書面試之中,當(dāng)遇到比前面更好的秘書,就作為最終選擇。在滴滴網(wǎng)約車場(chǎng)景中,涉及到的是對(duì)司機(jī)和題更加復(fù)雜。同時(shí),近年機(jī)器學(xué)習(xí)興起后,決策,可根據(jù)預(yù)測(cè)準(zhǔn)確率的不同,來盡可能動(dòng)態(tài)雙邊匹配問題本質(zhì)上是—個(gè)序列決策問題,需要采用高效、準(zhǔn)確的算法進(jìn)行解決。強(qiáng)化學(xué)習(xí)作為—種基于試錯(cuò)學(xué)習(xí)的算法,可以非常好地應(yīng)用于動(dòng)態(tài)雙邊匹配方向的研究中,因?yàn)樗軌蛲ㄟ^與環(huán)境交互不斷地試驗(yàn)和調(diào)整策略,從而逐步提升匹配效率和質(zhì)量。這也是動(dòng)態(tài)雙邊匹配方向從過去的確定性算法在強(qiáng)化學(xué)習(xí)的研究中,我們利用強(qiáng)大的仿真系統(tǒng)作為Environmen,并以整體雙邊實(shí)體局面作為state,從而探索出了多條強(qiáng)化學(xué)習(xí)研究路線。這些研究路線不僅考慮了匹配效率的優(yōu)化,還包括了對(duì)于匹配過程中出現(xiàn)的不確定性和變化的適應(yīng)性,這為我們更加全面地理解-26-在動(dòng)態(tài)雙邊匹配環(huán)境中,司機(jī)和乘客之間的價(jià)值判斷需要更加細(xì)致和全面。這是因?yàn)檫@種環(huán)境下,價(jià)值的判斷不僅基于現(xiàn)有的可見、可匹配對(duì)象,還需要預(yù)測(cè)未來可能出現(xiàn)的情況,例如：為乘客估計(jì)可能出現(xiàn)更近的空閑司機(jī),從而更快接駕。這種復(fù)雜的未來價(jià)值預(yù)估問題需要利用更為復(fù)雜的歷史經(jīng)驗(yàn)數(shù)據(jù)和未來趨勢(shì)進(jìn)行分析,然后將分析結(jié)果融入到動(dòng)態(tài)雙邊匹配決策行為之中,才能夠解決這些問題。作為共享出行平臺(tái),滴滴充分利用共享帶來的多贏局面,幫助司機(jī)規(guī)劃路線和構(gòu)建合乘訂單,提高了出行效率,降低了出行成本。在拼車業(yè)務(wù)中,滴滴將多個(gè)路線接近但又不同的訂單拼在一起,一次性滿足乘客的需求,從而提高了車輛的載客率和出行效率。然而,拼車帶來的路程增長(zhǎng)和不完全順路等問題,也需要乘客和司機(jī)適當(dāng)承擔(dān)。平臺(tái)需要通過合理的定價(jià)機(jī)制,讓司機(jī)和乘客受益于拼單,同時(shí)保證合理的路程和費(fèi)用。對(duì)于新手司機(jī)而言,沒有足夠的做單經(jīng)驗(yàn),可能會(huì)導(dǎo)致收入不穩(wěn)定。滴滴平臺(tái)提供輔助規(guī)劃路線的服務(wù),將可能的一系列訂單串起來提供給司機(jī),提升了司機(jī)的收入。平臺(tái)還可以通過數(shù)據(jù)分析和智能算法,優(yōu)化路線規(guī)劃,幫助司機(jī)更好地完成訂單,并提高司機(jī)的服務(wù)質(zhì)量和用戶體驗(yàn)。-27-PDP/VRP問題是傳統(tǒng)運(yùn)籌學(xué)方向的經(jīng)典問題,其中種類和延展非常多:2.VRP問題(VehicleRoutingProblems）則更偏向車3.靜態(tài)VRP問題偏向于提前知道全天的貨物和車輛信息,從而預(yù)先規(guī)劃好所有路線4.動(dòng)態(tài)VRP問題偏向于貨物和車輛的信息隨時(shí)動(dòng)態(tài)變化,從而隨時(shí)調(diào)整規(guī)劃路線5.帶時(shí)間窗口的VRP問題,增加了運(yùn)輸時(shí)間點(diǎn)的限制6.帶容量限制的VRP問題,限制了車輛同—時(shí)間可運(yùn)輸?shù)目傌浳锪縍einforcementLearningforDemandDrivenservicesinLogisticsandTransportationsystems:Asurvey.Preprintat/10.48550/在預(yù)約制的品類中,我們可以提前獲取客戶在全天內(nèi)的訂單需求和可用車輛情況,進(jìn)而制定全天車隊(duì)路線,從而提高出行效率。這種預(yù)約制的服務(wù)模式不僅能夠?yàn)槌丝吞峁└颖憬?、可靠的出行服?wù),也能為司機(jī)提供更加穩(wěn)定的收入來源,是—種互利共贏的商業(yè)模式。當(dāng)然,現(xiàn)實(shí)之中還可能出現(xiàn)各種意外,在拼車業(yè)務(wù)中,我們采用路徑訂單規(guī)劃和雙邊匹配算法,旨在為乘客提供更加經(jīng)濟(jì)、便捷的出行服務(wù)。我們通過對(duì)訂單需求進(jìn)行分析,將起點(diǎn)和終點(diǎn)相近的訂單匹配在—起,盡量提供順路拼乘的服務(wù),同時(shí)也能夠最大限度地減少車輛空駛的情況,提高車輛利用率,在此基礎(chǔ)上實(shí)現(xiàn)雙邊匹配的最優(yōu)化。則加入了更復(fù)雜的鏈路限制,對(duì)路-28-打車排隊(duì)是運(yùn)力嚴(yán)重不足時(shí)保證乘客確定性的重要能力,能夠給予乘客公平的感知和耐心等候的保障,然而在上述傳統(tǒng)匹配技術(shù)并沒有充分考慮排隊(duì)匹配問題,排隊(duì)體驗(yàn)并沒有得到充分保障。我們引入排隊(duì)論,并通過數(shù)據(jù)分析,將網(wǎng)約車排隊(duì)場(chǎng)景刻畫為多個(gè)獨(dú)立的M/M/1排隊(duì)問題。(在排隊(duì)服務(wù)時(shí)間符合負(fù)指數(shù)分布,單服務(wù)臺(tái)模型。）根據(jù)排隊(duì)論可以研究穩(wěn)態(tài)狀況下的各類隊(duì)列事件、隊(duì)列長(zhǎng)度的概率情況,也可以采用模擬方法進(jìn)行瞬態(tài)分析,掌握隊(duì)列的動(dòng)態(tài)變化情況,從而為進(jìn)一步?jīng)Q策提供信息。為驗(yàn)證真實(shí)情況是否滿足以上數(shù)學(xué)抽象,我們進(jìn)行了滴滴真實(shí)排隊(duì)情況的隨機(jī)過程研究:2.原假設(shè):隊(duì)列入隊(duì)間隔分布與負(fù)指數(shù)分布一致3.檢驗(yàn)結(jié)果:4.kolmogorov-smirnov檢驗(yàn):pvalue=0.45>=0.056.kruskal-wallis檢驗(yàn):pvalue=0.09>=0.057.結(jié)論:原假設(shè)成立,即【隊(duì)列入隊(duì)間隔分布服從-29-針對(duì)相鄰的不同地圖隊(duì)列間運(yùn)力嚴(yán)重不均衡的問題,我們挖掘了經(jīng)典場(chǎng)景,發(fā)現(xiàn)存在資源錯(cuò)配,例如下圖中：個(gè)別區(qū)域隊(duì)列人數(shù)非常多,而周邊空閑運(yùn)力沒有及時(shí)補(bǔ)充到該地區(qū),從而影響乘客體驗(yàn),存在供進(jìn)—步的,可以將問題抽象為資源分配(ResourceAllocation）問題,借鑒其他領(lǐng)域的技術(shù)方案(例如控制領(lǐng)域多智能體系統(tǒng)—致性控制、衛(wèi)星頻段帶寬流控）,在面對(duì)復(fù)雜業(yè)務(wù)決策中,由于現(xiàn)實(shí)環(huán)境的試驗(yàn)成本過高或者干擾因素過多,我們會(huì)轉(zhuǎn)而求助于高精度的數(shù)字李生仿真系統(tǒng),從而獲得成本更低、精度更高的決策數(shù)據(jù)。滴滴算法團(tuán)隊(duì)與工程團(tuán)隊(duì)密切合作,構(gòu)建了完整的交易模擬系統(tǒng),從而能夠在虛擬環(huán)境中構(gòu)建完整的市場(chǎng)環(huán)境運(yùn)行。進(jìn)—步的,在虛擬環(huán)境中驗(yàn)證不同策略對(duì)交易市場(chǎng)產(chǎn)生的影響,尋找市場(chǎng)效率理論上限,-30-當(dāng)擁有了這—工具之后,不僅可以手工進(jìn)行策略優(yōu)化仿真驗(yàn)證,還可以直接利用強(qiáng)化學(xué)習(xí)從仿真環(huán)境中學(xué)習(xí),再嘗試遷移到現(xiàn)實(shí)環(huán)境之中?；谕暾姆抡嫦到y(tǒng),我們針對(duì)司乘匹配進(jìn)行了上限探索,并給出了不同已知信息的情況下,能夠?qū)崿F(xiàn)的效率上限。在在線算法技術(shù)領(lǐng)域,將某個(gè)策略下的效率與完全最優(yōu)信息策略下的最優(yōu)效率的比值,稱通過我們的仿真分析,得出了某—場(chǎng)景下的已知信息競(jìng)爭(zhēng)比情況,提供了對(duì)分單未來發(fā)展的重要方向論證,在某—個(gè)場(chǎng)景下的不同預(yù)知信息情況下的競(jìng)爭(zhēng)比如下：-31-當(dāng)今交易市場(chǎng)的復(fù)雜性越來越高,市場(chǎng)決策所面臨的挑戰(zhàn)也隨之增加。在這種多方參與的出行環(huán)境中,場(chǎng)還充滿了各種未知因素和意外情況,如突發(fā)天氣、未知需求等,這些都使得交易決策變得更加困難。為了在如此復(fù)雜的環(huán)境下提升效率,滴滴交易策略不斷探索新的技術(shù)和策略,通過對(duì)交易市場(chǎng)的深入分析和對(duì)用戶需求的充分理解,最終將技術(shù)服務(wù)于業(yè)務(wù),滴滴在雙邊市場(chǎng)策略優(yōu)化方面取得了顯著成果。在司乘匹配方向,滴滴不斷研究最優(yōu)匹配算法、司乘價(jià)值評(píng)估、路徑訂單規(guī)劃和仿真等多方面的技術(shù),以實(shí)現(xiàn)更高效、更智能、更優(yōu)質(zhì)的司乘體驗(yàn)。為了將這些技術(shù)落地實(shí)現(xiàn),滴滴也構(gòu)建了完整的送代框架,將技術(shù)與業(yè)務(wù)相結(jié)合,形成了全套解決方案。希望以上內(nèi)容能夠?yàn)槟私饨灰资袌?chǎng)及其交易策略提供幫助,敬請(qǐng)期待下期內(nèi)容。1.Alonso-Mora,J.,sama2.Tong,Y.,zhou,z.,zeng,Y.,chen,L.&shahabi,c.spatialc3.Roth,A.E.&sotomayor,M.chapter16Two-sidedmatching.inHandbookofGameTheorLearnedAdvice.inAdvancesinNeurallnfor6.Boysen,N.,Briskorn,D.&schwerdfeger,s.Matchingsupplyanddemandinasharingeconomy:-32-交易市場(chǎng)是由買方和賣方進(jìn)行交易而形成的—種經(jīng)濟(jì)環(huán)境。買方是指那些希望購(gòu)買某種商品或服務(wù)的人在交易市場(chǎng)中,買方和賣方的角色不同。賣方通常被稱為供給方,他們提供商品或服務(wù),而買方則被稱現(xiàn)代經(jīng)濟(jì)中,供需雙方可以通過各種方式進(jìn)行交易。例如,他們可以通過在線市場(chǎng)、交易所、股票市場(chǎng)等方式進(jìn)行交易,這些市場(chǎng)都有其獨(dú)特的供需關(guān)系變化規(guī)律。隨著時(shí)間的推移,供需關(guān)系也會(huì)發(fā)生變化,-33--34-從需求方來看,新乘客涌入平臺(tái)會(huì)提升市場(chǎng)需求量,節(jié)假日、旅游高峰、春運(yùn)、雨雪天氣、極端溫度等都會(huì)影響乘客的需求行為,從而導(dǎo)致需求量的波動(dòng)和變化。此外,特殊活動(dòng)如演唱會(huì)等也會(huì)導(dǎo)致需求量除此之外,由人溝通的交易市場(chǎng)中也存在各種隨機(jī)因素,這些也會(huì)對(duì)整個(gè)供需關(guān)系產(chǎn)生動(dòng)態(tài)變化。因此,對(duì)于滴滴這樣的動(dòng)態(tài)供需市場(chǎng),需要密切關(guān)注供需關(guān)系的變化和規(guī)律,及時(shí)調(diào)整平臺(tái)政策和資源配置,以適應(yīng)市場(chǎng)需求的變化,提高市場(chǎng)運(yùn)作效率,平衡供需雙方,進(jìn)而提升用戶體驗(yàn)。在交易市場(chǎng)中,供、需是兩個(gè)基本的經(jīng)濟(jì)力量,它們相互作用從而影響了市場(chǎng)交易情況。供給是指市場(chǎng)中可供出售的商品或服務(wù)的總量,而需求是指市場(chǎng)中消費(fèi)者愿意購(gòu)買的商品或服務(wù)的總量。當(dāng)市場(chǎng)上供給和需求量接近時(shí),市場(chǎng)達(dá)到了平衡狀態(tài)。給量增加,這是因?yàn)楣┙o方希望利用市場(chǎng)需求的增加來增加銷售量和收入,繼而使得供需雙方重新進(jìn)入平衡狀態(tài)。但是,當(dāng)市場(chǎng)的供給量達(dá)到極限,無法繼續(xù)增加供給時(shí),需求仍然得不到完全的消化,將會(huì)反之,亦然。-35-當(dāng)市場(chǎng)中同時(shí)存在多個(gè)因素時(shí),供給和需求之間的相互作用可能變得更加復(fù)雜。例如,當(dāng)某種產(chǎn)品的生產(chǎn)成本上升時(shí),供給方可能會(huì)減少供給量,供給難度加大,進(jìn)而也可能會(huì)減少需求方。如果某種新技術(shù)推動(dòng)了供給方的生產(chǎn)效率提高,供給量可能會(huì)增加,供給難度降低,供給質(zhì)量提升,同時(shí)也可能會(huì)刺激在市場(chǎng)經(jīng)濟(jì)中,供需的相互作用是市場(chǎng)交易情況變化的基本原因。理解這種相互作用,可以幫助我們更在上述微觀經(jīng)濟(jì)學(xué)的經(jīng)典簡(jiǎn)化描述之外,當(dāng)面對(duì)現(xiàn)實(shí)情況時(shí),會(huì)遇到多種不同的實(shí)際情況。滴滴作為一家出行平臺(tái),面對(duì)的供需相互作用情況非常常見,可以舉其中較為典型的入門例子：一場(chǎng)大型賽事過后,大量乘客需要打車,訂單暴增,提供了更多的市場(chǎng)需求,本區(qū)域顯然進(jìn)入嚴(yán)重供不應(yīng)求狀況,從而吸引附近司機(jī)前來本區(qū)域提供服務(wù),增加了本區(qū)域的可供給量,提高了訂單應(yīng)答率。當(dāng)附近司機(jī)已經(jīng)幾乎全都加入時(shí),供給量達(dá)到了短時(shí)極限,然而仍然遠(yuǎn)遠(yuǎn)不足以滿足需求,部分乘客因?yàn)闊o法打上車,只得轉(zhuǎn)向公交地鐵等其他出行方案,使得需求量不再增加。隨著賽事觀眾逐步疏散,沒有更多的新增訂單,則逐漸該區(qū)域部分司機(jī)空閑無單,進(jìn)入供大于求狀態(tài),該部分司機(jī)可能開始通過滴滴司機(jī)app來尋找其他更需要單的區(qū)域,前往新地區(qū)。在類似以上的場(chǎng)景之中,滴滴為保證乘客和司機(jī)在過程中的更好體驗(yàn),努力通過各類供需調(diào)節(jié)技術(shù),盡面對(duì)動(dòng)態(tài)變化的供需情況,如何感知并合理預(yù)測(cè),-36-供給量和需求量的時(shí)序預(yù)測(cè)是許多領(lǐng)域中的—個(gè)重要問題,包括供應(yīng)鏈管理、物流、金融、醫(yī)療保健和電力等行業(yè)。盡管有許多方法可以用于預(yù)測(cè)需求,但仍然存在不少技術(shù)難題：1.數(shù)據(jù)不完整和缺失：預(yù)測(cè)模型需要大量歷史數(shù)據(jù),以便進(jìn)行訓(xùn)練和預(yù)測(cè)。然而,歷史數(shù)據(jù)可能不完整或缺失,這會(huì)影響模型的準(zhǔn)確性。2.季節(jié)性和周期性變化：許多產(chǎn)品或服務(wù)的需求量會(huì)受到季節(jié)性和周期性變化的影響,例如節(jié)假日、周3.突發(fā)事件：突發(fā)事件如天氣、自然災(zāi)害等,可能會(huì)對(duì)需求產(chǎn)生不可預(yù)測(cè)的影響,這使得預(yù)測(cè)更加困難。4.數(shù)據(jù)質(zhì)量問題：數(shù)據(jù)質(zhì)量問題可能會(huì)影響預(yù)測(cè)模型的準(zhǔn)確性,例如數(shù)據(jù)錯(cuò)誤、重復(fù)和異常等。5.模型復(fù)雜度：如果預(yù)測(cè)模型太簡(jiǎn)單,可能無法捕捉到復(fù)雜的需求模式。然而,如果預(yù)測(cè)模型太復(fù)雜,可能會(huì)導(dǎo)致過度擬合數(shù)據(jù),從而降低其預(yù)測(cè)能力。6.時(shí)間滯后效應(yīng)：在某些情況下,需求量的變化可能會(huì)滯后于其影響因素的變化。如果預(yù)測(cè)模型無法捕捉到這種時(shí)間滯后效應(yīng),其預(yù)測(cè)結(jié)果可能會(huì)出現(xiàn)偏差。因此,需要采用合適的算法和技術(shù)來解決這些技術(shù)難題,并根據(jù)特定行業(yè)和需求進(jìn)-37-2.ARIMA模型：ARlMA(自回歸滑動(dòng)平均模型）是—種基于時(shí)間序列的統(tǒng)計(jì)模型，通常用于預(yù)測(cè)具有趨3.LSTM模型：LsTM(長(zhǎng)短期記憶模型）神經(jīng)網(wǎng)絡(luò)模型可以處理長(zhǎng)期依賴關(guān)系，并在預(yù)測(cè)需要考慮多于預(yù)測(cè)非線性、復(fù)雜的時(shí)間序列數(shù)據(jù)。例如基于Transformer的TFT和NsTransformers(非平穩(wěn)時(shí)間序列的通用預(yù)測(cè)框架）、DeepAR(深度自回歸遞歸網(wǎng)絡(luò)）等等。采用具有多種邊類型與元路徑的時(shí)空異構(gòu)圖來刻畫區(qū)域之間的多種空間關(guān)系和復(fù)合括節(jié)點(diǎn)層次和元路徑層次的層次注意力機(jī)制以捕捉空間關(guān)系的異質(zhì)性，在滴滴業(yè)務(wù)場(chǎng)景中取得了顯著的-38-在出行場(chǎng)景對(duì)供需的調(diào)節(jié)廣泛落地在眾多場(chǎng)景,這也是滴滴為整個(gè)出行市場(chǎng)所不斷貢獻(xiàn)的力量。本文僅介紹其中部分內(nèi)容,集中介紹—天以內(nèi)城市司機(jī)調(diào)節(jié)的主要工作。好的使用體驗(yàn)。當(dāng)存在供需不平衡時(shí),則需要通過司機(jī)調(diào)度來平衡局部供需。如果希望通過司機(jī)調(diào)度(將部分司機(jī)從當(dāng)前位置調(diào)度到指定位置）,也就是實(shí)現(xiàn)所有區(qū)域盡可能的“供可以將以上問題簡(jiǎn)單定義為求解最優(yōu)化問題:已知現(xiàn)在的所有司機(jī)位置,可以將任意—名司機(jī)從當(dāng)前位置調(diào)度到指定位置,但每次會(huì)有相應(yīng)成本(比如行駛距離）,那么如何挑選司機(jī)調(diào)度路線,從而使得總整數(shù)規(guī)劃是運(yùn)籌學(xué)中的—種數(shù)學(xué)優(yōu)化問題,它的目標(biāo)是在滿足—些限制條件的情況下,尋找使—個(gè)線性目標(biāo)函數(shù)最小或最大的整數(shù)變量的值。與線性規(guī)劃不同,整數(shù)規(guī)劃要求變量只能取整數(shù)值。因此,整數(shù)-39-1.候選調(diào)度任務(wù):選擇較為合適的調(diào)度司機(jī)、調(diào)度終點(diǎn),并配備有過期時(shí)間和補(bǔ)償金額。2.任務(wù)評(píng)分:計(jì)算出向調(diào)度終點(diǎn)時(shí)空增加—個(gè)空閑司機(jī)可能會(huì)帶來的邊際增益,以此作為每—個(gè)候選調(diào)同時(shí)也可以獲得每個(gè)時(shí)空狀態(tài)的司機(jī)缺口數(shù)量:3.進(jìn)行規(guī)劃求解:以保障司機(jī)體驗(yàn)作為約束,最大化調(diào)度總收益。-40-司機(jī)全天跑在城市中,通常是自行規(guī)劃自己的出車/接單方式,比如估計(jì)什么區(qū)域有更多訂單、空閑時(shí)是否休息、出車收車時(shí)間等等,在部分產(chǎn)品形態(tài)中,司機(jī)可以挑選適合自己的訂單,那么很多司機(jī)經(jīng)過常年摸索,會(huì)形成自己—套出車/接單方法,成為經(jīng)驗(yàn)豐富的老司機(jī)。而很多新加入平臺(tái)的新司機(jī)又缺乏這些經(jīng)驗(yàn),短期內(nèi)可能不平臺(tái)努力為司機(jī)提供更多信息和支持,能夠幫助司機(jī)規(guī)劃好自己的出車方式,盡早成為老司機(jī),包括但-熱力圖-熱區(qū)紅包-長(zhǎng)時(shí)段的路線規(guī)劃略”,幫助新司機(jī)盡快熟悉。與強(qiáng)化學(xué)習(xí)不同,模仿學(xué)習(xí)不需要對(duì)環(huán)境進(jìn)行交互,而是利用已知的演示數(shù)據(jù)進(jìn)行學(xué)習(xí)。在模仿學(xué)習(xí)中,通常使用監(jiān)督學(xué)習(xí)方法來學(xué)習(xí)—個(gè)從狀態(tài)到動(dòng)作的映射。具體來說,我們將已知的演示數(shù)據(jù)作為輸入,將演示者在每個(gè)狀態(tài)下采取的動(dòng)作作為輸出,利用監(jiān)督學(xué)習(xí)算法來學(xué)習(xí)—個(gè)最優(yōu)的映射-41-離線強(qiáng)化學(xué)習(xí)是—種強(qiáng)化學(xué)習(xí)方法,與在線強(qiáng)化學(xué)習(xí)不同,它不需要與環(huán)境進(jìn)行交互,而是直接使用離線數(shù)據(jù)集進(jìn)行訓(xùn)練。離線強(qiáng)化學(xué)習(xí)的目標(biāo)是從給定的數(shù)據(jù)集中學(xué)習(xí)出—個(gè)最優(yōu)的策略,使其在未來的實(shí)在離線強(qiáng)化學(xué)習(xí)中,數(shù)據(jù)集通常由歷史經(jīng)驗(yàn)數(shù)據(jù)組成,這些數(shù)據(jù)已經(jīng)由以前的交互式學(xué)習(xí)或模擬生成,可以直接用于離線訓(xùn)練。離線強(qiáng)化學(xué)習(xí)的優(yōu)點(diǎn)是可以減少實(shí)際交互成本,可以利用大量的歷史經(jīng)驗(yàn)數(shù)據(jù)進(jìn)行訓(xùn)練,同時(shí)可以避免實(shí)時(shí)學(xué)習(xí)的風(fēng)險(xiǎn)和不確定性。為state,模仿司機(jī)游走到周邊位置、選擇訂單等操作作為Action,以—段較長(zhǎng)時(shí)間的總收入作為在該系統(tǒng)上,可以采用多種omineRL方法進(jìn)行學(xué)習(xí),例如AWAC、TD3+BC、CQL、lQL等。同時(shí),供給和需求是交易市場(chǎng)中最重要的主體,對(duì)市場(chǎng)的影響至關(guān)重要。它們之間存在著復(fù)雜的動(dòng)態(tài)變化和相需要不斷采取合適的策略來應(yīng)對(duì),從而構(gòu)建良好的市場(chǎng)環(huán)境。作為—家出行平臺(tái),滴滴需要根據(jù)不同地區(qū)和時(shí)段的供需情況,調(diào)整資源的分配和調(diào)度,以保證司機(jī)和乘客的體驗(yàn)。在這個(gè)過程中,滴滴需要做好供需預(yù)測(cè),通過數(shù)據(jù)分析和機(jī)器學(xué)習(xí)等技術(shù)手段,預(yù)測(cè)市場(chǎng)的變化趨勢(shì),并進(jìn)行相應(yīng)的調(diào)整和優(yōu)化。同時(shí),滴滴也在不斷地幫助新司機(jī)成為老司機(jī),讓他們掌握更好的出車方式,以提高效率和收益。通過信息和建議,滴滴幫助司機(jī)更好地理解市場(chǎng)需求,提高服務(wù)質(zhì)量和接單效率,從而獲得更多收入。滴滴作為供需雙方之間的協(xié)調(diào)平臺(tái),致力于實(shí)現(xiàn)平衡、體驗(yàn)好的供需環(huán)境,為乘客和司機(jī)提供更好的服-42-2.shuaiLing,zheyu,shaoshengcao,Haipengzhang,andsimonHu.2023.sTHAN:Transportation-43-研發(fā)的系統(tǒng)?？梢栽诳臻g(地圖網(wǎng)格、區(qū)縣、城市）和時(shí)間(瞬時(shí)、分鐘、小時(shí)）粒度上計(jì)算和存儲(chǔ)海量供需特征,供算法模型實(shí)時(shí)查詢和讀取。隨著業(yè)務(wù)的發(fā)展,算法模型也在不斷演進(jìn)送代,從簡(jiǎn)單的模型到現(xiàn)在復(fù)雜的深度學(xué)習(xí)模型,在預(yù)估效果變得愈發(fā)精準(zhǔn)的同時(shí),對(duì)時(shí)空供需系統(tǒng)的性能和送代效率等在供需調(diào)節(jié)業(yè)務(wù)發(fā)展的初期,工程同學(xué)為了提升支撐策略送代的效率,抽象出了—套通用的配置化供需特征生產(chǎn)框架,取得了巨大的業(yè)務(wù)收益。該框架由四部分組成：特征計(jì)算、特征配置中心、在線特征獲取和離線特征落表,如下圖所示：-44-.特征計(jì)算:從MQ消費(fèi)各類業(yè)務(wù)事件,流式計(jì)算產(chǎn)出實(shí)時(shí)供需特征.特征配置中心:對(duì)于計(jì)算邏輯相對(duì)簡(jiǎn)單的特征,在配置中心中維護(hù)MQtopic和特征的映射關(guān)系,以及特征的計(jì)算邏輯,實(shí)現(xiàn)配置化。對(duì)于復(fù)雜特征,則在特征計(jì)算模塊中開發(fā)定制化代碼來實(shí)現(xiàn).在線特征獲取:支持以特征語義、時(shí)間、空間等多個(gè)維度對(duì)供需特征數(shù)據(jù)進(jìn)行查詢.離線特征落表:定時(shí)拉取Kv存儲(chǔ)中的增量數(shù)據(jù),由大數(shù)據(jù)組件采集到HlvE表中隨著業(yè)務(wù)的發(fā)展,業(yè)務(wù)邏輯的精細(xì)化,以及數(shù)據(jù)體量的增大,該框架逐漸暴露以下不足:.存儲(chǔ)層水平擴(kuò)展方面:系統(tǒng)架構(gòu)只支持單redis存儲(chǔ)集群,隨著redis集群規(guī)模的增大,擴(kuò)容帶來的收.可用性方面:使用單—redis存儲(chǔ)集群,如果存儲(chǔ)層出現(xiàn)集群級(jí)別的故障,系統(tǒng)缺乏故障轉(zhuǎn)移的能力,.性能方面:特征查詢qps50w+,由于特征加載邏輯比較復(fù)雜,扇出到存儲(chǔ)層的qps高達(dá)800w+。出SLA,影響算法模型的預(yù)估效果。.研發(fā)效率方面:隨著業(yè)務(wù)的精細(xì)化和智能化,特征語義和口徑預(yù)發(fā)復(fù)雜,需要定制化開發(fā)代碼的場(chǎng)景增多,研發(fā)周期較長(zhǎng)。.存儲(chǔ)架構(gòu)方面:引入路由層支持多存儲(chǔ)集群,提升存儲(chǔ)資源水平擴(kuò)展能力；數(shù)據(jù)讀寫路由支持熱更新,.性能方面:通過多級(jí)緩存、特征與計(jì)算、延遲隊(duì)列替換定時(shí)任務(wù)等組合優(yōu)化,有效緩解度放大、耗時(shí)毛刺等問題,服務(wù)體驗(yàn)顯著提升.研發(fā)效率方面:對(duì)特征生-45-在新系統(tǒng)框架中,存儲(chǔ)架構(gòu)治理需要達(dá)成的目標(biāo)是:.提升系統(tǒng)存儲(chǔ)層的水平擴(kuò)展能力.提升系統(tǒng)可用性,降低存儲(chǔ)單點(diǎn)故障的影響面和恢復(fù)時(shí)間在業(yè)界主流的redis集群實(shí)現(xiàn)中,集群中redis實(shí)例的數(shù)量均不能無限制的擴(kuò)展:.codis:隨著redis實(shí)例數(shù)量的增多,zk會(huì)出現(xiàn)性能瓶頸.rediscluster:redis實(shí)例數(shù)量越多,gossip協(xié)議廣播風(fēng)暴對(duì)于網(wǎng)絡(luò)以及服務(wù)器壓力也就越大為了提升系統(tǒng)存儲(chǔ)層水平擴(kuò)展的能力,我們決定將現(xiàn)有redis存儲(chǔ)集群拆分成若干個(gè)規(guī)模較小的集群,同時(shí)為系統(tǒng)引入數(shù)據(jù)路由層負(fù)責(zé)管理多存儲(chǔ)集群的路由策略。當(dāng)某個(gè)redis集群無法繼續(xù)擴(kuò)容時(shí),能夠接入新的redis集群來水平擴(kuò)展系統(tǒng)的容量。同時(shí)也便于把每個(gè)集群的規(guī)?？刂坪侠淼姆秶鷥?nèi),提升資源的投入產(chǎn)出比。從可用性的角度看,雞蛋也不能都放在同—個(gè)籃子里。.特征讀寫路由配置:維護(hù)不同特征讀寫的目標(biāo)集群。支持熱更新,支持—鍵式的數(shù)據(jù)遷移.存儲(chǔ)集群路由路由層:解析讀寫請(qǐng)求中的特征,匹配路由配置中的目標(biāo)集群,把請(qǐng)求轉(zhuǎn)發(fā)-46-通過某個(gè)唯—標(biāo)識(shí)把數(shù)據(jù)均勻散列到多個(gè)存儲(chǔ)集群,或者按照時(shí)間分段存儲(chǔ)保證范圍查詢的效率,是幾種常見的分表方式。然兒基于時(shí)空供需特征自身的讀寫特點(diǎn),以上方式并不能很好解決擴(kuò)展性的問題,.優(yōu)勢(shì)：拆分后各redis集群的數(shù)據(jù)如果業(yè)務(wù)方批量查詢某個(gè)語義的特征在多個(gè)空間和時(shí)間片上的值,請(qǐng)求可能會(huì)扇出到多個(gè)redis集群,所有集群都需要進(jìn)行數(shù)據(jù)遷移,擴(kuò)縮容的復(fù)雜度和成本會(huì)更高.優(yōu)勢(shì)：相對(duì)第—種方式,特征批量查詢的流量扇出較小。同時(shí)不同語義的特征讀寫的復(fù)雜度不同,體現(xiàn)在使用的redis命令的數(shù)量和時(shí)間復(fù)雜度有比較大的差異,因此這種方式也在資源層面起到了"快慢隔離"的效果,偶發(fā)慢查詢對(duì)整體服務(wù)質(zhì)量的影響更小。.劣勢(shì)：需要為每個(gè)語義的特征獨(dú)立維護(hù)讀寫集群的路由配置,相比hash這種無業(yè)務(wù)屬性的拆分方式,可以發(fā)現(xiàn)第二種數(shù)據(jù)拆分方式更加契合時(shí)空供需系統(tǒng)的業(yè)務(wù)和數(shù)據(jù)特點(diǎn)。關(guān)于要為不同語義特征單獨(dú)維護(hù)讀寫路由配置的痛點(diǎn),在實(shí)際落地的過程中進(jìn)行了—些優(yōu)化：.初期通過開發(fā)自動(dòng)化腳本,批量、自動(dòng)為特征配置增加讀寫路由配置,降低人力投入成本.同時(shí)配套建設(shè)集群管理平臺(tái),中長(zhǎng)期可以通過頁面化的方式來管理每個(gè)特征的讀寫路由配置,以更靈活的根據(jù)業(yè)務(wù)需要熱更新特征的路由配置,高效完成存儲(chǔ)層的擴(kuò)縮容和故障轉(zhuǎn)移等操作-47-群的數(shù)據(jù)遷移到新的redis集群,在這個(gè)過程中,更重要是保障系統(tǒng)的穩(wěn)定性以及數(shù)據(jù)的一致性,同時(shí)試平臺(tái),研發(fā)同學(xué)可以快速搭建兩套分別模擬線上穩(wěn)定版本和升級(jí)后版本的特征讀寫流量的測(cè)試環(huán)境?；谄脚_(tái)的引流功能,兩套測(cè)試環(huán)境可以實(shí)時(shí)消費(fèi)線上mq事件流量的拷貝,并通過自動(dòng)化程序?qū)商篆h(huán)境產(chǎn)出的數(shù)據(jù)進(jìn)行dif校驗(yàn)行dif率校驗(yàn),確保在雙寫時(shí)間大于數(shù)據(jù)ttl后,新舊.止損預(yù)案：整個(gè)升級(jí)過程中涉及的線上操作,均可以通過配置中心一鍵回滾,保證出現(xiàn)異常時(shí)有手段由于線上有大量算法模型使用實(shí)時(shí)供需特征,redis存儲(chǔ)層的流量壓力巨大（在redis實(shí)例層統(tǒng)計(jì)的請(qǐng)求.本地緩存：每次查詢r(jià)edis之后,把特征值緩存在本地內(nèi)存中,降低對(duì)redis的請(qǐng)求壓力.預(yù)計(jì)算：對(duì)于高qps大模型需要的特征數(shù)據(jù)進(jìn)行預(yù)計(jì)算聚合,降低對(duì)redis實(shí)例層的流量扇出.引入延遲隊(duì)列優(yōu)化定時(shí)任務(wù)毛刺-48-同時(shí)由于系統(tǒng)在業(yè)務(wù)上是提供的是短時(shí)供需特征,絕大部分算法模型讀取的都是最近半個(gè)小時(shí)之內(nèi)的數(shù)據(jù),數(shù)據(jù)存在熱點(diǎn)可以進(jìn)一步提升本地緩存的收益。特征數(shù)據(jù)的業(yè)務(wù)請(qǐng)求有比較大的概率被均衡到不同的查詢服務(wù)節(jié)點(diǎn)上,因此早期特征本地緩存的命中率實(shí)際上,系統(tǒng)的特征存在兩種時(shí)間屬性：靜態(tài)類和實(shí)時(shí)類。其中實(shí)時(shí)特征,在每次讀取時(shí)需要基于存儲(chǔ)中的數(shù)據(jù)計(jì)算其瞬時(shí)值,無法進(jìn)行本地緩存操作。因此這里的優(yōu)化思路是把查詢服務(wù)獨(dú)立為兩個(gè)集群,分別提供這兩類不同時(shí)間屬性特征的查詢服務(wù)。在api服務(wù)對(duì)請(qǐng)求的特征按照時(shí)間屬性進(jìn)行分組,依托服務(wù)發(fā)現(xiàn)組件,分別路由到不同的查詢服務(wù)集群。在方案評(píng)估階段,經(jīng)測(cè)算系統(tǒng)靜態(tài)特征的查詢流量占比在60%以上,不過在最終落地之后提供靜態(tài)特征查詢服務(wù)的集群只使用了相當(dāng)于原集群40%的docker數(shù),這是因?yàn)楠?dú)立集群之后,由于節(jié)點(diǎn)數(shù)的減少,本地緩存的命中率有大幅度的提升,由于與redis之間的網(wǎng)絡(luò)lo減少,可以使用更少的資源抗住相在經(jīng)過一段時(shí)間的調(diào)試之后,目前的優(yōu)化收益是：特征查詢服務(wù)節(jié)點(diǎn)數(shù)減少20%,靜態(tài)特征本地緩存命中率提升20%,高峰期redis集群響應(yīng)時(shí)間下降30%。-49-上游部分"大模型"請(qǐng)求qps高并且每次拉取的特征數(shù)量多,在按照特征語義進(jìn)行redis存儲(chǔ)集群拆分之后,這類模型的流量會(huì)打到多個(gè)redis集群,有必要針對(duì)這類場(chǎng)景進(jìn)行特征的預(yù)計(jì)算處理以降低集群優(yōu)先投入資源優(yōu)化這類場(chǎng)景的收益都是更大的。對(duì)于大批量的特征查詢,mget請(qǐng)求會(huì)被redis集群路由到多個(gè)redis實(shí)例之上,對(duì)于redis實(shí)例的負(fù)載壓力更大。其中任意redis實(shí)例出現(xiàn)耗時(shí)抖動(dòng),都會(huì)整個(gè)請(qǐng)求的響應(yīng),體現(xiàn)在特征查詢服務(wù)上就是高峰期的耗時(shí)毛刺較多。這些大模型的預(yù)估在同一個(gè)時(shí)空下,可以有同一個(gè)用戶或者多個(gè)不同的用戶多次觸發(fā),前文提到系統(tǒng)中的靜態(tài)特征在相同時(shí)空下是固定的,因此在時(shí)空維度下這是一個(gè)典型的讀多寫少的業(yè)務(wù)場(chǎng)景,可以采用.在特征產(chǎn)的過程中,記錄在哪些時(shí)空下大模型關(guān)聯(lián)的特征發(fā)生了變化.在時(shí)間片切換之后,觸發(fā)預(yù)計(jì)算任務(wù),對(duì)上一個(gè)時(shí)間片的的增量數(shù)據(jù)按照時(shí)間和空間兩個(gè)維度進(jìn)行聚合,.進(jìn)行特征查詢時(shí),需要讀取key的數(shù)量有時(shí)間、空間、語義的笛卡爾積,縮減為時(shí)間和空間兩個(gè)維度實(shí)際上預(yù)計(jì)算任務(wù)本身也會(huì)增加存儲(chǔ)層的壓力,但對(duì)于這個(gè)讀多寫少的業(yè)務(wù)場(chǎng)景,并不是主要的矛盾。在實(shí)際上線之后redis實(shí)例層的訪問流量降低了35%,大模型特征查詢的p99耗時(shí)下降了15%。-50-供需特征除了支持線上算法模型的實(shí)時(shí)預(yù)估之外,也需要把特征數(shù)據(jù)落到hive表中,以支撐離線的模型訓(xùn)練和數(shù)據(jù)分析。過去采用的是分鐘增量的采集的方式,系統(tǒng)需要標(biāo)記新增的數(shù)據(jù),通過分鐘級(jí)的定時(shí)任務(wù),從redis讀取增量的特征數(shù)據(jù)打印日志,并由大數(shù)據(jù)組件采集日志同步到離線的hive表。其中的痛點(diǎn)是,定時(shí)任務(wù)從redis讀取增量數(shù)據(jù)時(shí),請(qǐng)求脈沖比較嚴(yán)重,導(dǎo)致在定時(shí)任務(wù)執(zhí)行過程中,由于存儲(chǔ)復(fù)雜比較大,其他業(yè)務(wù)流量的耗時(shí)上漲比較明顯。以下是考慮過的優(yōu)化思路：.打印特征生產(chǎn)的明細(xì)日志，每分鐘把明細(xì)日志聚合為大數(shù)據(jù)采集需要的格式.優(yōu)勢(shì)：不需要額外訪問redis.劣勢(shì)：明細(xì)數(shù)據(jù)日志量過大,本地磁盤存儲(chǔ)成本高。日志聚合任務(wù)需要考慮系統(tǒng)崩潰等異常場(chǎng)景下的數(shù)據(jù)完整性,實(shí)現(xiàn)難度比較大.控制從redis讀取增量數(shù)據(jù)的并發(fā)度和請(qǐng)求間隔.優(yōu)勢(shì)：可以在不需要大的架構(gòu)層面的改造的前提下,打平請(qǐng)求脈沖.劣勢(shì)：不同時(shí)段增量特征的數(shù)據(jù)量差異較大,并發(fā)度和請(qǐng)求間隔很難評(píng)估和控制。嘗試類似TCP擁塞控制等自適應(yīng)算法的實(shí)現(xiàn)復(fù)雜度較高,增加系統(tǒng)的維護(hù)成本.優(yōu)勢(shì)：架構(gòu)清晰簡(jiǎn)單清晰、可隨機(jī)打散延遲時(shí)間實(shí)現(xiàn)流量的平滑.劣勢(shì)：需要對(duì)架構(gòu)進(jìn)行—定的改造綜合評(píng)估實(shí)現(xiàn)復(fù)雜度和平滑效果,我們最終采用了第三種方案,如下圖所示：對(duì)于每條特征數(shù)據(jù)只有在每分鐘第—次變化時(shí)需要把數(shù)據(jù)的標(biāo)識(shí)寫入延遲隊(duì)列,通過把延遲時(shí)間均勻打散到下—分鐘的0-59秒,從而保證下游的落表服務(wù)可以平滑的從redis拉取增量數(shù)據(jù),相比之前的落表定時(shí)任務(wù),對(duì)存儲(chǔ)幾乎沒有脈沖式請(qǐng)求流量。-51-在性能優(yōu)化的過程中主要采用的是自頂向下的思路,上述提到的系統(tǒng)架構(gòu)和業(yè)務(wù)模型的升級(jí),收益和人力投入相對(duì)更加明確和容易評(píng)估。以下簡(jiǎn)要闡述—些我們采用過的其他通用的性能永華手段,同樣也取.對(duì)頻繁創(chuàng)建釋放的小對(duì)象進(jìn)行池化處理.對(duì)線程安全的對(duì)象進(jìn)行單例模式改造.對(duì)并發(fā)訪問的map,進(jìn)行分桶,降低鎖的粒度使用GCtrace優(yōu)化服務(wù)的GC.通過耗時(shí)監(jiān)控發(fā)現(xiàn)服務(wù)每分鐘前10秒的p99耗時(shí)是其他時(shí)間的5-6倍。在進(jìn)行g(shù)ctrace分析時(shí),可在gc時(shí)進(jìn)行了長(zhǎng)時(shí)間的輔助標(biāo)記,初步懷疑耗時(shí)毛刺是由于程序gc引起的。基于以上我們想到,供需特征帶有時(shí)間屬性,每分鐘前10秒會(huì)R&Deiciencygains在舊的系統(tǒng)框架中,研發(fā)效率存在兩個(gè)主要的痛點(diǎn)：.由于配置化能力較弱,需要大量的代碼開發(fā)來實(shí)現(xiàn)口徑比較復(fù)雜的特征,送代周期較長(zhǎng).特征生產(chǎn)邏輯缺乏模塊劃分和功能抽象,導(dǎo)致在相似的特征之間,已有的代碼和能力無法復(fù)用。-52-.梳理過往所有特征的語義和計(jì)算邏輯,對(duì)特征生產(chǎn)流程進(jìn)行抽象和拆分,進(jìn)行組件化設(shè)計(jì)。.如上圖所示,特征生產(chǎn)流程被解糯為多個(gè)職責(zé)單一的組件,彼此只依賴數(shù)據(jù)交互的協(xié)議,因此每個(gè)組件都可以橫向擴(kuò)展,靈活組合以適應(yīng)不同的業(yè)務(wù)場(chǎng)景。組件化的設(shè)計(jì)在提升靈活性和復(fù)用性的同時(shí),進(jìn)而可以通過配置化的方式對(duì)特征生產(chǎn)流程進(jìn)例如,某個(gè)特征的生產(chǎn)需要消費(fèi)上游mq中發(fā)單事件,以下是消息解析組件的配置示意如果該特征的生產(chǎn)邏輯中需要對(duì)訂單的字段進(jìn)行一些業(yè)務(wù)校驗(yàn),以下是相應(yīng)的規(guī)則校驗(yàn)組件配置-53-隊(duì)保持良好的編碼風(fēng)格和規(guī)范同樣非常重要時(shí)空功能系統(tǒng)發(fā)展到今天，離不開各團(tuán)隊(duì)的支持。非常感謝QA團(tuán)隊(duì)在自動(dòng)化測(cè)試和數(shù)據(jù)質(zhì)量監(jiān)控的建-54-11在網(wǎng)約車雙邊交易市場(chǎng)中,量化策略對(duì)平衡市場(chǎng)供需的影響起著重要的作用。對(duì)市場(chǎng)供需的影響分為兩種情況:.短期價(jià)值:當(dāng)前策略對(duì)當(dāng)前供需的即時(shí)干預(yù)影響。.長(zhǎng)期價(jià)值:當(dāng)前策略對(duì)未來—段時(shí)間供需的長(zhǎng)期干預(yù)影響。從技術(shù)角度來說,我們可以將策略定義為處理變量(treatment）,將其對(duì)市場(chǎng)供需的影響定義為處理效應(yīng)(treatmentefect）,而建模處理變量和處理效應(yīng)之間的效應(yīng)估計(jì)模型被稱為增益模型(uplift讀者感興趣可以參考我們之前發(fā)的文章:《連續(xù)因果森林模型的構(gòu)造與實(shí)踐》。而長(zhǎng)期價(jià)值的效應(yīng)估計(jì)往往需要長(zhǎng)期實(shí)驗(yàn)數(shù)據(jù)支持,但長(zhǎng)期實(shí)驗(yàn)存在兩個(gè)問題:—方面缺乏時(shí)效性；另—方面成本昂貴。針對(duì)長(zhǎng)期實(shí)驗(yàn)面臨的兩個(gè)難題,滴滴MPT團(tuán)隊(duì)通過“滴滴蓋亞科研合作計(jì)劃”與在因果推斷、因果學(xué)習(xí)領(lǐng)域深耕多年的廣東工業(yè)大學(xué)計(jì)算機(jī)學(xué)院察瑞初教授開展合作,采用基于策略的短期結(jié)果對(duì)長(zhǎng)期價(jià)值進(jìn)行評(píng)估的技術(shù)思路,設(shè)計(jì)了基于短期替代變量的因果效應(yīng)估計(jì)模型(Laser:LAtentsurrogatERepresenlearning）,提升長(zhǎng)期效應(yīng)估計(jì)的時(shí)效性,降低實(shí)驗(yàn)成本。-55-評(píng)估長(zhǎng)期效應(yīng)最理想的狀態(tài)就是做長(zhǎng)期實(shí)驗(yàn),但出于成本等因素的約束,長(zhǎng)期實(shí)驗(yàn)的目標(biāo)很難達(dá)成,我們不得不使用短期數(shù)據(jù)來推斷長(zhǎng)期效應(yīng)。因此我們希望借助短期結(jié)果變量作為替代指數(shù)(surrogateindex/sind）,繼而得到長(zhǎng)期結(jié)果變量和因果效應(yīng)。因果圖如左下圖所示:真實(shí)情況中,存在可被觀測(cè)替代指數(shù)(observedsurrogate,右下圖so）,和未被觀測(cè)替代指數(shù)(latentsurrogate,下圖sl）。其中,sl存在某些代理變量p。因此替代指數(shù)方法主要有兩個(gè)問題:.存在未被觀測(cè)的替代指數(shù)sl,它們無法被作為特征使用.很難區(qū)分可被觀測(cè)替代指數(shù)so和代理變量p我們的方法(Laser）就是為了解決以上難點(diǎn)并評(píng)估長(zhǎng)期因果效應(yīng)。我們的數(shù)據(jù)集分為兩部分,實(shí)驗(yàn)數(shù)據(jù)集和觀測(cè)數(shù)據(jù)集,其中在實(shí)驗(yàn)數(shù)據(jù)集中,我們無法觀測(cè)到長(zhǎng)期結(jié)果:-56-.(partiallyLatentSurrogacyAssumption）給定協(xié)變量和所有替代指數(shù)，干預(yù)t和長(zhǎng)期結(jié)果y相互獨(dú)立(注意給定可觀測(cè)短期結(jié)果so和p無法阻斷t到y(tǒng)的因果路徑是為了恢復(fù)替代指數(shù)的條件概率分布-57-network,其目的是為了推斷短期結(jié)果變量m和長(zhǎng)期結(jié)果變量y的條件在inferencenetwork中,我們加入干預(yù)變量t、其他協(xié)變量x、和短期結(jié)果變量m(包括p和so）。在generativenetwork中,我們將短期結(jié)果變量和長(zhǎng)期結(jié)果變量的條件概率分布均定義為正態(tài)分布,-58-對(duì)于長(zhǎng)期結(jié)果y,我們額外使用y的log-likelihood作為loss訓(xùn)練這個(gè)MLP線評(píng)測(cè)結(jié)果上,基于新方法的離線評(píng)測(cè)均取得了不錯(cuò)的提升：-59-通過借助短期結(jié)果變量作為替代指數(shù),構(gòu)建針對(duì)性的模型結(jié)構(gòu)(Laser）去進(jìn)行長(zhǎng)期效應(yīng)估計(jì),該方法解決了長(zhǎng)期效應(yīng)估計(jì)中的時(shí)效性和成本兩大難題,同時(shí)在離線評(píng)測(cè)集上驗(yàn)證了該方法的有效性。同時(shí)該方法后續(xù)實(shí)際生產(chǎn)應(yīng)用過程中如果取得新的進(jìn)展,會(huì)繼續(xù)與大家分享!-61-滴滴實(shí)時(shí)數(shù)據(jù)鏈路建設(shè)隨著滴滴內(nèi)部技術(shù)棧的不斷統(tǒng)—,實(shí)時(shí)相關(guān)技術(shù)組件資源的不斷整合,各業(yè)務(wù)線實(shí)時(shí)數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗(yàn)的不斷沉淀,基本形成了—套面向公司不同業(yè)務(wù)場(chǎng)景需求的最佳技術(shù)選型和具體落地方案。但同時(shí)我們也發(fā)現(xiàn),大部分實(shí)時(shí)開發(fā)同學(xué)在做實(shí)時(shí)數(shù)據(jù)建設(shè)過程中會(huì)籠統(tǒng)的把實(shí)時(shí)數(shù)據(jù)建設(shè)等同于nink數(shù)據(jù)開發(fā),常常把實(shí)時(shí)數(shù)據(jù)處理過程中的其他相關(guān)組件放在邊緣位置,無法高效的整合數(shù)據(jù)處理組件來完成不同業(yè)務(wù)場(chǎng)景的實(shí)時(shí)需求。為此,我們從當(dāng)前公司內(nèi)的典型實(shí)時(shí)數(shù)據(jù)開發(fā)方案出發(fā),整理了不同場(chǎng)景下的實(shí)時(shí)數(shù)據(jù)建設(shè)技術(shù)選型,幫助大家更好的進(jìn)行實(shí)時(shí)數(shù)據(jù)建設(shè),為業(yè)務(wù)持續(xù)輸出高質(zhì)量且穩(wěn)定的實(shí)時(shí)數(shù)據(jù)價(jià)值。實(shí)時(shí)指標(biāo)監(jiān)控：例如產(chǎn)研側(cè)指標(biāo)穩(wěn)定性監(jiān)控,業(yè)務(wù)側(cè)實(shí)時(shí)指標(biāo)異常波動(dòng)監(jiān)控,運(yùn)營(yíng)大盤業(yè)務(wù)健康度監(jiān)控等。這類場(chǎng)景的主要特點(diǎn)是對(duì)數(shù)據(jù)及時(shí)性要求很-62-實(shí)時(shí)BI分析：主要面向數(shù)據(jù)分析師和運(yùn)營(yíng)同學(xué)配置實(shí)時(shí)看板或者實(shí)時(shí)報(bào)表,包括公司運(yùn)營(yíng)大盤、實(shí)時(shí)核心看板,展廳實(shí)時(shí)大屏等。這類場(chǎng)景的主要特點(diǎn)是對(duì)數(shù)據(jù)準(zhǔn)確性要求極高,對(duì)數(shù)據(jù)及時(shí)性容許有一定延遲,需要支持較復(fù)雜的數(shù)據(jù)分析能力。實(shí)時(shí)數(shù)據(jù)在線服務(wù)：主要以APl接口的方式提供實(shí)時(shí)指標(biāo),多用于為數(shù)據(jù)產(chǎn)品提供實(shí)時(shí)數(shù)據(jù)。這類場(chǎng)景對(duì)數(shù)據(jù)及時(shí)性和準(zhǔn)確性要求較高,指標(biāo)計(jì)算復(fù)雜度一般,對(duì)接口查詢QPS要求非常高,在提供實(shí)時(shí)數(shù)性、準(zhǔn)確性、查詢QPS要求一般,但其本身實(shí)現(xiàn)邏輯對(duì)實(shí)時(shí)計(jì)算引擎的使用要求較高,要求實(shí)時(shí)計(jì)算引擎有較強(qiáng)的實(shí)時(shí)數(shù)據(jù)處理能力,較強(qiáng)的狀態(tài)存儲(chǔ)能力,較豐富的外部組件對(duì)接能力。22實(shí)時(shí)數(shù)據(jù)開發(fā)在公司內(nèi)的通用方案公司內(nèi)實(shí)時(shí)數(shù)據(jù)開發(fā)通用方案組件主要包括：時(shí)數(shù)據(jù)集存儲(chǔ)、實(shí)時(shí)數(shù)據(jù)應(yīng)用共六個(gè)部分,目前這六個(gè)部分使用的組件基本穩(wěn)定,各組件都可以在相應(yīng)-63-MYSQL的binlog日志是通過阿里開源的采集工具canal完成,canal的工作原理是把自己偽裝成MYSQLslave,模擬MYSQLslave的交互協(xié)議向MYSQLMaster發(fā)送dump協(xié)議,MYSQLmas任務(wù)開始執(zhí)行,最終把日志發(fā)送到kafka中。年底開源的產(chǎn)品,他使用RocketMQ和kafka作為消息的低層存儲(chǔ)引擎,主要特點(diǎn)是支持延遲和事務(wù)消息,同時(shí)也支持復(fù)雜的消息轉(zhuǎn)發(fā)過濾功能；publiclog主要使用kafka作為消息通道,實(shí)時(shí)任務(wù)中間鏈路的開發(fā)也主要使用kafka作為存儲(chǔ)媒介,其主要特點(diǎn)是高可擴(kuò)展性和生態(tài)完善,與Flink配合開發(fā)效率極高,組件運(yùn)維很方便。主要功能是把從源頭采集的數(shù)據(jù),根據(jù)業(yè)務(wù)需要進(jìn)行離線和實(shí)時(shí)數(shù)據(jù)分離。平臺(tái)對(duì)離線場(chǎng)景所需的數(shù)據(jù)時(shí)場(chǎng)景所需的數(shù)據(jù),使用內(nèi)嵌實(shí)時(shí)計(jì)算引擎的Dsink任務(wù)完成數(shù)據(jù)采集配置并把結(jié)果推送到kafka消息隊(duì)列中,同時(shí)也會(huì)把數(shù)據(jù)落盤到hdfs中構(gòu)建離線增量或全量ods表。目前公司內(nèi)實(shí)時(shí)任務(wù)開發(fā)已經(jīng)全部整合到數(shù)夢(mèng)(一站式數(shù)據(jù)開發(fā)平臺(tái)）的實(shí)時(shí)開發(fā)平臺(tái)上,支持ηinkjar和ηinksql兩種模式,截止2022年6月平臺(tái)上運(yùn)行的實(shí)時(shí)任務(wù)中jar任務(wù)占8%,sql任務(wù)占92%。在日常的實(shí)時(shí)任務(wù)開發(fā)中推薦使用Flink1.12的SQL語法完成實(shí)時(shí)任務(wù)的開發(fā),一方面保證指標(biāo)口徑的一致性,另一方面也能提高實(shí)時(shí)任務(wù)的可維護(hù)性。用戶在任務(wù)開發(fā)過程中,建議引入并使用本地調(diào)試功能,盡可能規(guī)避實(shí)時(shí)任務(wù)開發(fā)過程中的錯(cuò)誤,提高實(shí)時(shí)任務(wù)上線成功率。通常我們?cè)趯?shí)時(shí)開發(fā)平臺(tái)上主要完成的工作是ETL操作或輕度匯總指標(biāo)的計(jì)算,然后把處理結(jié)果寫入下游sink中。-64-景可以把數(shù)據(jù)寫入clickhouse中來配置多樣化目前各下游sink已經(jīng)整合進(jìn)平臺(tái)，對(duì)于使用druid的情況—般需要在woater(統(tǒng)—指標(biāo)監(jiān)控平臺(tái)）上配置Datasource，對(duì)于使用clickhouse的情況—般需要在數(shù)易(Bl分析平臺(tái)）上配置數(shù)據(jù)集。-65-對(duì)于實(shí)時(shí)結(jié)果數(shù)據(jù),常用的使用方式包括在woater(統(tǒng)—指標(biāo)監(jiān)控平臺(tái)）平臺(tái)上創(chuàng)建實(shí)時(shí)指標(biāo),同時(shí)配置對(duì)應(yīng)的實(shí)時(shí)看板或者實(shí)時(shí)監(jiān)控報(bào)警,滿足業(yè)務(wù)分鐘級(jí)的結(jié)果指標(biāo)監(jiān)控和實(shí)時(shí)曲線分析。也可以在數(shù)33特定場(chǎng)景下的實(shí)時(shí)數(shù)據(jù)開發(fā)組件選型以上鏈路是當(dāng)前實(shí)時(shí)任務(wù)開發(fā)的主要開發(fā)鏈路,在實(shí)時(shí)開發(fā)過程中,結(jié)合業(yè)務(wù)具體需要和各平臺(tái)的能力優(yōu)劣,我們需要具體問題具體分析,根據(jù)不同業(yè)務(wù)場(chǎng)景,選擇最合適的開發(fā)選型。場(chǎng)景特點(diǎn)：對(duì)時(shí)間序列依賴明顯,對(duì)指標(biāo)及時(shí)性要求較高,對(duì)指標(biāo)精確度—般,對(duì)查詢QPs要求較高,該類場(chǎng)景建議在woater(統(tǒng)—指標(biāo)監(jiān)控平臺(tái)）上配置Datasource,基于監(jiān)控要求設(shè)置對(duì)應(yīng)的指標(biāo)列和維度列,為提升查詢效率需要配置聚合粒度,常用聚合粒度為30s或1min,同時(shí)對(duì)于需要計(jì)算uv類指標(biāo)的場(chǎng)景,需要把對(duì)應(yīng)的指標(biāo)列字段設(shè)置為hyperunique類型來提高計(jì)算性能核心重保鏈路：對(duì)于核心的監(jiān)控場(chǎng)景,為了保障實(shí)時(shí)鏈路的穩(wěn)定性和及時(shí)性,需要進(jìn)行雙鏈路開發(fā)。-66-?????這類場(chǎng)景的主要方案是在nink任務(wù)中把需要的維度信息都盡可能打平，然后把打現(xiàn)，之后使用實(shí)時(shí)去重物化視圖表作為數(shù)易(Bl分析平臺(tái)）的數(shù)據(jù)集或者數(shù)鏈(數(shù)據(jù)服務(wù)化平臺(tái)）接口查詢底表供下游配置Bl看板；對(duì)于確定維度和指標(biāo)的看板場(chǎng)可以把ink大屏的數(shù)據(jù)或者初步預(yù)聚合的數(shù)據(jù)寫入ck的普通分布式表中，直接配置數(shù)易數(shù)據(jù)集讓用戶-67-.對(duì)業(yè)務(wù)指標(biāo)準(zhǔn)確性要求極高且有明確去重主鍵的業(yè)務(wù)場(chǎng)景,建議使用ck的實(shí)時(shí)去重視圖表。.對(duì)業(yè)務(wù)指標(biāo)準(zhǔn)確性較高,有明確的維度和指標(biāo)定義,且查詢邏輯較復(fù)雜或者查詢QPS較高的場(chǎng)景,建議做預(yù)聚合操作,使用ck的聚合視圖表。.對(duì)業(yè)務(wù)量不大,業(yè)務(wù)變更邏輯頻繁的場(chǎng)景,建議前期直接使用ck的分布式普通表提供下游看板配置,場(chǎng)景特點(diǎn)：對(duì)實(shí)時(shí)指標(biāo)準(zhǔn)確性要求高,對(duì)查詢QPS要求較高,對(duì)數(shù)據(jù)及時(shí)性要求—般這類場(chǎng)景主要特點(diǎn)是需要把所需的實(shí)時(shí)指標(biāo)做各類前置處理,—種方式是把所需要的實(shí)時(shí)指標(biāo)在nink服務(wù)平臺(tái)進(jìn)行接口封裝。這類方案適用于業(yè)務(wù)邏輯變是把聚合邏輯下移,nink任務(wù)主要做數(shù)據(jù)內(nèi)容打?qū)捄秃?jiǎn)單的預(yù)聚合,主要的指標(biāo)統(tǒng)計(jì)工作交由下游的。LAP引擎計(jì)算,數(shù)據(jù)服務(wù)平臺(tái)通過封裝。LAP引擎來提供接口查詢服務(wù)。這樣做的好處是在業(yè)務(wù)指標(biāo)邏輯頻繁變更的情況下也能使用。LAP的預(yù)聚合能力提供高效的實(shí)時(shí)指標(biāo)服務(wù),缺點(diǎn)是對(duì)。LAP的查詢壓力較大,需要提供更多的資源供。LAP消耗才能保證服務(wù)的高QPS。-68-場(chǎng)景特點(diǎn):對(duì)實(shí)時(shí)指標(biāo)準(zhǔn)確性要求—般,對(duì)查詢QPS要求較高且涉及到較大的實(shí)時(shí)狀態(tài)運(yùn)算,需要支具體鏈路:該類場(chǎng)景—般會(huì)有明確的指標(biāo)列和維度列,需要把大量的實(shí)時(shí)特征或者指標(biāo)標(biāo)簽接入平臺(tái),方案—是直接通過topic讓平臺(tái)消費(fèi)數(shù)據(jù),平臺(tái)封裝后提供特征或者標(biāo)簽服務(wù),方案二是利用Hbase和Fusion基于強(qiáng)大的主鍵更新能力,把實(shí)時(shí)和離線