美團外賣廣告智能算力實踐美團外賣廣告業(yè)務介紹美團外賣廣告業(yè)務介紹列表廣告展示廣告營銷廣告創(chuàng)新廣告附近商家發(fā)現(xiàn)好菜滿減優(yōu)惠會員紅包減配送費美團專送Q一伍一拾滿28減18津貼余額：￥20品質(zhì)減配送費金剛炸貨殿.炸串炸雞(望京…起送￥20配送￥1￥53減239減7165減1295減18130減25中國蘭州牛肉拉面★4.3月售1000+30分鐘1.2km起送￥20免配送費人均￥22“真的味道好極了”35減259減367減48.5折起首單減17品類篩選門店數(shù)量投資金額▼..吉野家(金泰店)二碗有情懷的牛肉飯點擊購買..三只龍蝦門店數(shù)量216家加盟費用0-5萬元免加盟費大連鎖◎4350人關(guān)注喜翻拌門店數(shù)量57家加盟費用0-5萬元麻辣拌幫扶持幫選址◎113599人關(guān)注門店數(shù)量139家加盟費用0-5萬元猴子的教兵水里茶奶茶超選址田老師紅燒肉(亦莊天通泰店)★4.3月售4000+41分鐘3.2km起送￥20配送￥2￥5人均￥21“黃燜雞太好吃啦，湯汁也足”已領(lǐng)6元券30減650減257元無門檻紅包餃子餛燉智能排序銷量優(yōu)先評分優(yōu)先速度優(yōu)先月售6328+起送￥20配送￥3￥5★5.0分望京美食人氣第一名29分鐘2.5km梁小猴梁小猴★4.4月售1000+33分鐘1.9km起送￥20免配送費人均￥2220綜合排序“烤魚肉很嫩，味道不錯”滿減優(yōu)惠已領(lǐng)19元券20減2059減2771減34發(fā)現(xiàn)好菜會員紅包速度減配送費全部篩選美團45分鐘美團專送智能點餐★4.8月售729630分鐘2.3km起送￥0免配送費￥5安心商家△炭烤鮮嫩牛肉….炭烤簽簽小肉串….貴州大廈梁小猴港式炒飯(聚八方美食城…北京貴州大廈★暫無評分月售2★4.6月售1000+30分鐘“1km起送￥30配送￥5起送￥18免配送費人均￥21點評高分店鋪“雞排很好吃，很贊”首單減6全球軟件開發(fā)大會全球軟件開發(fā)大會廣告業(yè)務場景介紹典型的召回漏斗優(yōu)選精排機制召回優(yōu)選精排機制召回召回觸發(fā)在線預估召回觸發(fā)在線預估商家端廣告物料傳輸全球軟件開發(fā)大會全球軟件開發(fā)大會算力情況介紹資源使用情況算力和場景的關(guān)系廣告業(yè)務性質(zhì)總機器1w+增加算力增加算力排序年增長率50%VV業(yè)務性質(zhì)：從海量候選集選擇非信息獲取(如：交易類)業(yè)務性質(zhì)：執(zhí)行確定性結(jié)果動作算力增加候選隊列越長廣告收入越大智能算力的核心思想系統(tǒng)容量系統(tǒng)容量次高價值流量次低價值流量午高峰晚高峰次高價值流量次高價值流量次低價值流量方案1方案2方案3方案4智能算力目標預估流量的價值收入不變，機器資源降低不同的召回動作機器資源不變，收入提升使用不同的算力提升算力利用效率技術(shù)解讀-整體思想思想：提高在廣告檢索過程中的算力分配效率，實現(xiàn)單位算力下收益最大化復雜通道粗排集集系統(tǒng)狀態(tài)技術(shù)解讀-挑戰(zhàn)分析通用性&擴展性智能算力的目標：是在系統(tǒng)算力容量約束下，實現(xiàn)業(yè)務收益最大化，具體如何去做?從固定算力分配到智能算力分配，不僅需要保證智能算力框架本身的穩(wěn)定性，更需要保證系統(tǒng)全鏈路的平穩(wěn)運行兼顧基礎(chǔ)能力的復用和個性化能力的擴展，支持多個業(yè)務場景的友好接入·參考已有方案，問題拆解3個子問題：流量算力預估·并針對外賣廣告場景進行探索和改進·降級熔斷、監(jiān)控報警等常規(guī)保障手段·核心組件以SDK形式提供可復用可擴展能力·基于通用的價值評估指標、算力評估指標和彈性算力框架，支撐不同業(yè)務場景和多彈性動作的組合決策方案設(shè)計-算力框架障投放引擎流量中控召回彈性動作彈性隊列策組件支持層AB實驗數(shù)據(jù)收集監(jiān)控報警人工干預粗排精排彈性模型彈性通道已實現(xiàn)機制彈性鏈路進行中決策層最優(yōu)檔位決策系統(tǒng)穩(wěn)定性保障預估層流量價值預估流量算力預估特征層上下文用戶動作檔位系統(tǒng)狀態(tài)上報(FailRate/Tp999/CpuUtil)采集組件變更通知zk調(diào)控組件(PID控制器)全球軟件開發(fā)大會全球軟件開發(fā)大會方案設(shè)計-最優(yōu)檔位決策方案設(shè)計-問題建模業(yè)務目標：通過差異化不同價值流量的算力分配，在整體算力不增加的條件下，最大化整體收益------優(yōu)化目標：最大化價值Xi,jcosti,j≤C)-------束條件：算力不增------約束條件：檔位范圍·cost,,:流量i在檔位j下的算力(流量資源消耗)·C:最大算力消耗(時間片內(nèi)資源消耗)優(yōu)檔位換比拉格朗日求解j(i)=argmax(valuei,j-λcosti,j)拉格朗日求解局部決策(請求粒度)表述：局部決策(請求粒度)表述：子問題拆解：子問題拆解：在線檔位決策請求iargmax(Valueij-λCostij),max(Valueij-λCostij)≥0,max(Valueij-λCostij)<0j*=j。時將請求分配給簡單模型Valuei(k?*平臺收入+kz*商家收入)Cost;(CPU時間)檔位決策結(jié)果大小模型分配隊列長度截斷價值預估算力預估離線階段離線λ求解方案設(shè)計-決策框架-流量價值預估整體框架√(平臺收入+商家收入)√統(tǒng)計模型->XGB√√檔位價值預估：粗排打分計算價值衰減檔位價值預估用戶側(cè)特征上下文特征廣告3廣告2廣告1被截斷的廣告隊列，截斷后的廣告隊列，廣告打分和為Sb=∑1sisj-1Si假設(shè)廣告隊列價值為原始流量價值為Vo,則截斷后價值為V=Sa+SVo方案設(shè)計-決策框架-流量算力預估問題1:算力評估指標是什么?問題2:如何建模?通用性不好精確度低擬合過程分析通用性強精確度高外賣方案分段線性擬合契合業(yè)務：體現(xiàn)拆包造成的算力突變情況藍色點為真實統(tǒng)計值紅色線為擬合結(jié)果隊列越長，數(shù)據(jù)越稀疏>解決稀疏問題：從短隊列泛化到長隊列501001隊列爬度300350400CPU時間適用于彈性模型/彈性鏈路中1.業(yè)務特色：算力與隊列長度非簡單線性關(guān)系，隊列存在拆包情況2.外賣場景中，不同slot流量可能走不同ctr模型(如slot=12為閃購流量)方案設(shè)計-決策框架-流量算力預估隊列越長，數(shù)據(jù)越稀疏從短隊列泛化到長隊列全球軟件開發(fā)大會全球軟件開發(fā)大會二分查找*最優(yōu)λ最大算力消耗C輸入收斂閾值e選擇候選λ選擇候選λ的最優(yōu)檔位統(tǒng)計當前算力消耗輸出最優(yōu)λ動作&檔位選擇i*二jo,max(Valuei-ACost)<0valuer,:預估流量價值costi;j:預估流量算力λ求解：離線求解，在線使用根據(jù)檔位執(zhí)行算力分配動作：即最大檔位對應的收益大于等于0時，選擇使得收益最大的檔位即最大檔位對應的收益小于0時，將請求分配給簡單模型方案設(shè)計-系統(tǒng)穩(wěn)定性保障常規(guī)保障措施流量準入：提供分廣告位、城市、時段等不同流量準入規(guī)則，控制彈性算力作用的流量范圍流量入口準入控制?兜底流量準入-YES一彈性算力分配熔斷降級：實時監(jiān)控彈性算力的異常，達到配置的異常閾值后，彈性算力會自動熔斷降級，走兜底算力分配流量入口→彈性算力分配熔斷降級異常上報熔斷降級熔斷降級超時控制：為保障主流程整體鏈路耗時不增長，彈性算力決策是一個異步的過程，超時后走兜底的算力分配流量入口主流程算力分配彈性分配兜底彈性分配YES異步流程彈性算力決策超時控制方案設(shè)計-系統(tǒng)穩(wěn)定性保障●調(diào)控策略：彈性隊列長度√系統(tǒng)狀態(tài)上報：投放引擎服務通過監(jiān)控系統(tǒng)，實時反饋系統(tǒng)當前狀態(tài)√采集組件：基于Flink流處理框架，實時解析聚合系統(tǒng)狀態(tài)數(shù)據(jù)，并進行去噪和平滑處理√調(diào)控組件：基于PID算法，根據(jù)選擇的多個調(diào)控目標，實時調(diào)控系統(tǒng)算力，將調(diào)控結(jié)果反饋到引擎服務的決策組件，形成調(diào)控閉環(huán)。(Tp999/FailRate/CpuUti廣告投放廣告投放Flink流處理機器列表機器列表引擎服務1決策組件決策組件反饋PID調(diào)控器ZK多目標