AI自動化在淘天互動場景的實(shí)戰(zhàn)分享講

師杜佳興01背景介紹02

技術(shù)實(shí)現(xiàn)03案例實(shí)踐04未來展望背景介紹?業(yè)務(wù)流程多樣化：

搜索瀏覽支付的完整購物鏈路?推薦機(jī)制個(gè)性化：

不同用戶看到的內(nèi)容和布局各異?營銷活動頻繁：

雙11、

618等大促期間頁面變化快速?多端適配要求：

需要覆蓋不同設(shè)備和系統(tǒng)版本?傳統(tǒng)框架不適配：現(xiàn)有工具無法應(yīng)對復(fù)雜的動態(tài)場景?維護(hù)成本高：

腳本更新頻繁，需要持續(xù)投入?覆蓋率難保證：

關(guān)鍵業(yè)務(wù)路徑完整性難以保障?穩(wěn)定性問題：

環(huán)境因素導(dǎo)致用例執(zhí)行不穩(wěn)定?混合技術(shù)棧：Native、

H5、小程序、weex等多種實(shí)現(xiàn)方式并存?動態(tài)化架構(gòu)：

頁面結(jié)構(gòu)隨時(shí)可能發(fā)生變化?性能優(yōu)化策略：

延遲加載、按需渲染等機(jī)制增加定位難度?安全策略限制：

反作弊、風(fēng)控等機(jī)制影響自動化操作傳統(tǒng)自動化平臺的困境

帶來的挑戰(zhàn)

的技術(shù)實(shí)現(xiàn)?無法使用傳統(tǒng)DOM樹解析?

自定義渲染方案?

多技術(shù)?；旌?/p>

7狀態(tài)管理?

實(shí)時(shí)數(shù)據(jù)同步?

多場景狀態(tài)聯(lián)動

升空間大?減少人工測試成本?提高測試覆蓋率

價(jià)值高

上問題

月戶體驗(yàn)

的個(gè)性化體驗(yàn)?用戶數(shù)據(jù)差異大?展示內(nèi)容動態(tài)變化?傳統(tǒng)測試方案失效

的互動形態(tài)?

游戲互動?

內(nèi)容瀏覽?

營銷活動?

交易閉環(huán)

響性要求高?積分發(fā)放精確?

獎勵派發(fā)準(zhǔn)確?

用戶權(quán)益保障?

淘金幣攻略?

芭芭農(nóng)場養(yǎng)成?

多樣化任務(wù)體系為什么選擇互動場景復(fù)雜度最具挑戰(zhàn)性自動化收益最大技術(shù)壁壘最高業(yè)務(wù)影響最顯著》》》》》》》》?

基于運(yùn)營配置靈活多變，每款游戲得分節(jié)點(diǎn)不同?

包括了近10種真正的游戲，沒有歷史沉淀?從立項(xiàng)到上線，

時(shí)間節(jié)奏緊張對落地速度要求高?

動態(tài)UI組件互相遮擋

，頁面節(jié)點(diǎn)信息無法獲取03時(shí)間節(jié)奏更緊張04更難以獲取動態(tài)的元素信息02

區(qū)別于傳統(tǒng)任務(wù)的瀏覽&搜索玩法01得分邏輯復(fù)雜為什么選擇互動手淘承接了25年春晚專項(xiàng)，

除了互動傳統(tǒng)的難點(diǎn)外

，該專項(xiàng)還有其差異化的難點(diǎn)：

春晚專項(xiàng)技術(shù)實(shí)現(xiàn)分析自動化實(shí)踐的難點(diǎn)AI應(yīng)用的難點(diǎn)傳統(tǒng)自動化實(shí)現(xiàn)的難點(diǎn)AI自動化如何應(yīng)對

>

>

>

>傳統(tǒng)自動化實(shí)現(xiàn)的難點(diǎn)

技術(shù)框架導(dǎo)致dom樹幾乎無法獲取結(jié)構(gòu)復(fù)雜，

ocr結(jié)果無法表達(dá)整個(gè)頁面得分情況需大量工程代碼去計(jì)算素材配置變更，無法以圖搜圖游戲內(nèi)容隨時(shí)變化，無法預(yù)制

門化無法執(zhí)行模型理解素材信息游戲的選項(xiàng)AI決定，

無需預(yù)制不完全依賴dom樹，只作為補(bǔ)充理解ocr結(jié)果+坐標(biāo)

，AI自行理解頁面結(jié)構(gòu)技術(shù)框架導(dǎo)致dom樹幾乎無法獲取結(jié)構(gòu)復(fù)雜，

ocr結(jié)果無法表達(dá)整個(gè)頁面得分情況需大量工程代碼去計(jì)算素材配置變更，無法以圖搜圖AI解析游戲進(jìn)度情況，無需工程側(cè)計(jì)算游戲內(nèi)容隨時(shí)變化，無法預(yù)制AI自動化如何應(yīng)對

化實(shí)現(xiàn)的難點(diǎn)》》》》》》》》?

每次進(jìn)入游戲前的路徑不一致?

上下文數(shù)據(jù)不連貫?

游戲邏輯不同，開發(fā)成本高?AI響應(yīng)慢，動作還未輸出，獎勵已落下?

單模型通過圖片理解，

結(jié)果不穩(wěn)定AI自動化自身的難點(diǎn)?AI響應(yīng)慢，動作還未輸出，獎勵已落下?單模型通過圖片理解，結(jié)果不穩(wěn)定?

游戲無需滿分?

游戲操作盡量跳過模型?

過程得分需要讓模型感知?拆分多個(gè)模型獨(dú)立負(fù)責(zé)不同的功能?

快速上線?

穩(wěn)定，

一致，保障用戶體驗(yàn)?

持續(xù)運(yùn)行如何解決？

化,不如聚焦目標(biāo)

,來降低對模型的依賴AI自動化自身的難點(diǎn)——模型難點(diǎn)

我們的目標(biāo)是：這意味著

…?每次進(jìn)入游戲前的路徑不一致?上下文數(shù)據(jù)不連貫?

游戲邏輯不同，開發(fā)成本高01增強(qiáng)游戲啟動鏈路穩(wěn)定性02設(shè)計(jì)統(tǒng)一的數(shù)據(jù)采集框架AI自動化自身的難點(diǎn)——工程難點(diǎn)

如何解決？現(xiàn)調(diào)用校驗(yàn)器流程執(zhí)行器獲取步驟是否為校驗(yàn)步驟單步校驗(yàn)?zāi)Ｐ驼{(diào)用校驗(yàn)器路由模型多步校驗(yàn)?zāi)Ｐ瓦x擇具體的校驗(yàn)器加載對應(yīng)校驗(yàn)器AI自動化自身的難點(diǎn)——工程難點(diǎn)

執(zhí)行器獲取步驟

諾啟動鏈路的穩(wěn)定性-校驗(yàn)路由

>

>

>增加校驗(yàn)路由模型數(shù)據(jù)采集模型游戲校驗(yàn)?zāi)Ｐ驼{(diào)用單步校驗(yàn)?zāi)Ｐ褪欠駷樾ｒ?yàn)步驟原調(diào)用校驗(yàn)器流程什么是校驗(yàn)路由：將校驗(yàn)?zāi)Ｐ偷拿枋龊头椒òb為Tool

list,路由模型通過識別待校驗(yàn)?zāi)繕?biāo)的特性，從Tool

list中動態(tài)匹配對應(yīng)的校驗(yàn)?zāi)Ｐ驮诖嘶A(chǔ)上，除原有的單步校驗(yàn)?zāi)Ｐ屯?，擴(kuò)展了多樣化校驗(yàn)體系：?支持跨步驟驗(yàn)證的多步校驗(yàn)?zāi)Ｐ?

實(shí)現(xiàn)數(shù)據(jù)解析的數(shù)據(jù)提取模型?

專用于游戲的游戲校驗(yàn)?zāi)Ｐ虯I自動化自身的難點(diǎn)——工程難點(diǎn)

諧啟動鏈路的穩(wěn)定性-校驗(yàn)路由Success

異常彈窗知識庫異常彈窗判斷模型是否是彈窗否不做處理AI自動化自身的難點(diǎn)——工程難點(diǎn)

知識庫隨著用例執(zhí)行而擴(kuò)充異常彈窗精確關(guān)閉正常彈窗不自動關(guān)閉異常彈窗執(zhí)行信息及對應(yīng)任務(wù)執(zhí)行信息寫入知識庫

諾啟動鏈路的穩(wěn)定性-異常彈窗每一個(gè)步驟執(zhí)行后Success

終端直接點(diǎn)擊關(guān)閉對應(yīng)元素查找所有關(guān)閉元素坐標(biāo)+元素層級

>

>

>

>是AI自動化自身的難點(diǎn)——工程難點(diǎn)

調(diào)用游戲校驗(yàn)器接口，獲取對應(yīng)游戲?qū)嵗蚣芗啥囝愋湍Ｐ蛥f(xié)同校驗(yàn)實(shí)例依托數(shù)據(jù)采集框架運(yùn)行結(jié)果聚合與標(biāo)準(zhǔn)化輸出設(shè)計(jì)游戲校驗(yàn)流程-依托數(shù)據(jù)采集框架》》》》》》》》?運(yùn)行結(jié)束后通過管理類獲取游戲結(jié)果并返回同時(shí)整個(gè)任務(wù)也可以通過管理類獲取游戲中所有的過程數(shù)據(jù)用于展示或異步校驗(yàn)?游戲?qū)嵗趯?shí)時(shí)數(shù)據(jù)采集框架中執(zhí)行，框架進(jìn)行多源數(shù)據(jù)的同步采集，確保校驗(yàn)過程中的數(shù)據(jù)完整性?游戲的開發(fā)只需關(guān)系游戲動作和要調(diào)用的模型?游戲類注冊到

Game

Strategy

中進(jìn)行統(tǒng)一管理，游戲校驗(yàn)器通過管理類獲取對應(yīng)游戲?qū)嵗\(yùn)行AI自動化自身的難點(diǎn)——工程難點(diǎn)

獲取對應(yīng)的游戲?qū)嵗?/p>

計(jì)游戲校驗(yàn)流程注：需要登錄賬號才可以認(rèn)證游戲校驗(yàn)實(shí)例游戲數(shù)據(jù)采集框架GameValidatorAI自動化自身的難點(diǎn)——工程難點(diǎn)

結(jié)束數(shù)據(jù)采集?

dom樹?

ocr?

截圖數(shù)據(jù)解析?自定義解析邏輯初始數(shù)據(jù)采集?

dom樹?

ocr?

截圖結(jié)果校驗(yàn)?

同步校驗(yàn)?

異步校驗(yàn)

計(jì)游戲校驗(yàn)流程?自定義動作下發(fā)?

截圖?

dom樹

過程數(shù)據(jù)采集

瑞流程框架的適配開發(fā)所有游戲需繼承并擴(kuò)展游戲數(shù)據(jù)采集框架，通過實(shí)現(xiàn)核心接口（如初始化、執(zhí)行、終止）完成基礎(chǔ)流程對接，確保多游戲間的流程標(biāo)準(zhǔn)化與可維護(hù)性

析規(guī)則定制化如打年獸使用的是專用的得分校驗(yàn)?zāi)Ｐ?，接福祿可以使用通用得分模?/p>

動作策略設(shè)計(jì)針對游戲交互邏輯設(shè)計(jì)動作序列，若游戲存在時(shí)間限制/固定流程（如限時(shí)挑戰(zhàn)），可采用預(yù)設(shè)動作模板（點(diǎn)擊/滑動/長按組合）實(shí)現(xiàn)自動化執(zhí)行，兼顧靈活性與效率

明與數(shù)據(jù)集成明確游戲?qū)傩ｒ?yàn)規(guī)則（如勝利條件、判定閾值），框架側(cè)通過拼接機(jī)制將多源解析數(shù)據(jù)統(tǒng)一輸出至通用校驗(yàn)?zāi)Ｐ停瑢?shí)現(xiàn)跨游戲規(guī)則的自動化驗(yàn)證與結(jié)果歸一化處理AI自動化——實(shí)現(xiàn)具體游戲流程

通用專用得分判斷模型年獸命中判斷模型OCR元素提取模型謎題解答模型游戲結(jié)果判斷模型異常截圖校驗(yàn)?

通過模型聯(lián)動實(shí)現(xiàn)得分情況、游戲結(jié)果及異常行為的多維度驗(yàn)證?

在數(shù)據(jù)采集框架中內(nèi)嵌多個(gè)專項(xiàng)模型并封裝AI自動化——建立高復(fù)用性模型

》》》》》》》》模型名稱模型能力游戲結(jié)果判斷模型輸入:游戲的玩法、游戲開始前的頁面信息、游戲中的得分情況，游戲結(jié)算時(shí)的頁面信息輸出：識別游戲進(jìn)度獎勵目標(biāo)后結(jié)合得分情況判斷結(jié)算時(shí)的獎勵是否對應(yīng)OCR元素提取模型輸入:頁面的OCR信息和要提取的元素輸出：通過文本+坐標(biāo)將拆分后的字段自動組合后給出對應(yīng)坐標(biāo)得分判斷模型輸入:游戲截圖輸出：判斷當(dāng)前截圖是否得分及對應(yīng)分?jǐn)?shù)異常截圖校驗(yàn)輸入:連續(xù)的游戲截圖輸出：判斷是否有截圖異常，如一個(gè)火箭與年獸重疊但無命中特效年獸得分判斷模型輸入:游戲截圖輸出：判斷當(dāng)前截圖是否有命中動效謎題解答模型輸入:游戲截圖輸出：判斷要選擇的謎題答案AI自動化——模型能力解讀

方中判斷模型

吉果判斷模型

截圖校驗(yàn)\具體的模型使用——以打年獸為例

撈餃子?

得分判斷模型?

游戲結(jié)果判斷模型?

異常截圖校驗(yàn)循環(huán)點(diǎn)擊指定坐標(biāo)接福祿?

得分判斷模型?

游戲結(jié)果判斷模型?

異常截圖校驗(yàn)滑動一筆連福?

OCR元素提取模型?

游戲結(jié)果判斷模型?

異常截圖校驗(yàn)自定義滑動軌跡猜謎題?

根據(jù)截圖判斷謎語答案?

OCR元素提取模型?

游戲結(jié)果判斷模型?

異常截圖校驗(yàn)點(diǎn)擊指定坐標(biāo)其他游戲用到的模型及終端動作

需求不同階段的AI投入-測試左移》》》》》》》》?

原用于春晚的路由模型，通過模型擴(kuò)充已迭代升級為通用決策，用于日常執(zhí)行?

大量的重復(fù)執(zhí)行暴露了框架側(cè)的時(shí)序問題、并發(fā)問題和終端性能問題，解決后已沉淀為可復(fù)用的穩(wěn)定性保障方案?

構(gòu)建了可自適應(yīng)的彈窗識別與處置體系，隨著任務(wù)的執(zhí)行，彈窗處置更智能春晚技術(shù)的復(fù)用

優(yōu)化后的技術(shù)復(fù)用說明（春晚專項(xiàng)能力沉淀與日常場景遷移）》》》》》》》》03

蘭系統(tǒng)的穩(wěn)定性遷移02

咯由的多場景適配01

架的通用化遷移04

窗的處理案例實(shí)踐猜謎題的實(shí)機(jī)演示

\?

游戲列表缺失，任務(wù)運(yùn)行失敗?

會場元素缺失，判定UI異常?

游戲加載奔潰，畫面無法加載?

游戲進(jìn)程卡頓，超過預(yù)定時(shí)間\春節(jié)專項(xiàng)中發(fā)現(xiàn)的異常

日常場景落地——農(nóng)場任務(wù)回歸

01

02

過程數(shù)據(jù)采集-保障中間態(tài)不丟失

03

異常彈窗自處理-提升任務(wù)穩(wěn)定性

-的落地應(yīng)用一句話改寫-應(yīng)對多樣任務(wù)業(yè)務(wù)身份知識庫

收寫后執(zhí)行配置變更自動觸發(fā)任務(wù)

農(nóng)場任務(wù)的特點(diǎn)：任務(wù)形式多樣業(yè)務(wù)方調(diào)用執(zhí)行觸發(fā)一句話改寫終端執(zhí)行為什么需要過程數(shù)據(jù)？

狀態(tài)不是固定展示的

以保障中間態(tài)不丟失日常場景落地——農(nóng)場任務(wù)回歸

農(nóng)場任務(wù)的特點(diǎn)：需要采集過程數(shù)據(jù)與春晚活動類似，農(nóng)場用戶會有引導(dǎo)彈窗阻塞步驟執(zhí)行復(fù)用春晚專項(xiàng)中的彈窗自動處理能力部分場景使用了和彈窗一樣的關(guān)鍵字，導(dǎo)致不該關(guān)閉的任務(wù)列表被關(guān)閉，隨著多次運(yùn)行后該關(guān)閉將不再被自動點(diǎn)擊日常場景落地——農(nóng)場任務(wù)回歸