2025.6.27匯報(bào)人

焦燁p

郵儲(chǔ)銀行智能自動(dòng)化測(cè)試2.0探索與實(shí)踐

智能自動(dòng)化測(cè)試2.0整體流程

智能執(zhí)行

智能分析調(diào)試

智能度量

未來(lái)展望目錄

0

10

20

30

40

5智能自動(dòng)化測(cè)試2.0整體流程從智能自動(dòng)化測(cè)試1.0邁向2.0X

O

p

s

風(fēng)向

標(biāo)2.0構(gòu)雇完整的智能自動(dòng)化測(cè)試流程

用例智能執(zhí)行智能分析調(diào)試智能度量√

腳本為非必要資產(chǎn)√人工投入更少√

流程更加順暢

智能自動(dòng)化測(cè)試2.0整體流程-

-人工錄制

人工維護(hù)規(guī)則庫(kù)

人工調(diào)試、維護(hù)腳本解決自動(dòng)化備階懸實(shí)施痛點(diǎn)用例智能調(diào)度智能生成智能度量,'智能執(zhí)行根據(jù)用例描述自動(dòng)執(zhí)行用例

降低對(duì)腳本的依賴X

O

p

s

風(fēng)向

標(biāo)智能執(zhí)行Agent記憶反思知識(shí)庫(kù)智能執(zhí)行：根據(jù)測(cè)試用例的步驟描述以及被測(cè)系統(tǒng)的當(dāng)前頁(yè)面，利用大模型分析下一步動(dòng)作并執(zhí)行，循環(huán)完成整個(gè)用例的執(zhí)行，并根據(jù)用例預(yù)期結(jié)果判斷執(zhí)行結(jié)果是否符合預(yù)期存儲(chǔ)元素作用以及業(yè)務(wù)

流程，提升執(zhí)行成功率反思執(zhí)行是否正確判斷執(zhí)行是否符合預(yù)期調(diào)用合適的工具執(zhí)行下

一步動(dòng)作根據(jù)輸入的信息，分析

并決定下一步動(dòng)作記憶過(guò)程數(shù)據(jù)，維持上

下文的連貫性用例步驟描述用例預(yù)期結(jié)果決策

整體架構(gòu)執(zhí)行結(jié)果執(zhí)行記錄測(cè)試腳本執(zhí)行用例步驟描述及預(yù)期結(jié)果1、步驟描述：登錄系統(tǒng)，進(jìn)入產(chǎn)

品管理頁(yè)面，查詢固定收益類產(chǎn)品2、預(yù)期結(jié)果：查詢成功，頁(yè)面顯示固定收益率產(chǎn)品當(dāng)前頁(yè)面截圖及相關(guān)信息1、對(duì)當(dāng)前頁(yè)面的截圖2、提取所有可操作元素，對(duì)元素進(jìn)行編號(hào)并標(biāo)記3、元素類型及文字說(shuō)明歷史記憶信息1、已經(jīng)執(zhí)行過(guò)的操作歷史2、歷史頁(yè)面上的關(guān)鍵信息可選動(dòng)作1、所有支持的操作及其參數(shù)，如點(diǎn)擊、輸入、下拉框選擇等模型分析模型任務(wù)描述及輸出要求1、描述模型需要執(zhí)行的任務(wù)及相關(guān)

要求2、指定模型的輸出內(nèi)容及格式要求輸出結(jié)果下一步動(dòng)作：為完成用例，下一步應(yīng)該執(zhí)行的動(dòng)作、參數(shù)、文字描述頁(yè)面關(guān)鍵信息：對(duì)后續(xù)用例執(zhí)行可能有幫助的關(guān)鍵信息，

如彈窗中的驗(yàn)證碼決策模塊：根據(jù)輸入的信息，利用大模型進(jìn)行分析并決定下一步動(dòng)作

決策模塊操作執(zhí)行根據(jù)模型返回的下一步動(dòng)作及其參數(shù)，定位操作元素，并執(zhí)行相應(yīng)動(dòng)作執(zhí)行異常處理動(dòng)作執(zhí)行異常時(shí)，告知模型此次執(zhí)行異常，讓模型重新分析應(yīng)該執(zhí)行的動(dòng)作任務(wù)結(jié)束判斷1、模型返回finish，用例正常執(zhí)行完成2、超過(guò)最大步驟數(shù)3、異常步驟超過(guò)一定數(shù)量交互類1、click，點(diǎn)擊2、text，輸入3、select，下拉框選擇導(dǎo)航類1、goto，調(diào)轉(zhuǎn)到某頁(yè)面2、back，后退3、refresh，刷新4、scroll，滾動(dòng)5、hover，鼠標(biāo)懸停6、鍵盤操作，如enter執(zhí)行模塊：調(diào)用合適的工具執(zhí)行下一步動(dòng)作支持的動(dòng)作

執(zhí)行邏輯

執(zhí)行模塊任務(wù)控制1、finish，表示用例執(zhí)行完成010203010203斷言1、當(dāng)用例執(zhí)行結(jié)束后，用模型判

斷執(zhí)行結(jié)果是否符合用例的預(yù)期2、用例執(zhí)行完成&&斷言符合預(yù)期，則用例測(cè)試通過(guò)，否則測(cè)試不通過(guò)分析元素作用1、根據(jù)執(zhí)行前后的截圖，讓模型分析該元素的作用2、元素的作用可以記錄到知識(shí)庫(kù)中，供后續(xù)使用反思當(dāng)次執(zhí)行結(jié)果1、每一步動(dòng)作執(zhí)行結(jié)束后，讓模型分析本次執(zhí)行的結(jié)果是否有效推動(dòng)了用例的執(zhí)行2、如果無(wú)效，則下一次讓模型進(jìn)行修正反思模塊：用于判斷當(dāng)前的執(zhí)行結(jié)果是否符合預(yù)期以及分析元素的作用

反思模塊01

UI腳本生成1、智能執(zhí)行結(jié)束后

，根據(jù)執(zhí)

行的步驟

，生成對(duì)應(yīng)的腳本

步驟2、斷言采用圖片對(duì)比的方案，

將智能執(zhí)行時(shí)正確執(zhí)行的截

圖作為預(yù)期結(jié)果1、回歸執(zhí)行時(shí)

，首先按照腳本步驟執(zhí)行，無(wú)需調(diào)用模型，執(zhí)行速度更快2、如果執(zhí)行失敗

，則采用智能執(zhí)行的方式重新執(zhí)行

，同時(shí)自動(dòng)更新腳本腳本生成：考慮到智能執(zhí)行每一步都需要調(diào)用模型進(jìn)行分析，所以生成UI腳本供回歸執(zhí)行使用

腳本生成02

腳本回歸執(zhí)行?

不強(qiáng)依賴于腳本，維護(hù)成本低?

人工投入更少?

技術(shù)門檻低?

探索式執(zhí)行，對(duì)用例步驟描述要求低傳統(tǒng)執(zhí)行?

腳本編寫(xiě)成本高?

維護(hù)成本高?

有一定的技術(shù)門檻智能執(zhí)行 總結(jié)智能分析調(diào)試腳本失敗原因智能分析及后續(xù)處理X

O

p

s

風(fēng)向

標(biāo)收集失敗信息自動(dòng)收集失敗場(chǎng)景相關(guān)信息，包括接口響應(yīng)信息、斷言信息、自動(dòng)化測(cè)試平臺(tái)日志、被測(cè)系統(tǒng)日志等03建立規(guī)則庫(kù)對(duì)腳本歷史失敗原因進(jìn)行總結(jié)、分析、歸類，創(chuàng)建錯(cuò)誤信息規(guī)則庫(kù)

智能分析1.0規(guī)則庫(kù)更新規(guī)則匹配失敗時(shí)，進(jìn)行人工分析與標(biāo)記，并完成規(guī)則庫(kù)的擴(kuò)充更新3、分類與后續(xù)處理1、采用大模型分析2、沉淀形成知識(shí)庫(kù)根據(jù)收集到的失敗信息進(jìn)行規(guī)則的分級(jí)匹配，定位失敗原因，區(qū)分缺陷是否有效智能分析1.0：規(guī)則庫(kù)分級(jí)匹配規(guī)則匹配040201響應(yīng)、日志、斷言知識(shí)庫(kù)模型分析失敗原因

失敗類型

智能分析2.0腳本執(zhí)行完成信息采集智能分析2.0：模型分析+知識(shí)庫(kù)失敗腳本

腳本失敗后續(xù)處理失敗類型環(huán)境問(wèn)題腳本問(wèn)題缺陷環(huán)境問(wèn)題：一鍵重跑一鍵重跑失敗腳本腳本問(wèn)題

缺陷：一鍵提交缺陷并自動(dòng)驗(yàn)證失敗類型

腳本失敗后續(xù)處理缺陷

環(huán)境問(wèn)題溯源選取最近成功的執(zhí)行記錄，做

為對(duì)比參考根據(jù)平臺(tái)執(zhí)行日志、被測(cè)系統(tǒng)

返回等分析異常步驟提煉腳本問(wèn)題調(diào)試定位經(jīng)驗(yàn)，形成特征庫(kù)，輔助定位

腳本失敗后續(xù)處理失敗類型環(huán)境問(wèn)題腳本問(wèn)題缺陷腳本問(wèn)題：智能調(diào)試定位維護(hù)成本：規(guī)則庫(kù)人工維護(hù)標(biāo)注率：50%項(xiàng)目覆蓋率：10%減少人工分析耗時(shí)：5小時(shí)/迭代維護(hù)成本：自動(dòng)更新知識(shí)庫(kù)，0成本標(biāo)注率：100%↑項(xiàng)目覆蓋率：100%↑減少人工分析耗時(shí)：7.5小時(shí)/迭代↑智能分析1.0智能分析2.0

總結(jié)智能度量自動(dòng)化測(cè)試全流程度量體系X

O

p

s

風(fēng)向

標(biāo)核心數(shù)據(jù)項(xiàng)統(tǒng)計(jì)方式T：time

單次手工測(cè)試時(shí)間歷史經(jīng)驗(yàn)估算：同系統(tǒng)、同用例類型手工執(zhí)行時(shí)間均值N：number自動(dòng)化測(cè)試執(zhí)行次數(shù)數(shù)據(jù)庫(kù)記錄統(tǒng)計(jì)D：development

開(kāi)發(fā)成本純手工->半自動(dòng)->全自動(dòng)M：maintenance

維護(hù)成本準(zhǔn)確客觀的評(píng)估自動(dòng)化測(cè)試的具體收益，為決策層控制測(cè)試成本提供數(shù)據(jù)支撐自動(dòng)化測(cè)試建設(shè)維護(hù)成本高，成本回收周期長(zhǎng)。如何高效、準(zhǔn)確地評(píng)估收益？人效替代節(jié)省人日

=T

×

N?D?M

智能度量1.0智能度量1.0：解決度量痛點(diǎn)問(wèn)題-自動(dòng)化測(cè)試收益度量全自動(dòng)成本統(tǒng)計(jì)：根據(jù)用戶操作進(jìn)行后端埋點(diǎn)，自動(dòng)采集投入時(shí)長(zhǎng)指標(biāo)計(jì)算

指標(biāo)配置用例集

執(zhí)行集

腳本集

執(zhí)行記錄

人工投入

……展示層

智能度量2.0應(yīng)用層智能度量2.0：建設(shè)完整的自動(dòng)化測(cè)試全流程度量體系統(tǒng)計(jì)看板

指標(biāo)詳情加工層基礎(chǔ)數(shù)據(jù)執(zhí)行類提升類建設(shè)類收益類替代率覆蓋率腳本管理考核觀測(cè)過(guò)程改進(jìn)復(fù)用率……腳本活躍度分布（

最近一次執(zhí)行

）?

1個(gè)月內(nèi)?

(1個(gè)月，3個(gè)月]?

(3個(gè)月，6個(gè)月]?

(6個(gè)月，1年]?

超過(guò)1年?

從未執(zhí)行

智能度量2.0應(yīng)用示例應(yīng)用示例：輔助腳本管理未來(lái)展望持續(xù)做優(yōu)擴(kuò)展廣度