2025GLOBALSOFTWAREQUALITY&EFFICIAgent驅(qū)動智能測試工具體系建設(shè)全球軟件質(zhì)量&效能大會AI時代測試新范式Software3.0promptsSoftware1.0Software2.0programsprogramsprogramsLLMcomputerSoftware3.0promptsSoftware1.0Software2.0programsprogramsprogramsLLMcomputere.g.AlexNet:forimagerecognition(~2012)becameprogrammablein~1940s~2019國外AndrejKarpathy-軟件3.0軟件工程1.0軟件工程2.0軟件工程3.0軟件形態(tài)：軟件形態(tài)：服務(wù)(SaaS)模型(SaaM)軟件形態(tài)：產(chǎn)品NATO會議大模型爆發(fā)式產(chǎn)生軟件質(zhì)量報(bào)道國內(nèi)朱少民-軟件工程3.0軟件工程1.0軟件工程2.0軟件工程3.0標(biāo)志性事件1968年10月在德國Garmisch舉行的軟件工程大會2001年2月簽署、發(fā)布《敏捷軟件開發(fā)宣言》2023年3月0penAI發(fā)布大語言模型基本理念過程決定結(jié)果，如CMM。其思想來源于傳統(tǒng)建筑工程等軟件研發(fā)是一項(xiàng)智力勞動，以人為本、盡早持續(xù)交付價值基于LLM底座，快速生成所需的代碼和其它所需內(nèi)容。軟件形態(tài)(普通的)工業(yè)產(chǎn)品軟件即服務(wù)(SaaS,包括PaaS、軟件即模型(SaaM)并提供“模型即服務(wù)(MaaS)”運(yùn)行環(huán)境單機(jī)(PC、主機(jī))網(wǎng)絡(luò)、Cloud萬物互聯(lián)IoT、人機(jī)融合支撐內(nèi)容紙質(zhì)文檔信息化數(shù)字化主要方法結(jié)構(gòu)化分析、設(shè)計(jì)和編程面向?qū)ο蟮姆椒嫦驅(qū)ο蟮姆椒Ｐ万?qū)動、人機(jī)交互智能流程瀑布模型、V模型為代表階段性明確敏捷(如Scrum)/DevOps半持續(xù)性(提倡CI/CT/CD,但做不到)模型驅(qū)動開發(fā)交付服務(wù)工作中心以架構(gòu)設(shè)計(jì)為中心價值交付為中心，持續(xù)演化化服務(wù)規(guī)?；瘓F(tuán)隊(duì)(兩個披薩)小團(tuán)隊(duì)團(tuán)隊(duì)可能不存在，個體化研發(fā)人員分工明確、細(xì)致提倡全棧工程師開發(fā)和測試融合業(yè)務(wù)/產(chǎn)品人員、驗(yàn)證/驗(yàn)收人員(兩頭成為主導(dǎo)研發(fā)的人員)度手工署、版本構(gòu)建等自動化)自動化(ATGC)代碼/腳本/設(shè)計(jì)等生成對待變化嚴(yán)格控制，建立CCB(變更控制委員會)擁抱變化(其實(shí)還是怕變化)(真正地)擁抱變化PRD文檔用戶故事具有不確定性、可協(xié)商的回歸自然語言，構(gòu)建提示詞序列質(zhì)量關(guān)注點(diǎn)產(chǎn)品但的能、性能、可靠性服務(wù)質(zhì)量QoS、用戶體驗(yàn)數(shù)據(jù)質(zhì)量2.0時代測試?yán)Ь衬硺I(yè)務(wù)存量用例的穩(wěn)定性僅為某業(yè)務(wù)存量用例的穩(wěn)定性僅為60%,全量執(zhí)行時失敗率居高不下〔有超過10%的用例無法通過測試〕。例顯示成功，仍難以準(zhǔn)確判斷哪些業(yè)務(wù)場景真正通過驗(yàn)證，導(dǎo)致在版本發(fā)布前的人工復(fù)驗(yàn)成本居高不下。性性執(zhí)行階段成執(zhí)行階段某業(yè)務(wù)GUI自動化年直接節(jié)省測試成本近200萬/年。自動化規(guī)模3000條，實(shí)現(xiàn)全業(yè)務(wù)100%覆蓋，穩(wěn)定性達(dá)到99%,真實(shí)手工替代比例達(dá)到10%以上。整個建設(shè)周期耗費(fèi)2年時間，每次界面改版還°當(dāng)前企業(yè)應(yīng)用主要以AI輔助生成為主，將大模型技術(shù)融入企業(yè)內(nèi)較為成熟應(yīng)用中[例測試結(jié)果智能分析等]來進(jìn)一步提升測試工作的開展效率?！愣鴮τ跍y試工具平臺測試全流程AI輔助能力也成為現(xiàn)代化測試工具平臺必不可少的能力，與此同時，國內(nèi)外還出現(xiàn)一批AI原生的測試工具平臺〔例如：Octomind、ThinkMoss等]直接通過Agent方式驅(qū)動自動化技術(shù)AI[AI+]人類自主執(zhí)行測試用例純?nèi)斯ぷ詣踊帉懢S護(hù)AI輔助自動化建設(shè)維護(hù)AI擬人自主執(zhí)行測試用例人類自主執(zhí)行測試用例包括測試設(shè)計(jì)、用例編寫、用例檢查報(bào)告撰寫報(bào)告撰寫包括智能執(zhí)行、智能分析、智能改進(jìn)、測試報(bào)告生成全球軟件質(zhì)量&效能大會立解決任務(wù)〔測試用例〕描述模糊問題及時規(guī)劃/調(diào)整當(dāng)前執(zhí)行步驟，提升可執(zhí)行性((Testcase)(thinking":"Analyzingthecurrentstateandprevioussteps:\n"+"1.ThetestcaserequiresaccessingtheAIdocumentassistantfeatureintheslidedetail“3.preverousatteprschthreotheAssistntbutesfrectyfaeledgutoeovis16518tsuesn”4.Current1yseeinganauthorizationmodalforAIdocumentassistantaccess\nn”+"memory":"CurrentlyontheAIdocumentassistantauthorizationmodal.NeedtocompleteauthorizationtoaccesstheAIa"next_goal":"ClicktheSomeStepPlannerRules:Scenario:成員A在空間內(nèi)添加文檔鏈接CoreTestExecutionReasoningScenario:成員A在空間內(nèi)添加文檔鏈接CoreTestExecutionReasoningThen成功添加文檔鏈接11116When成員A在騰訊文檔列表頁復(fù)制一個文檔的鏈接screenshottounderstandyourcurrentteststate.When成員A在空When成員A在空間頁面點(diǎn)擊"添加鏈接"按鈕11:118When成員A將復(fù)制的文檔鏈接粘貼到輸入框中##TestPlanningandProgress12119When成員A點(diǎn)擊"確認(rèn)"按鈕Anatyzetodo.nmptyoguteanetrackyourtest-stectonprogresteprisetestplanintodo.mdusingfiletools.12:120Then頁面顯示"鏈接添加成功"提示leteinthefile.12:121Then空間內(nèi)顯示新添加的文檔鏈接-Analyzewhetheryouarestuckintestexecution,e.g.whenyourepeatthesameactionsmutipletimeswithoutanyprogress.122Then點(diǎn)擊鏈接可正常打開對應(yīng)文檔Thenconsideralternativetestapproachese.g.scrollingformorecontext,send_keystointeractwithkeysdirectly,[How]”進(jìn)行說明對常見測試用例錯誤進(jìn)行糾正用例演進(jìn)Context知識，由大模型自主分直接基于原始測試用例生成新測▽執(zhí)行通過人工判定場景類比領(lǐng)域知識操作路徑地理公司QE動作-跨技術(shù)棧的可注冊動作機(jī)制You,2個月前|2authors(Youandoneother)classfile_path:str=Field(….,description='要上傳的文件路徑')插入文件到文檔中2Appfile_Appfile_path:str=Field(…,description='要插入的文件路徑')Actions[動作庫]Actions[動作庫]通用動作業(yè)務(wù)動作classSelectOptionAction(BaseModel)"""選擇單選框選項(xiàng)的參數(shù)模型"""option_text:str=Field(…,description='要選擇的選項(xiàng)文本')classPosition(BaseModeinty:int核心組件ActionRegistry■使用泛型設(shè)計(jì)，支持自定義上下文類型■通過Registry管理所有可用的動作■提供統(tǒng)一的動作執(zhí)行接口■支持動作參數(shù)驗(yàn)證和錯誤處理RegistryEnVBrowserEnV環(huán)境層CDP協(xié)議PCactionaction":["search_google":null,"url":""""go_back":null,"wait":null,"click_element":null,"switch_tab":null,"open_tab":null,"send_keys":null,"get_dropdown_options":null,"select_dropdown_option":null,"drag_drop":null,"right_click_element":null,"hover_element":null,"upload_file":null,"open_permission_management_panel":null,"add_member":null,"hover_by_locator":null,"click_context_menu_item":null,"user_login":null,"create_document":null4754764804819弼工具-可被調(diào)用的能力契約錯誤模型標(biāo)準(zhǔn)化：用可枚舉的錯誤碼+人讀友好信息+可恢復(fù)性超時與重試邊界：設(shè)置“硬性超時與錯誤”,不寫重試策略，避免“策略下沉”。成本標(biāo)注：對有代價的調(diào)用[LLT、外部API]標(biāo)注cost估計(jì)與{"name":"ui.parse","summary":"解析UI截圖為元素列表(bbox=xyxy,支持歸一化)。","description":"純解析工具：輸入一張圖片，輸出元素類型、bbox與置信度；不包含任何策略/斷言/重試；不改變外部狀"type":"object","required":["image_b64"],"contentEncoding":"base64","description":"PNG/JPEG的base64(無data:前綴)""normalize_bbox":{"default":true,"description":"true=返回0~1歸一化坐標(biāo)；false=返回像素坐標(biāo)""timeout_ms":{"type":"integer","minimum":1,"maximum":10000,"output_schema":{"type:"object","required:["ok","width","height","bbox_format","normalized","elements"],"height":{"type":"integer","minimum":1},"bbox_format":{"enum":["xyxy"],"description":"統(tǒng)一使用bbox,順序[×1,y1,×2,y2]""normalized":{"type":"boolean","description":"與輸入normalize_bbox對齊；true表示bbox∈[0,1]""elements":{...}}"additionalProperties":false"errors":[{"code":"INVALID_IMAGE","recoverable":false},"side_effects":[],"examples":[..]全球軟件質(zhì)量&效能大會Taskhigh-levelplanning+PlanNextStepasyncasyncdefdo_one_step(self,step_info):Task/StepFinishstepcomplete?{"evaluation_previous":"判斷上步是否成功","progress_status":"統(tǒng)計(jì)進(jìn)度與剩余任務(wù)",了ComposeComposeContext"actions":["click_element":{}AtomicOperationCommonActionFileOperator#4.遞增執(zhí)行步驟計(jì)數(shù)器"""執(zhí)行單個步驟一核心流程"""#1。獲取當(dāng)前頁面狀態(tài)信息state=awaitself.context.get_current_state()#2.將頁面狀態(tài)添加到對話上下文self._message_manager.add_page_state#4.遞增執(zhí)行步驟計(jì)數(shù)器"""執(zhí)行單個步驟一核心流程"""#1。獲取當(dāng)前頁面狀態(tài)信息state=awaitself.context.get_current_state()#2.將頁面狀態(tài)添加到對話上下文self._message_manager.add_page_state_to_context(#5.清理臨時狀態(tài)消息(避免歷史過長)self._message_manager.remove_temporary_state_message()#6.將LLM決策保存到對話歷史#7.執(zhí)行操作動作result=awaitself.execute_actions(model_output.action)#8.更新執(zhí)行結(jié)果和保存歷史記錄self.state.last_result=resultinput_messages=[#1.系統(tǒng)提示詞SystemMessage(content="你是一個瀏覽器自動化Agent..."),#2.任務(wù)描述HumanMessage(content="Yourultimatetaskis:登錄網(wǎng)站并查看個人信息"),AIMessage(content="",tool_calls=[…1),#之前的LLM響應(yīng)HumanMessage(content="Actionresult:成功導(dǎo)航到登錄頁面"),#4.當(dāng)前頁面狀態(tài)HumanMessage(content="""CurrentURL:/Login#6.計(jì)劃器分析(如果啟用)HumanMessage(content="PlanningAnalysis:當(dāng)前在登錄頁面，需要輸入用戶名和密碼"),HumanMessage(content=[{"type":"text","text":"頁面包含用戶名輸入框、密碼輸入框和登錄按鈕"},{"type":"image_url","image_url":{"url":"data:image/jpeg;base64,..."}} 問題測試結(jié)果誤報(bào)高，如何解決非確定性帶來的結(jié)果模糊?穩(wěn)定性極高失敗，要么是缺陷、要么是需求變更智能測試(非確定性)滿足測試意圖，每次行為可能有差異操作真相-真實(shí)測試步驟真陽性(TP真陽性(TP)真陰性(TN)··回收站文檔右鍵菜單展示●徹底刪除文檔□操作◎刪除文檔回收站內(nèi)排序·非空間成員刪除共享文….用例●還原已解散空間--超級…驗(yàn)·非空間成員刪除共享文….用例●還原已解散空間--超級…驗(yàn)證●協(xié)作者頭像hover操作非空間成員刪除空間內(nèi)….回收站清空--刷新頁面驗(yàn)證·還原刪除文件央操作map[step:action]查看幻燈片詳情頁頭部.…操作文檔被刪除詳情頁提示…清空已解散的空間用例·我的云文檔列表無新增…·查看幻燈片詳情頁頭部…●徹底刪除文件夾●徹底刪除文件夾mobile的云文檔為空展示操作·左側(cè)目錄點(diǎn)擊進(jìn)入我的….左上角展示新建··左側(cè)面板顯示·左上角”+新建”按鈕下…●按智能文檔篩選驗(yàn)證·文件tab為空展示驗(yàn)證被動添加到他人共享空…用例·云文檔目錄收折·左側(cè)目錄樹左下方展示…·左側(cè)目錄點(diǎn)擊進(jìn)入共享….假陽性(FP)假陰性假陽性(FP)假陰性(FN)真陰性(TN):用例描述改進(jìn)(見后續(xù)章節(jié))·共享空間重命名·智能文檔導(dǎo)出為二級菜….操作·導(dǎo)出為--PDF(在線)操作·xmind導(dǎo)出為-在線文檔操作|●sheet導(dǎo)出為二級菜單…操作·展開文件夾·快速訪問列表更多菜單…用例近1個月查看時間來篩選驗(yàn)證操作●搜索結(jié)果菜單面板檢查….·列表頁多選文檔右鍵添…·快速訪問列表篩選功能操作●搜索結(jié)果菜單面板檢查….·列表頁多選文檔右鍵添…·快速訪問列表篩選功能…·收藏列表為空顯示·共享空間驗(yàn)證·容量已使用完，回收站..驗(yàn)證·容量已使用完，回收站..操作●搜索結(jié)果頁基于真實(shí)操作的測試用例改進(jìn)思路原始用例Scenario:新建文檔PDF文檔導(dǎo)出原始用例When點(diǎn)擊“PDF轉(zhuǎn)換”,選擇“在線PDF文檔”Then導(dǎo)出成功，提示：已導(dǎo)出在線PDF文檔，立即查看Then點(diǎn)擊“立即查看”,跳轉(zhuǎn)到在線PDF文檔頁面1用例評審—→基于主觀溝