基于AI的智能用例生成在淘天業(yè)務(wù)的實(shí)踐講

師姚波AI用例生成&用例數(shù)據(jù)構(gòu)造實(shí)踐0305總結(jié)與展望當(dāng)前落地效果04項(xiàng)目現(xiàn)狀與思考02>

項(xiàng)目背景01Part

1項(xiàng)目背景項(xiàng)目質(zhì)量保障全生命周期Part

2項(xiàng)目現(xiàn)狀與思考需求產(chǎn)出?

部分產(chǎn)品的需求質(zhì)量不可控?

需求反復(fù)溝通修改，信息不對(duì)齊用例編寫與管理?

用例產(chǎn)出占測(cè)試工作量20-25%

，邏輯理解&梳理&確認(rèn)、異常&資損等場(chǎng)景構(gòu)造、用例具體編寫等工作費(fèi)時(shí)?

大部分人員還是傳統(tǒng)的Xmind用例編寫方式，無固定格式，用例核心資產(chǎn)無法管理與繼承，新人復(fù)用困難，

存在重復(fù)性的工作測(cè)試數(shù)據(jù)準(zhǔn)備?

復(fù)雜項(xiàng)目依賴多個(gè)域的測(cè)試數(shù)據(jù)?

各域工具專注域內(nèi)數(shù)據(jù)構(gòu)造，已有能力不透明?

新老人對(duì)測(cè)試數(shù)據(jù)的熟悉程度天差地別現(xiàn)狀與痛點(diǎn)?造數(shù)需求合并到單個(gè)用例結(jié)果中?

自動(dòng)生成需要的測(cè)試賬號(hào)、測(cè)試商家、營(yíng)銷活動(dòng)等?標(biāo)準(zhǔn)功能測(cè)試用例，包含標(biāo)題、前置條件、執(zhí)行步驟、預(yù)期結(jié)果?包含功能用例、異常用例、資損用例?大模型統(tǒng)一產(chǎn)出對(duì)應(yīng)的需求疑問點(diǎn)?產(chǎn)品經(jīng)理擇優(yōu)改進(jìn)?大模型直接修改輸出（for用例生成）?通用格式規(guī)范檢查?通用語義和語法錯(cuò)誤檢查?特定業(yè)務(wù)規(guī)則和實(shí)體的檢查?歷史相似需求邏輯補(bǔ)充??充分理解用例前置條件，智能判斷是否需要生成造數(shù)需求基于文本的造數(shù)需求語義理解，自動(dòng)識(shí)別需要哪個(gè)業(yè)務(wù)域的造數(shù)能力并自動(dòng)提取造數(shù)所需參?文本和表格內(nèi)容理解?

需求功能推理?邏輯功能點(diǎn)推理拆分?

測(cè)試點(diǎn)整理如何利用AI大模型能力助力質(zhì)量保障提效高質(zhì)量需求優(yōu)化Agent用例數(shù)據(jù)構(gòu)造Agent用例生成Agent數(shù)能力能力能力產(chǎn)出產(chǎn)出產(chǎn)出Part

3AI用例生成&用例數(shù)據(jù)實(shí)踐

整篇需求可能涉及淘寶全域業(yè)務(wù)，上下文語義理解并不依賴，甚至有互斥

底層模型的輸入token有限制，整體輸入會(huì)帶來更多的模型不確定性

模型輸出token的上限直接限制了用例輸出的個(gè)數(shù)，全篇需求輸入用例生成的

覆蓋度明顯不足

按照淘寶全域或者業(yè)務(wù)細(xì)分場(chǎng)域進(jìn)行需求點(diǎn)拆分與補(bǔ)充，

有效的格式

與層級(jí)會(huì)幫助大模型更容易理解需求邏輯

并行調(diào)用模型生成用例并做用例合并

人工用例補(bǔ)全或者通過多輪對(duì)話交互補(bǔ)全用例理解需求背景看看涉及哪些細(xì)分場(chǎng)域和產(chǎn)品以及技術(shù)對(duì)齊改動(dòng)點(diǎn)和鏈路按照細(xì)分場(chǎng)域生成用例用例生成難點(diǎn)分析

全篇需求直接生成效果差

資深的業(yè)務(wù)測(cè)試經(jīng)驗(yàn)來源（歷史需求、技術(shù)文檔、歷史用例）都需要做

有效的沉淀，整合成有效的RAG知識(shí)庫外掛

測(cè)試領(lǐng)域知識(shí)（邊界值分析、等價(jià)劃分、正交實(shí)驗(yàn)等）沉淀在Prompt中，作為用例生成的固化經(jīng)驗(yàn)?zāi)０?/p>

需求背景知識(shí)比較凝練，大模型無法完全理解

業(yè)務(wù)相關(guān)獨(dú)有概念、定制鏈路、領(lǐng)域知識(shí)大模型無法完全理解

通用大模型針對(duì)測(cè)試設(shè)計(jì)相關(guān)領(lǐng)域知識(shí)的缺失已經(jīng)在業(yè)務(wù)中摸爬滾打許久，之前的相關(guān)需求已經(jīng)了解過，新需求能很快理解精通業(yè)務(wù)知識(shí)一直在實(shí)踐測(cè)試領(lǐng)域知識(shí)用例生成難點(diǎn)分析

通用大模型無法理解業(yè)務(wù)特定場(chǎng)景用例生成&用例數(shù)據(jù)構(gòu)造整體業(yè)務(wù)架構(gòu)用例生成流程圖結(jié)構(gòu)化提示詞##

Role:專家級(jí)軟件測(cè)試員##Constraints:-用例需要全部輸出，不能因?yàn)楦鞣N原因省略。-生成用例的具體數(shù)值時(shí)，不能出現(xiàn)邏輯和計(jì)算錯(cuò)誤。-完成任務(wù)后即結(jié)束對(duì)話，不詢問其他問題。##

Goals:-分析需求文檔，明確需求背景、業(yè)務(wù)場(chǎng)景、測(cè)試目標(biāo)和要求。-根據(jù)測(cè)試功能點(diǎn)設(shè)計(jì)對(duì)應(yīng)個(gè)數(shù)的測(cè)試用例，每個(gè)用例包含標(biāo)題、前置條件、執(zhí)行步驟和預(yù)期結(jié)果。-測(cè)試用例的輸出符合Markdown格式，邏輯清晰、可讀性高。##CaseLevelStandard:-設(shè)計(jì)的用例根據(jù)優(yōu)先級(jí)從高到低可分類為P1、

P2、

P3用例。-

P1用例為涉及需求關(guān)鍵功能模塊的用例，直接影響系統(tǒng)的核心業(yè)務(wù)流程，或可能導(dǎo)致重大缺陷的用例。-

P2用例為涉及支持性功能模塊的用例，不直接影響核心業(yè)務(wù)流

程，但對(duì)整體系統(tǒng)的運(yùn)行有輔助作用。-

P3用例為邊緣性功能相關(guān)用例，對(duì)系統(tǒng)整體影響較小，且出現(xiàn)缺陷的概率較低。##Workflow【這里主要是講Prompt中用例的設(shè)計(jì)流程，不是

可使用的提示詞】1.

結(jié)合RAG召回的Top相關(guān)知識(shí)做需求重寫，拆分成合適的上下段落2.

參考<Examples>的用例生成經(jīng)驗(yàn)，引入相關(guān)測(cè)試方法論，幫助模型整理出所有邏輯分支、功能點(diǎn)、條件等，比如正交實(shí)驗(yàn)、邊界值分析

等。3.二次確認(rèn)RAG知識(shí)庫內(nèi)容的

用例補(bǔ)充。4.用例邏輯ReCheck。5.確定用例等級(jí)。6.為每一個(gè)用例分配相應(yīng)的測(cè)

試數(shù)據(jù)，增加用例的可讀性。7.確定用例最終的輸出格式規(guī)范##OutputFormat:####{序號(hào)}.測(cè)試標(biāo)題：測(cè)

試標(biāo)題####用例等級(jí)：{等級(jí)}####前置條件：-前置條件描述

1-前置條件描述2

####執(zhí)行步驟：-執(zhí)行步驟1-執(zhí)行步驟2####預(yù)期結(jié)果：-預(yù)期結(jié)果1-預(yù)期結(jié)果2結(jié)構(gòu)化提示詞角色定義目標(biāo)指令全局限制設(shè)計(jì)流程格式限定少樣本提示可參考：

/wiki/RXdbwRyASiShtDky381ciwFEnpe，

mptingguide.ai/zh功能用例生成Prompt

經(jīng)驗(yàn)引導(dǎo)模型使用RAG和測(cè)試領(lǐng)域知識(shí)避免模型過渡發(fā)散統(tǒng)一用例格式提煉需求中的資損點(diǎn)資損問題分類資損用例設(shè)計(jì)二次確認(rèn)防止發(fā)散資損用例生成Prompt

經(jīng)驗(yàn)資損目標(biāo)限定

資損點(diǎn)專家經(jīng)驗(yàn)資損點(diǎn)RAG知識(shí)庫專家經(jīng)驗(yàn)激勵(lì)

少樣本提示資損對(duì)賬知識(shí)庫交易正向

交易逆向

傭金

權(quán)益發(fā)放資損點(diǎn)說明

用例前后邏輯不可執(zhí)行操作的限定….資損用例通用約束資損用例默認(rèn)約束系統(tǒng)異常限定安全漏洞限定核銷異常限定…導(dǎo)購場(chǎng)域金額表達(dá)退款狀態(tài)不同步部分退變?nèi)~退…分賬金額計(jì)算分賬訂單統(tǒng)計(jì)…優(yōu)惠多享少支付多打款…非預(yù)期渠道上限蓋帽…用例格式通過大模型的理解能力結(jié)合平臺(tái)能力，實(shí)現(xiàn)自然語言驅(qū)動(dòng)的測(cè)試數(shù)據(jù)生成，節(jié)省測(cè)試數(shù)據(jù)準(zhǔn)備時(shí)間AI造數(shù)需求Flow流程編排Part4當(dāng)前落地效果功能演示

絕對(duì)采納率未經(jīng)任何變更的AI生成用例數(shù)/初版AI生成用例總數(shù)未經(jīng)任何變更的AI生成用例：標(biāo)題、前置條件、數(shù)據(jù)準(zhǔn)備、執(zhí)行步驟、預(yù)期結(jié)果的均未發(fā)生變更這個(gè)指標(biāo)反映了初版用例中完全未經(jīng)過修改就被采納的比例，它衡量的是初版用例的質(zhì)量和穩(wěn)定性山

相對(duì)采納率納入使用的AI生成用例數(shù)（含變更和未變更）/初版AI生成用例總數(shù)這個(gè)指標(biāo)反映了初版用例中有多少被納入了最終版，無論這些用例是否經(jīng)過了變更，它衡量的是初版用例的整體采納情況納入使用的AI生成用例數(shù)/項(xiàng)目用例總數(shù)（包含人工補(bǔ)充）這個(gè)指標(biāo)反映了AI生成的用例的最終覆蓋度，是衡量模型用例生成推理能力的的重要指標(biāo)

冗余率AI生成未被采納的用例數(shù)/初版AI生成用例總數(shù)這個(gè)指標(biāo)反映了AI生成的用例中有多少是無效或不必要的，它可指引AI模型進(jìn)行進(jìn)一步的優(yōu)化統(tǒng)計(jì)指標(biāo)定義AI生成占比?

用例生成提效50%以上?

AI數(shù)據(jù)在部分業(yè)務(wù)團(tuán)隊(duì)提效40%以上?

目前大團(tuán)隊(duì)內(nèi)全量推廣使用中?

日均使用AI生成用例數(shù)在200以上業(yè)務(wù)落地?

絕對(duì)采納率均值在70%左右，

相對(duì)采納率均值在78%左右，

AI占比均值在85%落地效果項(xiàng)目提效統(tǒng)計(jì)效果Part

5總結(jié)與展望

展望?

用例生成模式上可以基于Copilot多輪對(duì)話的方式幫助模型提升用例覆蓋

率?目前AI用例生成是基于文本

+表格的方式來理解需求，后續(xù)需要探索流程圖+交互稿全方位解析的方式幫

助大模型更深入的理解需求?

基于現(xiàn)有的AI