質(zhì)量大模型及其在接口測試場景下的實(shí)踐1.

大模型如何解決質(zhì)量域問題2.

質(zhì)量大模型的構(gòu)建路徑3.

質(zhì)量大模型在接口測試中的實(shí)踐4.

未來展望目

錄CONTENTSPA

RT

01大模型如何解決質(zhì)量域問題大模型具有賦能軟件研發(fā)全流程的能力軟件設(shè)計(jì)環(huán)境搭建軟件開發(fā)質(zhì)量測試?

原型圖?

UML圖?

流程圖?

……?

依賴樹?

版本沖突?

……?

類與函數(shù)?

數(shù)據(jù)結(jié)構(gòu)?

復(fù)雜度?

……?

驗(yàn)收測試?

單元測試?

Bug處理?

……軟件需求文檔（PRD）Li

B,Wu

W,

Tang

Z,et

al.

Devbench:

A

comprehensive

benchmark

for

software

development[J].

arXiv

preprint

arXiv:2403.08604,

2024.大模型在質(zhì)量域下的應(yīng)用場景測試用例生成故障定位/修復(fù)質(zhì)量知識查詢問答線上問題總結(jié)分析測試斷言生成測試輸入生成……Wang

J,

Huang

Y,

Chen

C,et

al.

Software

testing

with

large

language

models:

Survey,

landscape,

and

vision[J].

IEEE

Transactions

onSoftwareEngineering,

2024.大模型能夠解決質(zhì)量測試領(lǐng)域的哪些問題？覆蓋率要求高自動化難度大人工成本高質(zhì)量測試全面、準(zhǔn)確地發(fā)現(xiàn)各種特殊情況與邊界問題經(jīng)驗(yàn)密度大、業(yè)務(wù)特異性高，難以自動化或手段難復(fù)用測試用例撰寫、質(zhì)量問題分析等工作需要大量人工1

嚴(yán)謹(jǐn)、全面2

知識、經(jīng)驗(yàn)階段能力繼續(xù)預(yù)訓(xùn)練微調(diào)/對齊對話/服務(wù)領(lǐng)域知識注入多任務(wù)能力獲取拓寬應(yīng)用邊界質(zhì)量測試領(lǐng)域呼喚質(zhì)量大模型知識中心執(zhí)行中心基礎(chǔ)質(zhì)量概念問答端到端任務(wù)執(zhí)行…………語言理解質(zhì)量知識服務(wù)中心業(yè)務(wù)經(jīng)驗(yàn)LLMs

asBrains質(zhì)量工具調(diào)度外部知識增強(qiáng)問答……PA

RT

02質(zhì)量大模型的構(gòu)建路徑質(zhì)量大模型的構(gòu)建路徑更新迭代評測指標(biāo)問題歸因數(shù)據(jù)飛輪部署應(yīng)用端到端對話檢索增強(qiáng)問答工具調(diào)用與執(zhí)行Continue

Pre-trainingInstruction

Tuning多任務(wù)能力

Prompt設(shè)計(jì)模型訓(xùn)練數(shù)據(jù)構(gòu)建專業(yè)知識注入語言模型非結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)文檔結(jié)構(gòu)化數(shù)據(jù)線上系統(tǒng)回流

歷史數(shù)據(jù)沉淀質(zhì)量知識繼續(xù)預(yù)訓(xùn)練——知識注入訓(xùn)練材料：知識構(gòu)建語言模型知識訓(xùn)練對象：開源模型底座知識處理知識質(zhì)量*不完全列舉指令微調(diào)——技能培訓(xùn)關(guān)鍵問題：質(zhì)量域中的許多任務(wù)都是以結(jié)構(gòu)化數(shù)據(jù)為基礎(chǔ)，如何用基于非結(jié)構(gòu)化對話形式的大模型完成結(jié)構(gòu)化數(shù)據(jù)任務(wù)？——解法在于如何針對特定任務(wù)設(shè)計(jì)指令并進(jìn)行微調(diào)流程任務(wù)選取數(shù)據(jù)獲取微調(diào)兩大類任務(wù)選?。簝纱箢悢?shù)據(jù)基礎(chǔ)知識：指令構(gòu)建技巧：明確任務(wù)需求微調(diào)注意事項(xiàng)：數(shù)據(jù)分布質(zhì)量/業(yè)務(wù)知識問答清晰描述任務(wù)的推理邏輯、執(zhí)行步驟向模型提供基礎(chǔ)的質(zhì)量問答能力包括外部基礎(chǔ)知識與內(nèi)部的文檔積累平衡各任務(wù)的數(shù)據(jù)分布，避免過擬合格式規(guī)約特定質(zhì)量任務(wù)執(zhí)行對格式進(jìn)行嚴(yán)格規(guī)約，降低工程難度任務(wù)數(shù)據(jù)訓(xùn)練成本指令泛化以端到端形式執(zhí)行的質(zhì)量任務(wù)，如測試用例生成等于真實(shí)場景的特定任務(wù)數(shù)據(jù)多卡訓(xùn)練、LoRA微調(diào)等，節(jié)省時(shí)間與顯存成本增強(qiáng)魯棒性應(yīng)用方式——作為端到端Bot以端到端對話形式執(zhí)行質(zhì)量任務(wù)[1]

KangS,

YoonJ,

YooS.Large

language

modelsare

few-shot

testers:

Exploring

llm-basedgeneral

bugreproduction[C]//2023

IEEE/ACM

45th

International

Conference

onSoftwareEngineering(ICSE).

IEEE,

2023:

2312-2323.[2]

Fakhoury

S,Chakraborty

S,Musuvathi

M,

et

al.Towardsgenerating

functionallycorrect

codeeditsfrom

natural

language

issuedescriptions[J].

arXivpreprint

arXiv:2304.03816,

2023.應(yīng)用方式——作為工作流組件大模型作為質(zhì)量工作流當(dāng)中的組件，為質(zhì)量工具提供了豐富的泛化性和強(qiáng)大的生成能力，提升了質(zhì)量工具的能力上限。以一個(gè)測試賬號查詢工作流為例：數(shù)據(jù)表信息好的，id為幫我找一個(gè)余額寶持倉為0的測試賬號xxxx的測試賬號余額寶持倉為0數(shù)據(jù)源基于LLM實(shí)現(xiàn)SQL自動執(zhí)行大模型潤色回答/執(zhí)行失敗安撫與建議NL2SQL取數(shù)大模型通過接受用戶輸入與數(shù)據(jù)表（表名、字段名稱、字段描述、取值范圍等）信息既可實(shí)現(xiàn)NL2SQL，節(jié)省了小模型訓(xùn)練的成本PA

RT

03質(zhì)量大模型在接口測試中的實(shí)踐接口測試的特點(diǎn)與難題專業(yè)性場景化復(fù)雜性對專家知識和經(jīng)驗(yàn)要求高需要結(jié)合特定業(yè)務(wù)邏輯人工成本和時(shí)間成本較高質(zhì)量大模型應(yīng)用——校驗(yàn)點(diǎn)生成輸入輸出質(zhì)量大模型質(zhì)量大模型應(yīng)用——校驗(yàn)點(diǎn)生成Prompt組裝任務(wù)所需的必要信息輸入信息接口名稱入?yún)⒊鰠⒏鶕?jù)專家經(jīng)驗(yàn)總結(jié)的執(zhí)行該任務(wù)所需的推理過程推理步驟根據(jù)業(yè)務(wù)要求確定字段的取值范圍和校驗(yàn)方式識別出參中的關(guān)鍵字段撰寫校驗(yàn)點(diǎn)列表強(qiáng)調(diào)針對任務(wù)輸出格式、形式等規(guī)范的要求規(guī)范要求每個(gè)校驗(yàn)點(diǎn)必須包含的特定字段……輸出必須遵循json格式質(zhì)量大模型應(yīng)用——業(yè)務(wù)知識問答接口測試知識增強(qiáng)問答爬取+切片幫我找一個(gè)風(fēng)測修改接口知識分片知識文檔工具向量庫用戶query嵌入模型向量檢索好的，風(fēng)測修改的接口名稱是……，調(diào)用方式……大模型回復(fù)Query向量質(zhì)量大模型應(yīng)用——工具執(zhí)行對話形式調(diào)用工具幫我執(zhí)行一個(gè)post請求，接口是……，入?yún)⑹恰ぞ呒嫌脩魆uery工作流開發(fā)執(zhí)行結(jié)果Function

Call大模型好的，執(zhí)行結(jié)果是……參數(shù)解析、工具調(diào)度工作流執(zhí)行回復(fù)大模型PA

RT

04未來展望總結(jié)產(chǎn)品內(nèi)容上圍繞質(zhì)量

+

大模型的提效工