2024Al+研發(fā)數(shù)字峰會(huì)AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效王博北京交通大學(xué)軟件正確性至關(guān)重要?dú)W空局Ariane5波音737Max墜機(jī)海灣戰(zhàn)爭(zhēng)中愛國(guó)者飛彈7.23事故·軟件缺陷已經(jīng)導(dǎo)致很多災(zāi)難性后果·保障軟件的正確性十分重要·當(dāng)我們說(shuō)軟件是正確的：程序的行為符合正確性規(guī)約(specification)2024Al+研發(fā)數(shù)字峰會(huì)AI驅(qū)2024Al+研發(fā)數(shù)字峰會(huì)保障正確性的方法1.形式化方法輸入域→correct形式化方法成本很高2.軟件測(cè)試××輸入域測(cè)試是不完備的!測(cè)試質(zhì)量直接影響到軟件質(zhì)量·測(cè)試質(zhì)量達(dá)標(biāo)的系統(tǒng)才有一定的可信度·我們樸素的愿望：希望測(cè)試能發(fā)現(xiàn)真實(shí)缺陷·但是在發(fā)現(xiàn)之前，真實(shí)的缺陷對(duì)于我們是未知的·“測(cè)試可以非常有效地顯示bug存在，但卻無(wú)法證明bug的不存在”·我們可以使用一些指標(biāo)，間接地度量測(cè)試質(zhì)量·變異測(cè)試：用人造缺陷發(fā)現(xiàn)率估計(jì)真實(shí)缺陷發(fā)現(xiàn)率變異測(cè)試概覽程序程序變異體}publicintmax(inta,intb){變異測(cè)試概覽程序測(cè)試集的比例：變異體執(zhí)行測(cè)試變異體執(zhí)行測(cè)試2024Al+研發(fā)數(shù)字峰會(huì)AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降2024Al+研發(fā)數(shù)字峰會(huì)變異測(cè)試在軟件測(cè)試中的發(fā)展·變異測(cè)試自1971年被DeMillo和Hamlet提出以來(lái)，是軟件測(cè)試中的重要方法·修改位置：從一階變異(firstorder)到高階(higher-order),支持修改多處·在單元測(cè)試中：·從單元測(cè)試擴(kuò)展到其他測(cè)試階段：·設(shè)計(jì)階段(例如在基于模型的軟件開發(fā)過(guò)程中針對(duì)設(shè)計(jì)FSM的變異)從變異測(cè)試到變異分析·缺陷自動(dòng)定位：給定測(cè)試集(至少有一個(gè)未通過(guò)測(cè)試)和程序，返回程序中的語(yǔ)句出錯(cuò)可疑度分?jǐn)?shù)。2024Al+2024Al+研發(fā)數(shù)字峰會(huì)從變異測(cè)試到變異分析變異測(cè)試基于變異的缺陷定位翻轉(zhuǎn)if條件單元測(cè)試單元測(cè)試全部測(cè)試軟件產(chǎn)品線測(cè)試C選擇不同配置軟件產(chǎn)品線測(cè)試C20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD2024Al+研發(fā)數(shù)字峰會(huì)AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降2024Al+研發(fā)數(shù)字峰會(huì)工具和標(biāo)準(zhǔn)程序集·標(biāo)準(zhǔn)測(cè)試集20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD挑戰(zhàn)1:生成高質(zhì)量的變異·挑戰(zhàn)1:生成高質(zhì)量的變異·基于規(guī)則的傳統(tǒng)方法·基于學(xué)習(xí)的方法挑戰(zhàn)2:可擴(kuò)展性較低挑戰(zhàn)2:可擴(kuò)展性較低ab02024Al+研發(fā)數(shù)字峰會(huì)AI2024Al+研發(fā)數(shù)字峰會(huì)挑戰(zhàn)3:等價(jià)變異體·等價(jià)變異體：變異后的程序與原始程序在功能上完全相同，即它們對(duì)所有可能的輸入產(chǎn)生相同的輸出?！さ葍r(jià)變異的危害：·影響變異分?jǐn)?shù)計(jì)算的精確度·判斷等價(jià)變異體是不可判定問題：不存在一個(gè)自動(dòng)算法完美解決20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD面向挑戰(zhàn)1:大模型時(shí)代的變異生成·大模型在代碼理解和代碼變換上出色的能力，為提升變異分析提供了新的方向·大模型在程序修復(fù)上取得了顯著的效果面向挑戰(zhàn)2:基于共享計(jì)算的加速·變異分析執(zhí)行過(guò)程中需要反復(fù)執(zhí)行測(cè)試·我們可以嘗試共享冗余計(jì)算進(jìn)行加速基于大模型的變異生成·大模型能否生成更接近真實(shí)bug的變異?·變異有“揭錯(cuò)”能力·符合一般的編程規(guī)范·編碼模式和習(xí)慣與真實(shí)代碼一致·變異足夠多樣，且有足夠數(shù)量的變異被殺死·避免生成等價(jià)變異·生成的有足夠比例的變異能被測(cè)試檢測(cè)2024Al+研發(fā)數(shù)字峰會(huì)AI驅(qū)2024Al+研發(fā)數(shù)字峰會(huì)20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD·選用了4個(gè)模型一一一一·開源模型通過(guò)租用2臺(tái)雙卡3090服務(wù)器20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD·Defects4Jv1.20上395個(gè)真實(shí)的缺陷·ConDefects上的45個(gè)沒有數(shù)據(jù)泄露風(fēng)險(xiǎn)的缺陷一一·我們的對(duì)比方法涵蓋了所有的Java最新變異生成方法·基于小規(guī)模的預(yù)訓(xùn)練模型…"precode":"while(Math.abs(x-apempty,"aftercode"representsthelineofcodeaftermut2024Al+研發(fā)數(shù)字峰會(huì)2024Al+研發(fā)數(shù)字峰會(huì)·代價(jià)指標(biāo)：·時(shí)間代價(jià)(秒)一Mut.Score一一一20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD·可用性指標(biāo)：·等價(jià)變異率(按95%置信度和5%誤差幅度采樣)一一一一2.1%2.1%一一95682312512024Al+研發(fā)數(shù)字峰會(huì)2024Al+研發(fā)數(shù)字峰會(huì)基于大模型的變異生成：評(píng)估變換多樣性·變換多樣性指標(biāo)：·變異是否引入新的AST節(jié)點(diǎn)類型(例如，a+b->a-b沒有引入新類型，但a+b->foo(a,b)引入了方法調(diào)用)CodeLlama-13b:33BlockStatementBinaryOperation…StatementExpressionLMajor:2A20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD基于大模型的變異生成：評(píng)估變換多樣性·變換多樣性指標(biāo)：BO(24.7%)BO(35.5%)MI(17.6%)MR(22.7%)LT(40.1%)MI(8.2%)MI(4.1%)MR(16.3%)MI(12.5%)一20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD基于大模型的變異生成：與真實(shí)缺陷的語(yǔ)法相似度·變異與真實(shí)缺陷的BLEU分?jǐn)?shù)·變異與真實(shí)缺陷的AST編輯距離一一一二基于大模型的變異生成：與真實(shí)缺陷的語(yǔ)法相似度665493i40933520242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD基于大模型的變異生成：與真實(shí)缺陷的行為相似度·行為相似度指標(biāo)：·Ochiai系數(shù)(語(yǔ)義相似度指標(biāo))20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD一64.1%20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD2.1%2024Al+研發(fā)數(shù)字峰會(huì)AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本2024Al+研發(fā)數(shù)字峰會(huì)基于大模型的變異生成：導(dǎo)致不可編譯變異的原因162738495一一一 (d)μBert20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDDEquivalentMutationR20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD 基于大模型的變異生成：不同的FewshotExample 62.1%20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD·如果要求生成同樣數(shù)量的變異·我們將所有工具生成的變異數(shù)限制為最少的一個(gè)(muBert)一二2024Al+研發(fā)數(shù)字峰會(huì)AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本2024Al+研發(fā)數(shù)字峰會(huì)基于共享計(jì)算的加速：大模型時(shí)代變異分析效玄依然不高}}20242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效NDD基于共享計(jì)算的加速：標(biāo)準(zhǔn)變異分析中的冗余計(jì)算0000147125853696theexecutionfromthe基于共享計(jì)算的加速：分支流計(jì)算0025454878755AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效2024Al+研發(fā)數(shù)字峰會(huì)2024Al+研發(fā)數(shù)字峰會(huì)基于共享計(jì)算的加速：AccMut[ISSTA-17]0147M1,M22024Al+研發(fā)數(shù)字峰會(huì)AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降2024Al+研發(fā)數(shù)字峰會(huì)2024Al+研發(fā)數(shù)字峰會(huì)AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降2024Al+研發(fā)數(shù)字峰會(huì)variablee05349349166720242024Al+研發(fā)數(shù)字峰會(huì)|AI驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效