Al驅(qū)動研發(fā)變革促進企業(yè)降本增效崔宸去哪兒旅行科技生態(tài)圈峰會+深度研習—1000+技術(shù)團隊的共同選擇K+峰會上海站K+峰會敦煌站K+思考周研習社K+峰會香港站K+思考周研習社K+峰會詳情Al+研發(fā)數(shù)字峰會A/驅(qū)動研發(fā)變革促進企業(yè)降本增效2024深圳站-議題設(shè)置掃描右側(cè)二維碼掃描右側(cè)二維碼￥3680早鳥票￥2800學生票Al+工程線(LLM￥3680早鳥票￥2800學生票2022年加入去哪兒旅行基礎(chǔ)架構(gòu)-基礎(chǔ)平臺團隊，主要負責測試域工具的研發(fā)。參與過自動化測試、聯(lián)調(diào)平臺、寫壓測等項目，對錄制回放場景有深入了解。熟悉Al大模型通識，23年開始主攻AI大模型應(yīng)用方向，完成Al在測試域、需求域提效的應(yīng)用落地。在去哪兒AIGCHACKATHON大賽獲得冠軍。Al+研發(fā)數(shù)字峰會Al+DevelopmentDigitalsu通過Al生成代碼流程圖Al生成測試點列表運維域需求域開發(fā)域測試域運維域Alagent智能體平臺AIIDE插件根因分析。工單自動化Al+研發(fā)數(shù)字峰會Al+DevelopmentDigitalsuAl+研發(fā)數(shù)字峰會Al+DevelopmentDigitalsu需求溝通效率低平均耗時30min-1h自測自發(fā)不寫case機票自測自發(fā)比例86%25pd機票自測自發(fā)比例86%25pd以上需求3-5h4需求文檔質(zhì)量參差不齊4無評估標準，只能憑感覺提升QA寫checklist的效率提升自測自發(fā)需求質(zhì)量可以檢查需求文檔的質(zhì)量?設(shè)計關(guān)鍵點Al+研發(fā)數(shù)字峰會Al+DevelopmentDigitalsu需求文檔需求文檔門檻高、成本高、需要數(shù)據(jù)積累有遷移、整理成本門檻高、成本高、需要數(shù)據(jù)積累輔助(靈活):智能體多輪問答需求文檔預(yù)處理需求點提取工程+Al拆分需求點Al輔助(靈活):智能體多輪問答需求文檔預(yù)處理需求點提取工程+Al拆分需求點Al生成checklist測試點：1.測試售后新開接口是否能正確按航變原因返回乘機人維度的可退數(shù)據(jù)。3.檢驗當沒有乘機人可以退款時系統(tǒng)是否給出正確的文案。示例：對于一個沒有任何可退乘機人的訂單執(zhí)行流程，系統(tǒng)應(yīng)4.測試在乘機人可以退款的不同情境下(個數(shù)=0,1,>1),系統(tǒng)5.檢查售后接口調(diào)用時，不同退款金額情況(待核算/有具體金額)下系統(tǒng)是否展示準確的文案。將為您未出行航段提交退款：退款乘機人及航段：用戶選擇的乘機人姓名(提退航程)項目流程集成用戶交互層系統(tǒng)功能層基礎(chǔ)組件用戶交互層系統(tǒng)功能層基礎(chǔ)組件88效果評估checklist生成效果評估checklist生成思維導圖轉(zhuǎn)換需求文檔1.獲取需求文檔，對文本進行拆分2.結(jié)構(gòu)化文檔+prompt向大模型提問安全性校驗3.將Al返回的測試點進行轉(zhuǎn)換，渲染為腦圖安全性校驗4.歸檔Al生成與手動修改完的case,分析數(shù)據(jù)外部APIAIGCAIGC基建效果數(shù)據(jù)報告原因分析：·需求文檔無固定模板，規(guī)范性較低·需求文檔中的無關(guān)內(nèi)容影響生成效果目錄【需求正文】二級標題改動范圍正文需求點1:三級標題正文需求點2:三級標題正文需求點3:三級標題正文Al+研發(fā)數(shù)字峰會Al+DevelopmentDigitalsu解決方案：·需求文檔預(yù)處理，提取需求正文·拆分需求正文，獲得結(jié)構(gòu)化需求點【需求正文】改動范圍登錄頁面需求點1:前端增加用戶名和密碼的輸入框。密碼最少為6位，格式為大小寫字母+數(shù)字，并且前端展示為加密字符。用戶名或密碼格式不符合的情況提示用戶"用戶名或密碼格式不正確"。需求點2:后端用戶名入庫時校驗，格式為大小寫字母+數(shù)字。密碼入庫時校驗，格式為大小寫字母+數(shù)字，最少6位，入庫后需要加密。用戶名或密碼格式不符合的情況向前端返回"用戶名或密碼格式不正確" Al+研發(fā)數(shù)字峰會 Al+研發(fā)數(shù)字峰會 Al+DevelopmentDigitalsum是是否否是·生成準確率高是·對產(chǎn)品角色要求變高【需求正文】改動范圍否否分段需求點1:三級標題分段分段后的需求點2:三級標題分段后的需求點3:三級標題Al+研發(fā)數(shù)字峰會Al+DevelopmentDigitalsuAl+研發(fā)數(shù)字峰會Al+DevelopmentDigitalsu是是需求文檔圈定需求正文：否·預(yù)處理成本低是xxxx(忽略)是2.工時否xxxx(忽略)否分段分段分段后的需求文檔文本 Al+研發(fā)數(shù)字峰會 Al+研發(fā)數(shù)字峰會是是需求文檔完全無格式：否否否分段分段后的需求文檔文本keyMessage:需求點關(guān)鍵信息keyMessage:需求點關(guān)鍵信息12456789{+數(shù)字，密碼為大小寫字母+數(shù)字且最少6位","輸入符合要求的用戶名和密碼，入庫成功并加密存儲","example":"入?yún)ⅲ河脩裘篴bc123,密碼：Aa1234,輸出：{"example":"入?yún)ⅲ河脩裘篅#$%,密碼：a1b2c3,輸出：{"example":"入?yún)ⅲ河脩裘篴bcd1234,密碼：abc,}]}Al+研發(fā)數(shù)字峰會Al+DevelopmentDigitalsu角色&1,提取需求點文本的關(guān)鍵信息2,給出測試點列表和示例規(guī)則采納率(采納case數(shù)/生成case數(shù))召回率(采納case數(shù)/終版case數(shù))成本0TARSTARS自動化ChecklistCaseBugreviewreview完成，生成case自動生成case名插入下級主題插入上級主題●定時掃描第二天進入開發(fā)中的需求，觸發(fā)自動生成checklist零成本接入 Al+研發(fā)數(shù)字峰會回歸自動化eeee0田123456789{{"輸入符合要求的用戶名和密碼，入庫成功并加密存儲","example":"入?yún)ⅲ河脩裘篴bc123,密碼：Aa1234,輸出：{"example":"入?yún)ⅲ河脩裘篅#$%,密碼：a1b2c3,輸出：{"example":"入?yún)ⅲ河脩裘篴bcd1234,密碼：abc,]}登錄頁面增加用戶名和密碼的輸入框。用戶名限定格式為大小寫字母+數(shù)字。密碼最少為6位，格式為大小寫字母+數(shù)字，并且前端展示為加密字符。用戶名或密碼格式不符合的情況提示用戶"用戶名或密碼格式不正確"。用戶名入庫時校驗，格式為大小寫字母+數(shù)字。密碼入庫時校驗，格式為大小寫字母+數(shù)字，最少6位，入庫后需要加密。用戶名或密碼格式不符合的情況向前端返回"用戶名或密碼格式不正確" 前端增加用戶名和密碼的輸入框.日輸入不符合要求的用戶名和符合要求的密碼日輸入符合要求的用戶名和不符合要求的密碼后端用戶名入庫時校驗，格式為大小寫字母+數(shù)字…-輸入符合格式要求的用戶名和密碼，入庫成功入?yún)ⅲ河脩裘篴bc123,密碼：Abc123456,輸出：入庫成功日輸入不符合格式要求的用戶名，入庫失敗入?yún)ⅲ河脩裘篴bc,密碼：Abc123456,輸出：用戶名或密碼格式不正確一輸入不符合格式要求的密碼，入庫失敗入?yún)ⅲ河脩裘篴bc123,密碼：abc,輸出：用戶名或密碼格式不正確一輸入符合要求的用戶名和密碼白輸入不符合要求的用戶名和密碼F改動點登錄頁面前端eAl+研發(fā)數(shù)字峰會Al+研發(fā)數(shù)字峰會自動生成checklist日改動點田Al+研發(fā)數(shù)字峰會Al+DevelopmentDigitalsu用戶點擊反饋字符串匹配模型匹配實現(xiàn)簡單，無需另外設(shè)計會增加額外的流程，提高同上。并且巧妙利用了用戶修改checklist的使用習前期需要人工評估一些case,建立一套合理的閾值和權(quán)值模型。如果使用外部的embedding模型接備注·可能影響項目覆蓋率·可能影響統(tǒng)計效果Case1:密碼正確時彈窗Case2:密碼不正確時彈窗字符串匹配：87.5%Case1:彈窗不能關(guān)閉Case2:彈窗不可以關(guān)閉中文文本embedding模型是一種將文本轉(zhuǎn)換為向量表示的技術(shù)，它能夠捕捉文本的語義和語法信息，并將其轉(zhuǎn)換為連續(xù)的向量空間中的點。這種表示方式在自然語言處理領(lǐng)域被廣泛應(yīng)用于各種任務(wù)，如文本分類、情感分析、命名實體識別等。原始節(jié)點歸一化向量原始節(jié)點歸一化向量經(jīng)過用戶經(jīng)過用戶歸一化向量embedding向量歸一化向量Al+研發(fā)數(shù)字峰會Al+DevelopmentDigitalsu語義相似度自動生成節(jié)點數(shù)：5終版checklist節(jié)點數(shù)：6回A0自動生成總節(jié)點數(shù)=5A1終版checklist節(jié)點數(shù)=6A0自動生成總節(jié)點數(shù)=5A1終版checklist節(jié)點數(shù)=6含義(T)完全可采納(P)部分可采納采納率：(2*100%+1*50%)/5=50.0%召回率：(2*100%+1*50%)/6=41.7%Al+研發(fā)數(shù)字峰會Al+DevelopmentDigitalsu落地范圍每月500+個項目使用產(chǎn)品需求覆蓋率60%-70%準確率采納率x需求文檔邏輯清晰程度召回率召回率x需求文檔需求點拆分細致程度Al+DevelopmentDigitalsu提效成果·年化可節(jié)省約200pd填補自測自發(fā)不寫checklist的缺口?未來計劃涉及核心私密數(shù)據(jù)的需求，可以走內(nèi)部大模型生成業(yè)務(wù)知識庫：公司內(nèi)部概念，黑話，歷史資料等技術(shù)知識庫：系統(tǒng)調(diào)用關(guān)系，業(yè)務(wù)代碼資料等Al+研發(fā)數(shù)字峰會Al+DevelopmentDigitalsu科技生態(tài)圈峰會+深度研習—1000+技術(shù)團隊的共同選擇K+峰會