(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利地址710119陜西省西安市長安區(qū)西長安雷秀娟所(普通合伙)61223一種自動駕駛系統(tǒng)的性能邊界自適應(yīng)采樣方法本發(fā)明公開了一種自動駕駛系統(tǒng)的性能邊的場景輸入狀態(tài)向量和得分向量構(gòu)建標(biāo)記樣本集，采用基于頭腦風(fēng)暴優(yōu)化算法的優(yōu)化分類算自動駕駛測試場景描述自動駕駛測試度量設(shè)計自動駕駛測試數(shù)性能指標(biāo)數(shù)據(jù)集采樣數(shù)據(jù)點評估結(jié)果頭腦風(fēng)暴優(yōu)化算法的結(jié)構(gòu)和參數(shù)設(shè)置數(shù)優(yōu)化2根據(jù)自動駕駛測試的不同場景狀態(tài)，配置生成場景狀態(tài)空間向量、并根據(jù)其中一個場評估不同場景下自動駕駛系統(tǒng)性能指標(biāo)，獲得得分向量，根據(jù)根據(jù)生成的場景輸入狀態(tài)向量，采用自適應(yīng)搜索算法迭代生成新的場景輸入狀態(tài)向在自動駕駛系統(tǒng)仿真模型中輸入新的場景輸入狀態(tài)向量進(jìn)行仿真，生成得分向量，根根據(jù)不同性能模式下的標(biāo)記樣本集構(gòu)造性能邊界對，根據(jù)性能邊界對構(gòu)造性能邊界概率參數(shù)Pclusterone和概率參數(shù)Pclustertwo分別用來控制在一個簇或者兩個簇的情其中，是被選擇去生成新個體的Xold的第d維；和是相鄰性能模式的樣本；是新生成的個體Xnew的第d維；是被選擇的更優(yōu)的新生成的個體是高斯隨機函數(shù)N(μ,o2)的系數(shù)；rand(t)為(0,1新生成樣本后的邊界區(qū)域的寬度在D范圍內(nèi)，即Di,j<De,且現(xiàn)在則將其添加到邊狀態(tài)空間S"=[S1,S2,…Sn],其中包含n個元素，每個元素代表用一系列表示環(huán)境、3任務(wù)或自動駕駛汽車參數(shù)多個變量中的一個值；將狀態(tài)空間范圍內(nèi)每個元素實例化后，傳遞給模仿真的各個場景輸入狀態(tài)向量XN=[T1,T2,….n],其中Vi∈n:Ti∈Si,xi和XN分別表示Si和S"的實例化元4.如權(quán)利要求1所述的一種自動駕駛系統(tǒng)的性能邊界自適應(yīng)采樣方法，其特征在于，所述評估自動駕駛系統(tǒng)性能指標(biāo)獲得得分向量，根據(jù)得分向量構(gòu)建得分向量的得分樣本集，評估自動駕駛系統(tǒng)性能指標(biāo)；根據(jù)性能指標(biāo)輸出得分向量y"=[Y1,Y2,…,ym];進(jìn)行N次實驗，獲得N個得分向量組成的得分樣本集YN=[Y?,Y?,….,Yn]。5.如權(quán)利要求1所述的一種自動駕駛系統(tǒng)的性能邊界自適應(yīng)采樣方法，其特征在于，所其中，F(xiàn)是自動駕駛系統(tǒng)仿真模型函數(shù)，接受一組N個場景輸入狀態(tài)向量XN=[T1,C2,...,Zn],并返回一組N個得分向量樣本集YN=[Y?,Y2,….,Yx],自適應(yīng)搜索函數(shù)T輸出的LN是一組[X,YN]的標(biāo)記樣本。6.如權(quán)利要求5所述的一種自動駕駛系統(tǒng)的性能邊界自適應(yīng)采樣方法，其特征在于，所到達(dá)兩個路點且成功識別并避讓固定障礙和移動障礙的完全成功TS;僅到達(dá)恢復(fù)路點且成功識別并避讓固定障礙和移動障礙的安全成功MS;僅到達(dá)恢復(fù)路點且未能成功識別并避讓固定障礙和移動障礙的任務(wù)成功SS;未達(dá)到任何路點的完全失敗且未能成功識別并避讓固定障礙和移動障礙TF。7.如權(quán)利要求1所述的一種自動駕駛系統(tǒng)的性能邊界自適應(yīng)采樣方法，所述頭腦風(fēng)暴將KNN算法的k和每個類別的訓(xùn)練樣本數(shù)目ni作為優(yōu)化決策變量；定初步優(yōu)化目標(biāo)函數(shù)：其中N={n?,...ni,...nm},m為分類的總類別數(shù)，ni為類別i的訓(xùn)練樣本數(shù)將不同的k和N的取值作為解，將分類的錯誤率作為函數(shù)值；將頭腦風(fēng)暴優(yōu)化算法應(yīng)用于k和N的設(shè)置，找到k和和N的最優(yōu)組合。4一種自動駕駛系統(tǒng)的性能邊界自適應(yīng)采樣方法技術(shù)領(lǐng)域[0001]本發(fā)明涉及自動駕駛技術(shù)領(lǐng)域，更具體的涉及一種自動駕駛系統(tǒng)的性能邊界自適應(yīng)采樣方法。背景技術(shù)[0002]自主智能系統(tǒng)與傳統(tǒng)人工智能應(yīng)用程序不同，它并不遵循數(shù)據(jù)輸入、特征提取、特征選擇、邏輯推理、預(yù)測的過程，而是由計算機學(xué)習(xí)長期積累起來的模型參數(shù)建立起來的知識庫，從而生成高級的認(rèn)知結(jié)果。在自主智能系統(tǒng)輸入的數(shù)據(jù)和其輸出的決策之間，存在著人們無法洞悉的“黑箱”,操作者難以理解系統(tǒng)再復(fù)雜環(huán)境中所做出的決策。因此，自主系統(tǒng)的決策結(jié)果具有不確定性，而不確定性就帶來了難以預(yù)測性，難以預(yù)測就意味著難以防范，這可能會帶來傷害人類的危險局面。[0003]近年來，自主智能系統(tǒng)被大量的應(yīng)用于人工智能的軟硬件中，在自動智能駕駛技Uber、Zoox等公司在這一領(lǐng)域先后投入大量精力，帶來了無人駕駛行業(yè)的快速發(fā)展，也產(chǎn)生大量問題。而安全問題就是自動智能駕駛技術(shù)應(yīng)用領(lǐng)域目前的最大問題。2018年3月，由Uber運營的自動駕駛汽車在美國亞利桑那州坦佩市(Tempe)撞倒了一名女性并致其死亡。事故發(fā)生時，車輛是在自動駕駛模式下運行的，但司機在車內(nèi)。經(jīng)相關(guān)調(diào)查分析，自動駕駛的汽車“看到”了這名女性但沒有剎車，同時自動駕駛系統(tǒng)也沒有生成故障預(yù)警信息。事實上自動駕駛系統(tǒng)將受害者先后識別為未知物體、車輛、自行車。自動駕駛系統(tǒng)在碰撞前6秒到13秒內(nèi)并未做出任何動作，在碰撞前1.3秒才請求緊急制動。除了黑箱特性導(dǎo)致的問題以外，自動駕駛系統(tǒng)還面臨著其他嚴(yán)重的問題，包括自動駕駛識別模塊、決策模塊等面臨來自針對人工智能脆弱性的攻擊等。所以沒有安全就沒有智能駕駛，安全是決定智能駕駛未來發(fā)展的關(guān)鍵。[0004]鑒于智能駕駛面臨的安全隱患，智能駕駛測試也成為智能駕駛應(yīng)用的必要環(huán)節(jié)。智能駕駛測試用以驗證和評估技術(shù)的可靠性，實現(xiàn)更為安全和高效的無人駕駛。自動駕駛系統(tǒng)性能測試問題的研究難點是如何分析動態(tài)的高維大規(guī)模數(shù)據(jù)。自動駕駛系統(tǒng)性能測試的模型需要支持故障注入，自動測試，報告生成，后續(xù)還需要支持測試用例的泛化，根據(jù)對自動駕駛系統(tǒng)評估的要求，生成具有復(fù)雜、真實、自由行為等交通智能體的且具有高保真物理特性的高精度的場景測試數(shù)據(jù)集，對測試集合不斷采樣和評估，最終輸出系統(tǒng)評估結(jié)果?；趫鼍皽y試數(shù)據(jù)的評估，可以建模為高維大規(guī)模數(shù)據(jù)分析問題。系統(tǒng)評估需要考慮大規(guī)模優(yōu)化問題、數(shù)據(jù)驅(qū)動優(yōu)化問題和計算代價昂貴問題的特性，建立代理模型，在少量采樣數(shù)據(jù)的基礎(chǔ)上，構(gòu)建系統(tǒng)的性能邊界集合以解決道路測試的局限性問題。[0005]目前，對于自動駕駛汽車來說，想要在瞬息萬變的復(fù)雜真實駕駛場景中發(fā)揮感知作用，背后就需要有海量道路場景的數(shù)據(jù)通過專業(yè)人員進(jìn)行標(biāo)注，從而轉(zhuǎn)化為測試系統(tǒng)的數(shù)據(jù)支撐。測試自動駕駛一類的自主系統(tǒng)完成任務(wù)能力通常需要監(jiān)視指定的系統(tǒng)目標(biāo)，例如性能目標(biāo)(例如，準(zhǔn)確率，精確率和召回率),并確保沒有數(shù)據(jù)偏差引入系統(tǒng)。該測試的結(jié)5[0011]在自動駕駛系統(tǒng)仿真模型中輸入新的場景輸入狀態(tài)向量進(jìn)行仿真，生成得分向[0015]概率參數(shù)Pclusterone和概率參數(shù)Pclustertwo分別用來控制在一個簇或者兩個簇rand(t)<Pelustertworand(t)<Pelustertwo式的樣本；是新生成的個體Xnew的第d維；是被選擇的更優(yōu)的新生成的個體是高斯隨機函數(shù)N(μ,o2)的系數(shù)；rand(t)為(0,1)之間的隨機數(shù)；[0019]新生成樣本后的邊界區(qū)域的寬度在D范圍內(nèi)，即Dij<De,且現(xiàn)在則將其添加6[0020]結(jié)合基于頭腦風(fēng)暴優(yōu)化算法的優(yōu)化分類算法進(jìn)行迭代，生成最終的性能邊界。[0021]優(yōu)選地，所述自動駕駛測試的不同場景狀態(tài)，包括：[0022]自動駕駛環(huán)境；[0023]自動駕駛?cè)蝿?wù)環(huán)境；[0024]自動駕駛汽車的參數(shù)配置。[0025]優(yōu)選地，所述根據(jù)自動駕駛測試的不同場景狀態(tài)，配置生成場景狀態(tài)空間向量、并根據(jù)其中一個場景狀態(tài)空間向量構(gòu)建場景輸入狀態(tài)向量，包括：境、任務(wù)或自動駕駛汽車參數(shù)多個變量中的一個值；XN=[C1,T2,…n],其中Vi∈n:Ti∈Si,Ti和XN分別表示Si和S"的實例化元素。[0028]優(yōu)選地，所述評估自動駕駛系統(tǒng)性能指標(biāo)獲得得分向量，根據(jù)得分向量構(gòu)建得分向量的得分樣本集，包括：[0029]評估自動駕駛系統(tǒng)性能指標(biāo)；[0030]其中，性能指標(biāo)包括：任務(wù)完成情況、安全違規(guī)次數(shù)、到達(dá)的路點數(shù)，燃料[0031]根據(jù)性能指標(biāo)輸出得分向量y"=[y1,Y2,…ym];[0032]進(jìn)行N次實驗，獲得N個得分向量組成的得分樣本集YN=[Y?,Y?,….,Yπ]。[0033]優(yōu)選地，所述自適應(yīng)搜索算法的表達(dá)式，包括：T1,C2,...,Cn],并返回一組N個得分向量樣本集YN=[Y1,Y2,….,Yn],自適應(yīng)搜索函數(shù)T輸出的LN是一組[X,Y]的標(biāo)記樣本。[0036]優(yōu)選地，所述性能模式，包括：[0037]到達(dá)兩個路點且成功識別并避讓固定障礙和移動障礙的完全成功TS;[0038]僅到達(dá)恢復(fù)路點且成功識別并避讓固定障礙和移動障礙的安全成功MS;[0039]僅到達(dá)恢復(fù)路點且未能成功識別并避讓固定障礙和移動障礙的任務(wù)成功SS;[0040]未達(dá)到任何路點的完全失敗且未能成功識別并避讓固定障礙和移動障礙TF。[0041]優(yōu)選地，所述頭腦風(fēng)暴優(yōu)化算法的優(yōu)化分類算法，包括：[0042]將KNN算法的k和每個類別的訓(xùn)練樣本數(shù)目ni作為優(yōu)化決策變量；[0043]定初步優(yōu)化目標(biāo)函數(shù)：[0045]其中N={n?,...ni,...nm},m為分類的總類別數(shù)，ni為類別i的訓(xùn)練樣本數(shù)目；7[0047]將頭腦風(fēng)暴優(yōu)化算法應(yīng)用于k和N的設(shè)置，找到k和和N的最優(yōu)組合。[0048]本發(fā)明實施例提供一種自動駕駛系統(tǒng)的性能邊界自適應(yīng)采樣方法，與現(xiàn)有技術(shù)相比，其有益效果如下：[0049]基于BSO算法應(yīng)用到性能邊界采樣問題中生成新樣本，可以實現(xiàn)以較少的樣本最大化邊界采樣的覆蓋度和精準(zhǔn)度。本發(fā)明將BSO算法和分類算法進(jìn)行結(jié)合，對分類算法和數(shù)據(jù)訓(xùn)練集的選擇進(jìn)行優(yōu)化，可以提高分類的效率和分類的正確率。同時將基于BSO算法應(yīng)用到性能邊界采樣問題中生成新樣本，可以實現(xiàn)以較少的樣本最大化邊界采樣的覆蓋度和精準(zhǔn)度。附圖說明[0050]圖1為本發(fā)明實施例提供的一種自動駕駛系統(tǒng)的性能邊界自適應(yīng)采樣方法的整體流程圖；[0051]圖2為本發(fā)明實施例提供的一種自動駕駛系統(tǒng)的性能邊界自適應(yīng)采樣方法的改進(jìn)頭腦風(fēng)暴優(yōu)化算法流程圖；[0052]圖3為本發(fā)明實施例提供的一種自動駕駛系統(tǒng)的性能邊界自適應(yīng)采樣方法的性能模式分類，其中(a)表示TS/MS邊界對，(b)表示TF/SS邊界對；[0053]圖4為本發(fā)明實施例提供的一種自動駕駛系統(tǒng)的性能邊界自適應(yīng)采樣方法一個自動駕駛車輛的簡單測試場景。具體實施方式[0054]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。[0055]參見圖1~4,本發(fā)明提供一種基于BSO算法的高效性能邊界采樣方法，用以解決自動駕駛測試場景配置空間的海量數(shù)據(jù)和高維度特性，仿真模擬計算代價昂貴，采樣樣本數(shù)量嚴(yán)重受限等問題，這些問題特性都影響了自動駕駛系統(tǒng)的測試效率，降低了自動駕駛系統(tǒng)的安全保障性。本發(fā)明采用了BSO算法來提高性能邊界采樣準(zhǔn)確率和查全率等性能指標(biāo)。確定評估要求，利用BSO算法對系統(tǒng)性能邊界進(jìn)行迭代采樣，生成多組樣本，不斷地以較大概率逼近性能邊界存在的區(qū)域，識別和評估性能邊界。返回找到性能邊界樣本點集合，便于高效地進(jìn)行自動駕駛系統(tǒng)的測試。[0056]S1:場景描述，設(shè)置測試場景狀態(tài)空間向量和測試場景輸入狀態(tài)向量，狀態(tài)空間由一組描述環(huán)境設(shè)置、任務(wù)元素和環(huán)境中自動駕駛汽車的參數(shù)配置文件(稱為狀態(tài)空間文件)定義。這些設(shè)置包括不同模擬元素的范圍，如一天中的時間、障礙物的數(shù)量和位置、不同的任務(wù)類型等。狀態(tài)空間中可變模擬元素的數(shù)量構(gòu)成其維度。狀態(tài)空間S"=[S1,S2,….Sn],其中包含n個元素。狀態(tài)空間向量中的每個元素用一系列可能的值(障礙位置、時間窗口、任務(wù)優(yōu)先級等)表示環(huán)境、任務(wù)或自動駕駛汽車參數(shù)中的一個變量。傳遞給模仿真的各個場8景輸入狀態(tài)向量XN=[T1,C2,….xn],其中Vi∈n:xi∈Si,Ti和XN分別表示移動障礙，定義狀態(tài)空間S?=[S1,S2,S3,S4,S5],態(tài)向量X?=[T1,T2,T3,C4,C5],為YN=[Y?,Y2,…,Yn]。得分向量中的每個個體表示一個性能指標(biāo)，這些指標(biāo)包括任路點且成功識別并避讓固定障礙和移動障礙的完全成功(TS)、障礙和移動障礙的任務(wù)成功(SS)和未達(dá)到任何路點的完全失敗且未能成功識別并避讓固向量中Y1表示是否成功到達(dá)的目標(biāo)路點的分?jǐn)?shù)，成功到達(dá)為25,未成功到達(dá)為0.Y2表示是否成功到達(dá)的恢復(fù)路點的分?jǐn)?shù)，成功到達(dá)為15,未成功到達(dá)為0.y3表示定障礙物的分?jǐn)?shù)，成功識別為15,未成功識別為0.Y4表示是否成功識別移動障礙物的分?jǐn)?shù)，成功識別為20,未成功識別為0.y5表示是否成功避讓固定障礙物的分?jǐn)?shù)，成功避讓為20,未成功避讓為0.Y6表示是否成功避讓移動障礙物的分?jǐn)?shù)成功避讓為20,未成功避讓為為150,安全成功(SS)評分為125,任務(wù)成功(MS)評分為105,完全失敗(TF)評分為90.N次實場景輸入狀態(tài)向量XN=[C1,22,...,xn],并返回一組N個得分向量樣本集YN=[Y?,Y2,….,Yn]。仿真框架管理運行的啟動和結(jié)果的解析，待測目標(biāo)系統(tǒng)仿真框架執(zhí)行9,Xn],并返回一組N個得分向量樣本集YN=[Y1,Y?,…..Yn],適應(yīng)搜索函數(shù)I輸出的LN是一組[X,Y?]的標(biāo)記樣本。對集合，L是已識別性能模式的數(shù)量，N是N中的樣本數(shù)量。XN,評估函數(shù)為對于邊界對集合B中的所有邊界使采樣邊界區(qū)域Sa,b(XN,De)體積最大化以找到邊界區(qū)域的寬度D的最小可能值。[0072]將基于BSO算法和優(yōu)化分類算法的結(jié)合算法應(yīng)用到性能邊界采樣問題中對性能模[0073]此方法同樣適用于其他具有測試樣本和分類樣本的分weightedNearestNeighbor,KWNN)算法等。同的性能模式確定每個樣本的最近鄰。是否有D.范圍內(nèi)的樣本，不同性能模式下的最近鄰距離將添加到最終邊界集，即Dij<D。然后，根據(jù)定義構(gòu)造最終邊界集Ba,b=[b(a,b),1,……(a,b),k],這