CN116226852B 基于多模態(tài)信息融合的移動平臺惡意軟件檢測方法及裝置 (中國科學(xué)院軟件研究所)_第1頁
CN116226852B 基于多模態(tài)信息融合的移動平臺惡意軟件檢測方法及裝置 (中國科學(xué)院軟件研究所)_第2頁
CN116226852B 基于多模態(tài)信息融合的移動平臺惡意軟件檢測方法及裝置 (中國科學(xué)院軟件研究所)_第3頁
CN116226852B 基于多模態(tài)信息融合的移動平臺惡意軟件檢測方法及裝置 (中國科學(xué)院軟件研究所)_第4頁
CN116226852B 基于多模態(tài)信息融合的移動平臺惡意軟件檢測方法及裝置 (中國科學(xué)院軟件研究所)_第5頁
已閱讀5頁,還剩35頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)

文檔簡介

(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號CN116226852B(65)同一申請的已公布的文獻號申請公布號CN116226852A(73)專利權(quán)人中國科學(xué)院軟件研究所地址100190北京市海淀區(qū)中關(guān)村南四街4號(72)發(fā)明人王時予凌祥吳敬征羅天悅芮志清楊牧天李志遠武延軍(74)專利代理機構(gòu)北京君尚知識產(chǎn)權(quán)代理有限公司11200專利代理師李文濤審查員張力(54)發(fā)明名稱基于多模態(tài)信息融合的移動平臺惡意軟件檢測方法及裝置本發(fā)明公開基于多模態(tài)信息融合的移動平臺惡意軟件檢測方法及裝置,針對待檢測的二進制應(yīng)用程序,提取二進制序列并生成灰度圖、接口調(diào)用序列、函數(shù)調(diào)用圖和函數(shù)控制流圖,對應(yīng)局圖特征;再組成特征集,輸入到異類選擇網(wǎng)輸出各模態(tài)被攻擊概率的向量;使用魯棒融合網(wǎng)絡(luò)將各特征和異類選擇網(wǎng)絡(luò)輸出的向量進行融合,輸出融合結(jié)果;再使用多模態(tài)信息融合網(wǎng)絡(luò)將異類選擇網(wǎng)絡(luò)的輸出向量與魯棒融合網(wǎng)絡(luò)輸出的結(jié)果進行融合,輸出預(yù)測向量,通過降維并歸一化,得到惡意軟件的預(yù)測值。本發(fā)明能夠?qū)贯槍阂廛浖z測的單一模態(tài)攻擊,基于多模輸入二進制程序文件輸入二進制程序文件提取三種模態(tài)表示分別提取特征魯棒特征融合惡意軟件檢測輸出惡意軟件檢測結(jié)果21.一種基于多模態(tài)信息融合的移動平臺惡意軟件檢測方法,其特征在于,包括以下步1)針對待檢測的二進制應(yīng)用程序,提取其二進制序列并生成灰度圖,提取其接口調(diào)用序列,以及提取其函數(shù)調(diào)用關(guān)系并生成函數(shù)調(diào)用圖和函數(shù)控制流圖,這三種提取結(jié)果依次對應(yīng)灰度圖模態(tài)、接口調(diào)用序列模態(tài)和圖結(jié)構(gòu)模態(tài);2)針對灰度圖提取圖像特征,針對接口調(diào)用序列提取調(diào)用序列特征,針對函數(shù)調(diào)用圖和函數(shù)控制流圖提取全局圖特征;3)由圖像特征、調(diào)用序列特征和全局圖特征組成特征集,將該特征集輸入到異類選擇4)構(gòu)建基于融合網(wǎng)絡(luò)的魯棒融合網(wǎng)絡(luò),使用融合網(wǎng)絡(luò)將所述圖像特征、調(diào)用序列特征、全局圖特征和異類選擇網(wǎng)絡(luò)輸出的向量進行融合,輸出融合結(jié)果;再使用多模態(tài)信息融合網(wǎng)絡(luò)將異類選擇網(wǎng)絡(luò)輸出的向量與魯棒融合網(wǎng)絡(luò)輸出的結(jié)果進行融合,輸出預(yù)測向量;5)將預(yù)測向量進行降維并歸一化,得到惡意軟件的預(yù)測值。2.如權(quán)利要求1所述的方法,其特征在于,步驟1)中提取二進制序列并生成灰度圖的步驟包括:提取二進制應(yīng)用程序的二進制字節(jié)流,并以二進制字節(jié)流的大小為標(biāo)準(zhǔn)確定灰度圖圖像的寬度;以8位二進制數(shù)據(jù)為一組,將8位二進制數(shù)據(jù)的值轉(zhuǎn)換為0-255的灰度值,并以此將二進制字節(jié)流轉(zhuǎn)換為以像素為單位的灰度圖數(shù)據(jù),生成灰度圖。3.如權(quán)利要求1所述的方法,其特征在于,步驟1)中提取接口調(diào)用序列的步驟包括:對二進制應(yīng)用程序進行逆向分析,并記錄逆向分析結(jié)果;根據(jù)逆向分析結(jié)果提取其中的指令碼序列,保留指令碼序列中的接口調(diào)用指令,得到接口調(diào)用序列;對于該接口調(diào)用序列中的每一個接口調(diào)用指令,提取其調(diào)用信息,包括接口調(diào)用中接口所屬的族名稱和包名稱,以及接口調(diào)用的調(diào)用內(nèi)容。4.如權(quán)利要求1所述的方法,其特征在于,步驟1)中提取函數(shù)調(diào)用關(guān)系并生成函數(shù)調(diào)用圖和函數(shù)控制流圖的步驟包括:提取二進制應(yīng)用程序的函數(shù)調(diào)用序列,根據(jù)函數(shù)調(diào)用序列中的函數(shù)調(diào)用關(guān)系生成函數(shù)調(diào)用圖;確定函數(shù)調(diào)用圖中的每個節(jié)點的函數(shù)類型是外部函數(shù)還是本地函數(shù);若為外部函數(shù),則提取外部函數(shù)節(jié)點中的函數(shù)名稱,構(gòu)成外部函數(shù)名稱集;若為本地函數(shù),則本地函數(shù)節(jié)點根據(jù)每個本地函數(shù)內(nèi)的基本塊之間的跳轉(zhuǎn)關(guān)系生成每個本地函數(shù)的函數(shù)控制流圖。5.如權(quán)利要求1所述的方法,其特征在于,步驟2)中針對灰度圖提取圖像特征的步驟包將生成的熱圖與灰度圖相疊加,生成新熱圖;使用亮度閾值對新熱圖中的每個像素進行處理,提取新熱圖中突出顯示的圖像;記錄突出顯示的圖像像素相對于像素空間的位置,作為圖像特征。6.如權(quán)利要求1所述的方法,其特征在于,步驟2)中針對接口調(diào)用序列提取調(diào)用序列特3征的步驟包括:統(tǒng)計接口調(diào)用序列的所有接口調(diào)用指令中出現(xiàn)的族名稱和包名稱,生成族名稱集合和包名稱集合;根據(jù)族名稱集合,對于接口調(diào)用序列中的每一對相鄰的接口調(diào)用指令,統(tǒng)計在調(diào)用前接口調(diào)用指令所屬的族之后調(diào)用后接口調(diào)用指令所屬的族的次數(shù),以及在調(diào)用前接口調(diào)用指令所屬的族之后調(diào)用其他接口調(diào)用指令所屬的族的次數(shù);根據(jù)包名稱集合,對于接口調(diào)用序列中的每一對相鄰的接口調(diào)用指令,統(tǒng)計在調(diào)用前接口調(diào)用指令所屬的包之后調(diào)用后接口調(diào)用指令所屬的包的次數(shù),以及在調(diào)用前接口調(diào)用指令所屬的包之后調(diào)用其他接口調(diào)用指令所屬的包的次數(shù);根據(jù)族名稱集合和包名稱集合,以及上述兩種統(tǒng)計次數(shù),構(gòu)建表示接口調(diào)用序列的馬爾可夫鏈,該馬爾科夫鏈由狀態(tài)集和狀態(tài)轉(zhuǎn)換概率組成,該狀態(tài)集中的每個狀態(tài)代表一個族名稱或包名稱,該狀態(tài)轉(zhuǎn)換概率是指由一種狀態(tài)轉(zhuǎn)換到另一種狀態(tài)的概率;提取馬爾科夫鏈中出現(xiàn)次數(shù)最多的前預(yù)設(shè)數(shù)量的節(jié)點,構(gòu)成篩選后的馬爾科夫鏈,作為調(diào)用序列特征。7.如權(quán)利要求1所述的方法,其特征在于,步驟2)中針對函數(shù)調(diào)用圖和函數(shù)控制流圖提取全局圖特征的步驟包括:針對函數(shù)調(diào)用圖包含的全部本地函數(shù),采用多層GraphSAGE模型對每個本地函數(shù)內(nèi)的函數(shù)控制流圖中的每一個基本塊節(jié)點生成特征向量,每層GraphSAGE利用自傳遞函數(shù)和消息傳遞函數(shù)從上一層中生成的特征向量和其他鄰居節(jié)點的特征向量來學(xué)習(xí)和更新每層的采用聚合模型對每個本地函數(shù)對應(yīng)的函數(shù)控制流圖中所有節(jié)點的總特征向量進行最針對函數(shù)調(diào)用圖包含的全部外部函數(shù),利用獨熱編碼方法生成外部函數(shù)名稱對應(yīng)的編碼,并映射到向量空間中,得到外部函數(shù)的初始將上述圖向量和初始化特征向量輸入到GraphSAGE模型的下游編碼層,針對函數(shù)調(diào)用圖中的每個節(jié)點,使用多層GraphSAGE模型來更新每個節(jié)點的特征向量,得到一個新的總特征向量;采用聚合模型對函數(shù)調(diào)用圖中所有節(jié)點的新的總特征向量進行最大池化操作,得到全局圖特征。8.如權(quán)利要求1所述的方法,其特征在于,步驟3)中將特征集輸入到異類選擇網(wǎng)絡(luò),輸出模態(tài)被攻擊概率的向量的步驟包括:將特征集輸入到異類選擇網(wǎng)絡(luò)中,通過最小化交叉熵?fù)p失,輸出為若干項的向量,最后一項表示所有模態(tài)沒有受到攻擊的概率,除最后一項的其他項表示每個模態(tài)受到攻擊的概9.如權(quán)利要求1所述的方法,其特征在于,步驟4)中使用融合網(wǎng)絡(luò)基于淺神經(jīng)網(wǎng)絡(luò)NN進行融合,包含若干個融合操作,每個融合操作均用于排除某一種受到攻擊的模態(tài);步驟5)中將預(yù)測向量通過多層標(biāo)準(zhǔn)的全連接層,降維到一維;再采用sigmoid激活函數(shù)將輸出標(biāo)量值范圍限制在[0,1]范圍內(nèi),最終得到歸一化的惡意軟件的預(yù)測值。10.一種采用權(quán)利要求1-9任一所述方法的移動平臺惡意軟件檢測裝置,其特征在于,4包括:模態(tài)生成模塊,用于針對待檢測的二進制應(yīng)用程序,提取其二進制序列并生成灰度圖,提取其接口調(diào)用序列,以及提取其函數(shù)調(diào)用關(guān)系并生成函數(shù)調(diào)用圖和函數(shù)控制流圖,這三種提取結(jié)果依次對應(yīng)灰度圖模態(tài)、接口調(diào)用序列模態(tài)和圖結(jié)構(gòu)模態(tài);特征提取模塊,用于針對灰度圖提取圖像特征,針對接口調(diào)用序列提取調(diào)用序列特征,針對函數(shù)調(diào)用圖和函數(shù)控制流圖提取全局圖特征;異類選擇模塊,用于使用異類選擇網(wǎng)絡(luò),根據(jù)由圖像特征、調(diào)用序列特征和全局圖特征組成特征集,輸出各模態(tài)被攻擊概率的向量;魯棒融合模塊,用于使用魯棒融合網(wǎng)絡(luò)的融合網(wǎng)絡(luò)將圖像特征、調(diào)用序列特征、全局圖特征和異類選擇網(wǎng)絡(luò)輸出的向量進行融合,輸出融合結(jié)果;并使用多模態(tài)信息融合網(wǎng)絡(luò)將異類選擇網(wǎng)絡(luò)輸出的向量與魯棒融合網(wǎng)絡(luò)輸出的結(jié)果進行融合,輸出預(yù)測向量;惡意軟件預(yù)測模塊,用于將預(yù)測向量進行降維并歸一化,得到惡意軟件的預(yù)測值。5技術(shù)領(lǐng)域[0001]本發(fā)明涉及二進制軟件的分析技術(shù)、多模態(tài)特征融合技術(shù)、惡意軟件檢測技術(shù),特別涉及移動平臺的惡意軟件檢測分析方法,提出一種基于多模態(tài)信息融合的移動平臺惡意軟件檢測方法及裝置。背景技術(shù)[0002]隨著移動系統(tǒng)平臺和移動應(yīng)用生態(tài)的快速發(fā)展,移動端系統(tǒng)的安全風(fēng)險越來越大,移動應(yīng)用程序成為了惡意軟件攻擊的主要目標(biāo),隨著移動平臺的飛速發(fā)展,惡意軟件的攻擊方式也在移動平臺上有了新的拓展。在安卓平臺上,根據(jù)Wang等人(WangHY,LiuZ,LiangJY,etal.Beyondgoogleplay:alarge-scalecomAndroidappmarkets.In:ProceedingsogtheInternetMeasuremen(IMC),Boston,2018.293-307.)在GooglePlay和國內(nèi)應(yīng)用市場上共計600萬個應(yīng)用程序的分析中,中國安卓應(yīng)用市場上約12.3%的應(yīng)用程序被至少10個惡意軟件檢測工具報告為惡意程序。此外,中國科學(xué)院信息工程研究所的研究團隊(ChenK,WangXQ,ChenY,WangP,LeeY,WangXF,MaB,WangAH,ZhangCrossplatformanalysisofpotentiallyharmfullibrariesonAndroiiOS.In:Proc.ofthe37thIEEE.2016.)對iOS應(yīng)用市場第三方庫中的惡意代碼進行了研究,發(fā)現(xiàn)1.4萬個iOS應(yīng)用中包含23個潛在i0S惡意軟件庫,共706個變體。Zhou等人(ZhouY,JiangX.Dissectingmalware:Characterizationandevolution.In:Proc.ofthe2012IEEESymp.onSecurityandPrivacy.IEEE,2012.95-109.)總結(jié)了移動終端惡意軟件的形態(tài)、分類和演[0003]隨著機器學(xué)習(xí)方法的廣泛使用,攻擊者開始對惡意程序進行修改,在加入了惡意代碼的同時不改變對惡意軟件的特征描述,使得惡意軟件可以繞過基于機器學(xué)習(xí)算法的檢P.StructuralAttackagainstGraphBasedAndroidMalwareDetection.InProc.ofthe2021ACMSIGSACConferenceonCNewYork,NY,USA,3218-3235.)利用結(jié)構(gòu)化攻擊,根據(jù)程序提取的圖結(jié)構(gòu)特征進行節(jié)點和邊的增刪改操作,接近100%的安卓平臺惡意軟件樣本可以在500次操作中逃脫檢測。[0004]針對上述問題,研究人員在基于移動平臺惡意軟件的分析問題基礎(chǔ)上,設(shè)計了不同的惡意軟件檢測方法?,F(xiàn)有的惡意軟件檢測方法主要分為靜態(tài)檢測方法和動態(tài)檢測方法兩種,靜態(tài)檢測方法在程序運行前執(zhí)行檢測,其優(yōu)點是能耗低、風(fēng)險小,但會受到混淆和加密攻擊的影響;動態(tài)檢測方法在程序運行的過程中執(zhí)行檢測,動態(tài)檢測對實時性和運行環(huán)境要求較高,需要移動設(shè)備支持,同時耗時更長,但準(zhǔn)確率相較靜態(tài)檢測方法會更高。隨著各類檢測方法的不斷發(fā)展,基于機器學(xué)習(xí)的惡意軟件方法逐漸成為研究熱點,其在靜態(tài)檢測的基礎(chǔ)上,通過提取描述惡意軟件的特征,使用固定維度的向量對惡意軟件進行表征,然6后借助現(xiàn)有的機器學(xué)習(xí)算法對已知標(biāo)注的樣本進行訓(xùn)練并構(gòu)建分類器,最終對待測軟件進行預(yù)測判斷。[0005]基于多模態(tài)的惡意軟件檢測方法是基于機器學(xué)習(xí)檢測方法的拓展,將待檢測軟件不同的模態(tài)特征進行融合,提取統(tǒng)一的特征表示,并使用機器學(xué)習(xí)算法進行分類。傳統(tǒng)的多模態(tài)融合模型容易受到針對單一模態(tài)攻擊的影響,尤其是安卓、OpenHarmony等開源移動平臺更易受到攻擊。針對單一模態(tài)的攻擊能夠?qū)ξ词芄舻恼_模態(tài)進行干擾,并導(dǎo)致模型失敗,無法滿足惡意軟件檢測的需求。發(fā)明內(nèi)容[0006]本發(fā)明的目的在于針對單一模態(tài)的惡意軟件攻擊,提供一種更加魯棒的基于多模態(tài)信息融合的惡意軟件檢測方法和裝置,能夠?qū)贯槍阂廛浖z測的單一模態(tài)攻擊,多模態(tài)融合利用多個模態(tài)提取出的特征信息進行融合,從而獲得比單一模態(tài)更好的識別效[0008]一種基于多模態(tài)信息融合的移動平臺惡意軟件檢測方法,包括以下步驟:[0009]1)針對待檢測的二進制應(yīng)用程序,提取其二進制序列并生成灰度圖,提取其接口調(diào)用序列,以及提取其函數(shù)調(diào)用關(guān)系并生成函數(shù)調(diào)用圖和函數(shù)控制流圖,這三種提取結(jié)果依次對應(yīng)灰度圖模態(tài)、接口調(diào)用序列模態(tài)和圖結(jié)構(gòu)模態(tài);[0010]2)針對灰度圖提取圖像特征,針對接口調(diào)用序列提取調(diào)用序列特征,針對函數(shù)調(diào)用圖和函數(shù)控制流圖提取全局圖特征;[0011]3)由圖像特征、調(diào)用序列特征和全局圖特征組成特征集,將該特征集輸入到異類選擇網(wǎng)絡(luò),輸出各模態(tài)被攻擊概率的結(jié)果;[0012]4)構(gòu)建基于融合網(wǎng)絡(luò)的魯棒融合網(wǎng)絡(luò),使用融合網(wǎng)絡(luò)將所述圖像特征、調(diào)用序列特征、全局圖特征和異類選擇網(wǎng)絡(luò)輸出的向量進行融合,輸出融合結(jié)果;再使用多模態(tài)信息融合網(wǎng)絡(luò)將異類選擇網(wǎng)絡(luò)輸出的向量與魯棒融合網(wǎng)絡(luò)輸出的結(jié)果進行融合,輸出預(yù)測向[0013]5)將預(yù)測向量進行降維并歸一化,得到惡意軟件的預(yù)測值。[0014]優(yōu)選地,步驟1)中提取二進制序列并生成灰度圖的步驟包括:[0015]提取二進制應(yīng)用程序的二進制字節(jié)流,并以二進制字節(jié)流的大小為標(biāo)準(zhǔn)確定灰度圖圖像的寬度;[0016]以8位二進制數(shù)據(jù)為一組,將8位二進制數(shù)據(jù)的值轉(zhuǎn)換為0-255的灰度值,并以此將二進制字節(jié)流轉(zhuǎn)換為以像素為單位的灰度圖數(shù)據(jù),生成灰度圖。[0017]優(yōu)選地,步驟1)中提取接口調(diào)用序列的步驟包括:[0018]對二進制應(yīng)用程序進行逆向分析,并記錄逆向分析結(jié)果;[0019]根據(jù)逆向分析結(jié)果提取其中的指令碼序列,保留指令碼序列中的接口調(diào)用指令,得到接口調(diào)用序列;[0020]對于該接口調(diào)用序列中的每一個接口調(diào)用指令,提取其調(diào)用信息,包括接口調(diào)用中接口所屬的族名稱和包名稱,以及接口調(diào)用的調(diào)用內(nèi)容。[0021]優(yōu)選地,步驟1)中提取函數(shù)調(diào)用關(guān)系并生成函數(shù)調(diào)用圖和函數(shù)控制流圖的步驟包7[0022]提取二進制應(yīng)用程序的函數(shù)調(diào)用序列,根據(jù)函數(shù)調(diào)用序列中的函數(shù)調(diào)用關(guān)系生成函數(shù)調(diào)用圖;[0023]確定函數(shù)調(diào)用圖中的每個節(jié)點的函數(shù)類型是外部函數(shù)還是本地函數(shù);若為外部函數(shù),則提取外部函數(shù)節(jié)點中的函數(shù)名稱,構(gòu)成外部函數(shù)名稱集;若為本地函數(shù),則本地函數(shù)節(jié)點中包含的指令序列,提取基本塊;[0024]根據(jù)每個本地函數(shù)內(nèi)的基本塊之間的跳轉(zhuǎn)關(guān)系生成每個本地函數(shù)的函數(shù)控制流[0025]優(yōu)選地,步驟2)中針對灰度圖提取圖像特征的步驟包括:[0027]將生成的熱圖與灰度圖相疊加,生成新熱圖;[0028]使用亮度閾值對新熱圖中的每個像素進行處理,提取新熱圖中突出顯示的圖像;[0029]記錄突出顯示的圖像像素相對于像素空間的位置,作為圖像特征。[0030]優(yōu)選地,步驟2)中針對接口調(diào)用序列提取調(diào)用序列特征的步驟包括:[0031]統(tǒng)計接口調(diào)用序列的所有接口調(diào)用指令中出現(xiàn)的族名稱和包名稱,生成族名稱集合和包名稱集合;[0032]根據(jù)族名稱集合,對于接口調(diào)用序列中的每一對相鄰的接口調(diào)用指令,統(tǒng)計在調(diào)用前接口調(diào)用指令所屬的族之后調(diào)用后接口調(diào)用指令所屬的族的次數(shù),以及在調(diào)用前接口調(diào)用指令所屬的族之后調(diào)用其他接口調(diào)用指令所屬的族的次數(shù);[0033]根據(jù)包名稱集合,對于接口調(diào)用序列中的每一對相鄰的接口調(diào)用指令,統(tǒng)計在調(diào)用前接口調(diào)用指令所屬的包之后調(diào)用后接口調(diào)用指令所屬的包的次數(shù),以及在調(diào)用前接口調(diào)用指令所屬的包之后調(diào)用其他接口調(diào)用指令所屬的包的次數(shù);[0034]根據(jù)族名稱集合和包名稱集合,以及上述兩種統(tǒng)計次數(shù),構(gòu)建表示接口調(diào)用序列的馬爾可夫鏈,該馬爾科夫鏈由狀態(tài)集和狀態(tài)轉(zhuǎn)換概率組成,該狀態(tài)集中的每個狀態(tài)代表一個族名稱或包名稱,該狀態(tài)轉(zhuǎn)換概率是指由一種狀態(tài)轉(zhuǎn)換到另一種狀態(tài)的概率;[0035]提取馬爾科夫鏈中出現(xiàn)次數(shù)最多的前預(yù)設(shè)數(shù)量的節(jié)點,構(gòu)成篩選后的馬爾科夫[0036]優(yōu)選地,步驟2)中針對函數(shù)調(diào)用圖和函數(shù)控制流圖提取全局圖特征的步驟包括:[0037]針對函數(shù)調(diào)用圖包含的全部本地函數(shù),采用多層GraphSAGE模型對每個本地函數(shù)內(nèi)的函數(shù)控制流圖中的每一個基本塊節(jié)點生成特征向量,每層GraphSAGE利用自傳遞函數(shù)和消息傳遞函數(shù)從上一層中生成的特征向量和其他鄰居節(jié)點的特征向量來學(xué)習(xí)和更新每[0038]采用聚合模型對每個本地函數(shù)對應(yīng)的函數(shù)控制流圖中所有節(jié)點的總特征向量進[0039]針對函數(shù)調(diào)用圖包含的全部外部函數(shù),利用獨熱編碼方法生成外部函數(shù)名稱對應(yīng)的編碼,并映射到向量空間中,得到外部函數(shù)的初始化特征向量;[0040]將上述圖向量和初始化特征向量輸入到GraphSAGE模型的下游編碼層,針對函數(shù)調(diào)用圖中的每個節(jié)點,使用多層GraphSAGE模型來更新每個節(jié)點的特征向量,得到一個新的總特征向量;8[0041]采用聚合模型對函數(shù)調(diào)用圖中所有節(jié)點的新的總特征向量進行最大池化操作,得到全局圖特征。[0042]優(yōu)選地,步驟3)中將特征集輸入到異類選擇網(wǎng)絡(luò),輸出模態(tài)被攻擊概率的向量的步驟包括:[0043]將特征集輸入到異類選擇網(wǎng)絡(luò)中,通過最小化交叉熵?fù)p失,輸出為若干項的向量,最后一項表示所有模態(tài)沒有受到攻擊的概率,除最后一項的其他項表示每個模態(tài)受到攻擊的概率。[0044]優(yōu)選地,步驟4)中使用融合網(wǎng)絡(luò)基于淺神經(jīng)網(wǎng)絡(luò)NN進行融合,包含若干個融合操作,每個融合操作均用于排除某一種受到攻擊的模態(tài)。[0045]優(yōu)選地,步驟5)中將預(yù)測向量通過多層標(biāo)準(zhǔn)的全連接層,降維到一維;再采用sigmoid激活函數(shù)將輸出標(biāo)量值范圍限制在[0,1]范圍內(nèi),最終得到歸一化的惡意軟件的預(yù)測值。[0046]一種采用上述方法的移動平臺惡意軟件檢測裝置,包括:[0047]模態(tài)生成模塊,用于針對待檢測的二進制應(yīng)用程序,提取其二進制序列并生成灰度圖,提取其接口調(diào)用序列,以及提取其函數(shù)調(diào)用關(guān)系并生成函數(shù)調(diào)用圖和函數(shù)控制流圖,這三種提取結(jié)果依次對應(yīng)灰度圖模態(tài)、接口調(diào)用序列模態(tài)和圖結(jié)構(gòu)模態(tài);[0048]特征提取模塊,用于針對灰度圖提取圖像特征,針對接口調(diào)用序列提取調(diào)用序列特征,針對函數(shù)調(diào)用圖和函數(shù)控制流圖提取全局圖特征;[0049]異類選擇模塊,用于使用異類選擇網(wǎng)絡(luò),根據(jù)由圖像特征、調(diào)用序列特征和全局圖特征組成特征集,輸出各模態(tài)被攻擊概率的結(jié)果;[0050]魯棒融合模塊,用于使用魯棒融合網(wǎng)絡(luò)的融合網(wǎng)絡(luò)將圖像特征、調(diào)用序列特征、全局圖特征和異類選擇網(wǎng)絡(luò)輸出的向量進行融合,輸出融合結(jié)果;并使用多模態(tài)信息融合網(wǎng)絡(luò)將異類選擇網(wǎng)絡(luò)輸出的向量與魯棒融合網(wǎng)絡(luò)輸出的結(jié)果進行融合,輸出預(yù)測向量;[0051]惡意軟件預(yù)測模塊,用于將預(yù)測向量進行降維并歸一化,得到惡意軟件的預(yù)測值。[0053]1)本發(fā)明通過多種模態(tài)對移動平臺應(yīng)用程序進行表示,使用不同的特征表示方法對移動平臺應(yīng)用程序進行特征表示,有效地捕獲了應(yīng)用程序文件的多方面信息;[0054]2)本發(fā)明使用多模態(tài)信息融合的惡意軟件檢測裝置,建立能夠處理和關(guān)聯(lián)來自多種模態(tài)信息的網(wǎng)絡(luò)和模態(tài)融合方法,為模型決策提供更多信息,可以有效地提高決策總體結(jié)果的準(zhǔn)確率。附圖說明[0055]圖1是本發(fā)明基于多模態(tài)信息融合的移動平臺惡意軟件檢測方法的簡要示意圖;[0056]圖2是本發(fā)明基于多模態(tài)信息融合的移動平臺惡意軟件檢測方法架構(gòu)示意圖;[0057]圖3是提取后的灰度圖模態(tài)示例圖;[0058]圖4是提取后的接口調(diào)用序列模態(tài)示例圖;[0059]圖5是提取后的函數(shù)調(diào)用圖示例圖;[0060]圖6是灰度圖模態(tài)生成和特征提取流程示意圖;[0061]圖7是接口調(diào)用序列模態(tài)生成和特征提取流程示意圖;9[0062]圖8是函數(shù)調(diào)用圖和控制流圖模態(tài)生成和特征提取流程示意圖;[0063]圖9是基于異類選擇網(wǎng)絡(luò)和魯棒融合策略的惡意軟件預(yù)測的流程示意圖;[0064]圖10是本發(fā)明基于多模態(tài)信息融合的移動平臺惡意軟件檢測裝置結(jié)構(gòu)示意圖。具體實施方式[0065]下面結(jié)合附圖,通過實施例對本發(fā)明做進一步說明,但不以任何方式限制本發(fā)明的范圍。[0066]本發(fā)明提出的一種基于多模態(tài)信息融合的移動平臺惡意軟件檢測方法,是以移動平臺的二進制程序包為分析對象,包括以下步驟:[0068]二進制應(yīng)用程序p的模態(tài)形式化表述為<M?,M?,…,M>,其中每一個M(i∈[1,k])都表示二進制應(yīng)用程序的一種模態(tài)表示。模態(tài)在本發(fā)明中表示對二進制應(yīng)用程序的一種模式呈現(xiàn)方法,可以用于一個獨立的任務(wù)或一組密切相關(guān)的任務(wù)。具體地,本發(fā)明選擇其中的三種模態(tài)對二進制應(yīng)用程序進行表示,將二進制應(yīng)用程序p具體表示為<1,C,G>,其中,I[0069]對于一個二進制文件,其最直觀的表示是其二進制內(nèi)容,以二進制數(shù)據(jù)序列的形式呈現(xiàn),灰度圖模態(tài)能夠充分地表示二進制數(shù)據(jù),并方便對模態(tài)進行加工以適應(yīng)機器學(xué)習(xí)任務(wù)。應(yīng)用程序通過依次調(diào)用不同的函數(shù)實現(xiàn)程序功能,接口調(diào)用序列模態(tài)能夠充分地表示應(yīng)用程序在執(zhí)行過程中依次調(diào)用函數(shù)的順序,通過機器學(xué)習(xí)中的序列模式,能夠找到惡意軟件中的函數(shù)調(diào)用順序規(guī)律,進一步地對二進制應(yīng)用程序進行惡意軟件的預(yù)測。函數(shù)調(diào)用圖是接口調(diào)用序列的拓展表示,通過更豐富的圖結(jié)構(gòu),在函數(shù)調(diào)用順序的基礎(chǔ)上,對函數(shù)之間的調(diào)用關(guān)系進行了表示;同時,針對其中能夠從二進制應(yīng)用程序文件中獲取到代碼的本地函數(shù),使用函數(shù)控制流圖進一步地進行表示,能夠充分地描述應(yīng)用程序在執(zhí)行過程中的函數(shù)調(diào)用關(guān)系及分支流程。[0070]模態(tài)之間的信息主要成互補關(guān)系,但不相互獨立,任意兩個模態(tài)之間均包含冗余信息,即InC≠?,Cng≠?,InG≠;模態(tài)之間的冗余信息有助于根據(jù)現(xiàn)有的模態(tài)信息檢測受到攻擊而表現(xiàn)形式不一致的模態(tài),從而對抗針對惡意軟件檢測的單一模態(tài)攻擊。[0071]1-1)提取二進制應(yīng)用程序包中的二進制序列,轉(zhuǎn)換為灰度圖模態(tài)I。[0072]1-1a)讀取二進制應(yīng)用程序p的二進制字節(jié)流;以二進制字節(jié)流的大小為標(biāo)準(zhǔn),確定灰度圖圖像的寬度;標(biāo)準(zhǔn)如下表所示:[0073]表1灰度圖寬度與二進制文件大小對照表文件大小圖像寬度[0075]1-1b)以8位二進制數(shù)據(jù)為一組,舍棄二進制數(shù)據(jù)尾部不滿8制數(shù)據(jù)的值轉(zhuǎn)換為0-255的灰度值,并以像素為單位,儲存在生成的灰度圖Ip中。[0076]1-1c)若生成的像素是當(dāng)前像素行的最后一個像素,即生成像素的水平位置與圖片寬度一致,則將下一個生成的灰度像素保存在當(dāng)前像素行的下一行;否則,繼續(xù)執(zhí)行1-[0077]1-1d)若生成的像素是當(dāng)前二進制字節(jié)流的最后8位,則判斷生成的灰度像素是否為當(dāng)前像素行的最后一個像素,是則保存當(dāng)前像素行的數(shù)據(jù),否則舍棄當(dāng)前像素行;最后,將生成的灰度圖保存為I。[0078]1-2)提取二進制應(yīng)用程序包中的接口調(diào)用序列,轉(zhuǎn)換為接口調(diào)用序列模態(tài)C。[0079]1-2a)使用IDA逆向工具對二進制應(yīng)用程序包進行逆向分析,將應(yīng)用程序p的逆向分析結(jié)果記錄為pr。[0080]1-2b)根據(jù)逆向分析結(jié)果,提取其中的指令碼序列,保留指令碼序列中的接口調(diào)用指令,將提取的接口調(diào)用序列表示為Cpr=[C?,…,C?],其中,1為調(diào)用序列中接口調(diào)用的數(shù)[0081]1-2c)針對接口調(diào)用序列Cpr中的每一個接口調(diào)用指令C(i∈1),提取調(diào)用信息,將其形式化表示為<f;,p,c?>,其中,f為接口調(diào)用中接口所屬的族(famil用中接口所屬的包(package)名稱,c;為接口調(diào)用的調(diào)用(call)內(nèi)容,得到接口調(diào)用序列模態(tài)C。[0082]1-3)提取二進制應(yīng)用程序包中的函數(shù)調(diào)用關(guān)系,轉(zhuǎn)換為圖結(jié)構(gòu)模態(tài)G。[0083]其中,將二進制應(yīng)用程序p表示為函數(shù)間的函數(shù)調(diào)用圖Fp(步驟1-3a)至步驟1-3d)),將二進制應(yīng)用程序p中包含的兩種不同類型的函數(shù)分別使用函數(shù)名稱(步驟1-3f))和函數(shù)內(nèi)的函數(shù)控制流圖9p(步驟1-3g)至步驟1-3j))分別表示。[0084]1-3a)根據(jù)步驟1-2c)中指令C中提取的調(diào)用內(nèi)容c,分析并將調(diào)用內(nèi)容的調(diào)用函數(shù)記為被調(diào)用者,將執(zhí)行該調(diào)用指令的函數(shù)記為調(diào)用者。[0085]1-3b)獲取函數(shù)調(diào)用序列:匯總步驟1-3a)中提取的調(diào)用者和被調(diào)用者,將每個調(diào)節(jié)點的數(shù)量,每一個節(jié)點代表應(yīng)用程序p中的一個函數(shù)。[0086]1-3c)獲取函數(shù)調(diào)用關(guān)系:根據(jù)步驟1-3a)中提取的調(diào)用者和被調(diào)用者的調(diào)用關(guān)系,將每個調(diào)用關(guān)系記錄為一條連接兩個函數(shù)節(jié)點的邊,邊集用ε表示,Ep≌Np×Np;邊集ε,中的每一條邊E∈ε都可以表示為E=(N,N:)(1≤i,j≤m),代表兩個函數(shù)之間的調(diào)用[0087]1-3d)將步驟1-3b)中提取的函數(shù)節(jié)點集Np和步驟1-3d)中提取的邊集ε,結(jié)合,得到應(yīng)用程序p的函數(shù)間函數(shù)調(diào)用圖,將該函數(shù)調(diào)用圖記為F,Fp=(Np,Ep)。[0088]1-3e)根據(jù)步驟(1-3b)中提取的函數(shù)節(jié)點集Np中函數(shù)的類型,函數(shù)可以分為兩種不同的類型:外部函數(shù)N和本地函數(shù)N,Np={Ns,N?},其中外部函數(shù)為移動系統(tǒng)平臺提供的系統(tǒng)函數(shù)或庫函數(shù);本地函數(shù)為軟件開發(fā)者編寫和設(shè)計的函數(shù)。若節(jié)點的函數(shù)類型為外部函數(shù),則執(zhí)行步驟1-3f);若節(jié)點的函數(shù)類型為本地函數(shù),則執(zhí)行步驟1-3g)至步驟1-[0089]1-3f)提取外部函數(shù)節(jié)點中的函數(shù)名稱,記錄為該節(jié)點的信息表示。最終,將所有的外部函數(shù)名稱匯總,記為外部函數(shù)名稱集Ns。11[0090]1-3g)提取本地函數(shù)節(jié)點中包含的指令序列。根據(jù)函數(shù)中指令的具體內(nèi)容和執(zhí)行的順序,能夠?qū)⒑瘮?shù)分為多個代碼基本塊,基本塊中的代碼為順序執(zhí)行結(jié)構(gòu),基本塊之間的跳轉(zhuǎn)關(guān)系代表代碼間的執(zhí)行關(guān)系。[0091]1-3h)匯總步驟1-3g)中提取的代碼基本塊,將每一個基本塊記錄為一個節(jié)點,基本塊節(jié)點集用Vp表示,Vp={V?,…,Vn},其中,n為基本塊的數(shù)量,每一個節(jié)點代表函數(shù)中的一個代碼基本塊。[0092]1-3i)根據(jù)步驟1-3g)中提取的基本塊的跳轉(zhuǎn)關(guān)系,將每個跳轉(zhuǎn)關(guān)系記錄為一條連接兩個基本塊節(jié)點的邊,基本塊邊集用Kp表示,Kp≌Vp×Vp;基本塊邊集Kp中的每一條邊K∈Kp都可以表示為K=(V?,V;)(1≤i,j≤n),代表兩個基本塊之間的控制流路徑,即V基本塊跳轉(zhuǎn)至V;基本塊。[0093]1-3j)將步驟1-3h)中提取的基本塊節(jié)點集p和步驟1-3i)中提取的基本塊邊集Kp結(jié)合,得到函數(shù)內(nèi)的函數(shù)控制流圖,將該函數(shù)控制流圖記為9p,Gp=(Vp,Kp);由函數(shù)調(diào)用圖Fp和函數(shù)控制流圖9p構(gòu)成圖結(jié)構(gòu)模態(tài)9。[0095]根據(jù)步驟1)中生成的三種模態(tài),分別使用不同的特征對模態(tài)進行表示:[0096]2-1)針對步驟1-1)中提取的二進制灰度圖I,生成圖像特征表示F1。具體的實現(xiàn)方法如下:Cogswell,AbhishekDas,RamakrishnaVedantam,DeviParikhandDhcam:Visualexplanationsfromdeepnetworksviagradient-baProc.oftheIEEEinternationalconfe2017.),通過在卷積層上的梯度信息生成灰度圖對應(yīng)的熱圖H,該熱圖能夠突出顯示在惡意軟件檢測任務(wù)中影響更大的圖像區(qū)域。[0098]2-1b)將步驟2-1a)中生成的熱圖與原始圖像相疊加,形成新的熱圖H。[0099]2-1c)使用亮度閾值對新熱圖中的每個像素進行處理,提取新熱圖中突出顯示的圖像。[0100]2-1d)記錄突出顯示的像素相對于像素空間的位置作為灰度圖的特征表示,將該特征表示記錄為F?。[0101]2-2)針對步驟1-2)中生成的接口調(diào)用序列Cpr,生成調(diào)用序列特征表示Gm。[0102]2-2a)根據(jù)步驟1-2c)中接口調(diào)用序列的每一個接口調(diào)用指令節(jié)點C(i∈n)=<f,P?,C?>,統(tǒng)計所有節(jié)點中出現(xiàn)的族名稱f,,將族名稱構(gòu)成的集合記錄為Sf,Sj={S,…S}(o≤n),其中,o為族名稱的統(tǒng)計個數(shù),Sfi∈Sf表示一個具體的族名稱,表示所有節(jié)點中出現(xiàn)的相同的族名稱f:。同時,根據(jù)步驟1-2c)中每一個節(jié)點C(i∈n)=<f;,pi,c;>,統(tǒng)計所有節(jié)點中出現(xiàn)的包名稱p,將包名稱構(gòu)成的集合記錄為Sp,Sp={Sp?,…Spm}(m≤n),其中,m為包名稱的統(tǒng)計個數(shù),Spi∈Sp表示一個具體的包名稱,表示所有節(jié)點中出現(xiàn)的相同的包名稱p。[0103]2-2b)根據(jù)步驟1-2b)中提取的接口調(diào)用序列Cpr,根據(jù)每一對相鄰的接口調(diào)用C;→C;(I≤i<n;j=i+1),統(tǒng)計在調(diào)用接口C?所屬的族f:(或Sr:)之后調(diào)用接口C,所屬的族(或Sf)的次數(shù)0;,以及由調(diào)用接口C所屬的族f?(或Sf;)之后調(diào)用除接口C以外的其他接口[0104]2-2c)根據(jù)步驟2-2a)中的名稱集合S和步驟2-2b)中統(tǒng)計次數(shù)0,可以構(gòu)建表示接口調(diào)用序列的馬爾可夫鏈Gm=(Sm,Pm),其中m=SgUSp為馬爾科夫鏈中的狀態(tài)集,[0105]2-2d)由于開發(fā)人員自定義的函數(shù)所屬的包名稱和族名稱可能會存在不規(guī)范現(xiàn)[0106]2-3)針對步驟1-3d)中提取的函數(shù)調(diào)用圖Fp和步驟1-3j)中提取的函數(shù)控制流圖[0107]2-3a)采用簡化的GraphSAGE模型(WillHamilton,ZhitaoYing,JureLeskovec.Inductiverepresentationlearningonlarge的每一個節(jié)點V?(i∈|p?)而言第t層GraphSAGE模型生成的特征向量可以表示為∈RaT,和消息傳遞函數(shù)fessage從上一層中的特征向量h[0112]2-3d)將由步驟2-3b)中得到的圖向量hsp?和步驟2-3c)中得到的獨熱編碼對應(yīng)的特征向量hspe作為初始特征向量輸入下游編碼層,針對函數(shù)調(diào)用圖p中的每一個節(jié)點算9p全局圖特征向量z,=maxpooling{zK由函數(shù)調(diào)用圖Fp和函數(shù)控制流圖Gp生成的特征表示Zp。中生成的灰度圖II;x?表示由步驟1-2)中提取的接口調(diào)用序列Cpr=[C?,…,C?];x?表示由網(wǎng)絡(luò)o的輸出作為魯棒融合網(wǎng)絡(luò)h的一個參數(shù)。[0134]特征提取模塊,用于提取多種模態(tài)表示方法中的特征,并轉(zhuǎn)換為機器可識別的特征表示;具體用于針對灰度圖提取圖像特征,針對接口調(diào)用序列提取調(diào)用序列特征,針對函數(shù)調(diào)用圖和函數(shù)控制流圖提取全局圖特征;[0135]異類選擇模塊,使用異類選擇網(wǎng)絡(luò),識別受到攻擊的與其他特征不一致的特征表示;具體用于使用異類選擇網(wǎng)絡(luò),根據(jù)由圖像特征、調(diào)用序列特征和全局圖特征組成特征集,輸出各模態(tài)被攻擊概率的結(jié)果;[0136]魯棒融合模塊,根據(jù)異類選擇模塊的輸出,對特征提取模塊中對不同模態(tài)提取的特征進行特征融合;具體用于使用魯棒融合網(wǎng)絡(luò)的融合網(wǎng)絡(luò)將所述圖像特征、調(diào)用序列特征、全局圖特征和所述異類選擇網(wǎng)絡(luò)輸出的向量進行融合,輸出融合結(jié)果;并使用多模態(tài)信息融合網(wǎng)絡(luò)將所述異類選擇網(wǎng)絡(luò)的輸出結(jié)果與所述魯棒融合網(wǎng)絡(luò)輸出的結(jié)果進行融合,輸出預(yù)測向量;[0137]惡意軟件預(yù)測模塊,計算待檢測軟件是惡意軟件的概率,具體用于將預(yù)測向量進行降維并歸一化,得到惡意軟件的預(yù)測值。[0138]如圖2所示,基于多模態(tài)信息融合的移動平臺惡意軟件檢測方法及裝置,以二進制程序文件為輸入,包括模態(tài)生成模塊、特征提取模塊、異類選擇模塊、魯棒融合模塊和惡意軟件預(yù)測模塊共5個模塊。以下結(jié)合各個模塊對本發(fā)明提供的方法和裝置進行說明。[0140]灰度圖模態(tài)是使用灰度圖特征對應(yīng)用程序文件的二進制序列進行表示,具體方法[0141](1)通過輸入的二進制應(yīng)用程序p,利用其中包含的二進制序列,生成灰度圖Ip;[0142]接口調(diào)用序列模態(tài)通過分析二進制文件逆向分析后的匯編指令序列,通過IDA逆向工具對程序文件進行逆向分析,具體方法包括:[0143](2)根據(jù)步驟(1)中的二進制應(yīng)用程序p,通過IDA逆向工具對程序文件進行逆向分[0144](3)提取分析結(jié)果中的接口調(diào)用序列Cpr;[0145]函數(shù)調(diào)用圖和控制流圖模態(tài)通過進一步分析接口調(diào)用序列中的接口調(diào)用函數(shù),使用圖結(jié)構(gòu)對二進制應(yīng)用程序p進行表示,具體方法包括:[0146](4)根據(jù)步驟(3)中的接口調(diào)用序列Cpr,提取分析結(jié)果中的接口調(diào)用的調(diào)用關(guān)系,根據(jù)提取的調(diào)用關(guān)系生成函數(shù)調(diào)用圖Fp;[0147](5)分別對函數(shù)調(diào)用圖中的每個節(jié)點進行分析,使用獨熱編碼Ns表示外部函數(shù)節(jié)點,使用函數(shù)控制流圖9p表示本地函數(shù)節(jié)點;[0148](6)將步驟(4)生成的接口調(diào)用圖中的每個節(jié)點和步驟(5)中生成的函數(shù)控制流圖和獨熱編碼進行相對應(yīng),并結(jié)合生成新的圖表示。[0149]圖3給出了步驟(1)中生成的灰度圖示例;圖4給出了步驟(3)中提取的接口調(diào)用序列示例;圖5給出了步驟(4)中提取的接口調(diào)用圖示例。[0150]特征提取模塊共包含三種模態(tài)對應(yīng)的特征提取步驟,其中:[0151]灰度圖特征根據(jù)生成的灰度圖I,通過熱圖的方式提取其中的特征向量。其工作[0152](1)給定一個根據(jù)二進制應(yīng)用程序p生成的灰度圖I;[0153](2)使用Grad-CAM生成灰度圖I對應(yīng)的熱圖H?;[0154](3)將生成的灰度圖I和熱圖H進行疊加,得到疊加后的新熱圖H;[0155](4)使用亮度閾值對新熱圖中的每個像素進行更新;[0156](5)提取突出顯示的相對于像素空間的位置作為灰度圖的特征表示F。[0157]接口調(diào)用序列特征通過分析提取的接口調(diào)用序列Cpr,使用馬爾科夫鏈對接口調(diào)[0159](2)分別提取接口調(diào)用序列中每個接口調(diào)用函數(shù)C.所屬的包名稱p;和族名稱f;[0160](3)根據(jù)接口調(diào)用序列中的順序生成包名稱和族名稱轉(zhuǎn)換關(guān)系的馬爾可夫鏈Gm;[0161](4)提取馬爾可夫鏈中出現(xiàn)次數(shù)排名前50個節(jié)點作為接口調(diào)用序列模態(tài)的特征表示Gm。[0162]函數(shù)調(diào)用圖和控制流圖特征通過圖嵌入的方式提取圖結(jié)構(gòu)的特征表示。其工作流[0163](1)給定

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論