(12)發(fā)明專利(22)申請日2021.12.28(43)申請公布日2022.05.10公司37221GO6V40/20(2022.01)GO6V10/774(2022.0(56)對比文件convolutionwithProcessing》.2022,第201卷1-13.權(quán)利要求書2頁說明書6頁附圖2頁時空卷積網(wǎng)絡(luò)，執(zhí)行分類操作，輸出分類結(jié)果，根動信息和多尺度時間卷積塊，對運(yùn)動信息再提取圖21.基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法，其特征在于，包括如下步驟：獲取骨架數(shù)據(jù)；根據(jù)骨架數(shù)據(jù)和自適應(yīng)時空卷積網(wǎng)絡(luò)，執(zhí)行分類操作，輸出分類結(jié)果，根據(jù)分類結(jié)果得到人體行為識別結(jié)果；其中，所述自適應(yīng)時空卷積網(wǎng)絡(luò)的構(gòu)建過程包括：構(gòu)建多層時空卷積塊，其中，第五層和第八層加入時間卷積的殘差塊，每一層時空卷積塊均包括兩部分不同的空間卷積塊和多尺度時間卷積塊，通過兩個不同的空間卷積塊提取運(yùn)動信息；根據(jù)運(yùn)動信息和多尺度時間卷積塊，對運(yùn)動信息再提取聚合后得到時域信息；所述通過兩個不同的空間卷積塊提取運(yùn)動信息包括：第一個卷積塊包括多個不同的拓?fù)浼?xì)化圖卷積，每一個卷積塊以細(xì)化的方式學(xué)習(xí)通道拓?fù)?，同時學(xué)習(xí)共享拓?fù)浜吞囟ㄍǖ赖南嚓P(guān)性，最后對得到的結(jié)果進(jìn)行累加操作；第二個空間卷積塊包括空間注意力模塊、時間注意力模塊以及通道注意力模塊，通過各注意力模塊進(jìn)行特征的細(xì)化操作；最后對兩個空間卷積塊提取的運(yùn)動信息進(jìn)行聚合。2.如權(quán)利要求1所述的基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法，其特征在于，所述多個不同的拓?fù)浼?xì)化圖卷積包含三個通道式細(xì)化拓?fù)渚矸e塊，其中拓?fù)渚矸e塊包括特征變換、通道拓?fù)浣Ｒ约坝删酆虾瘮?shù)完成的特征聚合操作，用鄰接矩陣作為所有通道的共享拓?fù)?，并通過反向傳播進(jìn)行更新鄰接矩陣。3.如權(quán)利要求1所述的基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法，其特征在于，所述多尺度時間卷積塊包括多個卷積塊，每個卷積塊分別對運(yùn)動信息再提取聚合后得到時域信息；其中，所述多尺度時間卷積塊為4個封裝好的卷積塊，前兩個卷積塊均包括普通卷積、歸一化、激活函數(shù)以及一個時間卷積的殘差塊，后兩個卷積塊包括普通卷積、歸一化、激活函數(shù)以及池化操作。4.如權(quán)利要求1所述的基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法，其特征在于，所述殘差塊由一個普通的Conv2d卷積和一個歸一化層組成。5.如權(quán)利要求1所述的基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法，其特征在于，所述執(zhí)行分類操作的過程包括：對每一個通道圖中所有的像素值求平均值，得到新的通道圖，再經(jīng)過dropout層使網(wǎng)絡(luò)中的部分神經(jīng)元失活，得到出通道數(shù)和分類數(shù)，最后經(jīng)過全連接層進(jìn)行分類。6.如權(quán)利要求1所述的基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法，其特征在于，所述骨架數(shù)據(jù)在輸入自適應(yīng)時空卷積網(wǎng)絡(luò)之前進(jìn)行了預(yù)處理以及構(gòu)圖。7.基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別系統(tǒng)，其特征在于，包括：人體行為識別模塊，被配置為：根據(jù)骨架數(shù)據(jù)和自適應(yīng)時空卷積網(wǎng)絡(luò)，執(zhí)行分類操作，輸出分類結(jié)果，根據(jù)分類結(jié)果得到人體行為識別結(jié)果；其中，所述自適應(yīng)時空卷積網(wǎng)絡(luò)的構(gòu)建過程包括：構(gòu)建多層時空卷積塊，其中，第五層和第八層加入時間卷積的殘差塊，每一層時空卷積塊均包括兩部分不同的空間卷積塊和多尺度時間卷積塊，通過兩個不同的空間卷積塊提取運(yùn)動信息；根據(jù)運(yùn)動信息和多尺度時間卷積塊，對運(yùn)動信息再提取聚合后得到時域信息；所述通過兩個不同的空間卷積塊提取運(yùn)動信息包括：3第一個卷積塊包括多個不同的拓?fù)浼?xì)化圖卷積，每一個卷積塊以細(xì)化的方式學(xué)習(xí)通道拓?fù)?，同時學(xué)習(xí)共享拓?fù)浜吞囟ㄍǖ赖南嚓P(guān)性，最后對得到的結(jié)果進(jìn)行累加操作；第二個空間卷積塊包括空間注意力模塊、時間注意力模塊以及通道注意力模塊，通過各注意力模塊進(jìn)行特征的細(xì)化操作；最后對兩個空間卷積塊提取的運(yùn)動信息進(jìn)行聚合。8.一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1-6中任一項(xiàng)所述的基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法中的步驟。9.一種計(jì)算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時實(shí)現(xiàn)如權(quán)利要求1-6中任一項(xiàng)所述的基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法中的步驟。4技術(shù)領(lǐng)域[0001]本發(fā)明屬于計(jì)算機(jī)視覺方面人體行為識別技術(shù)領(lǐng)域，尤其涉及基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法及系統(tǒng)。背景技術(shù)[0002]本部分的陳述僅僅是提供了與本發(fā)明相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。[0003]對于基于RGB視頻的行為識別任務(wù)，最經(jīng)典便是Convolution3D算法為代表，即3D卷積算法，此算法在CNN(卷積神經(jīng)網(wǎng)絡(luò))的基礎(chǔ)上，引入了時間維度，不僅僅是對于輸入數(shù)據(jù)增加了維度，卷積過程中的卷積核，步長，填充等都增加一個另外的時間維度，該算法從空間和時間維度中提取特征，從而捕獲多個相鄰幀中編碼的運(yùn)動信息，進(jìn)而對這些運(yùn)動信息進(jìn)行分類；[0004]對于基于骨架數(shù)據(jù)集的行為識別任務(wù)，從一開始的圖卷積網(wǎng)絡(luò)，再到時空圖卷積網(wǎng)絡(luò)，以及最新的各種新型網(wǎng)絡(luò)，都離不開基礎(chǔ)的GCN(圖卷積神經(jīng)網(wǎng)絡(luò))模塊，圖卷積將卷積泛化到了非歐幾里得結(jié)構(gòu)，但是其實(shí)卷積的本質(zhì)還是聚合周圍鄰居節(jié)點(diǎn)的信息，只不過圖卷積面對的是非歐空間形式的數(shù)據(jù)，所以圖卷積的核心就是矩陣之間的乘法，但是隨著深度學(xué)習(xí)相關(guān)框架的不斷發(fā)展，許多學(xué)者開始在圖卷積模塊中引入時間卷積，以聚合不同幀之間的運(yùn)動信息，或者優(yōu)化空間圖卷積模塊來提高行為識別的精度。[0006]對于3D卷積算法而言，無法對非歐式空間下的圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行有效的信息聚合，也就是無法獲得節(jié)點(diǎn)周圍內(nèi)的全部鄰域信息，從而就會導(dǎo)致在卷積過程中無法提取到充分的空間特征，進(jìn)而無法精確的識別出動作類別。[0007]對于圖卷積神經(jīng)網(wǎng)絡(luò)來說，普通的空間圖卷積模塊只能關(guān)注到關(guān)節(jié)點(diǎn)之間的局部物理連接，并且在卷積的過程中，鄰接矩陣并不參與反向傳播過程中的參數(shù)更新，沒有卷積核作為共享參數(shù)，只是簡單的對圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行特征聚合，故也不能達(dá)到較好的識別效果。發(fā)明內(nèi)容[0008]為了解決上述背景技術(shù)中存在的至少一項(xiàng)技術(shù)問題，本發(fā)明提供基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法，其它由十層基本的時空卷積塊組成，但是只在第五層和第八層加入時間卷積的殘差塊，其余的每一個時空卷積塊，由兩部分不同的空間卷積提取特征之后執(zhí)行信息聚合操作，再送入一個多尺度時間卷積塊中進(jìn)行時域信息的提取，之后再經(jīng)過激活函數(shù)送入下一層的基本時空卷積塊。[0009]為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：[0010]本發(fā)明的第一個方面提供基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法，包括如5[0012]根據(jù)骨架數(shù)據(jù)和自適應(yīng)時空卷積網(wǎng)絡(luò)，執(zhí)行分類操作，輸出分類結(jié)果，根據(jù)分類結(jié)果得到人體行為識別結(jié)果；其中，所述自適應(yīng)時空卷積網(wǎng)絡(luò)的構(gòu)建過程包括：構(gòu)建多層時空卷積塊，其中，第五層和第八層加入時間卷積的殘差塊，其余的每一層時空卷積塊均包括兩部分不同的空間卷積塊和多尺度時間卷積塊，通過兩個不同的空間卷積塊提取運(yùn)動信息；根據(jù)運(yùn)動信息和多尺度時間卷積塊，對運(yùn)動信息再提取聚合后得到時域信息。[0013]本發(fā)明的第二個方面提供基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別系統(tǒng)，包括：[0015]人體行為識別模塊，被配置為：根據(jù)骨架數(shù)據(jù)和自適應(yīng)時空卷積網(wǎng)絡(luò)，執(zhí)行分類操作，輸出分類結(jié)果，根據(jù)分類結(jié)果得到人體行為識別結(jié)果；其中，所述自適應(yīng)時空卷積網(wǎng)絡(luò)的構(gòu)建過程包括：構(gòu)建多層時空卷積塊，其中，第五層和第八層加入時間卷積的殘差塊，其余的每一層時空卷積塊均包括兩部分不同的空間卷積塊和多尺度時間卷積塊，通過兩個不同的空間卷積塊提取運(yùn)動信息；根據(jù)運(yùn)動信息和多尺度時間卷積塊，對運(yùn)動信息再提取聚合后得到時域信息。[0016]本發(fā)明的第三個方面提供一種計(jì)算機(jī)可讀存儲介質(zhì)。[0017]一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時實(shí)現(xiàn)如上述所述的基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法中的步驟。[0018]本發(fā)明的第四個方面提供一種計(jì)算機(jī)設(shè)備。[0019]一種計(jì)算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時實(shí)現(xiàn)如上述所述的基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法中的步驟。[0021]本發(fā)明的多層時空卷積塊中，只在第五層和第八層加入時間卷積的殘差塊，其余的每一個時空卷積塊，由兩部分不同的空間卷積提取特征之后執(zhí)行信息聚合操作，再送入一個多尺度時間卷積塊中進(jìn)行時域信息的提取，之后再經(jīng)過激活函數(shù)送入下一層的基本時空卷積塊。空間和時間注意力模塊對每個關(guān)節(jié)的特征給予不同程度的關(guān)注，通道注意力模塊幫助模型根據(jù)輸入樣本增強(qiáng)判別特征，用這兩部分的空間卷積塊來提取更多的特征信息并進(jìn)行特征融合，進(jìn)而可以彌補(bǔ)普通空間圖卷積模型提取特征不充分的缺點(diǎn)，并且在網(wǎng)絡(luò)參數(shù)更新的過程中，拓?fù)浣Y(jié)構(gòu)的鄰接矩陣參與更新，這就保證了提取的特征信息的多樣性，并且不同模塊間提取到的信息不同，可以達(dá)到對空間特征下信息的充分利用，進(jìn)而才能有較好的識別效果。附圖說明[0022]構(gòu)成本發(fā)明的一部分的說明書附圖用來提供對本發(fā)明的進(jìn)一步理解，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。[0023]圖1是基于行為識別的自適應(yīng)時空卷積網(wǎng)絡(luò)的流程圖；[0024]圖2是基于行為識別的自適應(yīng)時空卷積網(wǎng)絡(luò)的架構(gòu)圖；[0025]圖3是基于行為識別的自適應(yīng)時空卷積網(wǎng)絡(luò)的空間卷積塊的架構(gòu)圖；[0026]圖4是基于行為識別的自適應(yīng)時空卷積網(wǎng)絡(luò)的多尺度時間卷積的架構(gòu)圖。6具體實(shí)施方式[0027]下面結(jié)合附圖與實(shí)施例對本發(fā)明作進(jìn)一步說明。[0028]應(yīng)該指出，以下詳細(xì)說明都是例示性的，旨在對本發(fā)明提供進(jìn)一步的說明。除非另有指明，本文使用的所有技術(shù)和科學(xué)術(shù)語具有與本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員通常理解的相同含義。[0029]需要注意的是，這里所使用的術(shù)語僅是為了描述具體實(shí)施方式，而非意圖限制根據(jù)本發(fā)明的示例性實(shí)施方式。如在這里所使用的，除非上下文另外明確指出，否則單數(shù)形式[0030]行為識別任務(wù)是指通過特定的算法，識別出視頻中人物具體動作的識別性任務(wù)。由于其在虛擬現(xiàn)實(shí)、智能監(jiān)控、智能安防和運(yùn)動員輔助訓(xùn)練等方面有巨大的應(yīng)用價值，近幾年來引起了學(xué)術(shù)的廣泛關(guān)注。行為識別任務(wù)一般有如下的基本過程：數(shù)據(jù)圖像的預(yù)處理、運(yùn)數(shù)據(jù)集格式，可以分為基于RGB視頻的行為識別任務(wù)和基于骨架數(shù)據(jù)集的行為識別任務(wù)，本文中提到的方法是基于骨架數(shù)據(jù)集的。[0031]實(shí)施例一[0032]如圖1-圖4所示，本實(shí)施例提供了基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法，包括如下步驟：[0033]步驟1:獲取骨架數(shù)據(jù)；[0034]本實(shí)施例中，采用的數(shù)據(jù)集為NTU-RGBD60/120數(shù)據(jù)集，該數(shù)據(jù)集由許多文本文件構(gòu)成，每個文件中包含骨架數(shù)據(jù)的幀數(shù)、執(zhí)行動作的人數(shù)、每個關(guān)節(jié)點(diǎn)的三維坐標(biāo)(xyz坐標(biāo))等。[0035]步驟2:對骨架數(shù)據(jù)進(jìn)行預(yù)處理和構(gòu)圖；[0036]所述對骨架數(shù)據(jù)進(jìn)行預(yù)處理包括：[0037]把文本數(shù)據(jù)封裝成(N,C,T,V,W)的5維矩陣格式，使其可以輸入自適應(yīng)時空卷積網(wǎng)絡(luò)，其中N代表每次送入網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)量，C代表節(jié)點(diǎn)信息的通道數(shù)，T代表每個視頻的幀[0038]骨架數(shù)據(jù)的預(yù)處理部分是為了從視頻中提取出網(wǎng)絡(luò)訓(xùn)練所需的骨骼點(diǎn)坐標(biāo)、幀長度、關(guān)節(jié)點(diǎn)數(shù)等具體的信息，最后用Pytorch所帶的Dataset和Dataloader模塊封裝成可以輸入進(jìn)網(wǎng)絡(luò)的格式，也就是(N,C,T,V,W)五維向量，其中字母分別代表一次訓(xùn)練的批次、通[0039]構(gòu)圖部分主要是為了根據(jù)人體骨骼關(guān)節(jié)點(diǎn)的連接，構(gòu)造出關(guān)節(jié)點(diǎn)的鄰接矩陣A,該矩陣大小為(3,V,V),其中V代表節(jié)點(diǎn)數(shù)，其中的3個維度分別表示關(guān)節(jié)點(diǎn)的自連接矩陣、關(guān)節(jié)點(diǎn)的入度矩陣、關(guān)節(jié)點(diǎn)的出度矩陣。[0040]構(gòu)圖部分依據(jù)關(guān)節(jié)點(diǎn)的自連接、出度、入度，構(gòu)造出相應(yīng)的矩陣，并堆疊成三維向量的格式，此矩陣是節(jié)點(diǎn)的鄰接矩陣A,下面公式即為利用矩陣A更新節(jié)點(diǎn)v周圍鄰居節(jié)點(diǎn)的信息，a;表示在節(jié)點(diǎn)i和j之間的連接強(qiáng)度，X是節(jié)點(diǎn)的特征，W為進(jìn)行特征變換的權(quán)重矩陣。7[0042]步驟3:根據(jù)骨架數(shù)據(jù)和自適應(yīng)時空卷積網(wǎng)絡(luò)，執(zhí)行分類操作，輸出分類矩陣，選擇分類矩陣中每行最大的數(shù)的下標(biāo)作為動作種類的標(biāo)簽，將該標(biāo)簽和真實(shí)的標(biāo)簽進(jìn)行比對，[0044]其中分類矩陣的數(shù)據(jù)格式為(N,class),N為每次訓(xùn)練的數(shù)據(jù)量，class為動作種類[0045]構(gòu)建多層時空卷積塊，其中，第五層和第八層加入時間卷積的殘差塊，其余的每一層時空卷積塊，均包括兩部分不同的空間卷積塊和多尺度時間卷積塊，通過兩個不同的空間卷積塊提取運(yùn)動信息；根據(jù)運(yùn)動信息和多尺度時間卷積塊，對運(yùn)動信息再提取聚合后得到時域信息；[0046]步驟3中，通過兩個不同的空間卷積塊提取運(yùn)動信息包括：[0047]其中，第一個卷積塊包括3個不同的拓?fù)浼?xì)化圖卷積，其輸入均為(N*W,C,T,V),每一個卷積塊以細(xì)化的方式學(xué)習(xí)通道拓?fù)洌瑫r學(xué)習(xí)共享拓?fù)浜吞囟ㄍǖ赖南嚓P(guān)性，最后對[0048]第二個空間卷積塊包括空間注意力模塊、時間注意力模塊以及通道注意力模塊和一個殘差連接，其中空間注意力模塊用于對每個關(guān)節(jié)點(diǎn)給予不同程度的關(guān)注，時間注意力模塊用于對不同幀中的相同關(guān)節(jié)點(diǎn)給予不同程度的關(guān)注，通道注意力模塊用于根據(jù)輸入樣本增強(qiáng)判別特征，以及補(bǔ)充卷積過程中的時域信息，其中這三個注意力模塊分別根據(jù)輸入特征提出到輸出特征，再對輸出特征進(jìn)行累加操作，同時還有一個殘差連接提取到的特征，[0049]最后對兩個空間卷積塊提取的信息進(jìn)行聚合并送入下一層。[0051]unit_gcn=Relu(f)[0052]第一個空間卷積塊中，3個不同的拓?fù)浼?xì)化圖卷積包含三個通道式細(xì)化拓?fù)渚矸e塊，其中拓?fù)渚矸e塊包括特征變換、通道拓?fù)浣Ｒ约坝删酆虾瘮?shù)完成的特征聚合操作，用鄰接矩陣A作為所有通道的共享拓?fù)?，并通過反向傳播來更新矩陣A,第二個空間卷積塊包含空間、時間、通道注意力塊，空間和時間注意力模塊對每個關(guān)節(jié)的特征給予不同程度的關(guān)注，通道注意力模塊幫助模型根據(jù)輸入樣本增強(qiáng)判別特征，用這兩部分的空間卷積塊來提取更多的特征信息并進(jìn)行特征融合。[0053]步驟3中，根據(jù)運(yùn)動信息和多尺度時間卷積塊，所述多尺度時間卷積塊包括多個卷積塊，分別對運(yùn)動信息再提取聚合后得到時域信息；[0054]為了對具有不同持續(xù)時間的動作進(jìn)行建模，在模型中加入多尺度時間卷積塊，用來處理來自空間卷積塊的時域信息，它包含4個時間卷積塊，其輸入為來自空間卷積塊的(N*W,C′,T′,V′),我們使用較少的分支以提高處理速度，前兩個分支包含時間卷積的殘差塊以減少訓(xùn)練誤差。在經(jīng)過層層網(wǎng)絡(luò)的訓(xùn)練之后，再經(jīng)過全局平均池化防止過擬合，最后經(jīng)過全連接層并進(jìn)行分類操作，得到輸出(N,class)。[0055]其中，所述多尺度時間卷積塊為4個封裝好的卷積塊，前兩個卷積塊均包括普通卷活函數(shù)以及池化等操作。8[0056]這四個卷積塊分別對上一層的信息進(jìn)行時域信息的提取再聚，并送入下一個基本[0058]聚合時間卷積的殘差塊：第五層和第八層加入時間卷積的殘差塊，所述殘差塊由一個普通的Conv2d卷積和一個歸一化層組成，輸入直接來自上一個時空卷積塊的輸出的數(shù)據(jù)，聚合時間卷積的殘差塊輸出的數(shù)據(jù)和多尺度時間卷積塊輸出的數(shù)據(jù)進(jìn)行聚合操作得到[0061]到經(jīng)過全部層時空卷積塊操作后的結(jié)果數(shù)據(jù)，數(shù)據(jù)的格式為(N*M,C,T,V,),其中N,M,C,T,V分別代表的含義為數(shù)據(jù)的batch_size,N表示視頻中的運(yùn)動人數(shù)，M表示通道數(shù)，幀數(shù)，節(jié)點(diǎn)數(shù)，對此數(shù)據(jù)進(jìn)行全局平均池化，對每一個通道圖中所有的像素值求平均值，得到新的通道圖，以達(dá)到對數(shù)據(jù)降維的效果，再經(jīng)過dropout層使網(wǎng)絡(luò)中的部分神經(jīng)元失活，得到輸出為(輸出通道數(shù)，分類數(shù)),最后經(jīng)過全連接層進(jìn)行分類。[0063]本實(shí)施例提供基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別系統(tǒng)，包括：[0065]人體行為識別模塊，被配置為：根據(jù)骨架數(shù)據(jù)和自適應(yīng)時空卷積網(wǎng)絡(luò)，執(zhí)行分類操作，輸出分類結(jié)果，根據(jù)分類結(jié)果得到人體行為識別結(jié)果；其中，所述自適應(yīng)時空卷積網(wǎng)絡(luò)的構(gòu)建過程包括：構(gòu)建多層時空卷積塊，其中，第五層和第八層加入時間卷積的殘差塊，其余的每一層時空卷積塊均包括兩部分不同的空間卷積塊和多尺度時間卷積塊，通過兩個不同的空間卷積塊提取運(yùn)動信息；根據(jù)運(yùn)動信息和多尺度時間卷積塊，對運(yùn)動信息再提取聚合后得到時域信息。[0067]本實(shí)施例提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時實(shí)現(xiàn)如上述所述的基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法中的步驟。[0069]本實(shí)施例提供了一種計(jì)算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時實(shí)現(xiàn)如上述所述的基于自適應(yīng)時空卷積網(wǎng)絡(luò)的人體行為識別方法中的步驟。[0070]本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用硬件實(shí)施例、軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個或多個其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲器和光學(xué)存儲器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。[0071