(19)國(guó)家知識(shí)產(chǎn)權(quán)局(71)申請(qǐng)人哈爾濱工業(yè)大學(xué)(深圳)(哈爾濱工業(yè)大學(xué)深圳科技創(chuàng)新研究院)地址518055廣東省深圳市南山區(qū)桃源街道深圳大學(xué)城哈爾濱工業(yè)大學(xué)校區(qū)申請(qǐng)人上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院(72)發(fā)明人劉洪海潘惠娟馮思雨盛譯萱曠棋曹銳凱A61BA61B50/30(2018.01)(74)專利代理機(jī)構(gòu)深圳市君勝知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)44268專利代理師王永文A61B5/11(2006.01)A61B5/00(2006.01)基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)本發(fā)明涉及康復(fù)數(shù)據(jù)預(yù)測(cè)技術(shù)領(lǐng)域，公開(kāi)了基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法、系戶的腦電信號(hào)、肌電信號(hào)和功能性近紅外光譜信號(hào)，并進(jìn)行預(yù)處理得到目標(biāo)腦電信號(hào)、目標(biāo)肌電信號(hào)和目標(biāo)功能性近紅外光譜信號(hào)；分別進(jìn)行特征提取得到三種時(shí)頻特征，并對(duì)目標(biāo)腦電信號(hào)和目標(biāo)功能性近紅外光譜信號(hào)進(jìn)行源定位處理得到腦源強(qiáng)度；將三種時(shí)頻特征進(jìn)行融合得到目標(biāo)時(shí)頻特征，并將目標(biāo)時(shí)頻特征和腦源強(qiáng)度輸入至多模態(tài)數(shù)據(jù)康復(fù)預(yù)測(cè)模型，輸出運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)結(jié)果。本發(fā)明通過(guò)在時(shí)序上建模目標(biāo)用戶的三種信號(hào)與其運(yùn)動(dòng)功能的關(guān)系，以快速評(píng)估運(yùn)動(dòng)功21.一種基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法，其特征在于，所述基于多模態(tài)數(shù)據(jù)對(duì)所述目標(biāo)腦電信號(hào)、所述目標(biāo)肌電信號(hào)和所述目標(biāo)功能性近將所述第一時(shí)頻特征、所述第二時(shí)頻特征和所述第三時(shí)頻特征進(jìn)行特征融合，得到目根據(jù)臨床評(píng)估量表設(shè)定實(shí)驗(yàn)范式，并設(shè)定第一采樣頻率、第二采樣頻率和第三采樣頻根據(jù)所述實(shí)驗(yàn)范式、所述第一采樣頻率、所述第二采樣頻率和第三采樣頻率在預(yù)設(shè)周對(duì)所述腦電信號(hào)和所述肌電信號(hào)進(jìn)行濾波處理、偽跡去除和數(shù)對(duì)所述目標(biāo)腦電信號(hào)、所述目標(biāo)肌電信號(hào)和通過(guò)線性模型對(duì)所述目標(biāo)腦電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)分別進(jìn)行通道根據(jù)所述第二通道對(duì)所述目標(biāo)腦電信號(hào)進(jìn)行特征提取，得到3對(duì)所述目標(biāo)腦電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)進(jìn)行源定位處理，得到腦源強(qiáng)度，對(duì)所述目標(biāo)腦電信號(hào)進(jìn)行電流估計(jì)，得到似然函數(shù)，并根據(jù)所述目標(biāo)功能性近紅外光獲取逆方差參數(shù)，根據(jù)所述腦電流源逆方差均值參數(shù)設(shè)置所述逆方差參數(shù)的先驗(yàn)概率根據(jù)源電流的先驗(yàn)概率分布和所述似然函數(shù)得到后驗(yàn)分布，將所述變分分布的下界進(jìn)行最大化處理，得到目標(biāo)下界，并根據(jù)創(chuàng)建多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型，將一組訓(xùn)練樣本輸入至所述多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模根據(jù)所述值向量對(duì)所述概率分布進(jìn)行加權(quán)計(jì)算，得到目標(biāo)權(quán)將下一組訓(xùn)練樣本輸入至所述多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型，直至所述多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)8.一種基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)系統(tǒng)，其特征在于，所述基于多模態(tài)數(shù)據(jù)特征提取模塊，用于對(duì)所述目標(biāo)腦電信號(hào)、所述目標(biāo)肌電信號(hào)和所述目標(biāo)功能性近紅4外光譜信號(hào)分別進(jìn)行特征提取，得到第一時(shí)頻特征、第二時(shí)頻特征和第三時(shí)頻特征，并對(duì)所述目標(biāo)腦電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)進(jìn)行源定位處理，得到腦源強(qiáng)度；結(jié)果預(yù)測(cè)模塊，用于將所述第一時(shí)頻特征、第二時(shí)頻特征和第三時(shí)頻特征進(jìn)行特征融合，得到目標(biāo)時(shí)頻特征，并將所述目標(biāo)時(shí)頻特征和所述腦源強(qiáng)度輸入至已訓(xùn)練好的多模態(tài)數(shù)據(jù)康復(fù)預(yù)測(cè)模型，輸出所述目標(biāo)用戶的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)結(jié)果。9.一種終端，其特征在于，所述終端包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的程序，所述程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任意一項(xiàng)所述基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法的步驟。10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)程序，所述基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任意一項(xiàng)所述基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法的步驟。5介質(zhì)技術(shù)領(lǐng)域[0001]本發(fā)明涉及康復(fù)數(shù)據(jù)預(yù)測(cè)技術(shù)領(lǐng)域，尤其涉及一種基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康背景技術(shù)[0002]人體運(yùn)動(dòng)功能評(píng)估是康復(fù)醫(yī)學(xué)和運(yùn)動(dòng)科學(xué)領(lǐng)域的重要課題，目前運(yùn)動(dòng)功能評(píng)估主經(jīng)驗(yàn)和觀察，可能會(huì)受到主觀因素的影響，且難以定量評(píng)估患者的運(yùn)動(dòng)功能；神經(jīng)電生理評(píng)估，雖然可以提供客觀的數(shù)據(jù)，但可能對(duì)患者的舒適度和安全性有一定的要求；運(yùn)動(dòng)功能評(píng)估量表，雖然可以提供詳細(xì)的運(yùn)動(dòng)功能評(píng)分，但可能難以全面評(píng)估患者的所有運(yùn)動(dòng)功能方面；機(jī)器人輔助評(píng)估，可以提供精確的運(yùn)動(dòng)軌跡和肌肉活動(dòng)的測(cè)量，但可能成本較高，且對(duì)患者和操作員的要求較高；以上的評(píng)估方法中臨床評(píng)估、量表評(píng)估和自我評(píng)估都屬于定性評(píng)估，容易受到醫(yī)師或者患者的主觀狀態(tài)影響，出現(xiàn)評(píng)估不準(zhǔn)；而神經(jīng)電生理評(píng)估和機(jī)器人輔助評(píng)估雖然是定量評(píng)估，但是存在模態(tài)單一、不包含神經(jīng)通路信息的缺陷。[0003]因此，現(xiàn)有的評(píng)估方法是以單模態(tài)或雙模態(tài)為主，缺少對(duì)功能性近紅外光譜信號(hào)的應(yīng)用及其與多種信號(hào)綜合使用，且在大部分相關(guān)應(yīng)用中缺少對(duì)信號(hào)時(shí)序之間長(zhǎng)期關(guān)聯(lián)性的捕捉，從而無(wú)法有效對(duì)患者的人體運(yùn)動(dòng)功能進(jìn)行評(píng)估預(yù)測(cè)，導(dǎo)致人體運(yùn)動(dòng)功能的預(yù)測(cè)結(jié)果不夠準(zhǔn)確。發(fā)明內(nèi)容[0005]本發(fā)明的主要目的在于提供一種基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有技術(shù)中缺少對(duì)功能性近紅外光譜信號(hào)的應(yīng)用及其與多種信號(hào)綜合使用，且缺少對(duì)信號(hào)時(shí)序之間長(zhǎng)期關(guān)聯(lián)性的捕捉，從而無(wú)法有效對(duì)患者的人體運(yùn)動(dòng)功能進(jìn)行評(píng)估預(yù)測(cè)，導(dǎo)致人體運(yùn)動(dòng)功能的預(yù)測(cè)結(jié)果不夠準(zhǔn)確的問(wèn)題。[0006]為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法，所述基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法包括如下步驟：獲取目標(biāo)用戶的腦電信號(hào)、肌電信號(hào)和功能性近紅外光譜信號(hào)，對(duì)所述腦電信號(hào)、所述肌電信號(hào)和所述功能性近紅外光譜信號(hào)進(jìn)行預(yù)處理，得到目標(biāo)腦電信號(hào)、目標(biāo)肌電信號(hào)和目標(biāo)功能性近紅外光譜信號(hào)；對(duì)所述目標(biāo)腦電信號(hào)、所述目標(biāo)肌電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)分別進(jìn)行特征提取，得到第一時(shí)頻特征、第二時(shí)頻特征和第三時(shí)頻特征，并對(duì)所述目標(biāo)腦電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)進(jìn)行源定位處理，得到腦源強(qiáng)度；將所述第一時(shí)頻特征、所述第二時(shí)頻特征和所述第三時(shí)頻特征進(jìn)行特征融合，得到目標(biāo)時(shí)頻特征，并將所述目標(biāo)時(shí)頻特征和所述腦源強(qiáng)度輸入至已訓(xùn)練好的多模態(tài)數(shù)據(jù)康6復(fù)預(yù)測(cè)模型，輸出所述目標(biāo)用戶的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)結(jié)果。[0007]可選地，所述的基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法，其中，所述獲取目標(biāo)用戶的腦電信號(hào)、肌電信號(hào)和功能性近紅外光譜信號(hào)，對(duì)所述腦電信號(hào)、所述肌電信號(hào)和所述功能性近紅外光譜信號(hào)進(jìn)行預(yù)處理，得到目標(biāo)腦電信號(hào)、目標(biāo)肌電信號(hào)和目標(biāo)功能性近紅根據(jù)臨床評(píng)估量表設(shè)定實(shí)驗(yàn)范式，并設(shè)定第一采樣頻率、第二采樣頻率和第三采樣頻率；根據(jù)所述實(shí)驗(yàn)范式、所述第一采樣頻率、所述第二采樣頻率和第三采樣頻率在預(yù)設(shè)周期內(nèi)采集所述目標(biāo)用戶的腦電信號(hào)、肌電信號(hào)和功能性近紅外光譜信號(hào)；對(duì)所述腦電信號(hào)和所述肌電信號(hào)進(jìn)行濾波處理、偽跡去除和數(shù)據(jù)分割，得到目標(biāo)腦電信號(hào)和目標(biāo)肌電信號(hào)，對(duì)所述功能性近紅外光譜信號(hào)進(jìn)行濾波處理和轉(zhuǎn)換處理，得到目標(biāo)功能性近紅外光譜信號(hào)。[0008]可選地，所述的基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法，其中，所述對(duì)所述目標(biāo)腦電信號(hào)、所述目標(biāo)肌電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)分別進(jìn)行特征提取，得到對(duì)所述目標(biāo)肌電信號(hào)進(jìn)行信號(hào)作差，得到幅度差值，根據(jù)所述幅度差值進(jìn)行通道選擇，得到第一通道，并根據(jù)所述第一通道對(duì)所述目標(biāo)肌電信號(hào)進(jìn)行特征提取，得到第二時(shí)頻特征；通過(guò)線性模型對(duì)所述目標(biāo)腦電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)分別進(jìn)行根據(jù)所述第二通道對(duì)所述目標(biāo)腦電信號(hào)進(jìn)行特征提取，得到第一時(shí)頻特征，并根據(jù)所述第三通道對(duì)所述目標(biāo)功能性近紅外光譜信號(hào)進(jìn)行特征提取，得到第三時(shí)頻特征。[0009]可選地，所述的基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法，其中，所述線性模型的表達(dá)式為：其中，Y為測(cè)量數(shù)據(jù)的Tall×M矩陣，T[0010]可選地，所述的基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法，其中，所述對(duì)所述目標(biāo)腦電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)進(jìn)行源定位處理，得到腦源強(qiáng)度，具體包括：對(duì)所述目標(biāo)腦電信號(hào)進(jìn)行電流估計(jì)，得到似然函數(shù)，并根據(jù)所述目標(biāo)功能性近紅外光譜信號(hào)確定腦電流源逆方差均值參數(shù)；獲取逆方差參數(shù)，根據(jù)所述腦電流源逆方差均值參數(shù)設(shè)置所述逆方差參數(shù)的先驗(yàn)概率分布，并根據(jù)所述逆方差參數(shù)的先驗(yàn)概率分布確定源電流的先驗(yàn)概率分布；根據(jù)源電流的先驗(yàn)概率分布和所述似然函數(shù)得到后驗(yàn)分布，并對(duì)所述后驗(yàn)分布變將所述變分分布的下界進(jìn)行最大化處理，得到目標(biāo)下界，并根據(jù)所述目標(biāo)下界對(duì)所述變分分布進(jìn)行數(shù)據(jù)定位，得到腦源強(qiáng)度。[0011]可選地，所述的基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法，其中，所述多模態(tài)數(shù)據(jù)7獲取訓(xùn)練數(shù)據(jù)集，其中，所述訓(xùn)練數(shù)據(jù)集包括多組訓(xùn)練樣本，每組所述訓(xùn)練樣本均包括歷史腦電信號(hào)的時(shí)頻特征、歷史肌電信號(hào)的時(shí)頻特征、歷史功能性近紅外光譜信號(hào)的時(shí)頻特征和歷史腦源強(qiáng)度；創(chuàng)建多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型，將一組訓(xùn)練樣本輸入至所述多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型，對(duì)所述訓(xùn)練樣本進(jìn)行嵌入處理，得到目對(duì)所述目標(biāo)訓(xùn)練樣本進(jìn)行線性變換，得到查詢向量、鍵向量和值向量，對(duì)所述查詢向量和鍵向量進(jìn)行點(diǎn)積計(jì)算，得到第一點(diǎn)積和第二點(diǎn)積，并對(duì)所述第一點(diǎn)積和所述第二點(diǎn)積進(jìn)行歸一化處理，得到概率分布；根據(jù)所述值向量對(duì)所述概率分布進(jìn)行加權(quán)計(jì)算，得到目標(biāo)權(quán)重和，根據(jù)所述目標(biāo)權(quán)重和得到運(yùn)動(dòng)功能康復(fù)評(píng)估預(yù)測(cè)結(jié)果，并根據(jù)所述運(yùn)動(dòng)功能康復(fù)評(píng)估預(yù)測(cè)結(jié)果和所述訓(xùn)練樣本對(duì)應(yīng)的真實(shí)標(biāo)簽序列進(jìn)行損失計(jì)算，得到損失值，并根據(jù)所述損失值對(duì)所述多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型的內(nèi)部參數(shù)進(jìn)行修正；將下一組訓(xùn)練樣本輸入至所述多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型，直至所述多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型的訓(xùn)練情況滿足預(yù)設(shè)條件，得到所述多模態(tài)數(shù)據(jù)康復(fù)預(yù)測(cè)模型。[0012]可選地，所述的基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法，其中，所述損失值的計(jì)算公式為：康復(fù)評(píng)估預(yù)測(cè)結(jié)果，9t為訓(xùn)練樣本對(duì)應(yīng)的真實(shí)標(biāo)簽序列。[0013]可選地，所述的基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法，其中，所述的基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)系統(tǒng)包括：信號(hào)獲取模塊，用于獲取目標(biāo)用戶的腦電信號(hào)、肌電信號(hào)和功能性近紅外光譜信號(hào)，對(duì)所述腦電信號(hào)、所述肌電信號(hào)和所述功能性近紅外光譜信號(hào)進(jìn)行預(yù)處理，得到目標(biāo)腦電信號(hào)、目標(biāo)肌電信號(hào)和目標(biāo)功能性近紅外光譜信號(hào)；特征提取模塊，用于對(duì)所述目標(biāo)腦電信號(hào)、所述目標(biāo)肌電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)分別進(jìn)行特征提取，得到第一時(shí)頻特征、第二時(shí)頻特征和第三時(shí)頻特征，并對(duì)所述目標(biāo)腦電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)進(jìn)行源定位處理，得到腦源強(qiáng)度；結(jié)果預(yù)測(cè)模塊，用于將所述第一時(shí)頻特征、第二時(shí)頻特征和第三時(shí)頻特征進(jìn)行特征融合，得到目標(biāo)時(shí)頻特征，并將所述目標(biāo)時(shí)頻特征和所述腦源強(qiáng)度輸入至已訓(xùn)練好的多模態(tài)數(shù)據(jù)康復(fù)預(yù)測(cè)模型，輸出所述目標(biāo)用戶的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)結(jié)果。理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的程序，所述程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法的步驟。[0015]此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)程序，所述基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)8預(yù)測(cè)方法的步驟。[0016]本發(fā)明中，獲取目標(biāo)用戶的腦電信號(hào)、肌電信號(hào)和功能性近紅外光譜信號(hào)，對(duì)所述腦電信號(hào)、所述肌電信號(hào)和所述功能性近紅外光譜信號(hào)進(jìn)行預(yù)處理，得到目標(biāo)腦電信號(hào)、目標(biāo)肌電信號(hào)和目標(biāo)功能性近紅外光譜信號(hào)；對(duì)所述目標(biāo)腦電信號(hào)、所述目標(biāo)肌電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)分別進(jìn)行特征提取，得到第一時(shí)頻特征、第二時(shí)頻特征和第三時(shí)頻特征，并對(duì)所述目標(biāo)腦電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)進(jìn)行源定位處理，得到腦源強(qiáng)度；將所述第一時(shí)頻特征、所述第二時(shí)頻特征和所述第三時(shí)頻特征進(jìn)行特征融合，得到目標(biāo)時(shí)頻特征，并將所述目標(biāo)時(shí)頻特征和所述腦源強(qiáng)度輸入至已訓(xùn)練好的多模態(tài)數(shù)據(jù)康復(fù)預(yù)測(cè)模型，輸出所述目標(biāo)用戶的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)結(jié)果。本發(fā)明通過(guò)挖掘多重信息，以構(gòu)建運(yùn)動(dòng)障礙人群運(yùn)動(dòng)功能的多模態(tài)數(shù)據(jù)康復(fù)預(yù)測(cè)模型，并在時(shí)序上建模目標(biāo)用戶的腦電信號(hào)、肌電信號(hào)和功能性近紅外光譜信號(hào)與其運(yùn)動(dòng)功能的關(guān)系，以快速評(píng)估運(yùn)動(dòng)功能在時(shí)序上的長(zhǎng)期演變，從而提高預(yù)測(cè)結(jié)果的準(zhǔn)確率。附圖說(shuō)明[0017]圖1是本發(fā)明中基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法的較佳實(shí)施例的流程圖2是本發(fā)明中基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法整體流程的示意圖；圖3是本發(fā)明的較佳實(shí)施例的多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型的網(wǎng)絡(luò)結(jié)構(gòu)示意圖；圖4是本發(fā)明中基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)系統(tǒng)的較佳實(shí)施例的結(jié)構(gòu)圖5是本發(fā)明終端的較佳實(shí)施例的結(jié)構(gòu)圖。具體實(shí)施方式[0018]為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚、明確，以下參照附圖并舉實(shí)施例對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。則該方向性指示僅用于解釋在某一特定姿態(tài)(如附圖所示)下各部件之間的相對(duì)位置關(guān)系、運(yùn)動(dòng)情況等，如果該特定姿態(tài)發(fā)生改變時(shí)，則該方向性指示也相應(yīng)地隨之改變。的描述僅用于描述目的，而不能理解為指示或暗示其相對(duì)重要性或者隱含指明所指示的技征。另外，各個(gè)實(shí)施例之間的技術(shù)方案可以相互結(jié)合，但是必須是以本領(lǐng)域普通技術(shù)人員能夠?qū)崿F(xiàn)為基礎(chǔ)，當(dāng)技術(shù)方案的結(jié)合出現(xiàn)相互矛盾或無(wú)法實(shí)現(xiàn)時(shí)應(yīng)當(dāng)認(rèn)為這種技術(shù)方案的結(jié)合不存在，也不在本發(fā)明要求的保護(hù)范圍之內(nèi)。[0021]本發(fā)明較佳實(shí)施例所述的基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法，如圖1所示，所述基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法包括以下步驟：步驟S10、獲取目標(biāo)用戶的腦電信號(hào)、肌電信號(hào)和功能性近紅外光譜信號(hào)，對(duì)所述腦電信號(hào)、所述肌電信號(hào)和所述功能性近紅外光譜信號(hào)進(jìn)行預(yù)處理，得到目標(biāo)腦電信號(hào)、目9標(biāo)肌電信號(hào)和目標(biāo)功能性近紅外光譜信號(hào)。[0022]所述步驟S10包括：步驟S11、根據(jù)臨床評(píng)估量表設(shè)定實(shí)驗(yàn)范式，并設(shè)定第一采樣頻率、第二采樣頻率和第三采樣頻率；步驟S12、根據(jù)所述實(shí)驗(yàn)范式、所述第一采樣頻率、所述第二采樣頻率和第三采樣頻率在預(yù)設(shè)周期內(nèi)采集所述目標(biāo)用戶的腦電信號(hào)、肌電信號(hào)和功能性近紅外光譜信號(hào)；步驟S13、對(duì)所述腦電信號(hào)和所述肌電信號(hào)進(jìn)行濾波處理、偽跡去除和數(shù)據(jù)分割，得到目標(biāo)腦電信號(hào)和目標(biāo)肌電信號(hào)，對(duì)所述功能性近紅外光譜信號(hào)進(jìn)行濾波處理和轉(zhuǎn)換處理，得到目標(biāo)功能性近紅外光譜信號(hào)。[0023]具體地，現(xiàn)有的方法是以單模態(tài)或雙模態(tài)為主，缺少對(duì)功能性近紅外光譜信號(hào)的應(yīng)用及其與多種信號(hào)綜合使用，而大多數(shù)僅使用信號(hào)的常見(jiàn)幅值、頻率特征，缺失對(duì)信號(hào)時(shí)間與空間信息的深度挖掘和使用，且神經(jīng)網(wǎng)絡(luò)在大部分相關(guān)應(yīng)用中缺少對(duì)信號(hào)時(shí)序之間長(zhǎng)期關(guān)聯(lián)性的捕捉。而本發(fā)明將綜合使用同步采集的腦電信號(hào)、肌電信號(hào)以及功能性近紅外光譜信號(hào)進(jìn)行綜合評(píng)估預(yù)測(cè)，對(duì)經(jīng)過(guò)關(guān)鍵通道選擇的信號(hào)提取時(shí)頻特征，以幫助模型快速學(xué)習(xí)，對(duì)全通道大腦信號(hào)進(jìn)行綜合源定位以補(bǔ)足特征提取導(dǎo)致的信息缺失，并使用神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)兩類信號(hào)特征，從而實(shí)現(xiàn)對(duì)障礙人群運(yùn)動(dòng)功能的康復(fù)評(píng)估預(yù)測(cè)；在本發(fā)明實(shí)施例中，通過(guò)在特定的周期間隔中(例如，每隔一周),在制定的實(shí)驗(yàn)范式下同步采集目標(biāo)用戶(例如，運(yùn)動(dòng)障礙人群)的肌電信號(hào)、腦電信號(hào)和功能性近紅外光譜信號(hào)，并同步記錄醫(yī)師根據(jù)量表對(duì)目標(biāo)用戶進(jìn)評(píng)估行得到的運(yùn)動(dòng)功能評(píng)分結(jié)果，即運(yùn)動(dòng)功能評(píng)分。之后，對(duì)肌電信號(hào)、腦電信號(hào)和功能性近紅外光譜信號(hào)進(jìn)行數(shù)據(jù)預(yù)處理、通道選擇、特征提取與源定位，然后基于注意力機(jī)制網(wǎng)絡(luò)建立模型，根據(jù)融合的特征陣列進(jìn)行運(yùn)動(dòng)評(píng)估，具體流程如圖2所[0024]首先，根據(jù)臨床評(píng)估量表設(shè)定實(shí)驗(yàn)范式，其中，所述實(shí)驗(yàn)范式包括上肢運(yùn)動(dòng)范式、下肢運(yùn)動(dòng)范式，肌電信號(hào)采集部位和時(shí)長(zhǎng)、腦電信號(hào)采集部位和時(shí)長(zhǎng)、功能性近紅外光譜信號(hào)采集部位和時(shí)長(zhǎng)、臨床評(píng)估周期和實(shí)驗(yàn)采集周期；按周期(例如，每隔一周)進(jìn)行實(shí)驗(yàn)范式，記錄醫(yī)師根據(jù)量表對(duì)目標(biāo)用戶進(jìn)行評(píng)估得到的評(píng)分結(jié)果，并設(shè)定第一采樣頻率(即腦電信號(hào)的采樣頻率，常用采樣頻率為250Hz、500Hz或1000Hz)、第二采樣頻率(即肌電信號(hào)的采樣頻率，常用采樣頻率為500Hz或1000Hz)和第三采樣頻率(即功能性近紅外光譜信號(hào)的采樣頻率，常用采樣頻率為10Hz),根據(jù)所述第一采樣頻率、所述第二采樣頻率和第三采樣頻率同步采集所述目標(biāo)用戶的腦電信號(hào)、肌電信號(hào)和功能性近紅外光譜信號(hào)；但在信號(hào)采集會(huì)降低信號(hào)的信噪比，從而會(huì)對(duì)后期的特征提取和預(yù)測(cè)評(píng)估的準(zhǔn)確率產(chǎn)生負(fù)面影響。因此，需要對(duì)同步采集的所述腦電信號(hào)、所述肌電信號(hào)和所述功能性近紅外光譜信號(hào)進(jìn)行預(yù)處理，得到目標(biāo)腦電信號(hào)、目標(biāo)肌電信號(hào)和目標(biāo)功能性近紅外光譜信號(hào)，具體為，對(duì)于所述腦電信號(hào)和所述肌電信號(hào)，主要步驟為濾波、偽跡去除與數(shù)據(jù)分割；而對(duì)于所述功能性近紅外光譜信號(hào)，首先進(jìn)行濾波以消除生理噪聲，而后使用改進(jìn)的比爾-朗伯定律(Beer-Lambertlaw)將原始光密度信號(hào)的變化分別轉(zhuǎn)換為每個(gè)時(shí)間點(diǎn)i的氧合血紅蛋白濃度變化△CHbo(i)和脫氧血紅蛋白濃度變化△CHbR(i),對(duì)應(yīng)的表達(dá)式為：分別為在波長(zhǎng)λ1及λ2下的光密度變化，且光的檢測(cè)信號(hào)。[0025]步驟S20、對(duì)所述目標(biāo)腦電信號(hào)、所述目標(biāo)肌電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)分別進(jìn)行特征提取，得到第一時(shí)頻特征、第二時(shí)頻特征和第三時(shí)頻特征，并對(duì)所述目標(biāo)腦電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)進(jìn)行源定位處理，得到腦源強(qiáng)度。[0026]具體地，在得到目標(biāo)腦電信號(hào)、目標(biāo)肌電信號(hào)和目標(biāo)功能性近紅外光譜信號(hào)之后，需要根據(jù)不同的規(guī)則進(jìn)行通道選擇，剔除冗余或低質(zhì)量的信息來(lái)保證評(píng)估系統(tǒng)的準(zhǔn)確性，具體的過(guò)程為，對(duì)于目標(biāo)肌電信號(hào)，從目標(biāo)用戶每個(gè)電極信號(hào)的中值中減去目標(biāo)肌電信號(hào)的最小值，得到幅度差值；對(duì)目標(biāo)用戶所有肌肉電極的幅度差值取平均值，以最小的均值作為閾值來(lái)進(jìn)行通道選擇，得到第一通道。而對(duì)于目標(biāo)腦電信號(hào)與目標(biāo)功能性近紅外光譜信號(hào)，使用線性模型來(lái)進(jìn)行通道選擇，得到第二通道和第三通道，其中，所述線性模型的表達(dá)Tall×L設(shè)計(jì)矩陣，L為條件的數(shù)量，包括任務(wù)和任何被視為與數(shù)據(jù)方差[0027]對(duì)于信號(hào)通過(guò)單樣本t?檢驗(yàn)來(lái)測(cè)試β和ε,以識(shí)別t1值，從而代表運(yùn)動(dòng)執(zhí)行任務(wù)之間存在顯著對(duì)比的通道，此t?值計(jì)算公式為：其中，c為對(duì)比向量，決定特定條件之間的對(duì)比度，T為輸入信號(hào)的總周期數(shù)。通過(guò)此線性模型估計(jì)每個(gè)單獨(dú)的功能性近紅外光譜通道(即第三通道)的β,從中選擇一組t1值表示運(yùn)動(dòng)執(zhí)行任務(wù)之間存在顯著對(duì)比的通道作為候選通道；對(duì)于左右腦區(qū)，選擇在這些候選通道中產(chǎn)生較高t1值的功能性近紅外光譜通道，及其相鄰的腦電通道(即第二通道)。[0028]之后，將處理好的數(shù)據(jù)按照固定的時(shí)間窗口長(zhǎng)度(例如，10ms、50ms等)進(jìn)行劃分來(lái)提取特征，得到第一時(shí)頻特征、第二時(shí)頻特征和第三時(shí)頻特征。對(duì)于第一時(shí)頻特征和第二時(shí)頻特征，將第一通道的目標(biāo)肌申信號(hào)和第二通道的目標(biāo)腦申信號(hào)，在所述時(shí)間窗口長(zhǎng)度內(nèi)目標(biāo)腦電信號(hào)與目標(biāo)肌電信號(hào)進(jìn)行傅里葉變換，計(jì)算功率譜密斯框架下的多模態(tài)源定位，以實(shí)現(xiàn)信號(hào)的深層挖掘。假設(shè)J為大腦皮層上源活動(dòng)電流密度E=GJ+Ev;述目標(biāo)腦電信號(hào)進(jìn)行電流估計(jì)得到似然函數(shù)P(EIJ),表示為：于未知的α參數(shù)(即腦電流源逆方差均值參數(shù))則采用目標(biāo)功能性近紅外光譜數(shù)據(jù)來(lái)確定，推斷的方法將其后驗(yàn)分布近似為一個(gè)參數(shù)化的變分分布QJ),并通過(guò)最大化變分分布的下與源強(qiáng)度】聯(lián)合概率的對(duì)數(shù)期望，對(duì)多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型(即TransformerEncoder網(wǎng)絡(luò)模型)進(jìn)行訓(xùn)練得到多模態(tài)數(shù)據(jù)康復(fù)預(yù)測(cè)模型，多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，此多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型使用的是并行網(wǎng)絡(luò)架構(gòu)：首先，多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型對(duì)于每個(gè)時(shí)間步的原始特征輸入數(shù)據(jù)進(jìn)行嵌入操作，使用線性層將其映射到更高維度空間，更適合多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型學(xué)習(xí)。隨后，多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型為每個(gè)數(shù)據(jù)添加與輸入時(shí)間步長(zhǎng)相對(duì)應(yīng)位置編碼，用于表示時(shí)間順序，以便多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型學(xué)習(xí)到時(shí)序特征。在有了位置編碼的存在后，每個(gè)時(shí)間步的特征序列可以并行輸入到相同的網(wǎng)絡(luò)模型中一起參與運(yùn)算，這不僅能夠提升算法的訓(xùn)練速度，還能彌補(bǔ)傳統(tǒng)網(wǎng)絡(luò)模型遺忘早期信息的不足，捕捉長(zhǎng)時(shí)依賴，增強(qiáng)了模型的表達(dá)能力，具體的訓(xùn)練過(guò)程為，獲取訓(xùn)練數(shù)據(jù)集，其中，所述訓(xùn)練數(shù)據(jù)集包括多組訓(xùn)練樣本，每組所述訓(xùn)練樣本均包括歷史腦電信號(hào)的時(shí)頻特征、歷史肌電信號(hào)的時(shí)頻特征、歷史功能性近紅外光譜信號(hào)的時(shí)頻特征和歷史腦源強(qiáng)度；將一組訓(xùn)練樣本輸入至所述多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型，通過(guò)編碼器對(duì)所述訓(xùn)練樣本進(jìn)行嵌入處理，得到目標(biāo)訓(xùn)練樣本。[0033]對(duì)于編碼器部分，是由n個(gè)相同的層疊加而成的，通常為2-6層，在計(jì)算編碼器的自注意力時(shí)，數(shù)據(jù)都來(lái)自前一個(gè)編碼器層的輸出。每個(gè)編碼器層都有兩個(gè)子層，即多頭自注意力匯聚與基于位置的前饋網(wǎng)絡(luò)，每個(gè)子層都采用了殘差連接，使得輸入可通過(guò)跨層數(shù)據(jù)線路更快地向前傳播，這也要求對(duì)于序列中任何位置的任何輸入x,都要求滿足子層輸出sublayer(x),以便殘差連接的計(jì)算。因此，輸入序列對(duì)應(yīng)的每個(gè)位置，編碼器都將輸出一個(gè)d維表示向量。在殘差連接的加法計(jì)算之后，模型緊接著應(yīng)用層規(guī)范化，基于特征維度進(jìn)行規(guī)范化達(dá)成量級(jí)統(tǒng)一實(shí)現(xiàn)精度提升。自注意力是Transformer的核心機(jī)制，目的是在輸入的各個(gè)時(shí)間步之間捕捉依賴關(guān)系，輸入的每個(gè)時(shí)間步特征是一個(gè)向量X?,自注意力的主要步驟包括：對(duì)每個(gè)時(shí)間步的輸入，模型會(huì)通過(guò)線性變換分別得到三個(gè)向量：查詢向量Q、鍵向量K,和值向量V?,其中線性變換的三個(gè)權(quán)重矩陣是可訓(xùn)練的參數(shù)，即對(duì)所述目標(biāo)訓(xùn)練樣本積，得到第一點(diǎn)積和第二點(diǎn)積，并通過(guò)歸一化將得分轉(zhuǎn)換為概率分布，反映了兩個(gè)時(shí)間步之間的關(guān)系強(qiáng)度，即并對(duì)所述第一點(diǎn)積和所述第二點(diǎn)積進(jìn)行歸一化處理，得到概率分布。最后計(jì)算每個(gè)V對(duì)概率分布進(jìn)行加權(quán)計(jì)算得到的加權(quán)和作為自注意力的輸出，表示了時(shí)間步結(jié)合了所有其他時(shí)間步的上下文信息，而子層多頭注意力使用多個(gè)注意力頭來(lái)同時(shí)關(guān)注不同的關(guān)系和模式。每個(gè)注意力頭分別學(xué)習(xí)不同的查詢映射、鍵映射和值映射，并計(jì)算出多個(gè)不同的加權(quán)求和值；并將所有注意力頭的輸出拼接起來(lái)，進(jìn)行線性變換得到最終的輸出，即運(yùn)[0034]自注意力層捕捉了不同時(shí)間步之間的關(guān)系，但每個(gè)時(shí)間步的特征仍然需要通過(guò)前饋網(wǎng)絡(luò)進(jìn)一步進(jìn)行非線性變換，以提升模型的表達(dá)能力。而基于位置的前饋網(wǎng)絡(luò)對(duì)序列中的所有位置的表示進(jìn)行變換時(shí)使用的是同一個(gè)多層感知機(jī)，這就是稱前饋網(wǎng)絡(luò)是基于位置的原因。之后，根據(jù)所述運(yùn)動(dòng)功能康復(fù)評(píng)估預(yù)測(cè)結(jié)果和所述訓(xùn)練樣本對(duì)應(yīng)的真實(shí)標(biāo)簽序列(即g1,t∈[1,T])進(jìn)行損失計(jì)算，得到損失值，其中，所述損失值的計(jì)算公式為：述多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型，直至所述多模態(tài)數(shù)據(jù)康復(fù)訓(xùn)練模型的訓(xùn)練情況滿足預(yù)設(shè)條信號(hào)獲取模塊51,用于獲取目標(biāo)用戶的腦電信號(hào)、肌電信號(hào)和功能性近紅外光譜特征提取模塊52,用于對(duì)所述目標(biāo)腦電信號(hào)、所述目標(biāo)肌電信號(hào)和所述目標(biāo)功能并對(duì)所述目標(biāo)腦電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)進(jìn)行源定位處理，得到腦源強(qiáng)結(jié)果預(yù)測(cè)模塊53,用于將所述第一時(shí)頻特征、第二時(shí)頻特征和第三時(shí)頻特征進(jìn)行端上配備的插接式硬盤，智能存儲(chǔ)卡(SmartMediaCard,SMC),安全數(shù)字(Secure康復(fù)預(yù)測(cè)程序40,該基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)程序40可被處理器10所執(zhí)行，從而實(shí)現(xiàn)本申請(qǐng)中基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康[0039]所述處理器10在一些實(shí)施例中可以是一中央處理器(CentralProcessinCPU),微處理器或其他數(shù)據(jù)處理芯片，用于運(yùn)行所述存儲(chǔ)器20中存儲(chǔ)的程序代碼或處理數(shù)據(jù)，例如執(zhí)行所述基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)方法等。[0040]所述顯示器30在一些實(shí)施例中可以是LED顯示器、液晶顯示器、觸控式液晶顯示器以及OLED(OrganicLight-EmittingDiode,有機(jī)發(fā)光二極管)觸摸器等。所述顯示器30用于顯示在所述終端的信息以及用于顯示可視化的用戶界面。[0041]在一實(shí)施例中，當(dāng)處理器10執(zhí)行所述存儲(chǔ)器20中基于多模態(tài)數(shù)據(jù)的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)的程序40時(shí)實(shí)現(xiàn)以下步驟：獲取目標(biāo)用戶的腦電信號(hào)、肌電信號(hào)和功能性近紅外光譜信號(hào)，對(duì)所述腦電信號(hào)、所述肌電信號(hào)和所述功能性近紅外光譜信號(hào)進(jìn)行預(yù)處理，得到目標(biāo)腦電信號(hào)、目標(biāo)肌電信號(hào)和目標(biāo)功能性近紅外光譜信號(hào)；對(duì)所述目標(biāo)腦電信號(hào)、所述目標(biāo)肌電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)分別進(jìn)行特征提取，得到第一時(shí)頻特征、第二時(shí)頻特征和第三時(shí)頻特征，并對(duì)所述目標(biāo)腦電信號(hào)和所述目標(biāo)功能性近紅外光譜信號(hào)進(jìn)行源定位處理，得到腦源強(qiáng)度；將所述第一時(shí)頻特征、所述第二時(shí)頻特征和所述第三時(shí)頻特征進(jìn)行特征融合，得到目標(biāo)時(shí)頻特征，并將所述目標(biāo)時(shí)頻特征和所述腦源強(qiáng)度輸入至已訓(xùn)練好的多模態(tài)數(shù)據(jù)康復(fù)預(yù)測(cè)模型，輸出所述目標(biāo)用戶的運(yùn)動(dòng)功能康復(fù)預(yù)測(cè)結(jié)果。[0042]其中，所述獲取目標(biāo)用戶的腦電信號(hào)、肌電信號(hào)和功能性近紅外光譜信號(hào)，對(duì)所述腦電信號(hào)、所述肌電信號(hào)和所述功能性近紅外光譜信號(hào)進(jìn)行預(yù)處理，得到目標(biāo)腦電信號(hào)、目標(biāo)肌電信號(hào)和目標(biāo)功能性近紅外光譜信號(hào)，具體包括：根據(jù)臨床評(píng)估量表設(shè)定實(shí)驗(yàn)范式，并設(shè)定第一采樣頻率、第二采樣頻率和第三采樣頻率；根據(jù)所述實(shí)驗(yàn)范式、所述第一采樣頻率、所述第二采樣頻率和第三采樣頻率在預(yù)設(shè)周期內(nèi)采集所述目標(biāo)用戶的腦電信號(hào)、肌電信號(hào)和功能性近紅外光譜信號(hào)；對(duì)所述腦電信號(hào)和所述肌電信號(hào)進(jìn)行濾波處理、偽跡去除和數(shù)據(jù)分割