(19)中華人民共和國國家知識產(chǎn)權(quán)局(12)發(fā)明專利說明書(10)申請公布號CN108563324A

(43)申請公布日2018.09.21(21)申請?zhí)朇N201810177113.7(22)申請日2018.03.04(71)申請人天津大學地址300072天津市南開區(qū)衛(wèi)津路92號(72)發(fā)明人明東王坤綦宏志陶學文徐立超王仲朋何峰趙欣張力新(74)專利代理機構(gòu)天津市北洋有限責任專利代理事務所代理人李林娟(51)Int.CI 權(quán)利要求說明書說明書幅圖(54)發(fā)明名稱 一種面向過程控制的運動想象腦-機接口設(shè)計方法(57)摘要 本發(fā)明公開了一種面向過程控制的運動想象腦?機接口設(shè)計方法，包括以下步驟：離線建模階段：使用者根據(jù)電腦屏幕提示進行單肢體多層級力量水平想象任務，采集使用者在執(zhí)行運動想象任務時的腦電信號數(shù)據(jù)，經(jīng)過信號處理建立回歸模型；在線測試階段：搭建在線反饋實驗平臺，受試者隨意進行任意的握力想象，實時讀取使用者腦電數(shù)據(jù)；將采集的數(shù)據(jù)經(jīng)過處理后送入建立好的回歸模型中，實時輸出預測結(jié)果并反饋給使用者。本發(fā)明與傳統(tǒng)MI?BCI范式相比，能夠輸出連續(xù)的控制指令，可使目前的MI?BCI操作方式更自然，該范式結(jié)合功能電刺激形成刺激強度連續(xù)變化的反饋環(huán)路，可實現(xiàn)更好的效果。法律狀態(tài)法律狀態(tài)公告日法律狀態(tài)信息法律狀態(tài)

權(quán)利要求說明書1.一種面向過程控制的運動想象腦-機接口設(shè)計方法,其特征在于,所述方法包括以下步驟:

離線建模階段:使用者根據(jù)電腦屏幕提示進行單肢體多層級力量水平想象任務,采集使用者在執(zhí)行運動想象任務時的腦電信號數(shù)據(jù),經(jīng)過信號處理建立回歸模型;

在線測試階段:搭建在線反饋實驗平臺,受試者隨意進行任意的握力想象,實時讀取使用者腦電數(shù)據(jù);將采集的數(shù)據(jù)經(jīng)過處理后送入建立好的回歸模型中,實時輸出預測結(jié)果并反饋給使用者;

其中,所述單肢體多層級力量水平想象任務具體為:受試者需要根據(jù)提示完成最大握力的想象任務以及靜息任務;

所述采集使用者在執(zhí)行運動想象任務時的腦電信號數(shù)據(jù)具體為:

受試者進行上肢抓握力量的想象,使用NeuroScan64導腦電放大器采集受試者的腦電信號,根據(jù)10-20國際標準導聯(lián)位置擺放,以鼻尖為參考,前額葉為地,采樣頻率1000Hz,采用50Hz陷波器去除工頻干擾;

采集到的腦電信號通過通用串行總線傳入信號處理的電腦,通過MATLAB軟件進行信號處理。

2.根據(jù)權(quán)利要求1所述的一種面向過程控制的運動想象腦-機接口設(shè)計方法,其特征在于,所述將采集的數(shù)據(jù)經(jīng)過處理后送入建立好的回歸模型具體為:

對采集到的腦電信號預處理包括:200Hz降采樣,共平均參考,8-30Hz帶通濾波,數(shù)據(jù)分割;

預處理后,對腦電信號提取特征,包括:利用事件相關(guān)譜擾動提取時-頻特征,利用多頻率成分空間濾波的共空間模式提取空間特征;

將提取到的時-頻特征、空間特征用來訓練SVR回歸模型,訓練后得到一個預測model;在在線測試階段,利用建立好的model實時對于未知抓握力量的MI任務進行預測。

3.根據(jù)權(quán)利要求1所述的一種面向過程控制的運動想象腦-機接口設(shè)計方法,其特征在于,所述建立回歸模型的方法使用的是支持向量回歸。

說明書技術(shù)領(lǐng)域

本發(fā)明涉及腦-機接口系統(tǒng)領(lǐng)域,尤其涉及一種面向過程控制的運動想象腦-機接口設(shè)計方法。

背景技術(shù)

腦-機接口(Brain-ComputerInterface,BCI)是連接大腦和外部設(shè)備的直接信息通路。一方面,BCI系統(tǒng)可以檢測神經(jīng)活動模式能夠識別大腦的意圖,并將其轉(zhuǎn)化為可被計算機利用的機器指令;另一方面,BCI系統(tǒng)可以直接刺激外周或中樞神經(jīng)系統(tǒng)可實現(xiàn)機器意圖對大腦的直接表達。其主要的工作原理是:采集人在不同任務狀態(tài)下的腦電信號,使用信號處理的方法分析不同的腦電模式,然后通過一定的工程技術(shù)手段在人的大腦和外部設(shè)備之間建立信息交互的通道,實現(xiàn)了一種全新的控制過程。近些年來由于其在眾多領(lǐng)域表現(xiàn)出廣闊的應用前景,因而得到了越來越多研究者們的關(guān)注。

運動想象(MotorImagery,MI),指大腦僅有動作意圖但不實際執(zhí)行,反映人對動作的期望及對將要發(fā)生真實動作的預演。MI研究已歷經(jīng)數(shù)十年發(fā)展,MI誘發(fā)腦電同時含有認知心理和神經(jīng)生理信息,已廣泛用于人-機交互并成為BCI控制重要方法。MI-BCI在損傷腦區(qū)神經(jīng)回路重建以及中風患者康復方面具有不可替代的優(yōu)勢。MI-BCI是唯一一種不需要外界刺激的BCI范式,使用者僅需要自主的控制自己的意念輸出指令,真正的實現(xiàn)了“意念控制”。并且MI-BCI是中風患者的有效康復手段之一,具有重要的應用價值。

但是,傳統(tǒng)的MI-BCI系統(tǒng)實現(xiàn)的是面向?qū)ο蠼獯a的離散指令控制,控制指令主要包括左、右手,雙腳,舌等簡單肢體運動想象的指令。雖然,近些年來增加了復合肢體運動想象范式,如左手右腳,右手左腳,雙手等協(xié)同運動想象指令,基于對運動參數(shù)(速度、力量、加速度、運動軌跡)的解碼的范式以及基于各種更符合日常生活動作解碼的范式,不斷的擴大指令集,但對于外部設(shè)備的控制仍是離散指令控制。而實現(xiàn)連續(xù)的過程控制則是目前BCI發(fā)展中面臨的重要挑戰(zhàn)。

隨著信號采集硬件的更新?lián)Q代,高密度檢測電極的出現(xiàn),神經(jīng)反饋訓練方法的提出,源分析方法的完善等為實現(xiàn)面向過程控制的MI-BCI系統(tǒng)提供可能。

發(fā)明內(nèi)容

本發(fā)明提供了一種面向過程控制的運動想象腦-機接口設(shè)計方法,本發(fā)明與傳統(tǒng)MI-BCI范式相比,能夠輸出連續(xù)的控制指令,可使目前的MI-BCI操作方式更自然,該范式結(jié)合功能電刺激形成刺激強度連續(xù)變化的反饋環(huán)路,可實現(xiàn)更好的效果,詳見下文描述:

一種面向過程控制的運動想象腦-機接口設(shè)計方法,所述方法包括以下步驟:

離線建模階段:使用者根據(jù)電腦屏幕提示進行單肢體多層級力量水平想象任務,采集使用者在執(zhí)行運動想象任務時的腦電信號數(shù)據(jù),經(jīng)過信號處理建立回歸模型;

在線測試階段:搭建在線反饋實驗平臺,受試者隨意進行任意的握力想象,實時讀取使用者腦電數(shù)據(jù);將采集的數(shù)據(jù)經(jīng)過處理后送入建立好的回歸模型中,實時輸出預測結(jié)果并反饋給使用者;

其中,所述單肢體多層級力量水平想象任務具體為:受試者需要根據(jù)提示完成最大握力的想象任務以及靜息任務;

所述采集使用者在執(zhí)行運動想象任務時的腦電信號數(shù)據(jù)具體為:

受試者進行上肢抓握力量的想象,使用NeuroScan64導腦電放大器采集受試者的腦電信號,根據(jù)10-20國際標準導聯(lián)位置擺放,以鼻尖為參考,前額葉為地,采樣頻率1000Hz,采用50Hz陷波器去除工頻干擾;

采集到的腦電信號通過通用串行總線傳入信號處理的電腦,通過MATLAB軟件進行信號處理。

所述將采集的數(shù)據(jù)經(jīng)過處理后送入建立好的回歸模型具體為:

對采集到的腦電信號預處理包括:200Hz降采樣,共平均參考,8-30Hz帶通濾波,數(shù)據(jù)分割;

預處理后,對腦電信號提取特征,包括:利用事件相關(guān)譜擾動提取時-頻特征,利用多頻率成分空間濾波的共空間模式提取空間特征;

將提取到的時-頻特征、空間特征用來訓練SVR回歸模型,訓練后得到一個預測model;在在線測試階段,利用建立好的model實時對于未知抓握力量的MI任務進行預測。

所述建立回歸模型的方法使用的是支持向量回歸。

本發(fā)明提供的技術(shù)方案的有益效果是:

1、本發(fā)明設(shè)計的面向過程控制的MI-BCI,通過兩個等級的握力任務(最大/靜息)想象,建立了可用于預測握力想象水平的連續(xù)輸出模型,克服了原有傳統(tǒng)的MI-BCI系統(tǒng)只能離散輸出這一缺點;

2、本發(fā)明通過連續(xù)輸出模型即可預測區(qū)間內(nèi)的握力想象水平,從而減少訓練時間;

3、本發(fā)明設(shè)計的面向過程控制的MI-BCI與傳統(tǒng)MI-BCI范式相比,使用者僅需自主的控制自己的意念即可輸出連續(xù)的指令,為面向自然人-機交互的MI-BCI操作奠定基礎(chǔ);

4、通過進一步的研究可以得到完善的BCI系統(tǒng),有望獲得可觀的社會效益和經(jīng)濟效益。

附圖說明

圖1為面向過程控制的MI-BCI結(jié)構(gòu)示意圖;

圖2為面向過程控制的運動想象腦-機接口設(shè)計方法的流程圖。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚,下面對本發(fā)明實施方式作進一步地詳細描述。

本發(fā)明實施例設(shè)計了一種面向過程控制的運動想象腦-機接口。運動想象特指一種運動意圖,但無實際動作輸出。運動想象可誘發(fā)不同節(jié)律腦電信號能量的下降或上升(事件相關(guān)去同步或事件相關(guān)同步(ERD/ERS)),不同的運動想象任務可誘發(fā)不同的ERD/ERS模式,因而運動想象可作為一種腦-機接口系統(tǒng)的控制方法。不同于傳統(tǒng)的面向?qū)ο蠼獯a的,本技術(shù)設(shè)計了面向過程控制的運動想象腦-機接口范式,從而實現(xiàn)控制指令的連續(xù)輸出。

實施例1

一種面向過程控制的運動想象腦-機接口設(shè)計方法,參見圖1和圖2,該方法包括以下步驟:

101:使用者根據(jù)電腦屏幕提示進行單肢體多層級力量水平想象任務,采集使用者在執(zhí)行運動想象任務時的腦電信號數(shù)據(jù),經(jīng)過信號處理建立回歸模型;

102:搭建在線反饋實驗平臺,使用者自主控制力量水平的想象,實時讀取使用者腦電數(shù)據(jù);

103:將采集的數(shù)據(jù)經(jīng)過處理后送入建立好的回歸模型中計算預測結(jié)果并反饋給使用者。

綜上所述,本發(fā)明實施例通過兩個等級的握力任務(最大/靜息)想象,建立了可用于預測握力想象水平的連續(xù)輸出模型,克服了原有傳統(tǒng)的MI-BCI系統(tǒng)只能離散輸出這一缺點。

實施例2

下面結(jié)合具體的計算公式、實例對實施例1中的方案進行進一步地介紹,詳見下文描述:

圖1為本發(fā)明實施例的結(jié)構(gòu)示意圖。受試者進行上肢抓握力量的想象,與此同時使用NeuroScan64導腦電放大器采集受試者的腦電信號,根據(jù)10-20國際標準導聯(lián)位置擺放,以鼻尖為參考,前額葉為地,采樣頻率1000Hz,采用50Hz陷波器去除工頻干擾;采集到的腦電信號通過通用串行總線(UniversalSerialBus,USB)傳入信號處理的電腦,通過MATLAB軟件進行信號處理。信號處理的結(jié)果通過網(wǎng)絡連接呈現(xiàn)給使用者。

實驗分為兩個階段:離線建模階段和在線測試階段:

1)離線建模階段:

受試者需要根據(jù)提示完成最大握力的想象任務50次以及靜息任務50次。采集的100個樣本經(jīng)過信號處理,建立回歸預測模型。

2)在線測試階段:

受試者隨意進行任意的握力想象,采集的腦電經(jīng)過信號處理提取特征,送入回歸預測模型中,實時輸出預測結(jié)果,反饋給受試者。

在在線實驗中,無事件同步單元(即“標簽”),即沒有記錄所要截取數(shù)據(jù)的起始位置,采集數(shù)據(jù)時,采用6s為窗寬,0.5s為步長的“滑動時間窗”(該窗的時間可以根據(jù)軟硬件平臺的更新重新設(shè)置,時間越短,實時性越好),實時截取數(shù)據(jù)進行處理,輸出預測結(jié)果。

在本發(fā)明實施例中,預測結(jié)果以曲線的形式呈現(xiàn)給受試者,曲線的連續(xù)變化說明了受試者連續(xù)控制的輸出。在實際應用中,預測結(jié)果可用于控制外部設(shè)備,如機械臂,實現(xiàn)使用者通過腦電信號對其連續(xù)控制。

對采集到的腦電信號預處理包括:200Hz降采樣、共平均參考、8-30Hz帶通濾波、數(shù)據(jù)分割;腦電特征提取方法包括:利用事件相關(guān)譜擾動提取時-頻特征,利用多頻率成分空間濾波的共空間模式提取空間特征;建立回歸模型的方法使用的是支持向量回歸。

一、時-頻特征提取

如前所述,不同的MI任務可誘發(fā)不同的ERD/ERS模式,該模式有較好的頻率特性,與MI任務的時間有密切的關(guān)系。因此,為了更好的提取MI任務下的腦電時-頻特征,本發(fā)明實施例使用事件相關(guān)譜擾動(Event-relatedspectralperturbation,ERSP)提取所采集腦電的時-頻特征。ERSP的定義如公式(1)所示:

在公式中,n表示試次數(shù)目,F<Sub>k</Sub>(f,t)表示在頻率f和時間t處第k個試次的譜估計。在這里,使用短時傅里葉變換的方法進行譜估計。

該方法的主要思想是使用一個有限寬度的觀察窗對信號進行觀察,然后對加窗后的信號進行傅立葉變換,從而同時得到了信號的時-頻信息。

二、空間特征提取

共空間模式(CommonSpatialPattern,CSP)算法常應用于MI腦電信號的特征提取,該算法的目的是設(shè)計空間濾波器,原始腦電信號在濾波處理之后產(chǎn)生新的時間序列,使其方差能夠最優(yōu)區(qū)分與想象動作相關(guān)的兩類腦電信號:

X<Sub>CSP</Sub>=W<Sup>T</Sup>*X><p>其中,X<Sub>CSP</Sub>為原始腦電信號X經(jīng)過濾波之后得到的信號,W為所求空間濾波器矩陣,其中每一個列向量w<Sub>j</Sub>∈W<Sup>N×N</Sup>(j=1...N)都是一個濾波器,A=(W<Sup>-1</Sup>)<Sup>T</Sup>為空間模式矩陣,其中每一列向量a<Sub>j</Sub>∈A<Sup>N×N</Sup>(j=1...N)都是一個空間模式。

在本發(fā)明實施例中,為了有效復合腦電信號中不同頻率分布的特征,采用了一種基于多頻率成分空間濾波的共空間模式算法(FilterbankCSP,FBCSP)。該算法的具體步驟包括:

(1)設(shè)計多個頻帶的帶通濾波器(theta(4-8Hz)、alpha(8-13Hz)、beta(14-30Hz)),對原始腦電信號進行濾波;

(2)利用CSP算法對于每個子頻帶腦電成份進行空間濾波;

(3)采用基于互信息理論的特征篩選算法對由第(2)步獲得的CSP特征進行篩選,保留特異性強的特征;

(4