全景透視多模態(tài)學(xué)習(xí)分析的數(shù)據(jù)整合方法

摘要：多模態(tài)學(xué)習(xí)分析被認(rèn)為是學(xué)習(xí)分析研究的新生長點(diǎn)，其中，多模態(tài)

數(shù)據(jù)如何整合是推進(jìn)學(xué)習(xí)分析研究的難點(diǎn)。利用系統(tǒng)文獻(xiàn)綜述及元分析方法，

有助于為研究和實(shí)踐領(lǐng)域提供全景式的關(guān)于多模態(tài)數(shù)據(jù)整合的方法與策略指導(dǎo)。

通過對國內(nèi)外363篇相關(guān)文獻(xiàn)的系統(tǒng)分析發(fā)現(xiàn)：（1）多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)

類型主要包含數(shù)字空間數(shù)據(jù)、物理空間數(shù)據(jù)、生理體征數(shù)據(jù)、心理測量數(shù)據(jù)和

環(huán)境場景數(shù)據(jù)等5類。在技術(shù)支持的教與學(xué)環(huán)境中，高頻、精細(xì)、微觀的多模

態(tài)學(xué)習(xí)數(shù)據(jù)變得可得、易得、準(zhǔn)確。（2）多模態(tài)學(xué)習(xí)分析中的學(xué)習(xí)指標(biāo)主要有

行為、注意、認(rèn)知、元認(rèn)知、情感、協(xié)作、交互、投入、學(xué)習(xí)績效和技能等。

隨著技術(shù)的發(fā)展和人們對學(xué)習(xí)過程的深刻洞察，學(xué)習(xí)指標(biāo)也會變得更加精細(xì)化。

（3）數(shù)據(jù)與指標(biāo)之間展現(xiàn)出“一對一"'‘一對多”和“多對一”三種對應(yīng)關(guān)系。

把握數(shù)據(jù)與指標(biāo)之間的復(fù)雜關(guān)系是數(shù)據(jù)整合的前提，測量學(xué)習(xí)指標(biāo)時既要考慮

最適合的數(shù)據(jù)，也要考慮其他模態(tài)數(shù)據(jù)的補(bǔ)充。（4）多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)

整合方式主要有“多對一”“多對多”和“三角互證”三種，旨在提高測量的

準(zhǔn)確性、信息的全面性和整合的科學(xué)性?？傊?，多模態(tài)數(shù)據(jù)整合具有數(shù)據(jù)的多

模態(tài)、指標(biāo)的多維度和方法的多樣性等三維特性。將多模態(tài)數(shù)據(jù)時間線對齊是

實(shí)現(xiàn)數(shù)據(jù)整合的關(guān)鍵環(huán)節(jié)，綜合考慮三維特性提高分析結(jié)果的準(zhǔn)確性是多模態(tài)

數(shù)據(jù)整合未來研究的方向。

關(guān)鍵詞：多模態(tài)學(xué)習(xí)分析，數(shù)據(jù)類型，學(xué)習(xí)指標(biāo)，數(shù)據(jù)整合，系統(tǒng)文獻(xiàn)綜

述

基金項目：2018年度國家社科基金重大項目“信息化促進(jìn)新時代基礎(chǔ)教育

公平的研究”（18ZDA334）子課題“面向基礎(chǔ)教育精準(zhǔn)幫扶的無縫學(xué)習(xí)體系研

究”。

一、研究背景與問題

傳統(tǒng)的學(xué)習(xí)分析數(shù)據(jù)源通常是單維或單一模態(tài)的(Schwendimannetal.,

2017),例如學(xué)習(xí)管理平臺(LearningManagementSystem,LMS)記錄的學(xué)生

日志數(shù)據(jù)。但是，并不是所有的學(xué)習(xí)過程都發(fā)生在LMS中，數(shù)據(jù)也不都是字符

或數(shù)字，因而很多LMS之外的學(xué)習(xí)情況并沒有被記錄，但它們對于了解學(xué)習(xí)過

程卻非常重要。同時，由于單維或單一模態(tài)數(shù)據(jù)僅能提供部分學(xué)習(xí)過程信息

(Eradzeetal.,2017),容易產(chǎn)生“路燈效應(yīng)”，有可能會降低分析結(jié)果的

準(zhǔn)確性。而真實(shí)的學(xué)習(xí)過程往往是復(fù)雜多維的(DiMitrietal.,2018),有

可能是多平臺、多場所、多方式的混合。因此，為了更全面準(zhǔn)確地了解學(xué)習(xí)過

程，研究者必須盡可能收集學(xué)習(xí)過程中的聲音、視頻、表情、生理等多模態(tài)數(shù)

據(jù)(牟智佳，2020)。

在此背景之下，多模態(tài)學(xué)習(xí)分析(MultimodalLearningAnalytics,MMLA)

成為學(xué)習(xí)分析領(lǐng)域新的研究分支(Blikstein,2013；DiMitrietal.,

2018)o多模態(tài)學(xué)習(xí)分析以學(xué)習(xí)機(jī)理為核心，利用多種分析技術(shù)對復(fù)雜學(xué)習(xí)過

程中的多模態(tài)數(shù)據(jù)進(jìn)行同步采集和整合處理，旨在全面準(zhǔn)確地對學(xué)習(xí)特點(diǎn)和規(guī)

律建模，為教與學(xué)提供支持(Worsley,2018)。多模態(tài)學(xué)習(xí)分析是典型的交叉

學(xué)科研究，涉及教育技術(shù)、計算機(jī)科學(xué)、學(xué)習(xí)科學(xué)等多個學(xué)科領(lǐng)域(DiMitri

etal.,2018)0數(shù)據(jù)整合是多模態(tài)學(xué)習(xí)分析的重難點(diǎn)所在(張琪等，2020；

Samuelsenetal.,2019),系統(tǒng)地理清數(shù)據(jù)整合的研究現(xiàn)狀具有重要意義。

為此，本研究聚焦多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合問題，用系統(tǒng)文獻(xiàn)綜述方法進(jìn)

行相關(guān)文獻(xiàn)綜述，聚焦如下三個研究問題：

第一，多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)類型有哪些？學(xué)習(xí)指標(biāo)有哪些？第二，數(shù)

據(jù)與指標(biāo)之間的對應(yīng)關(guān)系如何？第三，多模態(tài)學(xué)習(xí)分析中數(shù)據(jù)整合的主要方式、

關(guān)鍵環(huán)節(jié)以及主要特征有哪些？

二、研究設(shè)計與過程

本研究遵循系統(tǒng)文獻(xiàn)綜述及元分析方法(PreferredReportingItemsfor

SystematicReviewsandMeta-Analyses,PRISMA)的研究理路進(jìn)行文獻(xiàn)綜述。

該方法是國際上常用的基于文獻(xiàn)證據(jù)的系統(tǒng)性綜述方法(Moheretal.,

2009),其有標(biāo)準(zhǔn)化的文獻(xiàn)綜述流程和詳細(xì)的過程審查列表。根據(jù)PRISMA的流

程和審核要求，本研究制定了如圖1所示的文獻(xiàn)分析流程。

圖1遵循PRISMA標(biāo)準(zhǔn)的文獻(xiàn)研究流程圖

文獻(xiàn)分析過程包括5個階段。第一是文獻(xiàn)檢索階段，即檢索與多模態(tài)學(xué)習(xí)

分析相關(guān)的中英文文獻(xiàn)。第二是內(nèi)容相關(guān)度評分階段，即運(yùn)用制定的評分策略

對文獻(xiàn)進(jìn)行評分，將與多模態(tài)學(xué)習(xí)分析不相關(guān)文獻(xiàn)賦分為0?2分，將相關(guān)文獻(xiàn)

賦分為3?6分。第三是初步分類階段，該階段將相關(guān)文獻(xiàn)分成三類：（1）提

及多模態(tài)學(xué)習(xí)分析，（2）多模態(tài)學(xué)習(xí)分析的理論探討，（3）多模態(tài)學(xué)習(xí)分析

的實(shí)證研究。第四是實(shí)證類研究分析階段，即通過對實(shí)證研究論文的分析找出

多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)類型和學(xué)習(xí)指標(biāo)，同時辨別出進(jìn)行數(shù)據(jù)整合的論文。

第五是數(shù)據(jù)整合情況的綜合分析階段，即聚焦數(shù)據(jù)整合的實(shí)證研究論文，整理

其數(shù)據(jù)整合的方法和方案。

多模態(tài)學(xué)習(xí)分析整體研究現(xiàn)狀如圖2所示。圖中數(shù)據(jù)顯示，中文文獻(xiàn)（不

限年份且相關(guān)度23的文獻(xiàn)有51篇）遠(yuǎn)少于英文文獻(xiàn)（限定年份2017年之后

且相關(guān)度23的文獻(xiàn)有312篇）。在“提及多模態(tài)學(xué)習(xí)分析”“多模態(tài)學(xué)習(xí)分

析的理論研究”“多模態(tài)學(xué)習(xí)分析的實(shí)證研究”三類文獻(xiàn)的數(shù)量分布上，中文

文獻(xiàn)分別有29篇、18篇和4篇，英文文獻(xiàn)分別有13篇、110篇和189篇。這

表明國內(nèi)多模態(tài)學(xué)習(xí)分析的研究更關(guān)注引介和理論探討；而國外對多模態(tài)學(xué)習(xí)

分析的理論探討和實(shí)證研究都很重視。在研究內(nèi)容方面，多模態(tài)學(xué)習(xí)分析的實(shí)

證研究涉及“數(shù)據(jù)整合”與“非數(shù)據(jù)整合”的數(shù)量分別為：中文1篇與3篇、

英文112篇與77篇，可見當(dāng)前國際研究更加關(guān)注多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合。

從檢索到的文獻(xiàn)來看，目前不論國內(nèi)還是國外都沒有關(guān)于多模態(tài)數(shù)據(jù)整合分析

的綜述文章，為此，為了給正在進(jìn)行或有興趣開展這一領(lǐng)域研究的同行提供一

個全面、有深度的全景分析，本研究對多模態(tài)數(shù)據(jù)整合分析的文獻(xiàn)進(jìn)行系統(tǒng)分

析并形成了元分析報告。

圖2多模態(tài)學(xué)習(xí)分析文獻(xiàn)整體分布數(shù)據(jù)

三、多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)類型、學(xué)習(xí)指標(biāo)及其對應(yīng)關(guān)系

1.多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)類型

現(xiàn)有的多模態(tài)學(xué)習(xí)分析研究大都關(guān)注到“多模態(tài)數(shù)據(jù)類型”，但數(shù)據(jù)分類

不盡相同。比較典型的數(shù)據(jù)分類有：（1）行為數(shù)據(jù)（如運(yùn)動模態(tài)、生理模態(tài)）

和情景數(shù)據(jù)（DiMitrietal.,2018）；（2）學(xué)習(xí)體征數(shù)據(jù)、人機(jī)交互數(shù)據(jù)、

學(xué)習(xí)資源數(shù)據(jù)和學(xué)習(xí)情境數(shù)據(jù)（牟智佳，2020）；（3）外顯數(shù)據(jù)、心理數(shù)據(jù)、

生理數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)（陳凱泉等，2019）；（4）生理層數(shù)據(jù)、心理層數(shù)據(jù)、行

為層數(shù)據(jù)和基本信息數(shù)據(jù)（鐘薇等，2018）。現(xiàn)有的數(shù)據(jù)分類結(jié)果各有優(yōu)劣，

大多數(shù)屬于理論總結(jié)。本研究嘗試從現(xiàn)有的實(shí)證研究中總結(jié)數(shù)據(jù)類型，并結(jié)合

理論上的分類總結(jié)最終形成了如圖3所示的多模態(tài)數(shù)據(jù)分類框架。同時，本研

究也列出了多模態(tài)數(shù)據(jù)分類編碼及其對應(yīng)的實(shí)證研究文獻(xiàn)支撐(見表1)。為

便于編碼分析，本研究除使用各類數(shù)據(jù)名稱常規(guī)的英文縮寫外，對沒有常規(guī)縮

寫的數(shù)據(jù)名稱采用英文單詞首字母縮寫方式。例如，Electroencephalogram的

常規(guī)縮寫為EEG,BodyLanguage沒有常規(guī)縮寫，故將其縮寫為BL。

表1多模態(tài)數(shù)據(jù)分類及對應(yīng)的實(shí)證研究文獻(xiàn)

類

型多模態(tài)數(shù)據(jù)及編碼應(yīng)用案例

用學(xué)習(xí)管理系統(tǒng)中的Log數(shù)據(jù)測量學(xué)

習(xí)投入(Henrieetal.,2018)

日志數(shù)據(jù)(Logdata,LOG)用STEAM中ArduinoIDE平臺記錄的

Log數(shù)據(jù)分析學(xué)生的交互(Spikol

etal.,2018)

鼠標(biāo)移動可以作為度量學(xué)習(xí)投入的部

鼠標(biāo)數(shù)據(jù)(Mouse,M0)

分?jǐn)?shù)據(jù)源(Alyuzetal.,2017)

數(shù)擊鍵次數(shù)和最大擊鍵暫停時間可以作

字鍵盤數(shù)據(jù)(KeyStrokes,KS)為度量學(xué)習(xí)投入的部分?jǐn)?shù)據(jù)源(Fwa

空etal.,2018)

間用在線學(xué)習(xí)過程中產(chǎn)生的文本數(shù)據(jù)度

文本(Text,TE)

數(shù)量情感(Monteroetal.,2014)

據(jù)用動態(tài)書寫特征(如筆頭壓力等)預(yù)

測學(xué)習(xí)績效(Oviattetal.,

電子書寫過程數(shù)據(jù)(HandWriting,2018)

HW)將筆尹的壓力作為評估書寫練習(xí)績效

的指標(biāo)之一(Loup-Escandeet

al.,2017)

將學(xué)生復(fù)習(xí)紙質(zhì)試卷的真實(shí)過程數(shù)字

數(shù)字腳注(DgitalFootprints,DF)化，并將其用于分析學(xué)生的復(fù)習(xí)行為

(Paredesetal.,2018)

用眼動度量師生的聯(lián)合注意(Sharma

etal.,2019)

眼動(EyeMovement,EM)

物用眼動促進(jìn)遠(yuǎn)程協(xié)作(D'Angeloet

理al.,2017)

空用眼神度量協(xié)作交互(Schneideret

間al.,2018)

眼神接觸(EyeContact,EC)

數(shù)用眼神的接觸確定三人對話中的說話

據(jù)方(Dingetal.,2017)

用聲音度量協(xié)作(Noeletal.,

聲音(Audio,AU)2018)

用有聲思維方式度量認(rèn)知和元認(rèn)知過

程(Paansetal.,2019)

用面部表情度量情緒(Martinet

al.,2019)

面部表情(FacialExpression,FE)

用面部表情度量學(xué)習(xí)投入

(Monkaresietal.,2017)

用面部區(qū)域改變度量教與學(xué)行為

(Watanabeetal.,2018)

面部整體區(qū)域(FacialRegion,FR)

將面部區(qū)域數(shù)據(jù)作為課堂行為監(jiān)控的

數(shù)據(jù)來源(Anhetal.,2019)

面部溫度(FacialTemperature,用面部溫度度量認(rèn)知負(fù)荷

FT)(Abdelrahmanetal.,2017)

視頻中頭部位置可部分度量學(xué)習(xí)投入

(Alyuzetal.,2017)

頭部整體區(qū)域(HeadRegion,HER)

用頭部的位置和方向度量協(xié)作學(xué)習(xí)特

征(Cukurovaetal.,2020)

用手部數(shù)據(jù)手套度量游戲?qū)W習(xí)時手部

的壓力變化(Asadipouretal.,

手(Hands,HA)2017)

用手部移動數(shù)據(jù)理解具身數(shù)學(xué)學(xué)習(xí)

(Ouetal.,2020)

用學(xué)習(xí)過程中的手勢預(yù)測學(xué)習(xí)績效

(Sriramuluetal.,2019)

胳膊(ArmsGestures,AG)

數(shù)學(xué)課程中的具身學(xué)習(xí)行為(Rosen

etal.,2018)

用步數(shù)作為預(yù)測泛在學(xué)習(xí)表現(xiàn)的一部

步數(shù)(StepCount,SC)

分?jǐn)?shù)據(jù)(DiMitrietal.,2018)

動作學(xué)習(xí)課程中的肢體動作識別

(Junokasetal.,2018)

肢體動作(BodyPosture,BP)

科學(xué)課程中的具身學(xué)習(xí)策略

(Ibrahim-Didietal.,2017)

教師在教室中各個小組的空間位置反

映教師的指導(dǎo)行為(Martinez-

移動和位置(Movementand

Maldonadoetal.,2018)

Location,ML)

學(xué)生在教室中的移動反映學(xué)生的協(xié)作

情況(Healionetal.,2017)

分析課堂學(xué)習(xí)中學(xué)生的位置和朝向

身體朝向(Orientation,OR)

(Anetal.,2020)

用EEG度量認(rèn)知負(fù)荷(Millset

腦電(Electroencephalogram,al.,2017)

EEG)用EEG度量情感(Tzirakiset

al.,2017)

生皮電(ElectroDermalActivity,分析EDA與學(xué)習(xí)成績的關(guān)系

理

EDA)(Pijeira-Diazetal.,2018)

體

皮電(GalvanicSkinResponse,GSR變化在一定程度上能反映出學(xué)習(xí)

征GSR)材料的難易程度(Edwardsetal.,

數(shù)2017)

據(jù)用多種生理數(shù)據(jù)度量情感(Yinet

皮膚溫度(SkinTemperature,ST)

al.,2017)

將ECG作為度量協(xié)作的一部分?jǐn)?shù)據(jù)

(Ahonenetal.,2018)

心電(Electrocardiogram,ECG)

將ECG作為度量情緒的一部分?jǐn)?shù)據(jù)

(Tzirakisetal.,2017)

光體積變化描記圖法將PPG作為度量情緒的一部分?jǐn)?shù)據(jù)

(Photoplethysmography,PPG)(Phametal.,2018)

心率(HeartRate/Variabi1ity,將心率作為度量參與度的一部分?jǐn)?shù)據(jù)

HR/HRV)(Monkaresietal.,2017)

用多種生理數(shù)據(jù)度量情感(Yinet

血流量(BloodVolumePulse,BVP)

al.,2017)

用多種生理數(shù)據(jù)度量情感(Yinet

呼吸(Respiration,RE)

al.,2017)

用自我報告問卷測學(xué)習(xí)動機(jī)(Sharma

心理測量數(shù)據(jù)

etal.,2019)

環(huán)

境

用天氣情況數(shù)據(jù)(如溫度、壓力、降

空

水、天氣類型)作為預(yù)測泛在學(xué)習(xí)表

間天氣狀況(WeatherCondition,WC)

現(xiàn)的一部分?jǐn)?shù)據(jù)(DiMitriet

數(shù)

al.,2019)

據(jù)

該分類框架根據(jù)數(shù)據(jù)產(chǎn)生的場域?qū)⒍嗄B(tài)數(shù)據(jù)分為數(shù)字空間數(shù)據(jù)(Di

Mitrietal.,2018)、物理空間數(shù)據(jù)(Martinez-Maldonadoetal.,2018)、

生理體征數(shù)據(jù)(Yinetal.,2017)、心理測量數(shù)據(jù)、環(huán)境場景數(shù)據(jù)(Di

Mitrietal.,2019)5類。其中，(1)數(shù)字空間數(shù)據(jù)是指由技術(shù)平臺記錄的、

在學(xué)習(xí)中產(chǎn)生的各類數(shù)字痕跡，如在線學(xué)習(xí)平臺(Monkaresietal.,2017)、

虛擬實(shí)驗平臺(Liuetal.,2019)、STEAM教育軟件(Spikoletal.,2018)

平臺上學(xué)生進(jìn)行操作的行為數(shù)據(jù)。(2)物理空間數(shù)據(jù)是指由各類傳感器獲得的、

與人的外在可見行為表現(xiàn)相關(guān)的數(shù)據(jù)，如身體各部分在物理空間中的運(yùn)動變化

和位置等。伴隨傳感器技術(shù)的發(fā)展，能夠獲得且被應(yīng)用到學(xué)習(xí)分析中的身體數(shù)

據(jù)越來越細(xì)化，如頭部移動的角度(Cukurovaetal.,2020)和手指在平板電

腦上的移動數(shù)據(jù)等(Duijzeretal.,2017)0物理空間數(shù)據(jù)感知與分析對學(xué)

習(xí)過程的解讀具有重要意義(劉智等，2018；Martinez-Ma1donadoetal.,

2018),現(xiàn)已形成重要的研究分支，如具身認(rèn)知理論與行為研究(Ibrahim-

Didietal.,2017)。(3)生理體征數(shù)據(jù)是指反映人的內(nèi)在生理體征的數(shù)據(jù),

包括眼動、腦電、皮電、心電等，能夠更加客觀地反映在線學(xué)習(xí)的狀態(tài)(Yin

etal.,2017)o(4)心理測量數(shù)據(jù)是指各類自我報告數(shù)據(jù)，能夠主觀反映學(xué)

習(xí)者的心理狀態(tài)，是比較傳統(tǒng)的學(xué)習(xí)狀態(tài)數(shù)據(jù)來源。(5)環(huán)境場景數(shù)據(jù)是指學(xué)

習(xí)者所處學(xué)習(xí)場景的環(huán)境數(shù)據(jù)，如溫度、天氣等。已有研究表明，學(xué)習(xí)環(huán)境對

學(xué)習(xí)有不同程度的影響(DiMitrietal.,2018),增加環(huán)境數(shù)據(jù)分析是多模

態(tài)學(xué)習(xí)分析的趨勢之一。因此，如何獲取以上類型的多模態(tài)數(shù)據(jù)、合理利用這

些數(shù)據(jù)、解釋描述學(xué)習(xí)狀態(tài)、根據(jù)分析結(jié)果為學(xué)習(xí)者提供相應(yīng)學(xué)習(xí)服務(wù)已成為

研究者面臨的現(xiàn)實(shí)問題(劉智等，2018)。

圖3多模態(tài)數(shù)據(jù)分類框架

得益于物聯(lián)網(wǎng)、傳感器、可穿戴設(shè)備、云存儲以及大數(shù)據(jù)高性能計算等的

發(fā)展，分布在每個空間里的各類高頻、精細(xì)、微觀的學(xué)習(xí)過程數(shù)據(jù)將得以準(zhǔn)確

獲取。由于多模態(tài)數(shù)據(jù)更能反映學(xué)生真實(shí)的學(xué)習(xí)狀態(tài)(DiMitrietal.,

2018),因此在進(jìn)行多模態(tài)數(shù)據(jù)分析時，更應(yīng)考慮多空間或單個空間里的多種

模態(tài)數(shù)據(jù)，尤其在一些實(shí)踐性強(qiáng)的課程中更是如此。例如在教學(xué)過程中，學(xué)生

通過表情、語言、肢體動作等多種方式與教學(xué)內(nèi)容、學(xué)習(xí)同伴、教師和媒體平

臺等進(jìn)行交互，各類交互的數(shù)據(jù)對學(xué)習(xí)過程分析至關(guān)重要，需要全方位的有效

獲取并整合。

各種類型數(shù)據(jù)可以實(shí)現(xiàn)互補(bǔ)、驗證、整合和轉(zhuǎn)化。數(shù)據(jù)互補(bǔ)性是多模態(tài)數(shù)

據(jù)很重要的一個特性。任何一種模態(tài)的數(shù)據(jù)都能提供關(guān)于某一現(xiàn)象或過程的部

分解釋，而這些解釋從其他模態(tài)的數(shù)據(jù)中可能無法獲得(鐘薇等，2018)。數(shù)

據(jù)互補(bǔ)可通過不同數(shù)據(jù)來說明、描述或解釋同一研究對象和內(nèi)容，有利于交互

證實(shí)所得出的結(jié)果(DiMitrietal.,2018)o除此之外，多模態(tài)數(shù)據(jù)整合可

以充分利用各類數(shù)據(jù)的特點(diǎn)對學(xué)習(xí)過程或?qū)W習(xí)狀態(tài)進(jìn)行更加全面而準(zhǔn)確的分析,

如將身體的移動、手勢等物理空間里的數(shù)據(jù)與數(shù)字平臺中的日志數(shù)據(jù)進(jìn)行同步

存儲，以便用于對學(xué)習(xí)過程的分析(DiMitrietal.,2018)o數(shù)據(jù)轉(zhuǎn)化是指

將一種空間中的數(shù)據(jù)轉(zhuǎn)化為另一空間的數(shù)據(jù)，如將物理空間數(shù)據(jù)轉(zhuǎn)化為數(shù)字空

間數(shù)據(jù)(牟智佳，2020)。典型的研究有通過智能書寫筆技術(shù)將學(xué)生真實(shí)的書

寫過程數(shù)字化，通過動態(tài)書寫特征數(shù)據(jù)預(yù)測學(xué)習(xí)績效(Oviattetal.,2018)；

還有研究將學(xué)生復(fù)習(xí)紙質(zhì)試卷的過程數(shù)字化，形成數(shù)字痕跡和數(shù)字腳注，以便

用于分析真實(shí)的復(fù)習(xí)行為(Paredesetal.,2018)。這類研究的優(yōu)勢在于能

夠?qū)W(xué)生學(xué)習(xí)最為真實(shí)的行為和狀態(tài)數(shù)據(jù)進(jìn)行技術(shù)化處理，從而幫助人們更加

深入地認(rèn)識復(fù)雜的學(xué)習(xí)過程。

2.多模態(tài)學(xué)習(xí)分析中的學(xué)習(xí)指標(biāo)

研究發(fā)現(xiàn)，多模態(tài)學(xué)習(xí)分析中所應(yīng)用的學(xué)習(xí)指標(biāo)主要包括行為、注意、認(rèn)

知、元認(rèn)知、情感、協(xié)作(Cukurovaetal.,2017)、交互(Schneideret

al.,2018)、投入(張琪等，2019)、學(xué)習(xí)績效和技能等。部分學(xué)習(xí)指標(biāo)還可

進(jìn)一步細(xì)化分類。例如，行為指標(biāo)可分為在線學(xué)習(xí)行為(Oviattetal.,2018；

Paredesetal.,2018)、課堂學(xué)習(xí)行為(Watanabeetal.,2018)、具身學(xué)

習(xí)行為(Gorhametal.,2019)、教師教學(xué)行為(Watanabeetal.,2018)

等。注意指標(biāo)可分為個人注意(Mudricketal.,2019)和聯(lián)合注意(Sharma

etal.,2019)□情感指標(biāo)可分為自主學(xué)習(xí)中的情感(Munshietal.,2019)

和協(xié)作學(xué)習(xí)中的情感(Martinetal.,2019)。協(xié)作指標(biāo)可分為面對面協(xié)作

(Dingetal.,2017)和遠(yuǎn)程協(xié)作(Andradeetal.,2019)。投入指標(biāo)可分

為在線自主學(xué)習(xí)投入(Monkaresietal.,2017)和課堂學(xué)習(xí)投入(Aslanet

al.,2019)o學(xué)習(xí)績效指標(biāo)可分為結(jié)果性績效和過程性績效，既可涉及考試成

績(Sriramuluetal.,2019；Dindaretal.,2020)、游戲得分

(Giannakosetal.,2019)等較為簡單的數(shù)據(jù)，還可涉及協(xié)作學(xué)習(xí)質(zhì)量、任

務(wù)得分和學(xué)習(xí)效果(Dichetal.,2018)等復(fù)雜多元的數(shù)據(jù)。

從已有研究對學(xué)習(xí)指標(biāo)的分析可知，學(xué)習(xí)指標(biāo)的種類繁多證實(shí)了學(xué)習(xí)過程

的復(fù)雜性。部分學(xué)習(xí)指標(biāo)之間含義重疊交叉，如既可單獨(dú)分析協(xié)作(Reillyet

al.,2018)和投入(Monkaresietal.,2017),也可分析協(xié)作學(xué)習(xí)中的投入

(Kimetal.,2020)0值得注意的是，學(xué)習(xí)指標(biāo)的選擇也有一些規(guī)律可循，

如協(xié)作學(xué)習(xí)的指標(biāo)多關(guān)注協(xié)作特征(Cukurovaetal.,2020)和協(xié)作交互

(Malmbergetal.,2019),而自主學(xué)習(xí)指標(biāo)則多關(guān)注注意、認(rèn)知

(Abdelrahmanetal.,2017)和投入(Fwaetal.,2018)；面對面協(xié)作的

指標(biāo)較多(Dingetal.,2017),而遠(yuǎn)程協(xié)作的指標(biāo)相對較少(D'Angeloet

al.,2017)o隨著學(xué)習(xí)過程洞察研究愈加深入，學(xué)習(xí)指標(biāo)也會更加細(xì)致。例如

針對在線學(xué)習(xí)，有研究者深入到微觀角度，利用眼動數(shù)據(jù)關(guān)注學(xué)習(xí)者在每個學(xué)

習(xí)頁面中的學(xué)習(xí)路徑(Muetal.,2019)o

3.多模態(tài)數(shù)據(jù)與學(xué)習(xí)指標(biāo)的對應(yīng)關(guān)系

多模態(tài)數(shù)據(jù)指向復(fù)雜的學(xué)習(xí)過程，能夠揭示數(shù)據(jù)和指標(biāo)之間的復(fù)雜關(guān)系

(Oviatt,2018)o從前文分析可知，數(shù)據(jù)與指標(biāo)之間存在三種對應(yīng)關(guān)系：一

對一、多對一和一對多?！耙粚σ弧笔侵敢活悢?shù)據(jù)只適合度量一個學(xué)習(xí)指標(biāo)，

此類對應(yīng)最為簡單且應(yīng)用較為普遍。隨著研究的深入和技術(shù)的發(fā)展，數(shù)據(jù)分析

的細(xì)粒度逐步增加(張琪等，2020),每一類數(shù)據(jù)的測量潛力被逐步挖掘，一

對一的情況將越來越少。例如，傳統(tǒng)的認(rèn)知過程測量方法是訪談和量表，而當(dāng)

生理測量技術(shù)發(fā)展起來之后，生理數(shù)據(jù)如腦電也被用于認(rèn)知測量(Millset

al.,2017),由此便產(chǎn)生了第二類對應(yīng)關(guān)系。“多對一”是指多個數(shù)據(jù)均可度

量同一指標(biāo)。例如，眼動、腦電和皮電都可用于測量學(xué)習(xí)投入(Sharmaetal.,

2019)o“一對多”是指一類數(shù)據(jù)可度量多個學(xué)習(xí)指標(biāo)。例如，眼動可以測量

注意、認(rèn)知(Sommeretal.,2017)、情感(Zhengetal.,2019)、協(xié)作和

投入(Thomas,2018)等。

在數(shù)據(jù)和指標(biāo)的對應(yīng)關(guān)系中，一對多和多對一的情況已較為普遍。數(shù)據(jù)與

指標(biāo)之間對應(yīng)關(guān)系多樣化的本質(zhì)原因在于，在技術(shù)條件和相關(guān)理論的支持下，

數(shù)據(jù)的測量范圍、測量準(zhǔn)確性和對指標(biāo)的表征能力有所差別。例如，眼動數(shù)據(jù)

用于學(xué)習(xí)內(nèi)容關(guān)注焦點(diǎn)的挖掘效果較好(Muetal.,2018),在量化學(xué)習(xí)者認(rèn)

知狀態(tài)、注意力水平、信息加工過程(Minematsuetal.,2019)等方面具有

優(yōu)勢。表情數(shù)據(jù)對情感(Tzirakisetal.,2017)和投入(Thomas,2018)的

測量效果較好，它對強(qiáng)烈的情感(如“喜悅”和“生氣”)有較好的測量效果。

生理數(shù)據(jù)對微妙情感有較好的測量效果(Phametal.,2018)o已有研究明確

指出，一個學(xué)習(xí)指標(biāo)既可用單一數(shù)據(jù)測量，也可用多模態(tài)數(shù)據(jù)測量(張琪等，

2020；Phametal.,2018)。因此，學(xué)習(xí)指標(biāo)測量既要考慮到最優(yōu)數(shù)據(jù)，也要

考慮到其他數(shù)據(jù)的補(bǔ)充，這正是數(shù)據(jù)整合的意義所在。

四、多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合

為了進(jìn)一步挖掘?qū)W習(xí)分析層面的數(shù)據(jù)融合情況，本研究從數(shù)據(jù)整合方式、

數(shù)據(jù)類型、學(xué)習(xí)指標(biāo)三方面對多模態(tài)數(shù)據(jù)整合分析的研究文獻(xiàn)進(jìn)行了歸納。由

表2可知，已有文獻(xiàn)中的數(shù)據(jù)整合方式既有跨類型的多模態(tài)數(shù)據(jù)整合，例如跨

越數(shù)字空間數(shù)據(jù)和物理空間數(shù)據(jù)整合(Alyuzetal.,2017),跨越心理測量

數(shù)據(jù)和生理體征數(shù)據(jù)整合(Dindaretal.,2020)；也有非跨類型的多模態(tài)數(shù)

據(jù)整合，例如生理體征數(shù)據(jù)類型中對具體數(shù)據(jù)的整合(Yinetal.,2017)?

對于學(xué)習(xí)指標(biāo)，數(shù)據(jù)整合既有關(guān)注單一指標(biāo)的，如學(xué)習(xí)投入度(Thomas,

2018)；也有同時關(guān)注多個指標(biāo)的，如同時關(guān)注協(xié)作、投入和學(xué)習(xí)績效

(Worsleyetal.,2018)□現(xiàn)有的數(shù)據(jù)整合方式主要有三類(見圖4)：(1)

多對一，即用多維度、多模態(tài)數(shù)據(jù)測量一個學(xué)習(xí)指標(biāo)，以提高測量的準(zhǔn)確性；

(2)多對多，即用多維度、多模態(tài)數(shù)據(jù)測量多個學(xué)習(xí)指標(biāo)，以提高信息的全面

性；（3）三角互證，即通過多方數(shù)據(jù)互相印證來提高對某一問題闡釋的合理性,

是進(jìn)行整合研究的實(shí)證基礎(chǔ)。對比三類整合研究可發(fā)現(xiàn)，與單模態(tài)數(shù)據(jù)相比，

數(shù)據(jù)整合的價值體現(xiàn)在整合能夠提高測量的準(zhǔn)確性和信息的全面性，并帶來更

有意義的研究結(jié)論，從而起到的效果。只有做到“多對一”分析才

算真正走向了數(shù)據(jù)整合。

表2多模態(tài)學(xué)習(xí)分析中數(shù)據(jù)整合情況

整合

數(shù)據(jù)類型學(xué)習(xí)指標(biāo)相關(guān)研究

方式

FE,PPG情感Phametal.,2018

AU,FR,LOG,HA學(xué)習(xí)績效Spikoletal.,2018

LOG,AU,BL,SR遠(yuǎn)程協(xié)作Vrzakovaetal.,2020

SP,AU情感Cukurovaetal.,2019

協(xié)作、投入學(xué)習(xí)績

AU,FE,BL,EDAWorsleyetal.,2018

效

多對

EM,AU,VB,BMP教師行為分析Prietoetal.,2018

FE,HER,EM學(xué)習(xí)投入Thomas,2018

FR,HER,BL學(xué)習(xí)投入Burniketal.,2018

Cukurovaetal.,2017；

AG,HER,FR面對面協(xié)作

2019；2020

FE,EM,EEG,EDA,在線自主學(xué)習(xí)中的

Sharmaetal.,2019

BVP,HR,TEMP學(xué)習(xí)投入

FE,BL,AU,EC演講技能Schneideretal.,2019

BL,AU協(xié)作學(xué)習(xí)Praharajetal.,2019

Martinez-Maldonadoet

BMP,AU,LOG,EDA,SP醫(yī)學(xué)技能訓(xùn)練

al.,2020

多對

BL,BMP,LOG醫(yī)學(xué)訓(xùn)練技能DiMitrietal.,2019

多

AU,EM,BMP,BL真實(shí)世界中的學(xué)習(xí)Okadaetal.,2020

FR,EC,BMP課堂學(xué)習(xí)行為Anhetal.,2019

AU,HER,HA,AG,BMP演講技能Ganetal.,2019

FE,HER,AG,SC,BMP跳舞技能Romanoetal.,2019

VO,FE,EDA覺醒，協(xié)作，情感Jarvelaetal.,2019

BL,EDA,EM,AU,STEAM項目協(xié)作學(xué)

Schneideretal.,2020

BVP,EDA,HR習(xí)

三角LOG,SR,AU在線學(xué)習(xí)Liuetal.,2019

瓦證人機(jī)交互的具身學(xué)

FR,ECAndradeetal.,2019

習(xí)

SP,EM,LOG書法訓(xùn)練Limbuetal.,2019

SP,GSR,ST,LOG在線問題解決學(xué)習(xí)Larmuseauetal.,2019

BL,BMP,AU協(xié)作：交互Davidsenetal.,2017

HER,AG語言學(xué)習(xí)Gorhametal.,2019

EDA,ECG協(xié)作Ahonenetal.,2018

EEG,LOG認(rèn)知參與Hassibetal.,2017

(注：表中縮寫字母的對應(yīng)涵義為BL(BodyLanguage)>SR(Screen

Recording)、SP(Self-ReportQuestionnaire)、VO(VideoObservation)、

BMP(BodyMovementandPosition),其他縮寫沿用常規(guī)縮寫。)

圖4多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合方式示意圖

L“多對一”：提高測量的準(zhǔn)確性

此類數(shù)據(jù)整合主要有兩大特點(diǎn)：一是有明確的數(shù)據(jù)整合算法模型，多模態(tài)

數(shù)據(jù)(兩類以上)是模型輸入，學(xué)習(xí)指標(biāo)(通常只有一個)是模型輸出。二是

數(shù)據(jù)整合有助于提高學(xué)習(xí)指標(biāo)測量的準(zhǔn)確性。例如，聲音數(shù)據(jù)可以測情感

(Cukurovaetal.,2019),表情數(shù)據(jù)也可以測情感(Martinetal.,

2019)o有研究用深度神經(jīng)網(wǎng)絡(luò)算法將兩類數(shù)據(jù)進(jìn)行整合，用以提高情感測量

的準(zhǔn)確性(Ez-zaouiaetal.,2017)。

此類研究中，數(shù)據(jù)模態(tài)的增加、數(shù)據(jù)特征的選擇、數(shù)據(jù)整合比例劃分以及

算法模型的選擇都會影響測量的準(zhǔn)確性。有研究對比了單模態(tài)數(shù)據(jù)和多模態(tài)數(shù)

據(jù)的研究效果，結(jié)果證明多模態(tài)數(shù)據(jù)的研究準(zhǔn)確性較高(Cukurovaetal.,

2019)o在選擇用于分析的數(shù)據(jù)方面，有研究者直接選用原始數(shù)據(jù)進(jìn)行分析

(Tzirakisetal.,2017),也有研究者通過在原始數(shù)據(jù)基礎(chǔ)上篩選(Thomas

etal.,2018)或構(gòu)造與學(xué)習(xí)相關(guān)的數(shù)據(jù)進(jìn)行分析，以期增加分析結(jié)果的教學(xué)

可解釋性。值得注意的是，不同數(shù)據(jù)對同一學(xué)習(xí)指標(biāo)測量的準(zhǔn)確性有可能存在

差異，例如有研究者證實(shí)了眼動和腦電數(shù)據(jù)在預(yù)測情感的準(zhǔn)確性上就存在差異

(Zhengetal.,2019)?？傊?，當(dāng)采用“多對一”方式進(jìn)行數(shù)據(jù)整合時，不

是簡單的1:1整合，而是要根據(jù)各類數(shù)據(jù)的測量準(zhǔn)確性、數(shù)據(jù)與學(xué)習(xí)指標(biāo)的相

關(guān)性等因素綜合采用數(shù)據(jù)和算法。高效的算法模型是此類研究的關(guān)注點(diǎn)

(Tzirakisetal.,2017),大部分研究通常會對比幾種不同算法模型的應(yīng)用

效果，從而確定最優(yōu)的算法模型。

2.“多對多”：提高信息的全面性

此類數(shù)據(jù)整合具有如下特點(diǎn)：一是包括多維度學(xué)習(xí)指標(biāo)(兩個以上)，二

是數(shù)據(jù)與學(xué)習(xí)指標(biāo)一一對應(yīng)，三是沒有數(shù)據(jù)整合算法，四是數(shù)據(jù)整合能提高信

息的全面性。例如，有研究者同時用眼動數(shù)據(jù)來測注意，用腦電數(shù)據(jù)來測認(rèn)知

(Tamuraetal.,2019)。

多對多的數(shù)據(jù)整合分析需要多個學(xué)習(xí)指標(biāo)，同時利用多方面的多模態(tài)數(shù)據(jù)

進(jìn)行整合分析，以期全面、準(zhǔn)確地反映學(xué)習(xí)過程。當(dāng)前能夠支持?jǐn)?shù)據(jù)整合的分

析系統(tǒng)有演講訓(xùn)練系統(tǒng)(Schneideretal.,2019)＞書寫訓(xùn)練系統(tǒng)(Limbu

etal.,2019)、醫(yī)學(xué)訓(xùn)練系統(tǒng)(DiMitrietal.,2019)、自然情景下的學(xué)

習(xí)分析系統(tǒng)(Okadaetal.,2020)、課堂監(jiān)控整合系統(tǒng)(Anhetal.,

2019)、跳舞訓(xùn)練系統(tǒng)(Romanoetal.,2019)等?，F(xiàn)有研究中有不少是用一

種數(shù)據(jù)來測量和分析多個學(xué)習(xí)指標(biāo)，如用眼動數(shù)據(jù)來測量注意、期望和疲倦三

個指標(biāo)，用腦電數(shù)據(jù)來測量認(rèn)知負(fù)荷、心理負(fù)荷和記憶負(fù)荷三個指標(biāo)

(Sharmaetal.,2019)0顯然，只用一種數(shù)據(jù)來同時測量多個指標(biāo)會過于夸

大單一數(shù)據(jù)的作用，在一定程度上也會降低結(jié)果解釋的準(zhǔn)確性。因此，在條件

允許的情況下，應(yīng)盡量為每一個學(xué)習(xí)指標(biāo)選擇最適合的數(shù)據(jù)。

3.三角互證：提高整合的科學(xué)性

數(shù)據(jù)整合的三角互證研究旨在通過多模態(tài)數(shù)據(jù)之間的互證分析來獲得更多

有價值的結(jié)論。在已有研究中，對各種數(shù)據(jù)的分析是單獨(dú)和平行的，即用不同

數(shù)據(jù)同時測量同一指標(biāo)，通過對比分析不同數(shù)據(jù)對同一學(xué)習(xí)指標(biāo)的測量效能，

為“多對一”和“多對多”的數(shù)據(jù)整合研究提供實(shí)證依據(jù)。例如，有研究者收

集了多模態(tài)數(shù)據(jù)進(jìn)行協(xié)作學(xué)習(xí)分析(Starretal.,2018),單獨(dú)分析了每一

類數(shù)據(jù)對協(xié)作的測量情況，包括語言數(shù)據(jù)如何反應(yīng)協(xié)作情況(Reillyetal.,

2019),人體姿態(tài)中哪些數(shù)據(jù)能夠體現(xiàn)協(xié)作(Reillyetal.,2018),眼動數(shù)

據(jù)如何測量協(xié)作(Schneideretal.,2019),生理數(shù)據(jù)如何反應(yīng)協(xié)作時的狀

態(tài)變化(Schneideretal.,2020)o也有研究者單獨(dú)分析了自我報告數(shù)據(jù)和

眼動數(shù)據(jù)對學(xué)習(xí)投入的測量情況(Limbuetal.,2019)?還有研究者注重分

析各類數(shù)據(jù)之間的互證關(guān)系(Jarvelaetal.,2019),如有研究重點(diǎn)分析生

理數(shù)據(jù)和表情數(shù)據(jù)之間的互證關(guān)系；還有研究關(guān)注協(xié)作學(xué)習(xí)中生理數(shù)據(jù)與情緒

數(shù)據(jù)之間的互證關(guān)系，即當(dāng)由生理數(shù)據(jù)得到的覺醒發(fā)生時，學(xué)生情緒(通過表

情數(shù)據(jù)測量得到)是如何變化的(Malmbergetal.,2019)o

4.整合方式的補(bǔ)充

以上是目前已開展的多模態(tài)數(shù)據(jù)整合的主要方式，隨著研究的深入和技術(shù)

的發(fā)展，未來數(shù)據(jù)整合的方式將會更加豐富多樣。例如，在對學(xué)習(xí)過程進(jìn)行分

析時，可以根據(jù)不同的學(xué)習(xí)環(huán)境、階段和學(xué)習(xí)內(nèi)容，選擇不同維度和類型的數(shù)

據(jù)進(jìn)行分析，然后整合形成完整的學(xué)習(xí)過程分析，這也是一種數(shù)據(jù)整合分析的

思路(Muetal.,2018)o在對在線學(xué)習(xí)過程進(jìn)行分析時，有研究者先用日志

數(shù)據(jù)對整體學(xué)習(xí)軌跡的時間線進(jìn)行分析，根據(jù)具體學(xué)習(xí)階段確定需要深入分析

的焦點(diǎn)時刻，然后用學(xué)習(xí)過程的錄屏視頻數(shù)據(jù)和語音數(shù)據(jù)對焦點(diǎn)時刻進(jìn)行詳細(xì)

分析(Liuetal.,2019)0再如，有研究者先用日志數(shù)據(jù)對整體學(xué)習(xí)路徑進(jìn)

行描述，然后用眼動數(shù)據(jù)和記錄學(xué)習(xí)過程的視頻數(shù)據(jù)對學(xué)習(xí)者觀看教學(xué)視頻和

在線練習(xí)兩個關(guān)鍵學(xué)習(xí)環(huán)節(jié)進(jìn)行微觀分析，從而實(shí)現(xiàn)對學(xué)習(xí)者學(xué)習(xí)過程的細(xì)致

畫像(Muetal.,2019)。

需要說明的是，同步采集不同時間和不同粒度的多模態(tài)數(shù)據(jù)是有效開展數(shù)

據(jù)整合的前提，這就需要通過部署數(shù)據(jù)同步采集系統(tǒng)來實(shí)現(xiàn)。數(shù)據(jù)整合系統(tǒng)通

常包含表情分析模塊(Thomas,2018)、VR模塊(Schneideretal.,2019)、

人體姿態(tài)模塊(Zaleteljetal.,2017)和自我報告模塊等。如果在采集數(shù)據(jù)

時沒能實(shí)現(xiàn)多模態(tài)數(shù)據(jù)的同步采集，則需要在數(shù)據(jù)清理時以時間為基線對各類

數(shù)據(jù)進(jìn)行時間線對齊處理。例如，STREAMS系統(tǒng)可將符合格式要求的日志數(shù)據(jù)

與其他多模態(tài)數(shù)據(jù)進(jìn)行整合處理(Liuetal.,2019)?？梢姡皶r間線對齊”

是數(shù)據(jù)整合的關(guān)鍵環(huán)節(jié)之一，也是數(shù)據(jù)清洗和整理的重點(diǎn)。

總之，數(shù)據(jù)整合分析既是多模態(tài)學(xué)習(xí)分析的核心，也是難點(diǎn)。多模態(tài)數(shù)據(jù)

獲取相對容易，但真正整合起來進(jìn)行分析則存在較多困難，而且費(fèi)時費(fèi)力(Liu

etal.,2019)?另外，數(shù)據(jù)的整合采集也并不意味著一定存在整合分析，有

些研究雖然利用了數(shù)據(jù)整合采集系統(tǒng)，如演講訓(xùn)練系統(tǒng)(Schneideretal.,

2019),但在具體分析中也只選擇了單一維度的數(shù)據(jù)進(jìn)行分析，而并未做到基

于多模態(tài)數(shù)據(jù)的整合分析。

五、總結(jié)與展望

多模態(tài)數(shù)據(jù)整合分析研究的特點(diǎn)可歸納為三點(diǎn)：數(shù)據(jù)的多模態(tài)、指標(biāo)的多

維度和方法的多樣性，如圖5所示。數(shù)據(jù)的多模態(tài)是最直觀的外在表現(xiàn)（X

軸），指標(biāo)的多維度體現(xiàn)了學(xué)習(xí)過程的復(fù)雜性（Y軸），方法的多樣性體現(xiàn)了

分析技術(shù)的特點(diǎn)（Z軸）?，F(xiàn)有的數(shù)據(jù)整合研究或考慮數(shù)據(jù)的準(zhǔn)確性（A點(diǎn)），

或考慮信息的全面性（B點(diǎn)），但最理想的應(yīng)是準(zhǔn)確性、全面性和多樣性共同

作用下的分析，即C點(diǎn)。本研究認(rèn)為，未來的數(shù)據(jù)整合需要不斷提高測量準(zhǔn)確

性和信息全面性，不斷建立有效的分析方法，以更智能、高效、準(zhǔn)確、全面地

反映學(xué)習(xí)者的學(xué)習(xí)過程，呈現(xiàn)學(xué)習(xí)者的學(xué)習(xí)狀態(tài)和規(guī)律，進(jìn)而改進(jìn)教與學(xué)的效

果。例如，可以用眼動和行為數(shù)據(jù)共同測量認(rèn)知，用表情數(shù)據(jù)且通過人工判斷

和機(jī)器識別兩種方法整合測量情感，用訪談獲取元認(rèn)知自省數(shù)據(jù)和用自我報告

測量動機(jī)水平（Munshietal.,2019）。

Z軸：方法的多樣性（11我報告.人工打點(diǎn)、機(jī)器打點(diǎn)）

B點(diǎn)

一紂多

?提高信息的全面件

同時與慮測量搟■性和信息全面性

圖5多模態(tài)學(xué)習(xí)分析中數(shù)據(jù)整合的特點(diǎn)

總體而言，多模態(tài)學(xué)習(xí)分析不僅關(guān)注收集各種類型的數(shù)據(jù)，而且注重對各

類數(shù)據(jù)的整合分析，以期更準(zhǔn)確、全面地體現(xiàn)學(xué)習(xí)過程的復(fù)雜性（鐘薇等，

2018）o各類感知設(shè)備和技術(shù)將在無感情況下，獲取更多學(xué)習(xí)數(shù)據(jù)，豐富數(shù)據(jù)

類型；對學(xué)習(xí)發(fā)生機(jī)理、腦科學(xué)和學(xué)習(xí)科學(xué)最新研究進(jìn)展的教育追問將促進(jìn)學(xué)

習(xí)指標(biāo)的持續(xù)更新；同時隨著指向?qū)W習(xí)指標(biāo)的多模態(tài)數(shù)據(jù)整合分析技術(shù)的不斷

發(fā)展，人工智能技術(shù)將為數(shù)據(jù)分析提供技術(shù)支撐(牟智佳，2020),并不斷提

升數(shù)據(jù)整合分析的能力。因此，未來多模態(tài)學(xué)習(xí)分析如能緊緊把握數(shù)據(jù)整合這

一難點(diǎn)問題并不斷嘗試新的解決方法和技術(shù)，將能凸顯數(shù)據(jù)多維整體、真實(shí)境

脈、實(shí)時連續(xù)的優(yōu)勢，實(shí)現(xiàn)對教學(xué)過程和教學(xué)效果更加即時、多維、直觀、全

面的分析。

參考文獻(xiàn)：

[1]陳凱泉，張春雪，吳?h?h等(2019).教育人工智能(EAI)中的多模

態(tài)學(xué)習(xí)分析、適應(yīng)性反饋及人機(jī)協(xié)同[J].遠(yuǎn)程教育雜志，37(5)：24-34.

[2]劉智，劉三妨，康令云(2018).物理空間中的智能學(xué)伴系統(tǒng)：感知數(shù)

據(jù)驅(qū)動的學(xué)習(xí)分析技術(shù)---訪柏林洪堡大學(xué)教育技術(shù)專家NielsPinkwart教授

[J].中國電化教育，(7)：67-72.

[3]牟智佳(2020).多模態(tài)學(xué)習(xí)分析：學(xué)習(xí)分析研究新生長點(diǎn)[J].電化教

育研究，41(5)：27-32,51.

[4]張琪，王紅梅(2019).學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)表征：支撐理論、研究

框架與關(guān)鍵技術(shù)[J].電化教育研究，40(12)：21-28.

[5]張琪，武法提，許文靜(2020).多模態(tài)數(shù)據(jù)支持的學(xué)習(xí)投入評測：現(xiàn)

狀、啟示與研究趨向[J].遠(yuǎn)程教育雜志，38(1)：76-86.

[6]鐘薇，李若晨，馬曉玲等(2018).學(xué)習(xí)分析技術(shù)發(fā)展趨向一一多模態(tài)

數(shù)據(jù)環(huán)境下的研究與探索[J].中國遠(yuǎn)程教育，(11)：41-49,79-80.

[7]Abdelrahman,Y.,Velloso,E.,&Dingier,T.etal.(2017).

CognitiveHeat:ExploringtheUsageofThermalImagingto

UnobtrusivelyEstimateCognitiveLoad[J].ProceedingsoftheACMon

Interactive,Mobile,WearableandUbiquitousTechnologies,1(3):1-

20.

[8]Ahonen,L.,Cowley,B.U.,&Hellas,A.etal.(2018).

BiosignalsReflectPair-DynamicsinCollaborativeWork:EDAandECG

StudyofPair-ProgramminginaClassroomEnvironment[J].Scientific

Reports,8(1):1-16.

[9]Alyuz,N.,Okur,E.,&Gene,U.etal.(2017).AnUnobtrusive

andMultimodalApproachforBehavioralEngagementDetectionof

Students[C]//Proceedingsofthe1stACMSIGCHIInternationalWorkshop

onMultimodalInteractionforEducation.UK,Glasgow:26-32.

[10]An,P.,Bakker,S.,&Ordanovski,S.etal.(2020).

DandelionDiagram:AggregatingPositioningandOrientationDatain

theVisualizationofClassroomProxemics[C]//Proceedingsofthe

ExtendedAbstractsofthe2020CHIConferenceonHumanFactorsin

ComputingSystems.Honolulu,HI:1-8.

[11]Andrade,A.,Maddox,B.,&Edwards,D.etal.(2019).

QuantitativeMultimodalInteractionAnalysisfortheAssessmentof

Problem-SolvingSkillsinaCollaborativeOnlineGame[C]//Eagan,B.,

Misfeldt,M.,&Siebert-Evenstone,A.(Eds.).Proceedingsofthe

AdvancesinQuantitativeEthnography.Madison,WI:281-290.

[12]Anh,B.N.,Son,N.T.,&Lam,P.T.etal.(2019).A

Computer-VisionBasedApplicationforStudentBehaviorMonitoringin

Classroom[J].AppliedSciences,9(22):4729.

[13]Aslan,S.,Alyuz,N.,&Tanriover,C.etal.(2019).

InvestigatingtheImpactofaReal-time,MultimodalStudent

EngagementAnalyticsTechnologyinAuthentic

Classrooms[C]//Proceedingsofthe2019CHIConferenceonHuman

FactorsinComputingSystems(CHI'19).UK,Glasgow:1-12.

[14]Asadipour,A.,Debattista,K.,&Chalmers,A.(2017).

VisuohapticAugmentedFeedbackforEnhancingMotorSkills

Acquisition[J].TheVisualComputer,33(4):401-411.

[15]Blikstein,P.(2013).MultimodalLearning

Analytics[C]//ProceedingsoftheThirdInternationalConferenceon

LearningAnalyticsandKnowledge.Leuven,Belgium:102-106.

[16]Burnik,U.,Zaletelj,J.,&Kosir,A.(2018).Video-Based

Learners'ObservedAttentionEstimatesforLectureLearningGain

Evaluation[J].MultimediaToolsandApplications,77(13):16903-

16926.

[17]Cukurova,M.,Kent,C.,&Luckin,R.(2019).Artificial

IntelligenceandMultimodalDataintheServiceofHumanDecision-

Making:ACaseStudyinDebateTutoring[J].BritishJournalof

EducationalTechnology,50(6):3032-3046.

[18]Cukurova,M.,Luckin,R.,&Millan,E.etal.(2017).The

NISPIFramework:AnalysingCollaborativeProblem-Solvingfrom

Students，PhysicalInteractions[J].Computers&Education,116:93-

109.

[19]Cukurova,M.,Zhou,Q.,&Spikol,D.etal.(2020).

ModellingCollaborativeProblem-SolvingCompetencewithTransparent

LearningAnalytics:IsVideoDataEnough?[C]//Proceedingsofthe

TenthInternationalConferenceonLearningAnalytics&Knowledge.

Germany,Frankfurt:270-275.

[20]D，Angelo,S.,&Begel,A.(2017).ImprovingCommunication

BetweenPairProgrammersUsingSharedGazeAwareness[C]//Proceedings

ofthe2017CHIConferenceonHumanFactorsinComputingSystems.

Denver,CO:6245-6290.

[21]Davidsen,J.,&Ryberg,T.(2017).“ThisIstheSizeof

OneMeter”:Children，sBodily-MaterialCollaboration[J].

InternationalJournalofComputer-SupportedCollaborativeLearning,

12:65-90.

[22]DiMitri,D.,Schneider,J.,&Specht,M.etal.(2018).

FromSignalstoKnowledge:AConceptualModelforMulti