智能家居綜合實驗平臺設計研究與應用實踐

付心儀，張鶴，薛程,1b，李欣洋，孫喆,1b，徐迎慶,1b智能家居綜合實驗平臺設計研究與應用實踐付心儀1a，張鶴1a，薛程1a,1b，李欣洋2，孫喆1a,1b，徐迎慶1a,1b（1.清華大學a.未來實驗室b.美術學院，北京100080；2.北京航天與航空大學機械工程及自動化學院，北京100191）梳理和分析智能家居相關實驗平臺現狀，探究智能家居綜合實驗平臺的設計研究方法，對平臺的構建展開應用實踐。以智能家居理論框架為基礎，從傳感器網絡、數據、場景、被試等多個角度出發(fā)，對智能家居綜合實驗平臺的設計方法和應用實踐進行闡釋。提出智能家居綜合實驗平臺中圍繞“感知”“思考”“執(zhí)行”3個層面的理論框架、應用實踐研究方法和實踐案例。智能家居綜合實驗平臺的理論構架對于智能家居領域的科研問題具有一定的理論影響力，3個層次在建設時相互獨立，在理論中相互印證，在實踐中相互支撐。建立智能家居綜合實驗平臺，可以為智能家居及其相關領域的科研和產業(yè)問題提供實驗場地、關鍵數據、核心算法等支撐，使相關研究可以在更完備、更集成及魯棒性更強的框架下展開。智能家居綜合實驗平臺的研究和實踐整合了現有知識體系，從頂層設計、傳感網絡、數據研究、算法模型、用戶研究、人機交互等多學科多領域交叉的角度為學術界和產業(yè)界提供參考，全面地推動智能家居領域的技術進步和設計創(chuàng)新。智能家居；實驗平臺；設計研究；應用實踐隨著社會與科技的發(fā)展，人們所處的時代正在發(fā)生天翻地覆的技術革新，起始于信息時代早期的智能家居也逐漸步入了智能化時代，智能家居的發(fā)展脈絡見圖1。在人工智能、智慧物聯(lián)網、大數據、5G、自然人機交互等前沿科技的支撐下，智能家居逐漸從現有的智能產品孤島模式過渡到全屋智慧互聯(lián)模式，由單體“智能”向整體“智慧”轉型。越來越多的智能家居供應商開始專注于全屋一體化智能的探究，例如：小米基于小米生態(tài)鏈和小米IoT開發(fā)者平臺的“小米全屋智能指南”[1]；美的針對全屋智能場景的“一站購”和主動式全屋智能[2]；華為鴻蒙生態(tài)（HarmonyOS）的全屋智慧場景[3]等。終端消費者的需求也從對智能化單品的需要，發(fā)展為對全屋整體智能的期待。以用戶為中心，提供一整套智能化、個性化、人性化的多模態(tài)智能產品和解決方案，為用戶打造家居環(huán)境和家居實體相融合的智慧、舒適、溫馨、便捷的個性化家居體驗，是當前學術界在智能家居領域和產業(yè)界迫切追求的目標。智能家居是學科高度交叉的領域，為實現此目標，需要多種維度的理論與方法支撐，包括家居實驗平臺的硬件支撐、家居領域多模態(tài)人機交互的理論支撐、家居場景下智能感知的技術支撐、家居環(huán)境下用戶真實數據的數據支撐等。然而，當前國內外的相關研究領域，尚缺乏支撐以上前沿研究的高相關度成果。本文提出智能家居綜合實驗平臺設計研究與應用實踐，從“感知”“思考”“執(zhí)行”3個維度構建面向智能家居的綜合性實驗平臺設計的理論框架和實踐應用，探討智能家居多通道傳感器網絡構建、多模態(tài)大規(guī)模數據采集存儲與集成、全屋智能用戶體驗構架等問題。該綜合性實驗平臺可以支撐智能家居場景下的多模態(tài)人機交互理論與方法驗證，平臺產出的海量用戶自然行為和情感數據，可作為家居場景下智能感知算法模型的數據支撐，基于此平臺產出的用戶體驗測量框架，可納入產業(yè)界全屋智能產品的用戶體驗度量評價體系中，推進智能家居環(huán)境下的人機交互設計創(chuàng)新。圖1智能家居的發(fā)展脈絡1智能家居平臺概述將智能家居平臺分為消費級平臺和實驗平臺2類，并分別對這2類平臺進行概述，為的是從概念上厘清兩者的區(qū)別，本文將重點圍繞智能家居實驗平臺開展研究。1.1消費級智能家居概述消費級（Consumer–Grade）智能家居指為個人或家庭使用、消費或享受而進行設計、營銷和銷售的智能家居產品。近年來，隨著消費者對生活品質要求的不斷提升，智能產品逐漸走入大眾家庭，推動智能家居市場規(guī)模的不斷擴大[4-5]。智能家居產業(yè)蓬勃發(fā)展，產品覆蓋范圍廣，行業(yè)參與者除了創(chuàng)新型家電產業(yè)，還有智能硬件廠商、互聯(lián)網公司、通信運營商和房地產等各類行業(yè)巨頭公司，當前市場上的主流企業(yè)有海爾、谷歌、小米、美的、百度和阿里巴巴等。2020年，工信部籌建了智慧家庭標準工作組[6]，支持智能家居行業(yè)的發(fā)展。隨著智能家居單品智能程度的提高和各智能設備間的互聯(lián)互通，當下以智能單品為核心的全屋智能家居解決方案興起。智能家居設備可分為如下六大類：智能家電、智能家庭安防、智能家庭娛樂、智能連接控制、智能光感和智能家庭能源管理，其包含的設備類別和單品示例見表1。在智能單品不斷向全屋智能體系過渡的過程中，智能家居也正不斷向家庭的各類場景延伸。如智能入戶、智能看護、智能客廳、智能廚房、智能陽臺和智能娛樂場景等，現有的常見智能家居場景及其功能示例見表2。智能產品生態(tài)鏈從單品化向聯(lián)動一體化不斷發(fā)展，但在面向消費者提供全屋智能構建方案時通常存在著如下問題。1）設備互聯(lián)互通的行業(yè)標準不統(tǒng)一。以Wi-Fi、藍牙、Zigbee為主的無線通訊技術在智能家居的多種場景中應用最為廣泛，但通訊協(xié)議間不統(tǒng)一無法達到設備互聯(lián)互通的理想狀態(tài)，需要行業(yè)內各廠商達成開放合作。2）缺乏以用戶為中心的全屋構建方案。目前各智能單品間通常獨立分散，功能較為單一，無法根據用戶的心理需求提供準時化、個性化、智慧化的服務。3）用戶的隱私安全無法得到確切保障。隨著物聯(lián)網終端設備大量融入網絡，用戶的個人數據也越來越容易被收集，但目前還沒有確切有效的法律法規(guī)來確保用戶家居設備的安全。式中：mh∈M,ph∈P,qh∈Q依次表示th對應的物料、工藝、質量節(jié)點，由定義1和定義2中的關聯(lián)關系確定；Exch表示按照裝配業(yè)務邏輯中的任務分發(fā)規(guī)則認領th的人員;TExch表示認領th的時間；TBh和TEh分別表示th的開始時間和完工時間。表1智能家居設備類別和示例Tab.1Smarthomedevicecategoriesandexamples表2智能家居場景和示例Tab.2Smarthomescenariosandexamples1.2智能家居實驗平臺概述智能家居實驗平臺（以下簡稱“實驗平臺”）是物聯(lián)網系統(tǒng)面向家居環(huán)境的集成解決方案，它包含智能家居駐地設備、云計算、通信網絡集成、應用功能、用戶交互方法和管理系統(tǒng)等多維的綜合應用。目前，實驗平臺內存在如交互設計、邊緣計算、大數據處理、網絡通信、可用性、安全與隱私等諸多問題和挑戰(zhàn)[7]。與消費級智能家居產品和解決方案不同，實驗平臺是一個為了解決已知問題和探索未來可能性的綜合實驗環(huán)境，通常為滿足可能的衍生需求而采取包括傳感器網絡、計算中心、數據中心等的冗余設計。一方面，實驗平臺除了可以滿足細化領域的研究和實驗需求外，還可以從更全面的視角探究智能家居問題。例如用戶體驗及產品設計[8]、環(huán)境中各種依賴關系[9]、缺失和冗余問題[10]、新技術測試[11]等，均可在實驗平臺中進行研究。與此同時，實驗平臺配備了在真實居住環(huán)境中所需要的各種資源，以滿足用戶在人居環(huán)境中的場景需求。一個完備的實驗平臺應該為整體而非臨時搭建的環(huán)境場地，可以進行與真實居住效果幾乎無差異的非表演活動行為[12]，并通過完備的多模態(tài)傳感器網絡進行采集，再經過本地化的方式進行整體處理以保證實驗周期內的數據安全。實驗平臺所產生的大規(guī)模多模態(tài)真實智能家居數據集，可進一步促進智能家居環(huán)境下的設計創(chuàng)新、算法研發(fā)和技術升級。2智能家居實驗平臺現狀分析根據智能家居涉及到的場景類別（見表2），將智能家居實驗平臺分為綜合場景實驗平臺（即涉及全屋多種場景的實驗平臺）和單一場景實驗平臺（包含一種場景的實驗平臺），如廚房場景、臥室場景等。2.1綜合場景實驗平臺現狀場景問題在人機交互、設計領域的重要性在大量先前研究中已被重申[13]。包含綜合場景的智能家居實驗平臺（下稱“綜合平臺”）是研究普適計算（Ubicomp）、以人為本的設計（Human–CenteredDesign）、計算機支持的協(xié)同工作（CSCW）等人機交互領域問題的重要基礎性設施。相較于單一場景實驗平臺，綜合平臺可支持更大范圍的跨領域研究工作內容，并帶來更加貼近于真實世界的臨場感受。綜合平臺包含多個不同場景，不同場景間可以進行更快速地切換。在綜合平臺內的設施（空間和設備等）可以同時服務于多個不同場景，同時滿足智能家居下多個不同場景的協(xié)同研究需求，可以在同一綜合平臺內開展多種類的實驗，并使不同場景之間建立更自然的上下文關系。綜合平臺不僅保證了研究的完整性，更強化了研究的系統(tǒng)性和可操作性。目前，學術界和工業(yè)界已有一些綜合實驗平臺及相關研究（見表3）。如麻省理工學院在2004年建立了PlaceLab[14-15]，旨在研究居家環(huán)境中的普適計算技術。PlaceLab在室內設計上與普通的家庭環(huán)境無異，但在家具中嵌入了許多傳感裝置來記錄居住者日?；顒拥臄祿?，這些數據可被用于普適計算、預防保健、用戶界面設計等居家環(huán)境下與人的行為相關的研究領域。Eugene等基于Smart-Homeliving-lab（2018）[16]開展了關于智能家居服務和產品的偏好與可用性研究，通過復制一個實際的住宅來讓參觀者可以按照任何住宅空間的順序和方式體驗空間和服務，以挖掘用戶在日常生活行為習慣中蘊含的對智能家居的愿景。聯(lián)想公司的SmartHomeLab[17]打造了模擬真實家居環(huán)境的全屋智能家居樣板間，旨在打造用戶可感的場景智能。Yassine等[18]提出了在智能家居物聯(lián)網中使用霧節(jié)點和云系統(tǒng)處理和分析數據的實驗平臺，用以處理計算密集型應用程序所預期的復雜工作。但上述研究和工程在場景平臺真實性、多樣性、可用性、可拓展性、應用覆蓋領域尺度、數據量級等方面均有較大的提升空間，表3同時列出了這些平臺的局限性，本文提出的綜合實驗平臺設計理論與實踐針對這些局限性均采取了優(yōu)化策略。2.2單一場景實驗平臺現狀單一場景的實驗平臺（以下簡稱“單場景平臺”）是為滿足單一特定研究目的和研究對象而搭建的實驗環(huán)境。單場景平臺舍棄了場景變換的自由，將研究對象限制在某個范圍內，搭建難度比綜合平臺更低。目前，智能家居相關的單場景平臺多集中于智能廚房場景和智能臥室場景等，如MIT媒體實驗室的多項研究與廚房場景相關，Lee等[19]運用投影儀投射菜譜、溫度等數字信息至物理界面以增強信息量，Bonanni等[20]將動態(tài)多媒體畫面映射到空間中以放大用戶的感官輸入等。Booranrom等[21]針對老年人在臥室中的場景，實現了基于Kinect的控制電器開閉與跌倒防護監(jiān)測。通常，單場景平臺所研究的問題具有周期更短、結構化、線程化等特點，然而單場景平臺本身難以滿足未來研究拓展的需求，并無法實現跨場景間的上下文聯(lián)系。表3現有針對智能家居的綜合場景實驗平臺示例Tab.3Examplesoftheexistingintegratedexperimentplatformforsmarthome3智能家居綜合實驗平臺設計研究3.1理論框架本文首先提出智能家居綜合實驗平臺設計的理論框架，核心覆蓋3個層級，即“感知層”“思考層”和“執(zhí)行層”，見圖2?！案兄獙印蓖ㄟ^傳感網絡收集用戶數據，經“思考層”建立數據庫并開展基于數據的智能感知，最后通過“執(zhí)行層”來為用戶提供自然人機交互界面。該3個層級之間獨立存在但高度關聯(lián)，通過傳感網絡、硬件設備、網關網絡、用戶駐地設備、人機交互等方式互相協(xié)作，高效地處理、分析、管理智能家居系統(tǒng)，并為智能家居中各種研究問題提供全面的科學實驗平臺。3.2感知層“感知層”是綜合實驗平臺的基礎，通過在智能空間中配置多通道傳感器網絡來采集多源異構的原始數據。傳感器的部署以用戶的感官通道為準則，盡可能地覆蓋多種感官通道，本文提出的綜合實驗平臺主要包含視覺通道、聽覺通道、觸覺通道和嗅覺通道。同時為了更好地感知用戶所處的環(huán)境，也以環(huán)境為對象部署了相關的傳感器，例如溫度、濕度、二氧化碳、空氣質量等傳感器。圖2智能家居綜合實驗平臺理論框架聽覺通道主要負責采集智能空間中的聲音數據。為了能夠實現對全屋空間中完整的聲音采集，研究人員在綜合實驗平臺中配置了麥克風矩陣與智能音箱相結合的聲音采集方案。麥克風矩陣作為聽覺通道的基礎，主要負責采集全屋空間中包含環(huán)境音和用戶聲音的所有聲音。麥克風矩陣的配置使用一種基于數據驅動的配置方式，使用預先建模的基于真實比例的3D模型作為仿真空間，結合使用聲學仿真軟件，優(yōu)化出合適的麥克風數量和具體的麥克風放置位置。智能音箱放置在智能空間中產生交互的主要場景，如書房、臥室、廚房，智能音箱主要負責感知用戶交互中的語音指令，并提供一定的語義識別功能，作為聽覺通道中細粒度數據的補充。觸覺通道是為了獲取到用戶在智能空間中的與觸覺相關的交互行為數據。智能空間中的觸覺數據主要包含3類：用戶的步態(tài)數據、用戶與智能家具的交互數據、用戶與智能平板的交互數據。步態(tài)數據的采集依賴于在全屋鋪設智能地板，基于電容識別的方式能夠精準地識別出用戶所處的位置，通過對地板獲取的時間序列進行處理可以得到用戶的步態(tài)速度、前進方向、活動區(qū)域、跌倒狀態(tài)等高級特征。用戶與智能家具的交互數據主要包含用戶對于不同家具的交互區(qū)域、交互方式、交互力學大小等，在智能家具中部署柔性壓力傳感器可以感知用戶的接觸點和力學大小，通過部署通信模塊可以將用戶的觸覺交互數據進行傳輸。用戶與智能平板的交互數據同樣依賴于電容感知的識別方式，對用戶與智能平板的交互方式進行記錄，可以得到更加精細化的交互方式和手部的行為模式識別等特征。嗅覺通道是對周邊環(huán)境的氣味數據進行采集。使用基于MEMS傳感器陣列的電子鼻傳感器，能夠對環(huán)境中的氣味進行精準識別。嗅覺通道的構建依賴于智能空間中的場景構建，包含廚房場景和衛(wèi)生間場景等。廚房中配置傳感器能夠檢測到用戶在烹飪中的氣味，通過對氣味數據進行長期的采集和分析，可以對用戶的長期烹飪行為進行追蹤。衛(wèi)生間中的氣味數據包含個體的部分健康信息，通過對這些數據進行長期的采集，可以實現健康追蹤。“感知層”是綜合實驗平臺與真實世界和實體空間交互的媒介。通過該層面，可使綜合實驗平臺內的各類信息被廣泛觀測，為“思考層”和“執(zhí)行層”提供核心數據支撐。3.3思考層“思考層”是綜合實驗平臺的“大腦”，具有整體思考的能力和連通數據獲取到終端執(zhí)行的能力?！八伎紝印必撠熆刂啤案兄獙印钡膫鞲衅骶W絡，處理數據流的接收和存儲，智能感知算法的運行，并對“執(zhí)行層”進行指令分發(fā)?？刂苽鞲衅骶W絡指的是對實驗平臺的多通道傳感器基于實驗目的、硬件條件及其他實際情況而進行計算資源的分配。具體來說，“思考層”可以控制：傳感器采集的啟停；傳感器所采集數據的頻次和分辨率等信息；傳感層網絡采集同步；傳感器網絡的自動化流程；可拓展性分析；性能分析。處理數據是“思考層”的核心功能之一，涉及數據獲取、清洗、標注、存儲、建庫等。綜合實驗平臺所產生的海量數據可以存儲在本地的網絡附屬存儲（NAS）系統(tǒng)中，為智能感知算法構建和“執(zhí)行層”的交互功能構建提供可靠的數據支持?！八伎紝印钡牧硪粋€重要功能是智能感知。通過使用“感知層”所采集的各通道數據，對數據處理后利用算法模型進行感知層面的建模，并將完備的感知模型存入到“思考層”中，在綜合實驗平臺的使用過程中對相關感知算法模型進行調用，以進一步實現智能感知的功能，如行為識別、情感計算、時間判斷、環(huán)境感知等。以行為識別為例，“思考層”執(zhí)行智能感知的過程可以總結如下：通過“感知層”采集綜合平臺內包含用戶活動的視覺通道信息數據，再通過計算機視覺的方法將用戶的動作行為轉化為三維空間的骨骼點數據[22]，通過對骨骼點數據的分析并結合上下文語境、事件序列信息等數據，來綜合判斷用戶行為，甚至預測用戶下一步的行為。與此同時，“思考層”的任務需求和研究結果將對“感知層”的傳感網絡部署提供一定的優(yōu)化反饋，基于智能感知算法的運行結果，“思考層”對“執(zhí)行層”的各類智能單品、智能終端、用戶駐地設備發(fā)送感知結果并提供決策方案，指導“執(zhí)行層”與用戶展開自然人機交互。3.4執(zhí)行層“執(zhí)行層”包含綜合實驗平臺中所有可以與用戶產生交互的終端設備，例如各類家居用智能單品、服務類機器人等各類用戶駐地設備。由于當前家庭與智能家居行業(yè)之間，對如何使用技術的期望存在潛在的不匹配[23]，跨設備交互用戶體驗和數據共享能力較差[24]，所以“執(zhí)行層”需要利用“思考層”作為數據的中轉站，間接打通各類智能單品的數據通信接口。由“傳感層”獲取用戶真實的日常生活數據，經過“思考層”的感知加工和智能識別，產生“執(zhí)行層”中各類用戶駐地設備的交互策略，并指導智能單品與用戶的交互，構建更自然的用戶交互界面?！皥?zhí)行層”的意義在于在一定程度上解決目前智能家居行業(yè)存在的痛點問題，如提高不同智能單品間的聯(lián)動效率、提高聯(lián)動任務的準確性與可靠性、優(yōu)化產品設計與功能、降低房屋能耗等，進而為用戶創(chuàng)造高度個性化的體驗，自主適應每個家庭的生活方式。通過“執(zhí)行層”獲取的用戶體驗結果，可以對“感知層”的傳感網絡部署和“思考層”的智能感知算法提供相應的優(yōu)化反饋。4智能家居綜合實驗平臺應用實踐4.1平臺物理空間配置在本研究中，設計并構建了一個依托真實家居環(huán)境的智能家居綜合實驗平臺，該平臺包含設施完備的客廳、臥室、書房、廚房、洗手間和陽臺，空間面積為60m2左右，該實驗平臺可以基本滿足用戶居家生活中的各類需求，該實驗平臺的實景照片見圖3。該實驗平臺依據圖1的設計構架來進行搭建，各個層次的具體硬件配置見表4。圖3智能家居綜合實驗平臺實景照片表4智能家居綜合實驗平臺（部分）硬件配置Tab.4Hardwareconfigurationofintegratedexperimentplatformforsmarthome(partial)注：每臺工控機配備GeForceRTX3080Ti12GBGPU、AMDRyzen?95950X16核CPU、32GB以上內存、萬兆網卡及8TB以上固態(tài)硬盤在覆蓋綜合平臺空間的感知層配置中，考慮了現有硬件條件和被試者隱私問題，同時考慮未來研究的潛在需求。部分隱私敏感的空間（如臥室、洗手間等）內僅布設了隱私友好的傳感器設備（如嗅覺、觸覺等），同時預留了其他模態(tài)傳感器的快速配置接口。實驗平臺的感知層和思考層均使用冗余設計，以提升平臺的可靠性、穩(wěn)定性和對未來研究的可遷移性。4.2平臺目標用戶畫像根據當今社會普遍家庭構成情況，經過線上問卷調研（270份有效回收）和深度用戶訪談（36位用戶參與），最終選取最具代表性的家庭結構，構建出該智能家居綜合實驗平臺的目標用戶畫像，見圖4。共分為以下6類：獨居青年、年輕夫婦、三口之家、三代同堂、新老年人伴侶與獨居老人。由于年齡與家庭構成人數不同，各類用戶對智能家居場景的關注也有所不同，如獨居老人可能更關注緊急救護，獨居青年可能更關注居家安全等。該綜合實驗平臺可招募符合條件的目標用戶（被試者）開展實驗研究，并根據實際開展研究的課題內容和目標來設計實驗流程與方法。在實驗期間，研究者將與被試者保持持續(xù)溝通，保證實驗平臺內各設施的正常運轉，及時獲取被試者在實驗中的即時體驗與反饋，以進一步優(yōu)化實驗平臺和用戶體驗。圖4智能家居綜合實驗平臺目標用戶畫像4.3可依托平臺所開展的研究利用文中所提出的智能家居綜合實驗平臺，可開展的人機交互、智能感知和用戶體驗等類別的相關研究，表5展示了部分可以依托本平臺開展的研究示例，并提供了相似研究的參考。在此以智能家居中的復雜決策問題為案例，提出一個綜合應用“感知層”“思考層”和“執(zhí)行層”對家居環(huán)境進行控制的示例。在綜合平臺中，通過“感知層”的傳感器網絡，獲得場景空間中的用戶數據和環(huán)境信息；通過“思考層”對綜合數據進行處理和分析，利用多模態(tài)算法模型對數據的語義進行解析，得到用戶的行為、情感狀態(tài)、環(huán)境狀態(tài)等結果；結合上述結果，對“執(zhí)行層”的智能家居設備下達具體指令，以更改設備的工作狀態(tài)和交互方式來匹配適合場景的環(huán)境狀態(tài)。例如在居家辦公場景中，匹配合適工作的溫度、濕度、氛圍光線、音樂等，以及定時提示喝水、起身放松和工作進度監(jiān)控提示等內容。本綜合實驗平臺的“感知層”“思考層”和“執(zhí)行層”中所涉及的設備已經通過了較為長期的穩(wěn)定性測試并驗證了平臺對于相關研究的可靠性。4組年齡在20歲至45歲的被試者（共6人，其中女性3人，男性3人）在該實驗平臺中分別連續(xù)居住14天至180天不等，在此期間，平臺空間設施和設備的運行狀況穩(wěn)定，所收集的實驗數據質量良好。依托此綜合實驗平臺及其理論框架，研究人員正在開展相關領域的研究，例如：產品可用性研究、多模態(tài)交互、情感計算等。目前，各項實驗進展順利，進一步驗證了該綜合實驗平臺的有效性。表5平臺依托的可研究示例Tab.5Examplesofplatform-basedresearchfields5結語本文首先對消費級智能家居和智能家居實驗平臺進行了概念的厘清，對國內外綜合場景和單一場景智能家居綜合實驗平臺開展了現狀分析，以此為基礎，提出了包含“感知層”“思考層”和“執(zhí)行層”3個層面設計理論框架，并以此為核心實現了綜合實驗平臺的應用實踐，探討了平臺使用的目標用戶和依托平臺開展的研究。未來將持續(xù)優(yōu)化和驗證該智能家居綜合實驗平臺的理論構架，繼續(xù)構建和維護相應的物理實體平臺，招募海量被試者開展用戶實驗并建立數據庫，依托該平臺開展前沿的人機交互研究。[1]小米.小米全屋智能指南[EB/OL].(2021-07-18)[2022-03-09]./pages/ai-house-v2/ai-house-introduction-html/rear#/pretend.Xiaomi.XiaomiWholeHouseSmartGuide[EB/OL].(2021-07-18)[2022-03-09]./pages/ai-house-v2/ai-house-introduction-html/rear#/pretend.[2]搜狐.美的發(fā)布主動式全屋智能解決方案,“3-6-5主動智能全生態(tài)”布局.[EB/OL].(2022-05-21)[2022-06-09]./a/549149471_111100.Sohu.MideaReleasedActiveWholeHouseIntelligenceSolutions,"3-6-5ActiveIntelligenceWholeEcology"layout[EB/OL].(2022-05-21)[2022-06-09].https://www./a/549149471_111100.[3]華為.華為全屋智能[EB/OL].(2021-04-08)[2022-06-09]./cn/wholehome/wholehome/.Huawei.HuaweiWholeHouseIntelligence[EB/OL].(2021-04-08)[2022-06-09]./cn/wholehome/wholehome/[4]焦天一,李佳琪,張雅烜.中國智能家居行業(yè)研究報告[R].北京:億歐智庫,2020.JIAOTian-yi,LIJia-qi,ZHANGYa-xuan.ChinaSmartHomeIndustryResearchReport[R].Beijing:Iyiou,2020.[5]胡文靜,魏宇彤.用AI營造有安全感的家——2021智慧家居趨勢報告[R].上海:第一財經商業(yè)數據中心,2021.HUWen-jing,WEIYu-tong.CreatingaSecureHomewithAi-2021SmartHomeTrendsReport[R].Shanghai:FirstFinancialBusinessDataCenter,2021.[6]工業(yè)和信息化標準信息服務平臺.工業(yè)和信息化部智慧家庭標準工作組籌建公式[EB/OL].(2020-05-19)[2022-06-09]./NoticeManagement/ShowNoticeDetails.aspx?Id=WuWS6mi1F4M=.IndustryandInformationTechnologyStandardsInformationServicePlatform.MinistryofIndustryandInformationTechnologySmartHomeStandardsWorkingGroupPreparatoryFormula[EB/OL].(2020-05-19)[2022-06-09]./NoticeManagement/ShowNoticeDetails.aspx?Id=WuWS6mi1F4M=.[7]RISTESKASTOJKOSKABL,TRIVODALIEVKV.AReviewofInternetofThingsforSmartHome:ChallengesandSolutions[J].JournalofCleanerProduction,2017,140:1454-1464.[8]GARGR,CUIHua.SocialContexts,Agency,andConflicts:ExploringCriticalAspectsofDesignforFutureSmartHomeTechnologies[J].ACMTransactionsonComputer-HumanInteraction,2022,29(2):1-30.[9]ZDANKINP,CARLO,WALTEREITM,etal.RequirementsandMechanismsforSmartHomeUpdates[J].Informatik2020(1):307.[10]YANSheng-zan,HOUYa-jing,HANZhi-tian.ResearchonSmartHomeProductDesignDrivenbyBigDa-ta[C]//20212ndInternationalConferenceonIntelligentDesign(ICID).Xi'an:IEEE:2021.[11]ZWAKMANDS,PALD,ARPNIKANONDTC.UsabilityEvaluationofArtificialIntelligence-BasedVoiceAssistants:TheCaseofAmazonAlexa[J].SNComputerScience,2021,2(1):28.[12]付心儀,薛程,李希,等.基于姿態(tài)的情感計算綜述[J].計算機輔助設計與圖形學學報,2020,32(7):1052-1061.FUXin-yi,XUECheng,LIXi,etal.AReviewofBodyGestureBasedAffectiveComputing[J].JournalofComputer-AidedDesign&ComputerGraphics,2020,32(7):1052-1061.[13]CARROLLJM.FiveReasonsforScenario-BasedDesign[J].InteractingWithComputers,2000,13(1):43-60.[14]INTILLESS,LARSONK,BEAUDINJS,etal.ThePlaceLab:ALive-inLaboratoryforPervasiveComputingResearch(Video)[C].Munich:Springer,2005.[15]INTILLESS,LARSONK,BEAUDINJS,etal.Alivinglaboratoryforthedesignandevaluationofubiquitouscomputingtechnologies[C]//CHI'05ExtendedAbstractsonHumanFactorsinComputingSystems.PortlandORUSA.NewYork:ACM,2005.[16]SEOE,BAES,CHOIH,etal.PreferenceandUsabilityofSmart-HomeServicesandItems-aFocusontheSmart-HomeLiving-Lab[J].JournalofAsianArchitectureandBuildingEngineering,2021,20(6):650-662.[17]Lenovo.BeyondtheDoorbell:BuildingtheCompleteSmartHome[EB/OL].(2019-07-23)[2022-06-09].https://news./beyond-the-doorbell-building-the-complete-smart-home/.[18]YASSINEA,SINGHS,HOSSAINMS,etal.IoTBigDataAnalyticsforSmartHomeswithFogandCloudComputing[J].FutureGenerationComputerSystems,2019,91:563-573.[19]LEECH,BONNANIL,SELKERT.AugmentedRealityKitchen:EnhancingHumanSensibilityinDomesticLife[C]//SIGGRAPH'05:ACMSIGGRAPH2005Posters.NewYork:ACM,2005.[20]BONANNIL,LEECH.TheKitchenasaGraphicalUserInterface[J].DigitalCreativity,2005,16(2):110-114.[21]BOORANROMY,WATANAPAB,MONGKOLNAMP.SmartBedroomforElderlyUsingKinect[C]//2014InternationalComputerScienceandEngineeringConference(ICSEC).KhonKaen:IEEE,2014.[22]付心儀,蔡天陽,薛程,等.基于BGRU-FUS-NN神經網絡的姿態(tài)情感計算方法研究[J].計算機輔助設計與圖形學學報,2020,32(7):1070-1079.FUXin-yi,CAITian-yang,XUECheng,etal.ResearchonBody-GestureAffectiveComputingMethodBasedonBGRU-FUS-NNNeuralNetwork[J].JournalofComputer-AidedDesign&ComputerGraphics,2020,32(7):1070-1079.[23]JENSENRH,STRENGERSY,KJELDSKOVJ,etal.DesigningtheDesirableSmartHome:AStudyofHouseholdExperiencesandEnergyConsumptionImpacts[C]//Proceedingsofthe2018CHIConferenceonHumanFactorsinComputingSystems.NewYork:ACM,2018.[24]ZHANGR,SHIY,SCHULLERB,etal.UserExperienceforMulti-DeviceEcosystems:ChallengesandOpportunities[C]//CHIEA'21:ExtendedAbstractsofthe2021CHIConferenceonHumanFactorsinComputingSystems,Yokohama:AssociationforComputingMachinery,2021.[25]DOHM,PHAMM,SHENGWei-hua,etal.RiSH:ARobot-IntegratedSmartHomeforElderlyCare[J].RoboticsandAutonomousSystems,2018,101:74-92.[26]ABDIN,RAMOKAPANEKM,SUCHJM.MorethanSmartSpeakers:SecurityandPrivacyPerceptionsofSmartHomePersonalAssistants[C]//ProceedingsoftheFifteenthUSENIXConferenceonUsablePrivacyandSecurity.NewYork:ACM,2019:451-466.[27]HUANGZhan-yuan,LIUYang,FANGYa-jun,etal.Video-basedfalldetectionforseniorswithhumanposeestimation[C]//20184thInternationalConferenceonUniversalVillage(UV).Boston:IEEE,2018:1-4.[28]CHATTERJEER,MAZUMDARS,SHERRATTRS,etal.Real-TimeSpeechEmotionAnalysisforSmartHomeAssistants[J].IEEETransactionsonConsumerElectronics,2021,67(1):68-76.[29]SADIKOGLU-ASANH.'User-HomeRelationship'RegardingUserExperienceofSmartHomeProducts[J].IntelligentBuildingsInternational,2022,14(1):114-130.[30]CURUMSINGMK,FERNANDON,ABDELRAZEKM,etal.Emotion-OrientedRequirementsEngineering:ACaseStudyinDevelopingaSmartHomeSystemfortheElderly[J].JournalofSystemsandSoftware,2019,147:215-229.[31]WANGJu,SPICHERN,WARNECKEJM,etal.UnobtrusiveHealthMonitoringinPrivateSpaces:TheSmartHome[J].Sensors(Basel,Switzerland),2021,21(3):864.DesignResearchandApplicationPracticeofIntegratedExperimentalPlatformforSmartHomeFUXin-yi1a,ZHANGHe1a,XUECheng1a,1b,LIXin-yang2,SUNZhe1a,1b,XUYing-qing1a,1b(1.a.TheFutureLaboratory,b.AcademyofArts&Design,TsinghuaUniversity,Beijing100080,China;2.SchoolofMechanicalEngineering&Automation,BeihangUniversity,Beijing100191,China)Thepaperaimstoorderandanalyzethecurrentsituationoftheexistingsmarthomeexperimentplatforms,explorethedesignandresearchmethodsoftheintegratedexperimentplatformforsmarthome,andcarryouttheapplicationpracticeontheconstructionofplatform.Basedonthetheoret