1、復(fù)旦智能服務(wù)機器人關(guān)鍵技術(shù)與產(chǎn)業(yè)應(yīng)用復(fù)旦智能服務(wù)機器人關(guān)鍵技術(shù)與產(chǎn)業(yè)應(yīng)用匯報提綱 背景與意義 成果與創(chuàng)新 產(chǎn)權(quán)與評價人員與貢獻 應(yīng)用與效益12354匯報提綱 背景與意義 成果與創(chuàng)新 產(chǎn)權(quán)與評價人員與貢獻 應(yīng)第一部分 背景與意義3第一部分5研究背景機器人是“第三次工業(yè)革命”的切入點和增長點，體現(xiàn)了國家高技術(shù)領(lǐng)域的綜合實力。服務(wù)機器人是非結(jié)構(gòu)化場景下具有感知、認知和自主行為能力的系統(tǒng)，存在如下技術(shù)挑戰(zhàn):環(huán)境未知而動態(tài)，需要高度的自主性；自然的人機交互，高可靠性和穩(wěn)定性；需理解人的意圖，自適應(yīng)行為和動作。研究背景機器人是“第三次工業(yè)革命”的切入點和增長點，體現(xiàn)了國第二部分： 成果與創(chuàng)新5第二部分：7

2、產(chǎn)學(xué)研歷程200520072017201020112015復(fù)旦I號復(fù)娃海寶愛家I號中醫(yī)機器人 家庭服務(wù)創(chuàng)新力積累：國基金、科技部、市科委、211專項等產(chǎn)業(yè)化積累：從產(chǎn)業(yè)界拿經(jīng)費：項目、聯(lián)合實驗室、股份時間產(chǎn)學(xué)研歷程200520072017201020112015復(fù)項目資助項目來源項目名稱及編號國家科技部863媒體大數(shù)據(jù)的深度語義分析與結(jié)構(gòu)化描述研究國家自然科學(xué)基金基于生物視覺的感知和認知結(jié)合的學(xué)習(xí)模型及其在腦型機器人上的應(yīng)用上海市科委基礎(chǔ)研究重大項目基于腦信息處理的深度神經(jīng)網(wǎng)絡(luò)和智能系統(tǒng)上海電氣合作項目基于深度信息的機器人三維目標識別與跟蹤技術(shù)研究橫向項目家庭服務(wù)機器人項目資助項目來源項目名稱

3、及編號國家科技部863媒體大數(shù)據(jù)的深成果與創(chuàng)新創(chuàng)新點 1基于視覺和聽覺感知信息的心智發(fā)育理論算法創(chuàng)新點 2基于視覺信息的WWN網(wǎng)絡(luò)模型，解決了復(fù)雜背景下目標檢測、識別和跟蹤問題創(chuàng)新點 3基于視覺信息的中文語義理解技術(shù)，解決了語義鴻溝難題，顯著提高了智能問答、用戶意圖和情感分析能力創(chuàng)新點 4研制了成本低、集成度高的6代服務(wù)機器人成果與創(chuàng)新創(chuàng)新點 1基于視覺和聽覺感知信息的心智發(fā)育理論算法創(chuàng)新點1心智發(fā)育理論算法受認知心理學(xué)啟發(fā)，通過與外界環(huán)境的交互，實現(xiàn)對外部世界的理解和認知，而不僅僅只是完成特定任務(wù)* Autonomous Mental Development by Robots and An

4、imals, Science, vol. 291, no. 5504, pp. 599-600. 特定任務(wù)非特定任務(wù)外界環(huán)境外界環(huán)境傳感器效應(yīng)器傳感器效應(yīng)器圖片圖片符號符號圖片圖片圖片圖片Emergent AutomationDP創(chuàng)新點1心智發(fā)育理論算法受認知心理學(xué)啟發(fā)，通過與外界環(huán)境的創(chuàng)新點1心智發(fā)育理論算法 突破性成果：增量式的在線學(xué)習(xí)發(fā)育方法基于視聽覺信息的特征不變性發(fā)育基于上下文的注意力選擇發(fā)育； 成功研制復(fù)旦I號機器人平臺突破了傳統(tǒng)機器人的設(shè)計思路，成功研制了國內(nèi)第一臺自主心智發(fā)育機器人ZL200610027197.3， ZL200730081396.8；2008SR00892 創(chuàng)新

5、點1心智發(fā)育理論算法 突破性成果：突破了傳統(tǒng)機器人的設(shè)創(chuàng)新點2- WWN網(wǎng)絡(luò)模型實時檢測和識別任何時刻的目標(What 信息)和目標所在位置信息(Where 信息)解決了復(fù)雜背景下目標檢測、識別和跟蹤和SLAM（即時定位與地圖構(gòu)建）問題 創(chuàng)新點2- WWN網(wǎng)絡(luò)模型實時檢測和識別任何時刻的目標(Wh運用自組織學(xué)習(xí)和合理的新、老知識的處理，解決了生物視覺領(lǐng)域復(fù)雜背景下物體識別所面臨的多物體、多尺度的識別難題。 在2010年上海世博會上面對客流量大、場景復(fù)雜多變的挑戰(zhàn)，成功展出了半年之久，獲得了各界廣泛關(guān)注 。2022/9/212016吳文俊人工智能科學(xué)技術(shù)獎12創(chuàng)新點2- WWN網(wǎng)絡(luò)模型運用自組織

6、學(xué)習(xí)和合理的新、老知識的處理，解決了生物視覺領(lǐng)域復(fù)創(chuàng)新點3- 基于深度學(xué)習(xí)的中文語義分析通過包含上下文信息的語義分析，采用知識圖譜構(gòu)建背景知識模型，解決了語義鴻溝難題。顯著提高了機器人智能問答、用戶意圖和情感分析能力和反應(yīng)速度。 * 國際上首次將深度學(xué)習(xí)用于中文分詞和詞性等語義分析領(lǐng)域，中譯文在線閱讀萬余次X zheng,. Deep learning for Chinese word Segmentation and POS tagging. EMNLP2013. 647-657創(chuàng)新點3- 基于深度學(xué)習(xí)的中文語義分析通過包含上下文信息的語創(chuàng)新點4- 研制成功6代服務(wù)機器人攻克了低成本系統(tǒng)集成

7、技術(shù)，解決了核心部件與系統(tǒng)性能一致性難以匹配的問題。 開發(fā)了面向公共服務(wù)的“復(fù)娃機器人”，面向家庭應(yīng)用的“愛家一號機器人”和“睿豆機器人”，面向醫(yī)療健康的“中醫(yī)健康服務(wù)機器人”等。2016吳文俊人工智能科學(xué)技術(shù)獎創(chuàng)新點4- 研制成功6代服務(wù)機器人攻克了低成本系統(tǒng)集成技術(shù)，家庭服務(wù)機器人具有遠程監(jiān)控、自主巡邏、自主充電等功能。中醫(yī)健康服務(wù)機器人具有面診、舌診、問診、遠程醫(yī)療等功能。家庭服務(wù)機器人中醫(yī)健康服務(wù)機器人第三部分： 知識產(chǎn)權(quán)與第三方評價16第三部分：18知識產(chǎn)權(quán)發(fā)表SCI、EI論文86篇，其中發(fā)表在頂級A區(qū)國際會議和期刊論文22篇。IJCAI， CVPR， IEEE AMD等申請發(fā)明專利

8、79項，獲專利授權(quán)36項知識產(chǎn)權(quán)發(fā)表SCI、EI論文86篇，其中發(fā)表在頂級A區(qū)國際會第三方評價評審意見2022/9/21“家用智能服務(wù)機器人” 鑒定意見： “開發(fā)了面向家庭應(yīng)用的語音視頻人機交互、機器人遠程監(jiān)控和通訊等算法及軟件系統(tǒng)，實現(xiàn)了家庭環(huán)境下智能安保與益智教育兩大主要功能”， 鑒定委員會一致認為該成果處于國際先進、國內(nèi)領(lǐng)先水平”。 “自主心智發(fā)育機器人關(guān)鍵技術(shù)研究” 驗收意見：研究了基于視覺和聽覺等多模態(tài)信息的在線交互學(xué)習(xí)算法；研究了心智發(fā)育軟件系統(tǒng)算法等。 “在機器人心智發(fā)育理論算法研究方面有原始創(chuàng)新成果” 第三方評價評審意見2022/9/19“家用智能服務(wù)機器人”第三方評價 查新報

9、告 查新結(jié)論：“國內(nèi)外文獻未發(fā)現(xiàn)具備查新項目全部技術(shù)要點的文獻報道.” 第三方評價 查新報告 查新結(jié)論：“國內(nèi)外文獻未發(fā)現(xiàn)具備查第三方評價 國際學(xué)者日本索尼，Oudeyer評價項目的自主心智發(fā)育方法：“開拓了機器人在自主開放的方式下通過學(xué)習(xí)達到智力發(fā)育的可能”2007年發(fā)表在頂級期刊IEEE Transactions on Evolutionary Computation上的論文第三方評價 國際學(xué)者日本索尼，Oudeyer評價項目的自主評價該項目的中文自然語言處理方法：“采用了無監(jiān)督的單詞嵌入預(yù)訓(xùn)練方法，極大地改進了模型準確率”。 IBM研究院：Santos 2014年發(fā)表在機器學(xué)習(xí)頂級會議I

10、CML中的論文第三方評價 國際學(xué)者 IBM研究院：Santos 2014年發(fā)表在機器學(xué)習(xí)頂級第四部分： 應(yīng)用與效益22第四部分：24經(jīng)濟效益 在多家企業(yè)實現(xiàn)了成果轉(zhuǎn)化和市場推廣，近3年新增銷售收入過2億元，取得了顯著的經(jīng)濟效益。經(jīng)濟效益 在多家企業(yè)實現(xiàn)了成果轉(zhuǎn)化和市場推廣，近3年新增銷售復(fù)旦智能服務(wù)機器人關(guān)鍵技術(shù)與產(chǎn)業(yè)應(yīng)用社會效益社會效益復(fù)旦智能服務(wù)機器人關(guān)鍵技術(shù)與產(chǎn)業(yè)應(yīng)用第五部分： 人員與貢獻27第五部分：29合作單位智能服務(wù)機器人技術(shù)的產(chǎn)業(yè)化落地上海贄匠有限公司蘇州俐瑪機器人有限公司機器視覺在自動化生產(chǎn)線改造及產(chǎn)業(yè)化落地上海電氣集團中央研究院上海太敬集團合作教育機器人技術(shù)的產(chǎn)業(yè)化落地合作機

11、器視覺與康復(fù)機器人落地重慶銳納達機器人公司合作家庭服務(wù)機器人產(chǎn)業(yè)化落地合作單位智能服務(wù)機器人技術(shù)的產(chǎn)業(yè)化落地上海贄匠有限公司蘇州俐團隊成員張文強研究員總體負責(zé)，在4個創(chuàng)新點均有涉足鄭驍慶副教授主要負責(zé)服務(wù)機器人人機交互技術(shù)，尤其是語音識別和中文信息處理方面的工作。在發(fā)明點3中有突出貢獻，研制了國內(nèi)第一款深度網(wǎng)絡(luò)應(yīng)用開發(fā)工具。路 紅教授主要負責(zé)服務(wù)機器人視頻交互技術(shù)研究，對家庭服務(wù)機器人視頻交互、定位導(dǎo)航等方面貢獻突出。 張 睿高級工程師主要負責(zé)服務(wù)機器人硬件系統(tǒng)的研制，包括5代機器人電子線路、傳感器單元和控制單元等設(shè)計。白建松講師負責(zé)服務(wù)機器人的創(chuàng)意和外觀設(shè)計，主要是“愛家一號機器人”、“海寶機器人”和“中醫(yī)健康服務(wù)機器人”的創(chuàng)意設(shè)計。在發(fā)明點4中有突出貢獻。牛軍鈺研究員愛家一號機器人項目負責(zé)人,負責(zé)該項目的整體協(xié)調(diào),與客戶的溝通等工作,對家庭服務(wù)機器人的產(chǎn)學(xué)研合作做出了突出貢獻。馮 瑞研究員主要負責(zé)復(fù)娃和愛家一號機器人的軟件系統(tǒng)開發(fā)，在發(fā)明點4均作出了重要貢獻。團隊成員張文強總體負責(zé)，在