CN120224512A 一種根據(jù)心情和天氣自動改變框架顏色的方法和ai眼鏡_第1頁
CN120224512A 一種根據(jù)心情和天氣自動改變框架顏色的方法和ai眼鏡_第2頁
CN120224512A 一種根據(jù)心情和天氣自動改變框架顏色的方法和ai眼鏡_第3頁
CN120224512A 一種根據(jù)心情和天氣自動改變框架顏色的方法和ai眼鏡_第4頁
CN120224512A 一種根據(jù)心情和天氣自動改變框架顏色的方法和ai眼鏡_第5頁
已閱讀5頁,還剩27頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

地址510700廣東省廣州市黃埔區(qū)科學(xué)大H05BGO6NHO5B45/20(2020.01)H05B45/10(2HO5B47/12(2020一種根據(jù)心情和天氣自動改變框架顏色的本申請?zhí)峁┮环N根據(jù)心情和天氣自動改變出佩戴者當(dāng)前的情感狀態(tài)在HSV色彩空間對應(yīng)的的色彩數(shù)值,再根據(jù)眼鏡邊框上多色LED長條燈LED長條燈珠進行控制,使其在眼鏡邊框上顯示21.一種根據(jù)心情和天氣自動改變框架顏色的方法,應(yīng)用于AI眼鏡,其特征在于,所述方法包括:實時收集佩戴者周邊的人員交流語言信息和當(dāng)前的天氣信息;對所述人員交流語言信息和當(dāng)前的天氣信息分別進行預(yù)處理,并轉(zhuǎn)換得到向量形式的音頻特征和天氣特征;將所述音頻特征和天氣特征輸入預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型,輸出所述佩戴者當(dāng)前的情感狀態(tài),所述情感狀態(tài)包括情感標簽和情感強度特征,所述情感強度特征包括愉悅度、喚醒度和主導(dǎo)性三個特征值;通過預(yù)設(shè)的映射函數(shù)將所述情感狀態(tài)轉(zhuǎn)換為HSV色彩空間對應(yīng)的色彩信息,所述色彩信息包括色相、飽和度和亮度三個通道的值,不同所述情感狀態(tài)對應(yīng)不同所述色彩信息;將所述色彩信息轉(zhuǎn)換成RGB色彩空間對應(yīng)的色彩數(shù)值,再根據(jù)眼鏡邊框上多色LED長條燈珠的實際布局生成整體的燈珠控制信號;依據(jù)所述燈珠控制信號對所述多色LED長條燈珠進行控制,使所述多色LED長條燈珠在所述眼鏡邊框上顯示出與所述情感狀態(tài)相對應(yīng)的色彩。2.根據(jù)權(quán)利要求1所述的方法,其特征在于,在所述將所述音頻特征和天氣特征輸入預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型,輸出所述佩戴者當(dāng)前的情感狀態(tài)的步驟之前,還包括:采集多種場景下的語言交流音頻數(shù)據(jù),以及對應(yīng)的環(huán)境天氣數(shù)據(jù);對所述語言交流音頻數(shù)據(jù)和所述環(huán)境天氣數(shù)據(jù)進行情感狀態(tài)標注,得到訓(xùn)練數(shù)據(jù)集,所述語言交流音頻數(shù)據(jù)和對應(yīng)所述環(huán)境天氣數(shù)據(jù)為所述神經(jīng)網(wǎng)絡(luò)模型的輸入數(shù)據(jù),所述情感狀態(tài)標注為所述神經(jīng)網(wǎng)絡(luò)模型的輸出驗證數(shù)據(jù);使用所述訓(xùn)練數(shù)據(jù)集對所述神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練,得到預(yù)訓(xùn)練的所述神經(jīng)網(wǎng)絡(luò)模型,所述神經(jīng)網(wǎng)絡(luò)模型依據(jù)卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)混合構(gòu)建。3.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述將所述音頻特征和天氣特征輸入預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型,輸出所述佩戴者當(dāng)前的情感狀態(tài)的步驟,具體包括:將預(yù)設(shè)時間段內(nèi)的所述音頻特征轉(zhuǎn)換為梅爾頻譜形式,得到梅爾頻譜矩陣;使用卷積神經(jīng)網(wǎng)絡(luò)對所述梅爾頻譜矩陣進行特征提取,并將提取的特征輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中,得到所述語言交流音頻數(shù)據(jù)的時間序列特征;將與所述時間序列特征對應(yīng)的天氣特征,通過全連接層映射到與所述時間序列特征相同的維度并進行特征融合,得到綜合特征向量;依據(jù)所述綜合特征向量確定佩戴者當(dāng)前的情感狀態(tài)。4.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述通過預(yù)設(shè)的映射函數(shù)將所述情感狀態(tài)依據(jù)情感標簽的分類索引和情感類別總數(shù)確定所述色彩信息的色相;依據(jù)喚醒度映射得到所述色彩信息的飽和度;依據(jù)所述喚醒度和主導(dǎo)性計算得到所述色彩信息的亮度。5.根據(jù)權(quán)利要求1所述的方法,其特征在于,在所述實時收集佩戴者周邊的人員交流語言信息和當(dāng)前的天氣信息的步驟之前,還包括:依據(jù)佩戴者所在地的歷史天氣信息確定平均天氣變化周期;依據(jù)所述平均天氣變化周期從佩戴者的移動終端獲取當(dāng)前的天氣信息,所述移動終端3與AI眼鏡無線連接。6.根據(jù)權(quán)利要求1所述的方法,其特征在于,在所述實時收集佩戴者周邊的人員交流語言信息和當(dāng)前的天氣信息的步驟之后,還包括:通過骨傳導(dǎo)傳感器捕捉佩戴者交流過程中的骨骼震動信號;通過預(yù)設(shè)算法將所述骨骼震動信號轉(zhuǎn)換為語音內(nèi)容;依據(jù)所述語音內(nèi)容對所述人員交流語言信息進行校準。7.根據(jù)權(quán)利要求1所述的方法,其特征在于,在所述根據(jù)眼鏡邊框上多色LED長條燈珠的實際布局生成整體的燈珠控制信號的步驟之前,還包括:接收佩戴者在移動終端上設(shè)置的個性化區(qū)域;依據(jù)所述個性化區(qū)域確定在實際布局中可控制的多色LED長條燈珠。所述存儲器與所述一個或多個處理器耦合,所述存儲器用于存儲計算機程序代碼,所述計算機程序代碼包括計算機指令,所述一個或多個處理器調(diào)用所述計算機指令以使得所述AI眼鏡執(zhí)行如權(quán)利要求1-7中任一項所述的方法。9.一種計算機可讀存儲介質(zhì),包括指令,其特征在于,當(dāng)所述指令在AI眼鏡上運行時,使得所述AI眼鏡執(zhí)行如權(quán)利要求1-7中任一項所述的方法。10.一種計算機程序產(chǎn)品,其特征在于,當(dāng)所述計算機程序產(chǎn)品在AI眼鏡上運行時,使得所述AI眼鏡執(zhí)行如權(quán)利要求1-7中任一項所述的方法。4一種根據(jù)心情和天氣自動改變框架顏色的方法和AI眼鏡技術(shù)領(lǐng)域[0001]本申請涉及光源控制技術(shù)領(lǐng)域,尤其涉及一種根據(jù)心情和天氣自動改變框架顏色的方法和AI眼鏡。背景技術(shù)[0002]隨著智能可穿戴設(shè)備的快速發(fā)展,智能AI眼鏡作為一種新興的人機交互設(shè)備,逐漸受到市場的廣泛關(guān)注和研究者的重視。智能眼鏡不僅能夠提供傳統(tǒng)的視覺輔助功能,還可以通過感知用戶的情感狀態(tài)、環(huán)境信息等,與用戶進行更深層次的交互。例如,通過自動改變顯示顏色、光效等方式對用戶的情感進行表達或反饋。[0003]相關(guān)技術(shù)中,主要通過腦電采集模塊采集佩戴者的腦電信號,并將其傳輸至情緒評估模塊進行特征提取和情緒分類,情緒分類結(jié)果用于控制電致變色組件(如眼鏡框架)的顏色變化。同時還可以根據(jù)腦電信號生成與情緒相對應(yīng)的音樂,以進一步調(diào)節(jié)佩戴者的情緒狀態(tài)。[0004]然而,依據(jù)腦電信號反映的情緒狀態(tài)對眼鏡框架進行顏色調(diào)節(jié),難以準確地滿足佩戴者的個性化需求。例如,暴雨天氣產(chǎn)生的焦慮情緒可能與社交沖突引發(fā)的焦慮情緒在腦電特征上呈現(xiàn)高度相似性,導(dǎo)致相同情緒類別在不同環(huán)境場景下可能產(chǎn)生完全相同的色彩反饋。發(fā)明內(nèi)容[0005]本申請?zhí)峁┝艘环N根據(jù)心情和天氣自動改變框架顏色的方法和AI眼鏡,用于應(yīng)對相關(guān)技術(shù)難以區(qū)分不同環(huán)境場景下的相似情緒,導(dǎo)致框架色彩反饋單一的問題。[0006]第一方面,本申請?zhí)峁┮环N根據(jù)心情和天氣自動改變框架顏色的方法,應(yīng)用于AI實時收集佩戴者周邊的人員交流語言信息和當(dāng)前的天氣信息;對所述人員交流語言信息和當(dāng)前的天氣信息分別進行預(yù)處理,并轉(zhuǎn)換得到向量形式的音頻特征和天氣特征;將所述音頻特征和天氣特征輸入預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型,輸出所述佩戴者當(dāng)前的情感狀態(tài),所述情感狀態(tài)包括情感標簽和情感強度特征,所述情感強度特征包括愉悅度、喚醒度和主導(dǎo)性三個特征值;通過預(yù)設(shè)的映射函數(shù)將所述情感狀態(tài)轉(zhuǎn)換為HSV色彩空間對應(yīng)的色彩信息,所述色彩信息包括色相、飽和度和亮度三個通道的值,不同所述情感狀態(tài)對應(yīng)不同所述色彩信將所述色彩信息轉(zhuǎn)換成RGB色彩空間對應(yīng)的色彩數(shù)值,再根據(jù)眼鏡邊框上多色LED長條燈珠的實際布局生成整體的燈珠控制信號;依據(jù)所述燈珠控制信號對所述多色LED長條燈珠進行控制,使所述多色LED長條燈珠在所述眼鏡邊框上顯示出與所述情感狀態(tài)相對應(yīng)的色彩。5[0007]通過上述實施例,AI眼鏡可以實時收集佩戴者周邊的人員交流語言信息,并結(jié)合當(dāng)前的天氣信息,通過預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型處理,確定佩戴者當(dāng)前的情感狀態(tài)。并依據(jù)情感狀態(tài)與HSV色彩空間的映射關(guān)系輸出包括色相、飽和度和亮度的色彩信息,再通過多色LED燈珠在眼鏡框架上對色彩信息進行顯示。這種方法能夠結(jié)合周圍環(huán)境的氣候條件,使鏡框?qū)崟r動態(tài)地反映佩戴者的情緒變化,為用戶提供更加個性化和情景化的視覺體驗。[0008]在一些實施例中,在所述將所述音頻特征和天氣特征輸入預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模采集多種場景下的語言交流音頻數(shù)據(jù),以及對應(yīng)的環(huán)境天氣數(shù)據(jù);對所述語言交流音頻數(shù)據(jù)和所述環(huán)境天氣數(shù)據(jù)進行情感狀態(tài)標注,得到訓(xùn)練數(shù)據(jù)集,所述語言交流音頻數(shù)據(jù)和對應(yīng)所述環(huán)境天氣數(shù)據(jù)為模型的輸入數(shù)據(jù),所述情感狀態(tài)標注為模型的輸出驗證數(shù)據(jù);使用所述訓(xùn)練數(shù)據(jù)集對所述神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練,得到預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型,所述神經(jīng)網(wǎng)絡(luò)模型依據(jù)卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)混合構(gòu)建。[0009]通過上述實施例,AI眼鏡通過采集和標注多種場景下的語言交流音頻數(shù)據(jù)及對應(yīng)的環(huán)境天氣數(shù)據(jù),用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型,構(gòu)建了不同天氣數(shù)據(jù)下音頻數(shù)據(jù)與佩戴者情感狀態(tài)之間的映射關(guān)系,使得AI眼鏡能更準確地識別出佩戴者的情感狀態(tài),并依據(jù)這些情感狀態(tài)調(diào)整眼鏡框架的顏色。[0010]在一些實施例中,所述將所述音頻特征和天氣特征輸入預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型,輸出所述佩戴者當(dāng)前的情感狀態(tài)的步驟,具體包括:將預(yù)設(shè)時間段內(nèi)的所述音頻特征轉(zhuǎn)換為梅爾頻譜形式,得到梅爾頻譜矩陣;使用卷積神經(jīng)網(wǎng)絡(luò)對所述梅爾頻譜矩陣進行特征提取,并將提取的特征輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中,得到所述語言交流音頻數(shù)據(jù)的時間序列特征;將與所述時間序列特征對應(yīng)的天氣特征,通過全連接層映射到與所述時間序列特征相同的維度并進行特征融合,得到綜合特征向量;依據(jù)所述綜合特征向量確定佩戴者當(dāng)前的情感狀態(tài)。[0011]通過上述實施例,AI眼鏡通過將音頻數(shù)據(jù)轉(zhuǎn)換為梅爾頻譜形式并提取特征,結(jié)合天氣特征,通過特征融合得到綜合特征向量,這種方法使得情感判斷更為精細和全面,提高了情感識別的準確率和響應(yīng)速度,進而使得眼鏡顏色的改變更加符合實際情感狀態(tài)。[0012]在一些實施例中,所述通過預(yù)設(shè)的映射函數(shù)將所述情感狀態(tài)轉(zhuǎn)換為HSV色彩空間依據(jù)情感標簽的分類索引和情感類別總數(shù)確定所述色彩信息的色相;依據(jù)喚醒度映射得到所述色彩信息的飽和度;依據(jù)所述喚醒度和主導(dǎo)性計算得到所述色彩信息的亮度。[0013]通過上述實施例,AI眼鏡建立了情感狀態(tài)的不同維度(情感標簽、喚醒度和主導(dǎo)性)與HSV色彩空間中的色相、飽和度和亮度之間的對應(yīng)關(guān)系。這種細致的色彩調(diào)整機制允許眼鏡顯示更豐富和精確的色彩變化,能夠更細致地反映出佩戴者的情緒變化。[0014]在一些實施例中,在所述實時收集佩戴者周邊的人員交流語言信息和當(dāng)前的天氣依據(jù)佩戴者所在地的歷史天氣信息確定平均天氣變化周期;6依據(jù)所述平均天氣變化周期從佩戴者的移動終端獲取當(dāng)前的天氣信息,所述移動終端與AI眼鏡無線連接。[0015]通過上述實施例,AI眼鏡從佩戴者的移動終端獲取當(dāng)前的天氣信息,并利用歷史天氣信息的變化規(guī)律確定從移動終端讀取天氣信息的數(shù)據(jù)請求周期,該方法在減少數(shù)據(jù)傳輸?shù)那疤嵯录皶r監(jiān)測到當(dāng)前天氣信息的變化,便于后續(xù)對鏡框進行顏色調(diào)整。[0016]在一些實施例中,在所述實時收集佩戴者周邊的人員交流語言信息和當(dāng)前的天氣通過骨傳導(dǎo)傳感器捕捉佩戴者交流過程中的骨骼震動信號;通過預(yù)設(shè)算法將所述骨骼震動信號轉(zhuǎn)換為語音內(nèi)容;依據(jù)所述語音內(nèi)容對所述人員交流語言信息進行校準。[0017]通過上述實施例,AI眼鏡通過骨傳導(dǎo)傳感器捕捉交流過程中的骨骼震動信號,并將這些信號轉(zhuǎn)換為語音內(nèi)容并對麥克風(fēng)接收到的音頻數(shù)據(jù)進行校準。這種技術(shù)可以提高語言信息收集的準確性,尤其是在嘈雜環(huán)境中,通過骨傳導(dǎo)技術(shù)可以有效減少背景噪音的干[0018]在一些實施例中,在所述根據(jù)眼鏡邊框上多色LED長條燈珠的實際布局生成整體接收佩戴者在移動終端上設(shè)置的個性化區(qū)域;依據(jù)所述個性化區(qū)域確定在實際布局中可控制的多色LED長條燈珠。[0019]通過上述實施例,AI眼鏡在生成燈珠控制信號前接收佩戴者設(shè)置的個性化區(qū)域,并依據(jù)這些設(shè)置調(diào)整LED燈珠的實際布局控制。這允許用戶按照個人偏好定制眼鏡顯示的顏色區(qū)域,增加了鏡框顏色顯示的個性化和實用性。用戶可以選擇特定的顏色顯示區(qū)域,使得眼鏡的顏色變化不僅反映情感狀態(tài),還能符合個人的審美和情境需求。[0020]第二方面,本申請?zhí)峁┮环NAI眼鏡,所述AI眼鏡包括:一個或多個處理器和存儲所述存儲器與所述一個或多個處理器耦合,所述存儲器用于存儲計算機程序代碼,所述計算機程序代碼包括計算機指令,所述一個或多個處理器調(diào)用所述計算機指令以使得所述AI眼鏡可以實現(xiàn)上述實施例提供的一種根據(jù)心情和天氣自動改變框架顏色的方[0021]第三方面,本申請?zhí)峁┮环N計算機可讀存儲介質(zhì),包括指令,當(dāng)所述指令在AI眼鏡上運行時,使得所述AI眼鏡可以實現(xiàn)上述實施例提供的一種根據(jù)心情和天氣自動改變框架[0022]第四方面,本申請?zhí)峁┮环N計算機程序產(chǎn)品,當(dāng)所述計算機程序產(chǎn)品在AI眼鏡上運行時,使得所述AI眼鏡可以實現(xiàn)上述實施例提供的一種根據(jù)心情和天氣自動改變框架顏[0023]本申請實施例中提供的一個或多個技術(shù)方案,至少具有如下技術(shù)效果或優(yōu)點:1、通過實時收集和分析佩戴者周邊的人員交流語言信息和當(dāng)前的天氣信息,然后通過預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型識別出佩戴者的情感狀態(tài),并根據(jù)這些情感與特定顏色的映射關(guān)系自動調(diào)整眼鏡框架的顏色,使AI眼鏡不僅反映用戶的情感變化,同時考慮環(huán)境因素,提供更為動態(tài)和個性化的視覺體驗,增強了人機交互的自然性和直觀性。7[0024]2、結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)對音頻和天氣數(shù)據(jù)進行深層次特征提取和融合。這不僅提高了情感識別的精度,還使得AI眼鏡能夠在復(fù)雜的環(huán)境中更準確地反映佩戴者的情緒,為用戶提供更加精細化的情感反應(yīng)和色彩調(diào)整。[0025]3、通過利用歷史天氣信息的變化規(guī)律確定天氣數(shù)據(jù)的獲取周期,并結(jié)合用戶設(shè)定的個性化區(qū)域進行燈珠布局的調(diào)整,不僅增強了AI眼鏡的個性化和實用性,而且通過精確調(diào)節(jié)燈珠的控制和輸出,使得設(shè)備更加靈活地適應(yīng)用戶的需求和環(huán)境變化,增強了智能眼鏡的功能性和吸引力。附圖說明[0026]圖1是本申請實施例中一種根據(jù)心情和天氣自動改變框架顏色的方法的一個流程示意圖;圖2是本申請實施例中一種根據(jù)心情和天氣自動改變框架顏色的方法的另一個流程示意圖;圖3是本申請實施例中AI眼鏡的一種實體裝置結(jié)構(gòu)示意圖。具體實施方式[0027]本申請以下實施例中所使用的術(shù)語只是為了描述特定實施例的目的,而并非旨在作為對本申請的限制。如在本申請的說明書和所附權(quán)利要求書中所使用的那樣,單數(shù)表達文中明確地有相反指示。還應(yīng)當(dāng)理解,本申請中使用的術(shù)語“和/列出項目的任何或所有可能組合。義是兩個或兩個以上。[0029]為便于理解,下面對本實施提供的方法進行流程敘述。請參閱圖1,為本申請實施例中一種根據(jù)心情和天氣自動改變框架顏色的方法的一個流程示意圖。[0030]S101、實時收集佩戴者周邊的人員交流語言信息和當(dāng)前的天氣信息。[0031]AI眼鏡通過在鏡腿等位置集成微型麥克風(fēng)陣列來實時采集周圍的語音信息(人員交流語言信息)。其中,麥克風(fēng)陣列由多個定向麥克風(fēng)組成,采用波束形成技術(shù)可以有效隔離背景噪聲,準確捕捉交談?wù)叩恼Z音。語音采集過程中,麥克風(fēng)陣列通過自適應(yīng)波束形成算法動態(tài)調(diào)整拾音方向,重點捕捉佩戴者正面120度范圍內(nèi)的語音信號(模擬聲音信號)。接著,采集到的模擬聲音信號通過內(nèi)置的模數(shù)轉(zhuǎn)換器(ADC)轉(zhuǎn)換為數(shù)字音頻數(shù)據(jù),并按照一定的采樣頻率(例如常用的44.1kHz或48kHz)和量化精度(如16位或24位)進行數(shù)字化處理,以保證音頻信息的完整性和準確性,便于后續(xù)的分析。[0032]當(dāng)前的天氣信息可以通過AI眼鏡內(nèi)置的低功耗藍牙(BLE)模塊或者Wi-Fi模塊與佩戴者的移動終端(如手機等)上的天氣應(yīng)用程序建立無線連接,實時從手機天氣APP獲取實時天氣信息。其中,獲取的天氣信息包括但不限于天氣8[0033]可選的,上述天氣信息也可以通過在AI眼鏡內(nèi)安裝傳感器來獲取。在一具體實施例中,可以在AI眼鏡的鏡框或其他部位集成小型化的氣象傳感器,例如溫度傳感器(采用高精度的熱敏電阻等傳感元件,能精確測量環(huán)境溫度,誤差范圍控制在±0.5℃以內(nèi))、濕度傳感器(基于電容式或電阻式濕度傳感原理,確保濕度測量精度達到相對濕度±3%以內(nèi))、氣壓傳感器(用于輔助判斷天氣變化趨勢等,測量精度可達±1hPa)等,直接獲取局部環(huán)境的氣象數(shù)據(jù),作為天氣信息的補充或者備用獲取方式,以應(yīng)對無線連接失效等情況,此處不作限定。[0034]S102、對人員交流語言信息和當(dāng)前的天氣信息分別進行預(yù)處理,并轉(zhuǎn)換得到向量形式的音頻特征和天氣特征。[0035]AI眼鏡對采集到的人員交流語言信息進行預(yù)處理,包括但不限于降噪、分幀和加窗處理等??蛇x的,使用譜減法對背景噪聲進行抑制,然后將連續(xù)的語音信號分割成25ms的短時分析幀,相鄰幀之間重疊15ms。對每一幀信號施加漢明窗,減少頻譜泄漏。接著提取多[0036]當(dāng)前的天氣信息的預(yù)處理則包括數(shù)值歸一化和特征編碼。將溫度、濕度等連續(xù)值通過min-max歸一化映射到[0,1]區(qū)間。天氣類型(晴、陰、雨等)采用獨熱編碼轉(zhuǎn)換為向量形式。最終得到包含所有天氣參數(shù)的特征向量。矩陣中每一幀包含39維聲學(xué)特征,反映了說話人的音色、語調(diào)等信息。天氣數(shù)據(jù)“晴天,25℃”則被轉(zhuǎn)換為統(tǒng)一尺度的特征向量,便于后續(xù)的神經(jīng)網(wǎng)絡(luò)處理。[0038]S103、將音頻特征和天氣特征輸入預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型,確定佩戴者當(dāng)前的情感狀態(tài),并依據(jù)情感狀態(tài)與HSV的映射關(guān)系,輸出在HSV色彩空間對應(yīng)的色彩信息。[0039]AI眼鏡采用由卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)混合構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型進行多模態(tài)情感分析。該模型采用雙流架構(gòu),分別處理語音特征和天氣特征。具體地,音頻特征通過多層CNN進行局部特征提取,然后送入BiLSTM網(wǎng)絡(luò)捕捉時序依賴關(guān)系。天氣特征通過全連接層降維后,與語音特征在特征層面進行融合。融合后的特征經(jīng)過注意力機制和全連接層,最終輸出情感狀態(tài)預(yù)測結(jié)果。其中,情感狀態(tài)包含離散的情感標簽(如快樂、悲傷、憤怒等)和連續(xù)的情感強度值(愉悅度、喚醒度和主導(dǎo)性)。上述神經(jīng)網(wǎng)絡(luò)模型在大規(guī)模情感語音數(shù)據(jù)集上預(yù)訓(xùn)練,確保了準確的情感識別能力。[0040]接著,情感狀態(tài)到HSV色彩空間的映射可以由相關(guān)技術(shù)人員設(shè)定的色彩情感對應(yīng)關(guān)系確定。例如,設(shè)定色相(H)由情感標簽的映射關(guān)系,可選的,快樂對應(yīng)色相中的黃色(60°),悲傷對應(yīng)色相中的藍色(240°);設(shè)定飽和度(S)與喚醒度(用符合“A”表示)正相關(guān),用于反映情感強度;亮度(V)由喚醒度和主導(dǎo)性(用符合“D”表示)共同決定等。情感參數(shù)被映射為HSV值,例如H=60°(黃色)、S=0.8(較飽和)、V=0.9(明亮),反映了佩戴者當(dāng)前的積極情緒狀態(tài)。[0042]S104、將色彩信息轉(zhuǎn)換成RGB色彩空間對應(yīng)的色彩數(shù)值,并根據(jù)眼鏡邊框上多色9LED長條燈珠的實際布局生成整體的燈珠控制信號。[0043]AI眼鏡將HSV色彩空間的值轉(zhuǎn)換為LED燈珠可直接使用的RGB值。具體轉(zhuǎn)換過程可續(xù)的發(fā)光帶。每個LED燈珠都可以獨立控制其RGB三個通道的亮度值。為實現(xiàn)平滑的漸變效果,相鄰燈珠之間的顏色過渡可以采用線性插值算法。且相鄰燈珠之間可以通過柔性電路板(FPC)或者極細的導(dǎo)線進行電氣連接,確保信號傳輸?shù)姆€(wěn)定性,并且要考慮到眼鏡的折[0045]可選的,控制信號的生成還可以依據(jù)LED的物理布局確定。例如,當(dāng)AI眼鏡框架被劃分為左右兩個獨立控制區(qū)域時,為每個區(qū)域生成相應(yīng)的PWM控制信號序列。每個LED燈珠的控制信號包含RGB三個通道的占空比值,通過精確的時序控制實現(xiàn)目標顏色的顯示。[0046]需要說明的是,在AI眼鏡邊框的設(shè)計上,可以根據(jù)美學(xué)和可視性原則進行燈珠布局。具體可以選擇沿著整個邊框均勻排列,使色彩顯示形成一個連貫的光帶效果;也可以選擇在鏡框的兩側(cè)等重點區(qū)域進行適當(dāng)加密布局,以突出顯示效果,同時避免燈珠過于密集[0047]例如,在一具體實施例中,當(dāng)HSV值為(60°,0.8,0.9)時,轉(zhuǎn)換得到的RGB值約為(230,230,0)。隨后生成相應(yīng)的PWM控制序列,確保每個LED燈珠都能準確顯示這種明亮的黃色。漸變效果則可以通過在相鄰燈珠之間插值實現(xiàn),使得整個眼鏡框架呈現(xiàn)出均勻流暢的色彩過渡。[0048]S105、依據(jù)燈珠控制信號對多色LED長條燈珠進行控制,使其在眼鏡邊框上顯示出與情感狀態(tài)相對應(yīng)的色彩。光顏色和亮度,整體呈現(xiàn)出與佩戴者情感狀態(tài)相對應(yīng)的色彩效果。例如,當(dāng)人工智能情感推理模塊判斷佩戴者處于高興的情感狀態(tài)時,可能顯示出明亮的暖色相(如H值接近30°左右的橙色,S和V值較高表示飽和度和明度高);而當(dāng)判斷為悲傷情緒時,顯示出暗淡的冷色相(如H值接近240°左右的深藍色,S和V值相對較低)供清晰、直觀的情感反饋視覺呈現(xiàn)。[0050]可選的,顏色顯示過程中可以采用平滑過渡算法,避免顏色突變造成的視覺不適。當(dāng)檢測到情感狀態(tài)發(fā)生變化時,可以在100-300ms的時間內(nèi)調(diào)整LED顏色。過渡期間的中間色值可以通過插值算法計算,確保色彩變化的連續(xù)性。此外,還可以實時監(jiān)控環(huán)境光強度,自動調(diào)節(jié)LED亮度,在不同光照條件下保持最佳顯示效果。[0051]可以理解的是,AI眼鏡可以采用高性能的LED驅(qū)動芯片執(zhí)行顏色顯示控制。可選的,驅(qū)動芯片可以支持16位PWM精度,實現(xiàn)細膩的顏色層次。可以通過I2C接口接收控制信號,內(nèi)置的定時器模塊精確控制每個LED通道的開關(guān)時序。此外,為了確保顯示效果的穩(wěn)定性,還可以為驅(qū)動芯片添加恒流輸出控制和溫度補償功能,此處不作限定。[0052]在上述實施例中,AI眼鏡可以實時收集佩戴者周邊的人員交流語言信息,并結(jié)合當(dāng)前的天氣信息,通過預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型處理,確定佩戴者當(dāng)前的情感狀態(tài)。并依據(jù)情感狀態(tài)與HSV色彩空間的映射關(guān)系輸出包括色相、飽和度和亮度的色彩信息,再通過多色LED燈珠在眼鏡框架上對色彩信息進行顯示。這種方法能夠?qū)崟r動態(tài)地反映佩戴者的情緒變化,并結(jié)合周圍環(huán)境的氣候條件,提供更加個性化和情景化的視覺體驗。[0053]下面對本實施提供的方法進行進一步的更具體的流程敘述。請參閱圖2,為本申請實施例中一種根據(jù)心情和天氣自動改變框架顏色的方法的另一個流程示意圖。[0054]S201、依據(jù)佩戴者所在地的歷史天氣信息確定平均天氣變化周期。[0055]AI眼鏡可以通過移動終端的天氣應(yīng)用程序接口獲取佩戴者所在地區(qū)過去一段時間(如一年)的歷史天氣數(shù)據(jù)。這些數(shù)據(jù)包含每日的氣溫、濕度、氣壓、降水量等氣象參數(shù)的時間序列。AI眼鏡采用時間序列分析方法,對歷史天氣數(shù)據(jù)進行預(yù)處理,包括缺失值填充、異常值檢測與處理等。然后使用快速傅里葉變換(FFT)對處理后的時間序列進行頻譜分析,識別出主要的周期性變化模式。通過分析頻譜中的主要峰值,確定天氣變化的基本周期。[0056]在具體實施過程中,AI眼鏡可能發(fā)現(xiàn)某地區(qū)的天氣在4小時左右會出現(xiàn)明顯變化。例如,在沿海城市,受海陸風(fēng)影響,溫濕度通常在早晨6點、中午12點、后發(fā)生顯著變化。AI眼鏡將這種變化規(guī)律記錄下來,作為后續(xù)獲取實時天氣信息的時間間隔依據(jù)。此外,AI眼鏡還可以季節(jié)性變化的影響,在不同季節(jié)調(diào)整采樣周期,如夏季可能需要更頻繁的采樣以捕捉快速的天氣變化等,此處不作限定。[0057]S202、依據(jù)平均天氣變化周期從佩戴者的移動終端獲取當(dāng)前的天氣信息。[0058]基于步驟S201確定的平均天氣變化周期,AI眼鏡建立了一個智能的數(shù)據(jù)獲取機制。它通過低功耗藍牙(BLE)或Wi-Fi模塊與佩戴者的移動終端建立安全的無線連接。移動終端上運行的天氣應(yīng)用程序會通過API實時更新當(dāng)?shù)氐奶鞖鈹?shù)據(jù)。AI眼鏡根據(jù)預(yù)設(shè)的天氣變化周期,定期向移動終端發(fā)送數(shù)據(jù)請求。每次請求都會獲取一組完整的天氣參數(shù),包括天[0059]進一步地,為了優(yōu)化數(shù)據(jù)傳輸和能耗,AI眼鏡在定期獲取天氣信息的基礎(chǔ)上,還可以采用了自適應(yīng)的數(shù)據(jù)獲取策略。具體地,當(dāng)檢測到天氣突變(如突發(fā)性降雨)時,會臨時提采用4小時一次的采樣頻率;而在天氣多變的季節(jié),則可能調(diào)整為1小時一次。同時,通過數(shù)據(jù)壓縮和差分編碼等技術(shù),減少每次傳輸?shù)臄?shù)據(jù)量,提高傳輸效率。[0060]在上述實施例中,AI眼鏡從佩戴者的移動終端獲取當(dāng)前的天氣信息,并利用歷史天氣信息的變化規(guī)律確定從移動終端讀取天氣信息的數(shù)據(jù)請求周期,該方法在減少數(shù)據(jù)傳輸?shù)那疤嵯录皶r監(jiān)測到當(dāng)前天氣信息的變化,便于后續(xù)對鏡框進行顏色調(diào)整。[0061]S203、通過骨傳導(dǎo)傳感器捕捉佩戴者交流過程中的骨骼震動信號,并通過預(yù)設(shè)算法將其轉(zhuǎn)換為語音內(nèi)容。[0062]AI眼鏡可以在鏡腿等接觸耳朵的位置集成高靈敏度的骨傳導(dǎo)傳感器。這些傳感器能夠捕捉佩戴者說話時通過頭骨傳導(dǎo)的機械振動信號。具體地,當(dāng)佩戴者說話時,聲帶振動產(chǎn)生的聲波通過顱骨傳導(dǎo)到傳感器,傳感器將這些機械振動轉(zhuǎn)換為電信號。這些原始的振動信號經(jīng)過前置放大器進行初步放大,然后通過高精度的模數(shù)轉(zhuǎn)換器(ADC)轉(zhuǎn)換為數(shù)字信[0063]進一步地,AI眼鏡對數(shù)字信號降噪,去除環(huán)境振動和生理噪聲(如咀嚼、呼吸等)的干擾。然后通過卷積神經(jīng)網(wǎng)絡(luò)提取聲學(xué)特征,包括基頻、共振峰等特征參數(shù)。結(jié)合長短時記憶網(wǎng)絡(luò)(LSTM)對這些特征進行時序建模,最終將骨傳導(dǎo)信號轉(zhuǎn)換為對應(yīng)的語音內(nèi)容。例如,表示卷積核的高度和寬度;在特征提取后,這些關(guān)鍵特征被送入循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),具體可以使用長短時記憶網(wǎng)絡(luò)(LSTM)(或門控循環(huán)單元(GRU))來處理。其中,LSTM適用于處理時間學(xué)習(xí)到數(shù)據(jù)中的長期依賴關(guān)系。通過LSTM的處理,AI眼鏡能夠從連續(xù)的梅爾頻譜特征中理解和提取出與時間相關(guān)的動態(tài)變化(即時間序列特征),從而有效捕捉到情感佩戴者情感狀態(tài)的轉(zhuǎn)變。[0075]S208、將與時間序列特征對應(yīng)的天氣特征,通過全連接層映射到與時間序列特征相同的維度并進行特征融合,得到綜合特征向量,進而確定佩戴者當(dāng)前的情感狀態(tài)。[0076]AI眼鏡不僅捕捉佩戴者語音信息,還同步獲取在采集佩戴者語音信息時對應(yīng)外部的天氣信息。并將天氣信息中的天氣類型信息通過獨熱編碼表示,將溫度、濕度等數(shù)值信息進行歸一化處理后與天氣類型信息的獨熱編碼表示一起拼接成向量形式,得到天氣特征。本步驟中,AI眼鏡將天氣特征(如溫度、濕度、天氣狀態(tài)等)與語音的時間序列特征進行融合。具體地,將天氣特征通過全連接層進行處理,映射到與語音特征相同的維度,其映射過hweather=ReLU(W·Wproj+b其中,Wproj是維度投射向量,bproj是偏差。[0077]然后將兩者進行特征融合,使AI眼鏡能夠綜合考慮語音信息和天氣信息,生成一個表示音頻數(shù)據(jù)和天氣數(shù)據(jù)的聯(lián)合特性的綜合特征向量,并依據(jù)這個綜合特征向量利用全連接層對情感狀態(tài)進一步推理,輸出佩戴者當(dāng)前的情感狀態(tài)。其中,輸出的情感狀態(tài)包含離[0078]在上述實施例中,AI眼鏡通過將音頻數(shù)據(jù)轉(zhuǎn)換為梅爾頻譜形式并提取特征,結(jié)合天氣特征,通過特征融合得到綜合特征向量,這種方法使得情感判斷更為精細和全面,提高了情感識別的準確率和響應(yīng)速度,進而使得眼鏡顏色的改變更加符合實際情感狀態(tài)。[0079]S209、依據(jù)情感狀態(tài)中的情感標簽、喚醒度和主導(dǎo)性分別確定色彩信息的色相、飽和度和亮度。[0081]在上述實施例中,AI眼鏡建立了情感狀態(tài)的不同維度(情感標簽、喚醒度和主導(dǎo)性)與HSV色彩空間中的色相、飽和度和亮度之間的對應(yīng)關(guān)系。這種細致的色彩調(diào)整機制允許眼鏡顯示更豐富和精確的色彩變化,能夠更細致地反映出佩戴者的情緒變化。[0082]S210、將色彩信息轉(zhuǎn)換成RGB色彩空間對應(yīng)的色彩數(shù)值后,接收佩戴者在移動終端上設(shè)置的個性化區(qū)域。[0083]AI眼鏡在完成HSV到RGB的色彩空間轉(zhuǎn)換后,可以通過移動終端應(yīng)用程序提供一個交互界面,允許佩戴者自定義眼鏡框架上的顯示區(qū)域??蛇x的,交互界面采用3D建模技術(shù),在手機屏幕上展示眼鏡框架的立體模型,佩戴者可以通過觸摸操作選擇和調(diào)整想要顯示顏色的區(qū)域?;蛘咭苿咏K端應(yīng)用程序?qū)⒀坨R框架劃分為多個可獨立控制的顯示分區(qū),如鏡腿左右兩側(cè)、鏡框上下邊緣等區(qū)域。佩戴者可以通過滑動選擇特定區(qū)域,并通過開關(guān)控件啟用或禁用某些區(qū)域的顯示功能。[0084]例如,當(dāng)佩戴者希望在商務(wù)場合使用AI眼鏡時,可能只想在鏡腿外側(cè)顯示顏色變化,避免過于顯眼。通過移動終端的設(shè)置界面,佩戴者可以僅啟用鏡腿外側(cè)的顯示區(qū)域,并可以進一步調(diào)節(jié)該區(qū)域的顯示范圍和邊界。這些設(shè)置會實時同步到AI眼鏡,由眼鏡的控制種模式對應(yīng)不同的顯示區(qū)域配置,方便佩戴者快速切換使用場景。[0085]S211、依據(jù)個性化區(qū)域確定在實際布局中可控制的多色LED長條燈珠,并生成對應(yīng)的燈珠控制信號。[0086]AI眼鏡根據(jù)步驟S210中接收到的個性化區(qū)域設(shè)置,對實際的LED布局進行有選擇性的控制。眼鏡框架上的LED長條燈珠采用模塊化設(shè)計,每個模塊包含多個獨立尋址的RGBLED燈珠。AI眼鏡將個性化區(qū)域的坐標映射到實際的LED布局坐標系統(tǒng)中,確定需要控制的LED燈珠集合。然后,根據(jù)這些LED的物理位置和電路連接關(guān)系,生成相應(yīng)的PWM控制信號序[0087]需要說明的是,AI眼鏡的燈珠控制系統(tǒng)可以采用主從式結(jié)構(gòu),主控制器通過SPI或I2C總線與多個LED驅(qū)動芯片通信。每個驅(qū)動芯片負責(zé)控制特定區(qū)域的LED燈珠,可以精確調(diào)節(jié)每個LED的RGB三個通道的亮度值。為了實現(xiàn)平滑的顏色漸變效果,控制系統(tǒng)也可以使用線性插值算法計算相鄰LED之間的過渡色值。例如,當(dāng)佩戴者選擇僅在右側(cè)鏡腿顯示顏色[0088]在上述實施例中,AI眼鏡在生成燈珠控制信號前接收佩戴者設(shè)置的個性化區(qū)域,并依據(jù)這些設(shè)置調(diào)整LED燈珠的實際布局控制。這允許用戶按照個人偏好定制眼鏡顯示的顏色區(qū)域,增加了鏡框顏色顯示的個性化和實用性。用戶可以選擇特定的顏色顯示區(qū)域,使得眼鏡的顏色變化不僅反映情感狀態(tài),還能符合個人的審美和情境需求。[0089]S212、采集多種場景下的語言交流音頻數(shù)據(jù),以及對應(yīng)的環(huán)境天氣數(shù)據(jù)。[0090]其中,語言交流音頻數(shù)據(jù)和對應(yīng)的環(huán)境天氣數(shù)據(jù)的采集方式與步驟S101相同,此處不再贅述。[0091]S213、對語言交流音頻數(shù)據(jù)和環(huán)境天氣數(shù)據(jù)進行情感狀態(tài)標注,得到訓(xùn)練數(shù)據(jù)集。[0092]AI眼鏡可以采用多層次的標注策略對采集到的語言交流音頻數(shù)據(jù)和環(huán)境天氣數(shù)據(jù)進行情感狀態(tài)標注??蛇x的由相關(guān)技術(shù)專家對音頻數(shù)據(jù)和對應(yīng)的環(huán)境天氣數(shù)據(jù)進行標注,標注內(nèi)容包括基本情感類別(如快樂、悲傷、憤怒等)和情感強度值導(dǎo)性)。標注過程采用標準化的評估量表,如Geneva情感輪盤或SAM量表,確保標注的一致性和可靠性。[0093]S214、使用訓(xùn)練數(shù)據(jù)集對神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練,得到預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型。[0094]神經(jīng)網(wǎng)絡(luò)模型采用多流結(jié)構(gòu),包含音頻處理分支和天氣特征處理分支。其中,音頻系;天氣特征分支通過多層感知機進行特征變換,然后與音頻特征進行融合。模型的訓(xùn)練過程可以采用批量梯度下降法,使用Adam優(yōu)化器進行參數(shù)更新,學(xué)習(xí)率采用余弦退火策略動態(tài)調(diào)整。[0095]訓(xùn)練過程中,模型同時優(yōu)化情感分類損失和情感強度回歸損失。為處理數(shù)據(jù)不平衡問題,采用加權(quán)交叉熵損失函數(shù),對少數(shù)類樣本賦予更高的權(quán)重。同時使用數(shù)據(jù)增強技術(shù),如加入高斯噪聲、時間拉伸等方法,增加模型的泛化能力。訓(xùn)練過程使用驗證集監(jiān)控模出其中的負面情緒,并考慮到雨天這一天氣因素對情緒的影響,生成更準確的情感狀態(tài)預(yù)[0096]在上述實施例中,AI眼鏡通過采集和標注多種場景下的語言交流音頻數(shù)據(jù)及對

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論