_1.時間序列數(shù)據(jù)與RNN3.訓練RNN:正向推演4.訓練RNN:反向傳播5.RNN醫(yī)療應用：搭配NLP6.RNN模型設計范例：以血鐵沉積模型為例7.觀摩RNN模型的訓練流程9.優(yōu)化模型：使用OpenVINO優(yōu)化器10.測試模型：使用OpenVINO推論引擎時間序列數(shù)據(jù)與RNN模型時間序列數(shù)據(jù)介紹時間序列資料(數(shù)據(jù))賴的。時間序列數(shù)據(jù)以學校宿舍餐廳為例期一到星期五不斷地循環(huán)?！と绻蛱斐耘_，今天就是壽司；如果昨天吃壽司，今天就會是松餅，非常有規(guī)律。如下圖：以學校宿舍餐廳為例·每天晚餐都從3種餐點中，選取其一來提供給學生們。sushiyesterday以學校宿舍餐廳為例·如果學生問CRM:每天晚餐預計會提供何種餐點呢?入，還不知道呀。以學校宿舍餐廳為例·如果學生問NLP:每天晚餐預計會提供何種餐點呢?·NLP回答：今天餐廳沒開張，還沒有正確答案呀。但是，從過去幾周的歷史數(shù)據(jù)看來，似乎twodaysagoyesterdaypizza以學校宿舍餐廳為例·所以，我猜今天晚餐很可能會提供夀司餐點。時間序列數(shù)據(jù)·如果您昨天不在宿舍里吃晚餐，那么您是否就無法推測今天晚上將是什么餐點?·當然可以的。因為您可以利用前天晚上的餐點資料，來預測昨天晚上的餐點。然后，也就能預測今晚的餐點了?！に?，我們不只能利用昨天晚上的餐點來預測今晚的餐點，而且還能利用今晚預測的結果，來進一步的明天、后天的晚餐，等等。yesterdaypizza時間序列數(shù)據(jù)predictedwafflesforyesterday○sushi時間序列數(shù)據(jù)昨晚的預測，可以推論出今晚的預測值AA二AAA×A/~tingwuwang/rnntutorial.pdfhttps;//calvinfeng.gitbookio/machine-learning-notebook/supervised-learning/https;//calvinfeng.gitbookio/machine-learning-notebook/supervised-learning//a-beginners-guide-on-recurrent-neura/-networks-with-pytorch/RNN基本計算方法RNN基本計算方法1RNN基本計算方法11wphohoWwphoW[1,1]t-2WOwphoho[y0]y0WOwphoRNN基本計算方法W1W1wpHiddenWW000wpHiddenWWWWX21WWWX21WW1W1WwpHidden1W1WW1W1WW1W1W1W1WW=0.81W1WWWWWWW11WWWWW11=0.711RNN基本計算方法RNN基本計算方法RNN基本計算方法Processing)是人工智慧的一項分支，它使電腦能夠理解和解釋人類的語音和文句，更善解人意。集，將資料組織為更具邏輯性的形式，例如將文本量，讓NLP系統(tǒng)更易于探索資料里潛藏的規(guī)律。irregularheartbeats(arrhythmias)."此程式輸出：heartbeats(arrhythmias).']heartbeats(arrhythmias)."2.將分解出來的Sentences,存入檔案里：此程式誕生一個檔案：文字文件(1)檔案的內(nèi)容：Myjointsfeelsopain.Ihaveheartflutters,andirregularheartbeats(arrhythmias).RESTARTUsersTomAppDataLocalProgramsP[('I',3),(feelpainhaveMyjoints,1),('so',1),('heartfluttersandirregular('heartbeats(arrhythmias).'littlebitabdominalusually',1),('lack',1),('of',1),('energy.',1),('',#BERT范例程式#設置預訓練模型的路徑configpath=os.path.join(pretrainedpath,"bertconfig.json')checkpointpath=os.path.join(pretrainedpath,bertmodel.ckpt)vocabpath=os.path.join(pretrainedpath,'vocab.txt)#構建字典#(接續(xù)上頁)#載入預訓練模型fromkerasbertimportloadtrainedmodelfromcheckpoint#提取特征predicts=model,predict([np.array([indices]),np.array([segments])][0]BERT模型的使用主要有兩種用途：·當作文本特征提取的工具，類似Word2vec模型一樣===RESTART:C:/Users/Tom/AppData/Local/Programs/Python/Python36/txx05.py===[CLS][-0.21009989082813263,0.22673292458057404,-0.13677680492401123,0.03907008469104767,0.7898624539375305]我[0.7921491861343384,0.10040614008903503,0.22747650742530823,-0.09929467737關[0.17062997817993164,0.13864503800868988,-0.30594873428344727,0.1217014566節(jié)[0.8748294711112976,-0.04525848850607872,-0.02020929753780365,0.8299053907痛[0.5487751960754395,-0.10608281940221786,-1.2462304830551147,-0.0103497654·作為一個可訓練的層，后面可接入客制化的網(wǎng)路，做遷移學習BERT可以很好的解決sentence-level的建模問任務，像詩詞對句的Fine-tuning應用情境·如·醫(yī)療資料挖掘發(fā)展迅速，然而過去許多醫(yī)療數(shù)據(jù)(如電子病歷資料)仍然以自然語言文本形式存在?！び捎谧匀蝗说膶W習能力有限，因此通過NLP來輔助匯集醫(yī)療知識和資料挖掘的工作，然后將知識提煉出來，萃取有用資訊，最終形成Al智慧。>##stoい生物NER,是從生物醫(yī)學文本中識別出指定類型的名稱，比如基因、蛋白質(zhì)、核糖核酸、去氧核糖核酸、疾病、細胞、藥物的名稱等。由于生物醫(yī)學文獻的規(guī)模龐大，各種專有名詞不斷涌現(xiàn)，一個專有名詞往往有很多同義詞，而且普遍存在大量的縮寫詞，人工識別費時費力，因此如何對命名實體進行識別就變得尤為重要。命名實體識別是文本挖掘系統(tǒng)中的一個重要的基礎步驟，命名實體識別的準確程度是其他文本挖掘技術如信息提取或文本分類等的先決條件。6.將剛才<血鐵沉積癥>的Named-Entities(即Words)出現(xiàn)頻率，以及向量，做為Al模型的X空間資料。檔案常用插入CD校閲檢視L23456789關節(jié)痛201010112000101110001000腹痛010010010111模行了：檔案A123456789常用插入版面配置公式資料校開橫視關節(jié)痛2關節(jié)痛201010心律不整112000101110體重消失001000腹痛010010疲務010111完成了!0:無癥狀來學習人類專家的果因性智慧。程度6項癥狀檔案常用插入版面配置資料校開檢視123456789X(癥狀組合)關節(jié)痛心律不整膚色變化E體重消失0010002:顯著F腹痛010010這個果因性Al模型，搭配其他Regression因果性Al模型，成為美好的組合：·一個做因果性思考，另一個做果因性思考。常?？梢詭椭祟惛?。:輸入(層)特征器官輸血量器官輸血量排鐵劑量H值各器官因輸血而受到影響。輸血方案?！と说钠谕簭墓匪萜湟?，然后提出來改善因，就能改變果。于是，人機共舞模式是：·Al基于單純回歸模型：找出因果性，就能提出風險預警，來幫助人類?！と说娜蝿眨夯贏l的預警，從果追溯其真正的因，然后改善因，來改變果。不一定是真正的<因果性>。·真正的因果性：仍完全依賴于人類專家。改善的途徑之一是：的果因性智慧。例如，讓Al像人類專家一樣，從輸血前的ECG心電圖，可以刪除患者心悸是來自心臟機能萎縮之因，就能更確定患者心悸，主要是源于輸血之因。樸素的RegressionModel只依賴資料相矣性，并無法像人類一樣進行<果因性>如果縮小上述模的范圍：因輸血而出現(xiàn)的血鐵沉積癥狀，如：心悸、矣節(jié)痛、疲倦、體重消失等。輸血方案。來改善因，就能改變果。H值練習一下：增添一個搭配的Al模型：來學習人類專家6項癥狀檔案常用插入版面配置資料校開檢視123456789X(癥狀組合)關節(jié)痛心律不整膚色變化E體重消失0010002:顯著F腹痛010010癥狀模型-1初期H值輸血量輸血量排鐵劑量程度程度以血鐵沉積為例傷害，尤其是心臟與肝臟，甚至可能造成生命的危險。一位長期輸血者的時序性數(shù)據(jù)，如下：ABCDEFGHIJKLM1X(t-1)X(t)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標值)4412210320234567&1234567&ABC2D2E1F0G沉積程度3HX(t)2I0W沉積程度輸血量排ABCDEFGHM1X(t-2)X(t-1)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標值)44122103202345678123456789000初期值12345678913AB44C排鐵DEFGH排鐵wpW412345678913AB4C排鐵D血鐵EF排鐵G血鐵HI0血鐵沉積程度W輸血量輸血量排鐵劑量412345678913AB4C排鐵D血鐵EF排鐵G血鐵HI0血鐵沉積程度血鐵4W輸血量排鐵劑量2C2C2ABH翰血量212342沉積程度翰血量F0G35678翰入層翰入層420W2==->2123456789AB42劑量沉積程度翰血量排鐵血鐵劑量沉積程度翰血量翰入層隠藏層排鐵血鐵2血鐵沉積程度W輸血量排鐵劑量0血鐵血鐵沉積程度ABCDEFGHIJKLM1X(t-1)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標值)441221032023456789翰入層隠藏層tZerror412000022103血鐵4W輸血量排鐵劑量2123456789AB2311220000.54451F0G3H20wp血鐵沉積程度血鐵沉積程度W輸血量排鐵劑量2血鐵血鐵ABCDEFGHIJKLM1X(t-1)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標值)441221032023456789翰入層隠藏層tZ4120000221033204W輸血量輸血量排鐵劑量血鐵血鐵沉積程度ABCDEFGHIJKLM1X(t-1)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標值)441221032023456789翰入層隠藏層tZ4120000221033204血鐵W輸血量排鐵劑量此模型的輸入值與目標值觀摩RNN模型的訓練流程e5Nphoo天字洲到pojtpont.l范例實現(xiàn)ABCDEFGHIJKLM1X(t-1)23血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量T(目標值)441221032023456789翰入屑隠藏層tZerror412000022103(t-2)血鐵(t-1)血鐵(t)血鐵沉積程度沉積程度沉積程度(t-3)血鐵(t-2)(t-2)(t-2)血鐵(t-1)(t-1)(t-1)血鐵(t)(t)沉積程度輸血量排鐵劑量沉積程度輸血量排鐵劑量沉積程度輸血量排鐵劑量W(t-2)血鐵(t-1)(t-1)(t-1)血鐵(t)(t)沉積程度輸血量排鐵劑量沉積程度輸血量排鐵劑量沉積程度WW排鐵劑量沉積程度WWW輸血量排鐵劑量沉積程度W(t)(t)輸血量排鐵劑量(t-3)血鐵(t-2)(t-2)沉積程度輸血量沉積程度輸血量沉積程度輸血量排鐵劑量詳細的權重(W),表示如下圖：設定h[]X0x1X2X0x1X2yWimporttensorflowastfclassMinimalRNNCell(Layer):definit(self,__stanel)H層的計算ph=continuedN0layer=Dense(1,name='result')ALayer=Activation('linear',name='outlaye#createRNNmodelx=準備#Trainingdatanp,array([[[4,1,2]][2,1,0][0,2,0][2,3,0][[2,1,1],[1,1,0],{3,i,i}}j,np.array([[4][1]2[2]],dtype=np.float32)匯出['result/BiasAdd'])tf.io.writegraph(frozengraph,"C:/pb/","rnnmodel.pb",astext=False)tf.io.writegraph(frozengraph,"C:/pb/","rmnmodel.pbtxt"print(np.round(zo,1))進行推論輸出結果：輸出結果：優(yōu)化模型：行優(yōu)化動作。將模型優(yōu)化，然后輸出IR檔案·剛才已經(jīng)從TensorFlow匯出*pb檔案了