憶阻器存算一體芯片與類腦計(jì)算清華大學(xué)集成電路學(xué)院2 AlibabaAlibabaGoogleGoogleBaiduIBMMicrosoftAICloudAI譯3?以深度學(xué)習(xí)為核心技術(shù)的人工智能有三大關(guān)鍵要素?算法?數(shù)據(jù)?算力4炸式增長(zhǎng)?2020年GPT-3一炮走紅?超越普通NLP，寫小說(shuō)、編劇本無(wú)所不能?5億美元的超算中心，數(shù)千個(gè)GPU?訓(xùn)練用了三個(gè)多月的時(shí)間，電費(fèi)幾千萬(wàn)美元?訓(xùn)練過程中發(fā)現(xiàn)程序bug怎么辦？忍著……5炸式增長(zhǎng)?自動(dòng)駕駛汽車?2017年從1顆GPU升級(jí)為2顆?2020年升級(jí)為4顆?2021年？買不到了……6炸式增長(zhǎng)?手機(jī)拍照?2017年開始全面嵌入NPU?NPU從單核變?yōu)槎嗪?4個(gè)算法只能處理半個(gè)……7rekAlphaoGPUAlexNetVGGIntelPentiumIntel386LeNet- 5 Intel4004NETtal翻！ENIACABCPerceptrGoZerNvidiaIntelCo每3.4個(gè)月一番GPU并行訓(xùn)練日rekAlphaoGPUAlexNetVGGIntelPentiumIntel386LeNet- 5 Intel4004NETtal翻！ENIACABCPerceptrGoZerNvidiaIntelCo每3.4個(gè)月一番GPU并行訓(xùn)練日的網(wǎng)絡(luò)on數(shù)據(jù)來(lái)源:810410210010-210-410-610-810610310010-310-610-910-12194019501960197019801990200020102020年份算算力需求快速增長(zhǎng)算力提升放緩臨9EnergypJ總線300250200500EnergypJ總線300250200500現(xiàn)有計(jì)算系統(tǒng)普遍采用存儲(chǔ)和運(yùn)算分離的架構(gòu)，存在“存儲(chǔ)墻”與“功耗墻”瓶頸，嚴(yán)重制約了系統(tǒng)算力和能效的提升。處理處理器存存儲(chǔ)器架構(gòu)存儲(chǔ)速度遠(yuǎn)低于計(jì)算速度nicationitit sbit J Jbit45nm32nm22nm14nm10nmnm工藝下，數(shù)據(jù)傳輸和訪問功耗占比超過69%存+存+類腦芯片：學(xué)習(xí)大腦的結(jié)構(gòu)和/或工作機(jī)理脈沖事件驅(qū)動(dòng)低功耗脈沖事件驅(qū)動(dòng)低功耗高并行nics算算存算一存算一體存算一體高算力 新器件：存算合一的電子突觸——憶阻器(RRAM)生物突觸RRAM電子突觸(ResistiveRandomAccessMemory)NaNa+,Ca2+生物中Na+,CA2+離子的移動(dòng)造成生物突觸的強(qiáng)弱。O2-RRAM中氧離子的移動(dòng)和分布導(dǎo)致器件阻值的變化。RRESETSETConductanceSetet x1x2x3*ZG1jxjZG2jxjZG3jxj=ConductanceSetet x1x2x3*ZG1jxjZG2jxjZG3jxj=22n33UpdatenumberOhmiclawsKirchhoff’slawsG11G12G13G21G22G23………Gn1Gn2Gn3L.Xiaetal.,DATE,2016輸入輸出一體技術(shù)輸入輸出架構(gòu)計(jì)算系統(tǒng)體管計(jì)算算系統(tǒng)器擬計(jì)算法高阻態(tài)離子運(yùn)高阻態(tài)離子運(yùn)動(dòng)的隨機(jī)性氧空位低阻態(tài)高低阻態(tài)離子氧空位頻數(shù)147 Level1:880%60%40%逐器件累積逐層累積核心挑戰(zhàn)2:模擬計(jì)算的誤差累積頻數(shù)147 Level1:880%60%40%逐器件累積逐層累積邏輯計(jì)算模擬計(jì)算計(jì)算邏輯計(jì)算模擬計(jì)算原理計(jì)算數(shù)據(jù)型80%60%40%20%0%024681012141618兩個(gè)器件電流和電流(電流(uA)片的協(xié)同設(shè)計(jì)方法存算一體芯片急需跨層次的協(xié)同優(yōu)化方法：?jiǎn)我粚用娴膬?yōu)化難以達(dá)到高性能Algorithm/ComplierArchitecture/SystemArray/MacrocircuitRRAMdevice 的新器件結(jié)構(gòu)，在較小電流下實(shí)現(xiàn)了模擬阻變疊層結(jié)構(gòu)阻變層w/oTELw/w/TEL?Arraysize:128×32or1152×?Arrayoperation:bothcellbycellarallelcomputingchWaferPackage:BGA256架訓(xùn)練架訓(xùn)練自適應(yīng)訓(xùn)練witwi+AwiZitwi.XiZitZi+BZi器件誤差模型-A電路誤差模型-B陣列間誤差模型-CYi←f(Zi)YitYi+C(Yi)系統(tǒng)誤差模型矩陣向量乘激活Zi←wi.XiYi←f(Zi)外壓力訓(xùn)練和片上自適應(yīng)訓(xùn)練組成的混合訓(xùn)練框架。在片外壓力訓(xùn)練中引入% .7% 普通訓(xùn)練壓力訓(xùn)練P.Yao,etal,Nature2020各層對(duì)精度的影響98.0%各層對(duì)精度的影響98.0%96.0%94.0%92.0%90.0%3FC5AllC2確率訓(xùn)練在混合訓(xùn)練框架下，根據(jù)神經(jīng)網(wǎng)絡(luò)各層對(duì)系統(tǒng)精度的影響規(guī)律，在權(quán)重映射到芯關(guān)鍵層權(quán)重關(guān)鍵層權(quán)重非關(guān)鍵層權(quán)重權(quán)重原位更新應(yīng)訓(xùn)練映射保持?準(zhǔn)確率與28nmCMOS樹莓派系統(tǒng)相當(dāng)~95%?推理速度比CMOS快~20倍(3svs.59s)?推理計(jì)算能效達(dá)到78.4TOPs/WQ.Liu,etal,ISSCC2020Imeaused(μA)VappliedImeaused(μA)Vapplied(V)6300生物神經(jīng)網(wǎng)絡(luò)的3個(gè)基本單元:eIImeaused(μA)Vapplied(V)630ff樹突(Dendrite):濾波與積分胞體(Soma):積分與發(fā)放00imems00imems6Timems用單個(gè)憶阻器模擬電壓門控NMDA通道，實(shí)現(xiàn)樹突功能突器件與類腦系統(tǒng)探索?利用3種不同的憶阻器分別實(shí)現(xiàn)突觸、集成突觸、樹突、胞體來(lái)構(gòu)建完整類腦神經(jīng)網(wǎng)絡(luò)系統(tǒng)集成突觸、樹突、胞體來(lái)構(gòu)建完整類腦神經(jīng)網(wǎng)絡(luò)系統(tǒng)口引入樹突后，動(dòng)態(tài)功耗降低30倍！口SVHN數(shù)據(jù)集識(shí)別準(zhǔn)確率顯著提高 變化2009VLSI器循環(huán)測(cè)試2011IEDM快速測(cè)量二值循環(huán)次數(shù)2012IEDM2013AM制TEK設(shè)備一直在推動(dòng)憶阻器研究手段的進(jìn)步VD0VD0VD0VS0-ΔVVS0+2ΔVVS0+ΔVVS0+2ΔV模擬阻變的循環(huán)耐久性測(cè)試VD0VD0VD0VS0-ΔVVS0+2ΔVVS0+ΔVVS0+2ΔV存算一體技術(shù)對(duì)憶阻器特性要求更高，測(cè)試難度更大→對(duì)阻變窗口的上下邊界分別設(shè)定10%RH或RL的極限邊界(多邊界定位法)。VVD0OneUnitOneReadT_cycle=0.4us<<t_read;PUMtoSUMtoPUM~1s1e6cycles~1s一Bestcycleunitecycles~10s1e9cycles~1000s1e11cycles~27.8hVg=4-5V；Vs=1.6-2.5OneUnitOneReadT_cycle=0.4us<<t_read;PUMtoSUMtoPUM~1s1e6cycles~1s一Bestcycleunitecycles~10s1e9cycles~1000s1e11cycles~27.8hVg=4-5V；Vs=1.6-2.5V;Vd=0V;Vs=0V;Vd=1.6-3V;Vg=4；Vs=0V;Vd=0.1V;ResetSetResetSetnsVg2nsVsVdSMUtoNcyclesSamplingNcyclesOneUnit測(cè)試效率相比傳統(tǒng)設(shè)備提升1000倍，功能擴(kuò)展性也更強(qiáng)模擬阻變的循環(huán)耐久性測(cè)試帶寬高采樣率示波器內(nèi)存采集模式入輸出對(duì)應(yīng)關(guān)系一目了然基于動(dòng)態(tài)憶阻器的并行儲(chǔ)備池計(jì)算系統(tǒng)利用憶阻器的動(dòng)態(tài)特性等效地實(shí)現(xiàn)復(fù)雜遞歸網(wǎng)絡(luò),當(dāng)輸