深度學(xué)習(xí)基礎(chǔ)概念人工智能領(lǐng)域核心技術(shù)模擬人腦神經(jīng)網(wǎng)絡(luò)課程概述課程目標(biāo)掌握深度學(xué)習(xí)理論基礎(chǔ)學(xué)習(xí)路徑從基礎(chǔ)到前沿應(yīng)用先修知識什么是深度學(xué)習(xí)？定義基于多層神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí)技術(shù)關(guān)系深度學(xué)習(xí)的歷史11943McCulloch-Pitts神經(jīng)元模型提出21986反向傳播算法32012AlexNet革命性突破42016+神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元樹突接收信號，軸突傳遞信號人工神經(jīng)元單層感知器1結(jié)構(gòu)輸入層直接連接輸出層2工作原理加權(quán)求和后通過激活函數(shù)局限性多層感知器1輸出層產(chǎn)生最終結(jié)果2隱藏層提取復(fù)雜特征3輸入層接收原始數(shù)據(jù)激活函數(shù)Sigmoid輸出范圍(0,1)，存在梯度消失ReLUmax(0,x)，解決梯度消失tanh輸出范圍(-1,1)，零中心化前向傳播輸入數(shù)據(jù)初始特征向量逐層計算權(quán)重矩陣乘法操作激活函數(shù)引入非線性變換輸出結(jié)果預(yù)測或中間表示損失函數(shù)均方誤差回歸問題常用1交叉熵分類問題常用2平均絕對誤差對異常值不敏感3反向傳播算法前向計算損失預(yù)測值與真實值對比計算梯度使用鏈?zhǔn)椒▌t求偏導(dǎo)更新權(quán)重沿梯度反方向移動重復(fù)迭代直到收斂或達到條件優(yōu)化算法SGD小批量隨機梯度下降A(chǔ)dam自適應(yīng)矩估計，結(jié)合動量RMSprop自適應(yīng)學(xué)習(xí)率調(diào)整過擬合與欠擬合欠擬合模型過于簡單，訓(xùn)練集表現(xiàn)差良好擬合模型泛化能力強過擬合模型過于復(fù)雜，記住噪聲正則化技術(shù)1L1正則化添加權(quán)重絕對值，產(chǎn)生稀疏2L2正則化添加權(quán)重平方和，防止大權(quán)重3Dropout隨機關(guān)閉神經(jīng)元，減少共適應(yīng)批標(biāo)準(zhǔn)化原理標(biāo)準(zhǔn)化每層輸入分布優(yōu)勢加速訓(xùn)練，緩解梯度消失應(yīng)用位置通常在激活函數(shù)前卷積神經(jīng)網(wǎng)絡(luò)（CNN）123結(jié)構(gòu)特點局部連接，參數(shù)共享核心組件卷積層，池化層應(yīng)用領(lǐng)域圖像識別，視頻分析卷積層卷積核可學(xué)習(xí)的特征提取器卷積操作滑動窗口乘加運算特征圖激活后的特征表示池化層最大池化保留區(qū)域最大值平均池化計算區(qū)域平均值降維減少計算量，提高平移不變性經(jīng)典CNN架構(gòu)1LeNet(1998)首個成功的CNN，識別手寫數(shù)字2AlexNet(2012)深度CNN突破，贏得ImageNet競賽3VGG(2014)使用小型卷積核，深度統(tǒng)一結(jié)構(gòu)殘差網(wǎng)絡(luò)（ResNet）殘差塊添加跳躍連接，傳遞梯度超深網(wǎng)絡(luò)突破百層甚至千層限制性能飛躍大幅降低錯誤率循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）結(jié)構(gòu)特點包含循環(huán)連接，記憶前狀態(tài)1時序建模處理變長序列數(shù)據(jù)2應(yīng)用場景文本、語音、時間序列3長短期記憶網(wǎng)絡(luò)（LSTM）輸入門控制記憶哪些信息遺忘門決定丟棄哪些信息輸出門控制輸出哪些信息記憶單元長期存儲信息門控循環(huán)單元（GRU）結(jié)構(gòu)更新門和重置門，無記憶單元比較計算更高效，性能相近簡化版LSTM，參數(shù)更少序列到序列模型編碼器將輸入序列壓縮為上下文向量中間狀態(tài)包含源序列全部信息解碼器生成目標(biāo)序列注意力機制1Self-Attention序列內(nèi)部元素相互關(guān)注2多頭注意力并行注意力計算，多角度信息3核心計算Query、Key、Value變換Transformer模型純注意力架構(gòu)無需RNN結(jié)構(gòu)并行計算訓(xùn)練速度大幅提升位置編碼注入序列位置信息殘差連接促進梯度流動BERT模型雙向編碼同時考慮左右上下文預(yù)訓(xùn)練任務(wù)掩碼語言模型，句子關(guān)系預(yù)測微調(diào)針對下游任務(wù)適應(yīng)訓(xùn)練GPT系列模型1GPT-1基礎(chǔ)自回歸語言模型2GPT-2增大規(guī)模，無監(jiān)督學(xué)習(xí)3GPT-31750億參數(shù)，少樣本能力4GPT-4多模態(tài)，推理能力增強生成對抗網(wǎng)絡(luò)（GAN）生成器創(chuàng)造逼真樣本，欺騙判別器判別器區(qū)分真實與生成樣本兩網(wǎng)絡(luò)零和博弈，互相促進提升變分自編碼器（VAE）編碼器將輸入映射到潛在分布潛在空間連續(xù)、可解釋表示解碼器從潛在變量重建輸入深度強化學(xué)習(xí)智能體學(xué)習(xí)決策策略1環(huán)境提供狀態(tài)與獎勵2動作影響環(huán)境狀態(tài)3獎勵指導(dǎo)優(yōu)化方向4策略梯度方法REINFORCE算法蒙特卡洛采樣估計期望Actor-Critic結(jié)合價值估計減少方差優(yōu)勢函數(shù)相對于基線的優(yōu)勢測量深度Q網(wǎng)絡(luò)（DQN）1經(jīng)驗回放存儲歷史經(jīng)驗隨機采樣2目標(biāo)網(wǎng)絡(luò)穩(wěn)定訓(xùn)練，減少相關(guān)性3Q值預(yù)測神經(jīng)網(wǎng)絡(luò)預(yù)測狀態(tài)-動作價值遷移學(xué)習(xí)1源任務(wù)訓(xùn)練大數(shù)據(jù)預(yù)訓(xùn)練模型2知識遷移提取通用表示特征3目標(biāo)任務(wù)微調(diào)少量數(shù)據(jù)適應(yīng)新任務(wù)少樣本學(xué)習(xí)元學(xué)習(xí)學(xué)會如何學(xué)習(xí)，快速適應(yīng)原型網(wǎng)絡(luò)基于類別原型的度量學(xué)習(xí)僅用少量樣本進行有效學(xué)習(xí)自監(jiān)督學(xué)習(xí)對比學(xué)習(xí)學(xué)習(xí)區(qū)分相似與不同樣本預(yù)測任務(wù)預(yù)測圖像缺失部分或旋轉(zhuǎn)角度無標(biāo)簽數(shù)據(jù)利用數(shù)據(jù)內(nèi)在結(jié)構(gòu)創(chuàng)建監(jiān)督信號圖神經(jīng)網(wǎng)絡(luò)節(jié)點表示捕獲節(jié)點特征消息傳遞聚合鄰居信息圖表示整體結(jié)構(gòu)特征知識圖譜與深度學(xué)習(xí)實體嵌入將實體映射到向量空間關(guān)系建模學(xué)習(xí)實體間交互模式知識推理預(yù)測缺失關(guān)系與實體多模態(tài)學(xué)習(xí)視覺-語言模型整合圖像與文本信息1跨模態(tài)檢索文本查圖像，圖像查文本2多感知融合結(jié)合多種感知模態(tài)3聯(lián)合表示學(xué)習(xí)構(gòu)建統(tǒng)一語義空間4深度學(xué)習(xí)在計算機視覺中的應(yīng)用圖像分類識別圖像中的主體對象目標(biāo)檢測定位并識別多個物體圖像生成創(chuàng)建真實感圖像語義分割與實例分割語義分割像素級別類別劃分，不區(qū)分個體實例分割區(qū)分同類不同個體，精確邊界精細圖像理解的關(guān)鍵技術(shù)深度學(xué)習(xí)在自然語言處理中的應(yīng)用文本分類、命名實體識別、情感分析、文本摘要機器翻譯與對話系統(tǒng)神經(jīng)機器翻譯端到端翻譯系統(tǒng)多語言模型支持上百種語言轉(zhuǎn)換對話管理維持上下文連貫對話情感理解捕捉用戶意圖與情緒深度學(xué)習(xí)在語音識別中的應(yīng)用聲學(xué)特征提取梅爾頻譜圖分析聲學(xué)模型音素識別與建模語言模型語言規(guī)則與概率解碼輸出生成最可能文本深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用協(xié)同過濾基于用戶行為相似性內(nèi)容推薦基于商品特征相似性深度興趣網(wǎng)絡(luò)建模用戶復(fù)雜興趣演化深度學(xué)習(xí)在醫(yī)療領(lǐng)域的應(yīng)用醫(yī)學(xué)影像分析腫瘤檢測，器官分割疾病預(yù)測基于多源數(shù)據(jù)預(yù)測風(fēng)險藥物發(fā)現(xiàn)加速新藥研發(fā)流程深度學(xué)習(xí)在金融領(lǐng)域的應(yīng)用1股票預(yù)測時序模型分析市場趨勢2風(fēng)險評估信用評分，欺詐檢測3智能交易高頻交易策略優(yōu)化4投資組合資產(chǎn)配置優(yōu)化深度學(xué)習(xí)在自動駕駛中的應(yīng)用1234環(huán)境感知目標(biāo)檢測，場景理解路徑規(guī)劃最優(yōu)行駛路線行為決策轉(zhuǎn)向，加速，剎車高精地圖厘米級定位深度學(xué)習(xí)框架介紹TensorFlowGoogle開發(fā)，生產(chǎn)部署成熟PyTorchFacebook開發(fā)，研究友好其他框架MXNet，Jax，PaddlePaddle模型訓(xùn)練技巧學(xué)習(xí)率調(diào)整逐步減小或周期變化早停法驗證集性能不再提升時停止權(quán)重初始化Xavier，He初始化梯度裁剪防止梯度爆炸模型評估與解釋1交叉驗證K折劃分，多次評估2特征可視化t-SNE降維，注意力熱圖3敏感性分析輸入擾動影響輸出4SHAP值特征對預(yù)測貢獻度數(shù)據(jù)預(yù)處理與增強標(biāo)準(zhǔn)化、歸一化、數(shù)據(jù)增強、特征工程深度學(xué)習(xí)的挑戰(zhàn)數(shù)據(jù)依賴需要大量標(biāo)注數(shù)據(jù)計算資源訓(xùn)練大模型需高性能硬件黑盒性質(zhì)決策過程難以解釋深度學(xué)習(xí)的倫理問題隱私保護用戶數(shù)據(jù)安全與隱私偏見與公平性模型決策存在社會偏見透明度用戶有權(quán)知情AI決策過程深度學(xué)習(xí)的未來發(fā)展1大規(guī)模模型千億參數(shù)超大模型2低資源學(xué)習(xí)數(shù)據(jù)高效學(xué)習(xí)方法3多模態(tài)融合跨感知模態(tài)統(tǒng)一模型4神經(jīng)符號方法結(jié)合符號推理與學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)壓縮與加速1模型量化降低參數(shù)精度，如INT82知識蒸餾小模型學(xué)習(xí)大模型能力3剪枝移除不重要連接4低秩分解分解卷積核矩陣聯(lián)邦學(xué)習(xí)本地訓(xùn)練數(shù)據(jù)留在用戶設(shè)備1模型聚合中心服務(wù)器整合模型2模型更新分發(fā)新模型到用戶3再次訓(xùn)練用戶設(shè)備繼續(xù)訓(xùn)練4神經(jīng)架構(gòu)搜索（NAS）自動化設(shè)計算法自動探索網(wǎng)絡(luò)結(jié)構(gòu)搜索空間定義可能的架構(gòu)集合搜索