深度學(xué)習(xí)高手筆記卷1：基礎(chǔ)算法讀書筆記模板01思維導(dǎo)圖讀書筆記作者介紹內(nèi)容摘要目錄分析精彩摘錄目錄0305020406思維導(dǎo)圖算法筆記卷算法深度高手模型基礎(chǔ)方向第章模型基礎(chǔ)注意力骨干網(wǎng)絡(luò)起源序列語言神經(jīng)網(wǎng)絡(luò)架構(gòu)本書關(guān)鍵字分析思維導(dǎo)圖內(nèi)容摘要內(nèi)容摘要本書通過扎實(shí)、詳細(xì)的內(nèi)容和清晰的結(jié)構(gòu)，從算法理論、算法源碼、實(shí)驗(yàn)結(jié)果等方面對(duì)深度學(xué)習(xí)算法進(jìn)行分析和介紹。本書共三篇，第一篇主要介紹深度學(xué)習(xí)在計(jì)算機(jī)視覺方向的一些卷積神經(jīng)網(wǎng)絡(luò)，從基礎(chǔ)骨干網(wǎng)絡(luò)、輕量級(jí)CNN、模型架構(gòu)搜索3個(gè)方向展開，介紹計(jì)算機(jī)視覺方向的里程碑算法；第二篇主要介紹深度學(xué)習(xí)在自然語言處理方向的重要突破，包括基礎(chǔ)序列模型和模型預(yù)訓(xùn)練；第三篇主要介紹深度學(xué)習(xí)在模型優(yōu)化上的進(jìn)展，包括模型優(yōu)化方法。通過閱讀本書，讀者可以深入理解主流的深度學(xué)習(xí)基礎(chǔ)算法，搭建起自己的知識(shí)體系，領(lǐng)會(huì)算法的本質(zhì)，學(xué)習(xí)模型優(yōu)化方法。無論是從事深度學(xué)習(xí)科研的教師及學(xué)生，還是從事算法落地實(shí)踐的工作人員，都能從本書中獲益。讀書筆記讀書筆記《深度學(xué)習(xí)高手筆記》作者劉巖是知乎的Aⅰ神級(jí)人物，從newBing上問答關(guān)于Aⅰ方面的問題，時(shí)會(huì)引用他在知乎專欄下的文章，其實(shí)所謂Ai智能也是學(xué)習(xí)而矣，作者整理文章后完成了本套關(guān)于深度學(xué)習(xí)的圖書。●下一句預(yù)測(cè)(nextsentenceprediction，NSP)模型：用于判斷兩個(gè)句子是否為連續(xù)的上下文。作者從GPT-1開始分析它們的迭代，分析的結(jié)果有利于我們應(yīng)用者怎么通過prompt用好GPT。目錄分析第1章基礎(chǔ)骨干網(wǎng)絡(luò)第3章模型架構(gòu)搜索第2章輕量級(jí)CNN第一篇卷積神經(jīng)網(wǎng)絡(luò)第1章基礎(chǔ)骨干網(wǎng)絡(luò)1.1起源：LeNet-5和AlexNet1.2更深：VGG1.3更寬：GoogLeNet1.4跳躍連接：ResNet1.5注意力：SENet1.6更密：DenseNet1.7模型集成：DPN1.8像素向量：iGPT1.9VisualTransformer之SwinTransformer第2章輕量級(jí)CNN2.1SqueezeNet2.2MobileNetv1和MobileNetv22.3Xception2.4ResNeXt2.5ShuffleNetv1和ShuffleNetv22.6CondenseNet第3章模型架構(gòu)搜索3.1PolyNet3.2NAS3.3NASNet3.4PNASNet3.5AmoebaNet3.6MnasNet3.7MobileNetv33.8EfficientNetv13.9EfficientNetv2第5章模型預(yù)訓(xùn)練第4章基礎(chǔ)序列模型第二篇自然語言處理第4章基礎(chǔ)序列模型4.1LSTM和GRU4.2注意力機(jī)制4.3Transformer4.4Transformer-XL第5章模型預(yù)訓(xùn)練5.1RNN語言模型5.2ELMo5.3GPT-1、GPT-2和GPT-35.4BERT5.5BERT“魔改”之RoBERTa、ALBERT、MT-DNN和XLM5.6XLNet5.7ERNIE（清華大學(xué)）5.8ERNIE（百度）和ERNIE2.0第三篇模型優(yōu)化第6章模型優(yōu)化方法6.1Dropout6.2BN6.3LN6.4WN6.5IN6.6GN6.7SN作者介紹同名作者介紹這是《深度學(xué)習(xí)高手筆記卷1：基礎(chǔ)算法