深度學(xué)習(xí)的基本原理與圖片檢索項(xiàng)目實(shí)踐

-----自主和泛化2023/2/61崇志宏數(shù)據(jù)與智能實(shí)驗(yàn)室東南大學(xué)c提綱2023/2/62基本原理：基于流形假設(shè)和函數(shù)精簡(jiǎn)表示的小樣本技術(shù)關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率圖片檢索的困難和解決技術(shù)方向擴(kuò)展性障礙：圖片的數(shù)量/相似函數(shù)的復(fù)雜性資源障礙：標(biāo)識(shí)數(shù)據(jù)/計(jì)算集群統(tǒng)計(jì)學(xué)習(xí)的基本原理：支持向量機(jī)&深度學(xué)習(xí)2023/2/63統(tǒng)計(jì)學(xué)習(xí)的基本原理：概率圖&深度學(xué)習(xí)2023/2/64多層數(shù)目巨大的隱含變量來(lái)“解開”高維隨機(jī)變量間的復(fù)雜依賴關(guān)系用固定結(jié)構(gòu)代替結(jié)構(gòu)學(xué)習(xí)隱含變量的理解性差abcdexxxxxxxyyyy2023/2/65統(tǒng)計(jì)學(xué)習(xí)的基本原理：手工特征工程深度學(xué)習(xí)的問(wèn)題和目標(biāo)2023/2/66應(yīng)用驅(qū)動(dòng)的深度學(xué)習(xí)技術(shù)文本/圖像/視頻或音頻處理AI應(yīng)用：知識(shí)抽取、問(wèn)答或聊天高維魔咒復(fù)雜依賴關(guān)系、非鄰居依賴的插值…

基本原理：?jiǎn)栴}（高維復(fù)雜依賴的統(tǒng)計(jì)效率）2023/2/67深度學(xué)習(xí)的問(wèn)題：解決高維/復(fù)雜依賴關(guān)系的小樣本技術(shù)方法

分類/回歸（有導(dǎo)師學(xué)習(xí)）：函數(shù)依賴關(guān)系Y和X分布密度/結(jié)構(gòu)（無(wú)導(dǎo)師學(xué)習(xí)）：高維隨機(jī)變量的密度分布策略問(wèn)題（半導(dǎo)師學(xué)習(xí)問(wèn)題）：過(guò)程學(xué)習(xí)基本原理：?jiǎn)栴}（高維復(fù)雜依賴的統(tǒng)計(jì)效率）2023/2/68深度學(xué)習(xí)的問(wèn)題：解決高維/復(fù)雜依賴關(guān)系的小樣本技術(shù)方法

分類/回歸（有導(dǎo)師學(xué)習(xí)）：函數(shù)依賴關(guān)系Y和X分布密度/結(jié)構(gòu)（無(wú)導(dǎo)師學(xué)習(xí)）：高維隨機(jī)變量的密度分布策略問(wèn)題（半導(dǎo)師學(xué)習(xí)問(wèn)題）：過(guò)程學(xué)習(xí)效率計(jì)算效率樣本效率基本原理：流形假設(shè)的相似性2023/2/69基于鄰居假設(shè)的局限性

基本原理：流形假設(shè)的相似性2023/2/610基于流形假設(shè)

基本原理：精簡(jiǎn)函數(shù)表示的高維解決框架2023/2/611基本原理：精簡(jiǎn)函數(shù)表示的高維解決框架2023/2/612函數(shù)式編程基本原理：精簡(jiǎn)函數(shù)表示的高維解決框架2023/2/613基本原理：精簡(jiǎn)函數(shù)表示的高維解決框架2023/2/6142023/2/6152023/2/6162023/2/617深度學(xué)習(xí)的基本觀點(diǎn)2023/2/618p神經(jīng)科學(xué)特征表示：流形假設(shè)概率統(tǒng)計(jì)：隱含變量（影響因素）流形特征空間拓?fù)渥兓€性分類2023/2/619深度的基本觀點(diǎn)：特征類型&函數(shù)式編程2023/2/620Atpresent,threenarrativesarecompetingtobethewayweunderstanddeeplearning.There’stheneurosciencenarrative,drawinganalogiestobiology.There’stherepresentationsnarrative,centeredontransformationsofdataandthemanifoldhypothesis.Finally,there’saprobabilisticnarrative,whichinterpretsneuralnetworksasfindinglatentvariables.Thesenarrativesaren’tmutuallyexclusive,buttheydopresentverydifferentwaysofthinkingaboutdeeplearning.Thisessayextendstherepresentationsnarrativetoanewanswer:deeplearningstudiesaconnectionbetweenoptimizationandfunctionalprogramming.Inthisview,therepresentationsnarrativeindeeplearningcorrespondstotypetheoryinfunctionalprogramming.神經(jīng)科學(xué)特征表示：流形假設(shè)（特征表示數(shù)據(jù)類型化/網(wǎng)絡(luò)函數(shù)式編程）概率統(tǒng)計(jì)：隱含變量（影響因素）提

綱2023/2/621基本原理：流形假設(shè)和函數(shù)精簡(jiǎn)表示深度學(xué)習(xí)的問(wèn)題/目標(biāo)流形假設(shè)和函數(shù)精簡(jiǎn)表示語(yǔ)義表示（Typing）：流形、隱變量、認(rèn)知科學(xué)和腦科學(xué)的啟發(fā)函數(shù)精簡(jiǎn)表示（神經(jīng)網(wǎng)絡(luò)）：函數(shù)式編程關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率計(jì)算效率訓(xùn)練/間接優(yōu)化技術(shù)統(tǒng)計(jì)效率特征表示和學(xué)習(xí)參數(shù)共享/類型化記憶機(jī)制/關(guān)注機(jī)制圖片檢索的困難和解決技術(shù)方向關(guān)鍵技術(shù)：計(jì)算效率2023/2/622遞度依賴的優(yōu)化方法BP算法EM算法非遞度依賴的優(yōu)化方法迭代優(yōu)化間接/近似優(yōu)化方法的基本思想和原則大模型+正則化+近似優(yōu)化=有效模型異步并行算法和系統(tǒng)計(jì)算效率：計(jì)算圖的BP算法2023/2/623計(jì)算效率：計(jì)算圖的BP算法2023/2/624計(jì)算效率：EM迭代算法2023/2/625計(jì)算效率：非梯度依賴的優(yōu)化2023/2/626計(jì)算效率：AdversaryNet2023/2/627計(jì)算效率：AdversaryNet2023/2/628非真實(shí)數(shù)據(jù)的概率計(jì)算效率：其他的訓(xùn)練和優(yōu)化2023/2/629AdversaryNet

VariationalLowerBoundMCMCApproximation

大模型+正則化+近似優(yōu)化=有效模型數(shù)據(jù)模型參數(shù)模型提

綱2023/2/630基本原理：流形假設(shè)和函數(shù)精簡(jiǎn)表示深度學(xué)習(xí)的問(wèn)題/目標(biāo)流形假設(shè)和函數(shù)精簡(jiǎn)表示語(yǔ)義表示（Typing）：流形、隱變量、認(rèn)知科學(xué)和腦科學(xué)的啟發(fā)函數(shù)精簡(jiǎn)表示（神經(jīng)網(wǎng)絡(luò)）：函數(shù)式編程關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率計(jì)算效率訓(xùn)練/間接優(yōu)化技術(shù)統(tǒng)計(jì)效率特征表示和學(xué)習(xí)參數(shù)共享/類型化記憶機(jī)制/關(guān)注機(jī)制系統(tǒng)工具和應(yīng)用圖片檢索的困難和解決技術(shù)方向關(guān)鍵技術(shù)：從精簡(jiǎn)表示到統(tǒng)計(jì)效率2023/2/631特征學(xué)習(xí)：數(shù)據(jù)語(yǔ)義的學(xué)習(xí)/對(duì)數(shù)據(jù)進(jìn)行類型化（語(yǔ)義泛化）何為相似？同一流形上的對(duì)象是相似的、同一類型的參數(shù)共享：關(guān)系類型化同一類型依賴分享相同的參數(shù)/基于參數(shù)的轉(zhuǎn)移學(xué)習(xí)記憶：對(duì)過(guò)去的總結(jié)通過(guò)“+”算子解決長(zhǎng)依賴關(guān)系的精簡(jiǎn)表示關(guān)注：有選擇的關(guān)注關(guān)注什么？怎么轉(zhuǎn)移關(guān)注？策略學(xué)習(xí)/強(qiáng)化學(xué)習(xí)效率：稀疏表示或連接、共享、記憶、關(guān)注統(tǒng)計(jì)效率：特征表示、特征轉(zhuǎn)移（分享）2023/2/632統(tǒng)計(jì)效率：特征表示、特征轉(zhuǎn)移（分享）2023/2/633統(tǒng)計(jì)效率：特征表示、特征轉(zhuǎn)移（分享）2023/2/634統(tǒng)計(jì)效率：參數(shù)共享2023/2/635統(tǒng)計(jì)效率：參數(shù)共享2023/2/636統(tǒng)計(jì)效率：參數(shù)共享2023/2/637稀疏連接統(tǒng)計(jì)效率：參數(shù)共享2023/2/638統(tǒng)計(jì)效率：記憶2023/2/639統(tǒng)計(jì)效率：關(guān)注2023/2/640統(tǒng)計(jì)效率：關(guān)注2023/2/6412023/2/642統(tǒng)計(jì)效率：關(guān)注2023/2/643統(tǒng)計(jì)效率：關(guān)注提

綱2023/2/644基本原理：流形假設(shè)和函數(shù)精簡(jiǎn)表示深度學(xué)習(xí)的問(wèn)題/目標(biāo)流形假設(shè)和函數(shù)精簡(jiǎn)表示語(yǔ)義表示（Typing）：流形、隱變量、認(rèn)知科學(xué)和腦科學(xué)的啟發(fā)函數(shù)精簡(jiǎn)表示（神經(jīng)網(wǎng)絡(luò)）：函數(shù)式編程關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率計(jì)算效率訓(xùn)練/間接優(yōu)化技術(shù)統(tǒng)計(jì)效率特征表示和學(xué)習(xí)參數(shù)共享/類型化記憶機(jī)制/關(guān)注機(jī)制系統(tǒng)工具和應(yīng)用圖片檢索的困難和解決技術(shù)方向深度的基本觀點(diǎn)：特征類型&函數(shù)式編程2023/2/645Atpresent,threenarrativesarecompetingtobethewayweunderstanddeeplearning.There’stheneurosciencenarrative,drawinganalogiestobiology.There’stherepresentationsnarrative,centeredontransformationsofdataandthemanifoldhypothesis.Finally,there’saprobabilisticnarrative,whichinterpretsneuralnetworksasfindinglatentvariables.Thesenarrativesaren’tmutuallyexclusive,buttheydopresentverydifferentwaysofthinkingaboutdeeplearning.Thisessayextendstherepresentationsnarrativetoanewanswer:deeplearningstudiesaconnectionbetweenoptimizationandfunctionalprogramming.Inthisview,therepresentationsnarrativeindeeplearningcorrespondstotypetheoryinfunctionalprogramming.神經(jīng)科學(xué)特征表示：流形假設(shè)（特征表示數(shù)據(jù)類型化/網(wǎng)絡(luò)函數(shù)式編程）概率統(tǒng)計(jì)：隱含變量（影響因素）樣本效率計(jì)算效率2023/2/646系統(tǒng)工具：Tensorflow

系統(tǒng)工具：Tensorflow

2023/2/647提

綱2023/2/648基本原理：流形假設(shè)和函數(shù)精簡(jiǎn)表示深度學(xué)習(xí)的問(wèn)題/目標(biāo)流形假設(shè)和函數(shù)精簡(jiǎn)表示語(yǔ)義表示（Typing）：流形、隱變量、認(rèn)知科學(xué)和腦科學(xué)的啟發(fā)函數(shù)精簡(jiǎn)表示（神經(jīng)網(wǎng)絡(luò)）：函數(shù)式編程關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率計(jì)算效率訓(xùn)練/間接優(yōu)化技術(shù)統(tǒng)計(jì)效率特征表示和學(xué)習(xí)參數(shù)共享/類型化記憶機(jī)制/關(guān)注機(jī)制系統(tǒng)工具和應(yīng)用圖片檢索的困難和解決技術(shù)方向圖片檢索的困難：?jiǎn)栴}2023/2/649從千萬(wàn)量級(jí)的商品圖片庫(kù)中檢索與給定圖片相似商品的圖片輸入搜索關(guān)鍵詞，從返回商品圖片中檢索與選定圖片相似商品的圖片圖片檢索的困難：基本解決方案2023/2/650從千萬(wàn)量級(jí)的商品圖片庫(kù)中檢索與給定圖片相似商品的圖片輸入搜索關(guān)鍵詞，從返回商品圖片中檢索與選定圖片相似商品的圖片圖片檢索的困難：基本解決方案2023/2/651從千萬(wàn)量級(jí)的商品圖片庫(kù)中檢索與給定圖片相似商品的圖片輸入搜索關(guān)鍵詞，從返回商品圖片中檢索與選定圖片相似商品的圖片圖片檢索的困難：目前實(shí)驗(yàn)結(jié)果2023/2/652基本技術(shù)方案研究研究網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)規(guī)模（商品類別、數(shù)量）、泛化能力之間的關(guān)系給定網(wǎng)絡(luò)結(jié)構(gòu)，改變數(shù)據(jù)規(guī)模給定數(shù)據(jù)規(guī)模，改變網(wǎng)絡(luò)結(jié)構(gòu)bag888560air7467bath78ball766953chess7562bb_cream50boots847729comb4842bike78camera978865fan7671cutlery49computer797447flower6736dustbin46cup776348glove5740dustpan52fitness999786hat7852fridge60furniture817065music9380glasses78jewelry726134ruler7869houseclean73led716248stationary8174kitchen42pethouse644739makeup67sand685944mop55scooter959276perfume39tshirt736538phone44watch847858plate41power_board42range_hood68suitcase35sweeper32switch75tub38washing56water_heater65window46xiangji49L5-64C15C25C502023/2/653L6L6-96+fullconnectedlayer-N10242023/2/6548152550bag90.687.985.360ball79.876.269.253boots84.583.877.128.7camera95.396.888.164.8computer74.379.373.846.5cup757762.547.5fitness98.398.896.985.7furniture64.5jewelry5172.260.534led54.970.562.247.7pethouse56.364.346.738.8sand51.76858.643.8scooter69.495.19275.8tshirt51.872.76538.3watch44.283.678.358.4airchess55.875.462comb4848.141.7fan72.675.571.1flower48.46735.5glove42.756.940.1hat51.578.351.7music59.392.780.4ruler45.677.669.2stationary67.28173.7bath48.677.8bb_cream55.850.3bike28.578.2cutlery40.549.2dustbin35.946dustpan4952.2fridge43.160glasses3677.7houseclean63.572.7kitchen35.242makeup57.567.4mop55.355.2perfume4038.5phone43.944.1plate46.141.4power_board48.741.9range_hood44.368suitcase36.334.6sweeper25.832.3switch4375.3tub32.838.4washing4855.5water_heater56.465.3window37.545.8xiangji41.348.9圖片檢索的困難：目前實(shí)驗(yàn)結(jié)果類別之間的泛化能力2023/2/655圖片檢索的困難：難點(diǎn)2023/2/656問(wèn)題從千萬(wàn)量級(jí)的商品圖片庫(kù)中檢索與給定圖片相似商品的圖片輸入搜索關(guān)鍵詞，從返回商品圖片中檢索與選定圖片相似商品的圖片難點(diǎn)圖片數(shù)目在千萬(wàn)量級(jí)多樣性的相似性度量形狀、外觀相似顏色相似相似性度量函數(shù)是復(fù)雜函數(shù)32.3%圖片檢索的困難：難點(diǎn)2023/2/657問(wèn)題從千萬(wàn)量級(jí)的商品圖片庫(kù)中檢索與給定圖片相似商品的圖片輸入搜索關(guān)鍵詞，從返回商品圖片中檢索與選定圖片相似商品的圖片難點(diǎn)圖片數(shù)目在千萬(wàn)量級(jí)多樣性的相似性度量形狀、外觀相似顏色相似相似性度量函數(shù)是復(fù)雜函數(shù)圖片檢索的困難：突破方向2023/2/658后續(xù)突破方向數(shù)據(jù)信息方向嵌入搜索關(guān)鍵詞信息（通過(guò)無(wú)導(dǎo)師學(xué)習(xí)方法抽取關(guān)鍵詞下的圖片特征）半導(dǎo)師/轉(zhuǎn)移學(xué)習(xí)方向（大量的無(wú)標(biāo)志圖片）其他數(shù)據(jù)源/有效樣本（用粗糙模型探測(cè)樣本結(jié)構(gòu)）網(wǎng)絡(luò)結(jié)構(gòu)方向深度網(wǎng)絡(luò)結(jié)構(gòu)：verydeepnetwork關(guān)注技術(shù)圖片檢索的困難：突破方向2023/2/659后續(xù)突破方向數(shù)據(jù)信息方向嵌入搜索關(guān)鍵詞信息（通過(guò)無(wú)導(dǎo)師學(xué)習(xí)方法抽取關(guān)鍵詞下的圖片特征）半導(dǎo)師/轉(zhuǎn)移學(xué)習(xí)方向（大量的無(wú)標(biāo)志圖片）其他的數(shù)據(jù)源/有效樣本（用粗糙模型探測(cè)樣本結(jié)構(gòu)）網(wǎng)絡(luò)結(jié)構(gòu)方向深度網(wǎng)絡(luò)結(jié)構(gòu)：verydeepnetwork關(guān)注技術(shù)圖片檢索的困難：突破方向2023/2/660后續(xù)突破方向數(shù)據(jù)信息方向嵌入搜索關(guān)鍵詞信息（通過(guò)無(wú)導(dǎo)師學(xué)習(xí)方法抽取關(guān)鍵詞下的圖片特征）半導(dǎo)師/轉(zhuǎn)移學(xué)習(xí)方向（大量的無(wú)標(biāo)志圖片）其他的數(shù)據(jù)源/有效樣本（用粗糙模型探測(cè)樣本結(jié)構(gòu)）網(wǎng)絡(luò)結(jié)構(gòu)方向深度網(wǎng)絡(luò)結(jié)構(gòu)：verydeepnetwork關(guān)注技術(shù)圖片檢索的困難：突破方向2023/2/661后續(xù)突破方向數(shù)據(jù)信息方向嵌入搜索關(guān)鍵詞信息（通過(guò)無(wú)導(dǎo)師學(xué)習(xí)方法抽取關(guān)鍵詞下的圖片特征）無(wú)導(dǎo)師/半導(dǎo)師/轉(zhuǎn)移學(xué)習(xí)方向（大量的無(wú)標(biāo)志圖片）其他的數(shù)據(jù)源/有效樣本（用粗糙模型探測(cè)樣本結(jié)構(gòu)）（弱導(dǎo)師學(xué)習(xí)）網(wǎng)絡(luò)結(jié)構(gòu)方向深度網(wǎng)絡(luò)結(jié)構(gòu)：verydeepnetwork關(guān)注技術(shù)不同類別商品的關(guān)注策略具有共性，可以轉(zhuǎn)移！統(tǒng)計(jì)效率和計(jì)算效率的模型：怎么用最少的樣本、最小的計(jì)算做可能準(zhǔn)確的推測(cè)！提綱2023/2/662基本原理：基于流形假設(shè)和函數(shù)精簡(jiǎn)表示的小樣本技術(shù)關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率圖片檢索的困難和解決技術(shù)方向擴(kuò)展性障礙：圖片的數(shù)量/相似函數(shù)的復(fù)雜性資源障礙：標(biāo)識(shí)數(shù)據(jù)/計(jì)算集群提綱2023/2/663基本原理：基于流形假設(shè)和函數(shù)精簡(jiǎn)表示的小樣本技術(shù)關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率圖片檢索的困難和解決技術(shù)方向擴(kuò)展性障礙：圖片的數(shù)量/相似函數(shù)的復(fù)雜性資源障礙：標(biāo)識(shí)數(shù)據(jù)/計(jì)算集群大模型+正則化+近似優(yōu)化=有效模型過(guò)度擬合、先驗(yàn)經(jīng)驗(yàn)統(tǒng)計(jì)效率和計(jì)算效率流形假設(shè)函數(shù)嵌套、稀疏連接、共享、轉(zhuǎn)移自主和泛化端到端的方法策略（編程）學(xué)習(xí)提綱2023/2/664基本原理：基于流形假設(shè)和函數(shù)精簡(jiǎn)表示的小樣本技術(shù)關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率圖片檢索的困難和解決技術(shù)方向擴(kuò)展性障礙：圖片的數(shù)量/相似函數(shù)的復(fù)雜性資源障礙：標(biāo)識(shí)數(shù)據(jù)/計(jì)算集群大模型+正則化+近似優(yōu)化=有效模型過(guò)度擬合、先驗(yàn)經(jīng)驗(yàn)統(tǒng)計(jì)效率和計(jì)算效率流形假設(shè)函數(shù)嵌套、稀疏連接、共享、轉(zhuǎn)移自