03人工智能技術的新探索

——機器學習技術框架021本章目標理解機器學習的4個任務了解機器學習的3個學習方法掌握機器學習的5個流程掌握機器學習的3個要素2/63重點重點重點機器學習的4類任務3/63思考：機器學習用來實現(xiàn)哪些任務？4/63動物識別房價預測博主推薦根據問題的性質和可用的數據類型劃分4類任務分類什么是分類？將輸入數據劃分到預定義類別，實現(xiàn)離散值的預測5/63圖像分類文本分類分類的原理以貓狗圖像識別為例6/63新數據實現(xiàn)預測大量帶標簽數據分類的應用7/63

中國工商銀行通過收集客戶的基本信息（年齡、職業(yè)、收入等）、賬戶交易信息（交易頻率、交易金額、賬戶余額等）、信貸記錄（是否有貸款、貸款還款情況等）等數據構建分類模型?？蛻舴诸?/p>

新聞分類

訊飛星火的情緒感知度達到85%以上，對高興、抱歉、安慰、撒嬌、困惑等語氣表達更加生動，可以滿足用戶在各種場景下的自我減壓、釋放情緒等需求。在“青少年AI心理咨詢論壇暨應用模式分享”專題會議，發(fā)布新品Al心理伙伴語音情感識別年齡職業(yè)收入............類型..............................一級..............................二級..............................三級騰訊新聞分類回歸什么是回歸回歸旨在實現(xiàn)連續(xù)值的預測探索和量化兩個或多個變量之間的依賴關系8/63某支股票的歷史價格數據自變量因變量解釋預測回歸的原理以貓狗年齡預測為例9/63(類別=貓;體重=3.2;牙齒=新生;活躍程度=高;毛色=純白;年齡=1)(類別=狗;體重=25.5;牙齒=輕度磨損;活躍程度=中;毛色=黑白;年齡=6)(類別=貓;體重=4.5;牙齒=完整;活躍程度=高;毛色=橘黃;年齡=2)(類別=狗;體重=18.7;牙齒=完整;活躍程度=高;毛色=棕色;年齡=3)類別年齡體重牙齒活躍程度活躍程度年齡體重簡化問題偏離明顯回歸的應用10/63房價=a*房屋面積+b*房齡

+c*周邊學校質量系數

+d*離地鐵站距離系數+e量化投資公司AQR長期利用機器學習回歸技術進行股票預測，目的是構建投資組合，通過預測股票價格走勢來獲取超越市場平均水平的收益鏈家收集了2010年至今的海量房產交易數據。這些數據包括房屋的基本特征，采用多元線性回歸模型。將房價作為因變量，其他房屋特征和周邊設施情況作為自變量。實現(xiàn)房價的回歸預測股票預測房價預測回歸的應用11/63通行時間預測天氣氣溫預測銷售預測標注什么是標注

可以看作是分類任務的擴展12/63

通過機器學習的方法自動為數據分配多個標簽或類別，通?；谀Ｐ蛯祿睦斫夂皖A測標注

由人類根據特定規(guī)則或標準對數據進行標記或分類，例如為文本添加情感標簽或為圖像劃定物體邊界人工標注機器學習的標注任務依賴人類的判斷由機器學習模型自動完成標注的原理13/63為輸入的數據分配相應的標簽輸入數據標簽1標簽3標簽4標簽11標簽7標簽10標簽8標簽9標簽6標簽5標簽2標簽12......以抖音短視頻平臺為例14/63作者發(fā)布視頻時，需要手動勾選視頻的“分類”選項，最多可以勾選2項視頻發(fā)布后，平臺對視頻內容進行自動識別和特征提取，并根據特征，對視頻進行自動標注以提高視頻的曝光度。一般每個視頻最多能添加15個標簽原創(chuàng)轉載搞笑影視剪輯帶貨美食生活記錄類才藝展示類搞笑娛樂類廣告營銷類小品表演類時尚美妝類教程演示類互動挑戰(zhàn)類情感故事類文化藝術類家庭親子類......數據標注的應用15/63貓狗識別標注數據集水稻葉片病害標注數據集提高數據的可理解性和可用性，為各領域研究和應用提供了更豐富的洞察結果聚類什么是聚類一種用于在未標注數據中發(fā)現(xiàn)規(guī)律的方法16/63聚類的原理以貓狗數據聚類為例17/63體重/kg身長/cm耳朵尾巴毛色

4.235尖長橘5.138尖長黑15.565垂短棕3.833尖長白18.270垂短黑白4.536尖長灰22.075垂長金3.934尖長三色簇體重/kg身長/cm耳朵尾巴毛色

可能類別簇14.235尖長橘貓5.138尖長黑3.833尖長白4.536尖長灰3.934尖長三色簇215.565垂短棕中型犬18.270垂短黑白簇322.075垂長金大型犬聚類的應用18/63生物信息基因聚類消費客戶細分想一想：下面哪些情況屬于什么任務？支付寶中的人臉識別中國電信的客戶細分墨跡天氣的未來溫度預測360網絡安全監(jiān)控中的異常標注空氣中二氧化碳濃度預測醫(yī)院的醫(yī)保欺詐識別AI應用崗位的薪資預測希爾頓酒店預訂取消預測蜂鳥網對上傳的攝影作品自動打標簽19/63機器學習的3個學習方法20/63機器學習的3個學習方法21/63監(jiān)督學習什么是監(jiān)督學習監(jiān)督學習是一種機器學習范式，它使用帶有目標值或標簽的訓練樣本，學習從輸入到輸出的映射函數分類和回歸是監(jiān)督學習的兩種典型任務22/63機器學習模型？貓頭型較圓多立耳五官較平狗頭型較長立耳折耳五官突出貓的可能性：20%狗的可能性：80%監(jiān)督貓貓貓貓狗狗狗狗標簽標簽預測結果狗監(jiān)督學習的應用場景23/63垃圾郵件識別股票回測無監(jiān)督學習什么是無監(jiān)督學習無監(jiān)督學習是在沒有明確目標值的情況下，從數據中發(fā)現(xiàn)潛在的結構或規(guī)律聚類是無監(jiān)督學習的典型任務24/63無翅膀動物有翅膀動物機器學習模型無監(jiān)督無監(jiān)督學習應用場景25/63社交網絡分析推薦系統(tǒng)僅有少量標簽數據——半監(jiān)督學習什么是半監(jiān)督學習

結合有監(jiān)督學習和無監(jiān)督學習的特點，使用少量有標簽的數據來幫助學習，同時利用大量未標注的數據進行補充和優(yōu)化26/63帶標記訓練樣本無標記訓練樣本半監(jiān)督學習分類器測試樣本分類結果半監(jiān)督學習的應用27/63語音識別圖像標注獲取標簽成本高昂的場景強化學習什么是強化學習智能體在與環(huán)境的交互中，學習如何做出決策，通過嘗試不同的動作并接收相應的獎勵或懲罰信號來學習最優(yōu)策略28/63強化學習的應用29/63機器人棋類游戲機器學習各學習方法小結30/63機器學習的5個工作流程31/63機器學習的5個流程32/63數據探索和問題轉化33/63收集和分析與任務相關的數據，了解其結構、特征和分布情況數據探索將現(xiàn)實業(yè)務問題準確地轉化為機器學習任務問題轉化關于貓狗識別需求的問題轉化決策者AI系統(tǒng)開發(fā)者根據貓和狗的數據，分析貓與狗的特征，實現(xiàn)貓狗識別圖像分類希望方便管理店鋪內寵物，區(qū)分貓狗的進貨、銷售、寄養(yǎng)等業(yè)務流程需要快速區(qū)分流浪貓和狗，以便進行分類救助寵物愛好者社區(qū)網站或者手機應用程序的開發(fā)者，希望增強用戶體驗，方便用戶分享寵物的照片和故事需要大量的貓狗樣本數據來進行研究。期望在野外或者實驗環(huán)境中快速收集貓狗數據業(yè)務問題機器學習任務思維角度轉換寵物從業(yè)者動物救助機構科研人員寵物愛好及開發(fā)者數據準備34/63數據收集數據預處理

特征工程待處理圖像數據舉例cat_01.jpgcat_02.jpgcat_03.jpgdog_01.jpgdog_02.pngdog_03.jpg重復數據標注錯誤圖像模糊格式不同無關數據特征向量以貓狗識別為例35/63毛色=橘黃;眼睛=豎瞳;

爪子=可伸縮;

叫聲=喵喵;

年齡=2;

體重=4.5毛色=黑白;

眼睛=圓瞳;

爪子=不可伸縮;

叫聲=汪汪;

年齡=5;

體重=15.2......數據集一個樣本屬性屬性值0101010101二進制特征值眼睛爪子叫聲貓0狗模型搭建和訓練模型的本質36/63模型函數(類別=貓;體重=3.2;牙齒=新生;活躍程度=高;毛色=純白;年齡=1)(類別=狗;體重=25.5;牙齒=輕度磨損;活躍程度=中;毛色=黑白;年齡=6)(類別=貓;體重=4.5;牙齒=完整;活躍程度=高;毛色=橘黃;年齡=2)(類別=狗;體重=18.7;牙齒=完整;活躍程度=高;毛色=棕色;年齡=3)實現(xiàn)貓狗預測實現(xiàn)年齡預測分類回歸獲取模型參數訓練模型測試和分析模型的評估指標37/63評估模型的性能與泛化能力如果正確識別了90張，則準確率是90/100=90%準確率如果模型預測50張圖片為貓，其中45張確實是貓，那么對貓的精確率就是45/50=90%精確率如果測試集中有60張貓的圖片，模型正確識別出了54張，那么對貓的召回率就是54/63=90%召回率假定利用訓練好的模型對100張貓狗圖片進行預測模型部署和應用38/63模型未知數據預測應用部署環(huán)境預測結果輸入監(jiān)控訓練調優(yōu)模型性能下降機器學習是一個持續(xù)的過程，需要不斷適應和優(yōu)化機器學習的3個要素39/63機器學習模型三要素40/63模型選擇影響了算法的性能和預測結果的準確性策略是指導模型學習和優(yōu)化的核心方法算法是實現(xiàn)機器學習策略的具體方法和步驟思考41/63廣告支出大，銷售量就高？如何影響？有什么規(guī)律？除了廣告費以外，還有哪些因素影響銷售額？模型序號廣告支出（萬元）銷售額（萬元）10021-532.5843.5754.59658.577.51688179916101021..................創(chuàng)建某公司廣告支出與銷售額數據模型什么是模型

模型就是對數據中的規(guī)律進行抽象和表示根據任務類型分為兩大模型42/63分類回歸由連續(xù)變量預測的定量輸出的算法由離散變量預測的定性輸出的算法回歸模型什么是回歸模型描述自變量與因變量之間的線性關系，預測連續(xù)值的輸出43/63特征目標變量越......買東西數花銷杯子水重量廣告投入額銷售額房屋面積房價越......多（少）多（少）線性關系一元線性回歸模型以廣告支出與銷售額的關系為例44/63序號廣告支出（萬元）銷售額（萬元）10021-532.5843.5754.59658.577.51688179916101021..................X軸Y軸y=wx+

b權重偏置銷售額廣告支出最佳擬合線一元1個特征預期銷售額給定廣告支出多元線性回歸模型以廣告支出、商品價格與銷售額的關系為例45/63銷售額（y）=

w1×廣告支出

+w2×產品價格

+

b最佳擬合平面線2個特征二元分類模型什么是分類模型將輸入數據分配到預定義的離散類別中46/63垃圾郵件識別圖像識別分類模型以決策樹為例47/63層數越大，模型越復雜層數越小，模型越簡單特征節(jié)點規(guī)則分支預測結果葉子常用機器學習模型48/63模型類型回歸模型分類模型線性回歸模型√邏輯回歸模型√決策樹√√隨機森林√√支持向量機√√K近鄰√√樸素貝葉斯√隱馬爾可夫模型√ac預測值C預測值B真實值預測值A思考哪一條是最佳擬合線？49/63b模型不同，趨勢不同，預測結果不同接近真實值的程度不同如何找到最佳擬合線？策略y=wx+

b策略策略是指導模型學習和優(yōu)化的核心方法損失函數50/63優(yōu)化模型策略損失函數核心核心b-

真實值

預測值A-

真實值預測值B誤差值A=誤差值B

=-

真實值

預測值C誤差值C=最優(yōu)模型所有誤差值之和最小損失函數衡量誤差值與真實值的差異J(w)y=wx+

b常用損失函數51/63貓狗識別中，假設真正的結果是1(貓)，預測貓的概率是0.3，那損失就是：-[1×ln(0.3)+(1-1)×ln(1-0.3)]預測結果越準，該數字越??；預測越不準，該數字越大房價預測中，假設真正結果是120萬，如果預測是100萬，則損失為+20，如果預測為80萬，則損失為-20?？紤]計算誤差值和，所以對誤差取平方再計算+20-20泛化泛化能力模型在面對新數據時的預測能力，它決定了模型在實際應用中的實用性52/63泛化能力強泛化能力弱訓練模型期末試卷擬合問題欠擬合與過擬合53/63回歸分類b思考54/63y=wx+

b銷售額廣告支出權重偏置策略模型如何調整模型參數，使得模型在給定的策略下達到最優(yōu)性能？算法算法算法是實現(xiàn)機器學習策略的具體方法和步驟常見的算法

梯度下降

牛頓法

支持向量機

集成學習算法

反向傳播算法......55/63找到能讓損失函數值最小的模型參數算法的任務y=wx+

b銷售額廣告支出