人工智能之機(jī)器學(xué)習(xí)算法研究學(xué)生:胡可欣人工智能之機(jī)器學(xué)習(xí)算法研究學(xué)生:胡可欣1目錄CONTENTS1人工智能2機(jī)器學(xué)習(xí)3機(jī)器學(xué)習(xí)經(jīng)典算法4總結(jié)目錄CONTENTS1人工智能2機(jī)器學(xué)習(xí)3機(jī)器學(xué)習(xí)經(jīng)典算法42人工智能1人工智能13人工智能簡(jiǎn)稱AI。它是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。它屬于計(jì)算機(jī)科學(xué)的一個(gè)分支，是為了了解智能的實(shí)質(zhì)，并生產(chǎn)出一種新的可以以與人類智能相似的方式做出相應(yīng)反應(yīng)的智能機(jī)器。其發(fā)展經(jīng)歷了三個(gè)階段。第一階段為20世紀(jì)50-60年代，人工智能的概念被提出，主要注重邏輯推理的機(jī)器翻譯；第二階段為20世紀(jì)70-80年代，提出了專家系統(tǒng)的概念，在人工神經(jīng)網(wǎng)絡(luò)算法的基礎(chǔ)上人工只能發(fā)展迅速，同時(shí)隨著半導(dǎo)體技術(shù)和計(jì)算硬件能力的逐步提高，人工智能逐漸開始突破，分布式網(wǎng)絡(luò)使得人工智能的計(jì)算成本降低;第三階段自20世紀(jì)末以來，開始進(jìn)入了重視數(shù)據(jù)、自主學(xué)習(xí)的認(rèn)知智能時(shí)代。人工智能1人工智能簡(jiǎn)稱AI。它是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能機(jī)器學(xué)習(xí)2機(jī)器學(xué)習(xí)25機(jī)器學(xué)習(xí)主要研究的是計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取更新的知識(shí)或技能，并且可以通過重新組織現(xiàn)有的知識(shí)結(jié)構(gòu)來改善自身的性能以及不足之處。機(jī)器學(xué)習(xí)是人工智能的核心，其發(fā)展歷程大體可分為4個(gè)時(shí)期。第一階段是在20世紀(jì)50年代中期到60年代中期，此階段研宄課題剛被提出，處于“推理期”，大量的相關(guān)理論被提出并驗(yàn)證。第二階段是在20世紀(jì)60年代中期到70年代中期，機(jī)器學(xué)習(xí)進(jìn)入冷靜階段，科學(xué)家們開始反思僅僅有邏輯推理能力是無法實(shí)現(xiàn)人工智能的。第三階段是從20世紀(jì)70年代中期到80年代中期，機(jī)器學(xué)習(xí)成果處于井噴時(shí)期，大量的專家系統(tǒng)問世。目前機(jī)器學(xué)習(xí)研宄狀態(tài)處于第四階段始于80年代中期，此時(shí)機(jī)器學(xué)習(xí)成為了一個(gè)獨(dú)立的學(xué)科領(lǐng)域并開始快速發(fā)展。機(jī)器學(xué)習(xí)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。2機(jī)器學(xué)習(xí)主要研究的是計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲機(jī)器學(xué)習(xí)經(jīng)典算法3機(jī)器學(xué)習(xí)經(jīng)典算法37機(jī)器學(xué)習(xí)經(jīng)典算法3分類是機(jī)器學(xué)習(xí)中一項(xiàng)非常重要的研究課題,我們可以利用分類從大量數(shù)據(jù)中提取具有相同數(shù)據(jù)類的一個(gè)模型或者函數(shù),并把提取數(shù)據(jù)中的每個(gè)未知對(duì)象歸結(jié)到某個(gè)已知的對(duì)象類中,目前分類算法主要是統(tǒng)計(jì)分類法、神經(jīng)網(wǎng)絡(luò)、決策樹等。不同的分類算法會(huì)產(chǎn)生不同的分類器,分類器的好壞直接影響到機(jī)器學(xué)習(xí)的效率和準(zhǔn)確性。在對(duì)海量數(shù)據(jù)進(jìn)行分類時(shí),選擇最合適的分類算法是非常重要的。但是分類的效果一般和數(shù)據(jù)的特點(diǎn)有關(guān),有的數(shù)據(jù)噪聲大,有的有缺值,有的分布稀疏,有的字段或?qū)傩蚤g相關(guān)性強(qiáng),有的屬性是離散的而有的是連續(xù)值或混合式的,沒有一種方法能適合所有不同特點(diǎn)的數(shù)據(jù)。此次主要針對(duì)分類算法中的經(jīng)典的工D3算法、樸素貝葉斯算法、BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行簡(jiǎn)單介紹。機(jī)器學(xué)習(xí)經(jīng)典算法3分類是機(jī)器學(xué)習(xí)中一項(xiàng)非常重要的研究課題,我研究觀點(diǎn)1研究觀點(diǎn)1機(jī)器學(xué)習(xí)經(jīng)典算法3BP神經(jīng)網(wǎng)絡(luò)算法深度學(xué)習(xí)算法樸素貝葉斯分類算法研究觀點(diǎn)1研究觀點(diǎn)1機(jī)器學(xué)習(xí)經(jīng)典算法3BP神經(jīng)網(wǎng)絡(luò)算法深度學(xué)樸素貝葉斯分類算法0101樸素貝葉斯算法是以貝葉斯定理為基礎(chǔ)的一種分類算法，該算法主要執(zhí)行分類操作，常常采用經(jīng)驗(yàn)性的方法構(gòu)造其映射的規(guī)則，而這個(gè)最后要得到的映射規(guī)則也叫做分類器。貝葉斯定理公式如下：P(A|B)=P(A,B)/P(B)其中P(A|B)表示在B發(fā)生的前提下，A發(fā)生的概率，也叫做B發(fā)生條件下發(fā)生事件A的條件概率P(B|A)表示在A發(fā)生的前提下B發(fā)生的概率。樸素貝葉斯算法的主要思想：對(duì)于待分類項(xiàng)，求解出在該項(xiàng)出現(xiàn)的條件下各類出現(xiàn)的概率，將待分類項(xiàng)歸于概率最大的一類。樸素貝葉斯分類的具體過程如下：首先確定特征屬性，同時(shí)對(duì)部分待分類項(xiàng)進(jìn)行分類以此得到初步的訓(xùn)練樣本，該階段輸入待分類項(xiàng)的數(shù)據(jù)樣本，而輸出的則是樣本特征和訓(xùn)練樣本。之后是分類器的生成訓(xùn)練，要計(jì)算每個(gè)類別在樣本中的出現(xiàn)頻率和在每個(gè)特征前提下每個(gè)類別出現(xiàn)的條件概率，這里輸入訓(xùn)練樣本，輸出了分類器。最后是使用分類器對(duì)待分類項(xiàng)進(jìn)行分類，最后輸出了待分類項(xiàng)和類別的映射關(guān)系。樸素貝葉斯分類算法0101樸素貝葉斯算法是以貝葉斯定理為基礎(chǔ)1）理論上與其他分類方法相比有最小誤差率，但實(shí)際中受給定輸出類別的限定,假設(shè)屬性之間相互獨(dú)立在屬性個(gè)數(shù)比較多或者屬性之間相關(guān)性較大時(shí)，分類效果不好；而在屬性相關(guān)性較小時(shí)，樸素貝葉斯性能最為良好。2）需要知道先驗(yàn)概率，且先驗(yàn)概率很多時(shí)候取決于假設(shè)，假設(shè)的模型可以有很多種，因此在某些時(shí)候會(huì)由于假設(shè)的先驗(yàn)?zāi)Ｐ偷脑驅(qū)е骂A(yù)測(cè)效果不佳。3）對(duì)輸入數(shù)據(jù)的表達(dá)形式很敏感。1）樸素貝葉斯模型發(fā)源于古典數(shù)學(xué)理論，有穩(wěn)定的分類效率。2）對(duì)小規(guī)模的數(shù)據(jù)表現(xiàn)很好，能個(gè)處理多分類任務(wù)，適合增量式訓(xùn)練，尤其是數(shù)據(jù)量超出內(nèi)存時(shí)，我們可以一批批的去增量訓(xùn)練。3）對(duì)缺失數(shù)據(jù)不太敏感，算法也比較簡(jiǎn)單，常用于文本分類。優(yōu)點(diǎn)缺點(diǎn)1）理論上與其他分類方法相比有最小誤差率，但實(shí)際中受給定輸11BP神經(jīng)網(wǎng)絡(luò)算法0102BP神經(jīng)網(wǎng)絡(luò)是由Rumelhart和MeCelland提出的一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，也是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。人工神經(jīng)網(wǎng)絡(luò)創(chuàng)始人明斯基和佩珀特在《感知器》一書,論證了簡(jiǎn)單的線性感知器功能有限,不能解決如“異或”(XOR)這樣的基本問題,而且對(duì)多層網(wǎng)絡(luò)也持悲觀態(tài)度。隨后DavidRumelhart等學(xué)者出版的《平行分布處理:認(rèn)知的微觀結(jié)構(gòu)探索》一書。書中完整地提出了BP算法,并且系統(tǒng)地解決了多層網(wǎng)絡(luò)中隱單元連接權(quán)的學(xué)習(xí)問題,并在數(shù)學(xué)上給出了完整的推導(dǎo)。BP神經(jīng)網(wǎng)絡(luò)算法是在BP神經(jīng)網(wǎng)絡(luò)現(xiàn)有算法的基礎(chǔ)上提出的，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是通過任意選定一組權(quán)值，將給定的目標(biāo)輸出直接作為線性方程的代數(shù)和來建立線性方程組，解得待求權(quán)，不存在傳統(tǒng)方法的局部極小及收斂速度慢的問題，且更易理解。BP神經(jīng)網(wǎng)絡(luò)算法0102BP神經(jīng)網(wǎng)絡(luò)是由Rumelhar1、是局部極小值問題。2、是算法訓(xùn)練非常慢，BP算法本質(zhì)上是梯度下降，而它所要優(yōu)化的目標(biāo)函數(shù)又非常復(fù)雜，這使得BP算法效率低下。BP算法具有很強(qiáng)的學(xué)習(xí)、聯(lián)想和容錯(cuò)功能，具有高度非線性函數(shù)映射功能，BP算法廣泛應(yīng)用于函數(shù)逼近、模式識(shí)別分類、數(shù)據(jù)壓縮等，絕大多數(shù)人工神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)或它的變化形式，貶化能力好。優(yōu)點(diǎn)缺點(diǎn)BP算法學(xué)習(xí)過程分為兩個(gè)階段，第一個(gè)階段是信號(hào)的前向傳播，通過網(wǎng)絡(luò)學(xué)習(xí)，輸入訓(xùn)練樣本輸出樣本特征；第二階段是誤差的后向傳播，基于最優(yōu)化理論計(jì)算梯度，求出該網(wǎng)絡(luò)輸出與先期望的偏差，根據(jù)偏差從后向前調(diào)整網(wǎng)絡(luò)連接強(qiáng)度。之后重復(fù)交替進(jìn)行前向傳播和后向傳播，使網(wǎng)絡(luò)偏差逐漸減少，最終使網(wǎng)絡(luò)輸出值慢慢趨近期望輸出值，直到滿足誤差精度為止，此時(shí)網(wǎng)絡(luò)的權(quán)值和偏置即為學(xué)習(xí)到的最終特征。1、是局部極小值問題。BP算法具有很強(qiáng)的學(xué)習(xí)、聯(lián)想和容錯(cuò)功能13深度學(xué)習(xí)算法0103深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，深度學(xué)習(xí)的概念由Hinton等人于2006年提出?；谏钚哦染W(wǎng)(DBN)提出非監(jiān)督貪心逐層訓(xùn)練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來希望，隨后提出多層自動(dòng)編碼器深層結(jié)構(gòu)。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像，聲音和文本。深度學(xué)習(xí)是無監(jiān)督學(xué)習(xí)的一種。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)算法0103深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，1）需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練。2）訓(xùn)練要求橫琴安琪的硬件配置。3）模型處于[黑箱狀態(tài)]，難以理解其內(nèi)部機(jī)制。1）在語言、語義、視覺、各類游戲的任務(wù)中表現(xiàn)極好。2）算法可以快速調(diào)整，適應(yīng)新的問題。優(yōu)點(diǎn)缺點(diǎn)深度學(xué)習(xí)的主要學(xué)習(xí)過程是首先使用無監(jiān)督逐層訓(xùn)練，使用大量的無標(biāo)記的樣本，自動(dòng)形成特征樣本，之后優(yōu)化特征，過已經(jīng)標(biāo)記的樣本對(duì)系統(tǒng)模型進(jìn)行優(yōu)化，提高系統(tǒng)區(qū)分信的能力，最后是通過未曾使用樣本數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行測(cè)試，檢驗(yàn)系統(tǒng)的性能1）需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練。1）在語言、語義、視覺、各類游戲15總結(jié)4總結(jié)416機(jī)器學(xué)習(xí)理論研究將成為新的熱點(diǎn)，同時(shí)隨著大數(shù)據(jù)，云計(jì)算及硬件性能及存儲(chǔ)能力的快速發(fā)展，機(jī)器學(xué)習(xí)也將快速發(fā)展，將出現(xiàn)更高效跟強(qiáng)大的機(jī)器模型，特別是非監(jiān)督機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)將推動(dòng)人工智能乃至整個(gè)人類社會(huì)快速發(fā)展。隨著機(jī)