大數(shù)據(jù)與機器學(xué)習(xí)重點基礎(chǔ)知識點一、大數(shù)據(jù)概述1.大數(shù)據(jù)定義a.大數(shù)據(jù)是指規(guī)模巨大、類型多樣、價值密度低的數(shù)據(jù)集合。b.大數(shù)據(jù)具有4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。c.大數(shù)據(jù)來源于互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等。2.大數(shù)據(jù)技術(shù)a.分布式存儲技術(shù)：如Hadoop、Spark等。b.分布式計算技術(shù)：如MapReduce、Spark等。c.數(shù)據(jù)挖掘與分析技術(shù)：如機器學(xué)習(xí)、深度學(xué)習(xí)等。3.大數(shù)據(jù)應(yīng)用a.金融行業(yè)：風(fēng)險控制、精準(zhǔn)營銷等。b.醫(yī)療行業(yè)：疾病預(yù)測、個性化治療等。c.互聯(lián)網(wǎng)行業(yè)：推薦系統(tǒng)、廣告投放等。二、機器學(xué)習(xí)基礎(chǔ)1.機器學(xué)習(xí)定義a.機器學(xué)習(xí)是一種使計算機能夠從數(shù)據(jù)中學(xué)習(xí)并做出決策或預(yù)測的技術(shù)。b.機器學(xué)習(xí)分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)等。c.機器學(xué)習(xí)在各個領(lǐng)域都有廣泛應(yīng)用。2.監(jiān)督學(xué)習(xí)a.監(jiān)督學(xué)習(xí)是一種通過訓(xùn)練數(shù)據(jù)學(xué)習(xí)并預(yù)測目標(biāo)變量的方法。b.常見的監(jiān)督學(xué)習(xí)方法：線性回歸、邏輯回歸、支持向量機等。c.監(jiān)督學(xué)習(xí)在分類、回歸任務(wù)中應(yīng)用廣泛。3.無監(jiān)督學(xué)習(xí)a.無監(jiān)督學(xué)習(xí)是一種通過分析數(shù)據(jù)尋找數(shù)據(jù)內(nèi)在結(jié)構(gòu)的方法。b.常見的無監(jiān)督學(xué)習(xí)方法：聚類、降維、關(guān)聯(lián)規(guī)則等。c.無監(jiān)督學(xué)習(xí)在數(shù)據(jù)挖掘、模式識別等領(lǐng)域應(yīng)用廣泛。三、大數(shù)據(jù)與機器學(xué)習(xí)結(jié)合1.大數(shù)據(jù)與機器學(xué)習(xí)的關(guān)系a.大數(shù)據(jù)為機器學(xué)習(xí)提供了豐富的訓(xùn)練數(shù)據(jù)。b.機器學(xué)習(xí)技術(shù)可以挖掘大數(shù)據(jù)中的價值。c.大數(shù)據(jù)與機器學(xué)習(xí)相互促進，共同發(fā)展。2.大數(shù)據(jù)與機器學(xué)習(xí)結(jié)合的優(yōu)勢a.提高預(yù)測準(zhǔn)確性：通過大數(shù)據(jù)獲取更多特征，提高模型預(yù)測準(zhǔn)確性。b.發(fā)現(xiàn)潛在規(guī)律：挖掘大數(shù)據(jù)中的潛在規(guī)律，為決策提供依據(jù)。c.降低成本：利用大數(shù)據(jù)與機器學(xué)習(xí)技術(shù)，實現(xiàn)自動化、智能化處理。3.大數(shù)據(jù)與機器學(xué)習(xí)結(jié)合的應(yīng)用a.智能推薦系統(tǒng)：如電商、視頻、新聞等領(lǐng)域的個性化推薦。b.智能客服：通過分析用戶行為，實現(xiàn)智能問答、故障診斷等。c.智能交通：通過分析交通數(shù)據(jù)，優(yōu)化交通信號燈、緩解擁堵等。1.張宇，大數(shù)據(jù)技術(shù)原理與應(yīng)用[M]，清華大學(xué)出版社，2016。2.李航