大數(shù)據(jù)數(shù)據(jù)挖掘行業(yè)應(yīng)用重點(diǎn)基礎(chǔ)知識(shí)點(diǎn)一、大數(shù)據(jù)數(shù)據(jù)挖掘概述1.大數(shù)據(jù)定義：大數(shù)據(jù)是指規(guī)模巨大、類型繁多、價(jià)值密度低的數(shù)據(jù)集合，通常從海量數(shù)據(jù)中提取有價(jià)值的信息。2.數(shù)據(jù)挖掘定義：數(shù)據(jù)挖掘是從大量數(shù)據(jù)中提取有價(jià)值信息的過程，包括數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘算法、模式評(píng)估等步驟。3.數(shù)據(jù)挖掘應(yīng)用領(lǐng)域：數(shù)據(jù)挖掘廣泛應(yīng)用于金融、醫(yī)療、電商、社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)等多個(gè)領(lǐng)域。二、大數(shù)據(jù)數(shù)據(jù)挖掘行業(yè)應(yīng)用重點(diǎn)1.金融行業(yè)a.信用風(fēng)險(xiǎn)評(píng)估：通過分析客戶的消費(fèi)行為、信用記錄等數(shù)據(jù)，預(yù)測(cè)客戶信用風(fēng)險(xiǎn)。①分析客戶消費(fèi)行為，如購(gòu)物頻率、消費(fèi)金額等；②分析客戶信用記錄，如逾期記錄、還款記錄等；③結(jié)合多種數(shù)據(jù)源，構(gòu)建信用風(fēng)險(xiǎn)評(píng)估模型。b.個(gè)性化推薦：根據(jù)客戶的歷史交易數(shù)據(jù)、瀏覽記錄等，推薦個(gè)性化的金融產(chǎn)品和服務(wù)。①分析客戶歷史交易數(shù)據(jù)，如購(gòu)買產(chǎn)品、服務(wù)類型等；②分析客戶瀏覽記錄，如瀏覽產(chǎn)品、服務(wù)類型等；③利用協(xié)同過濾、關(guān)聯(lián)規(guī)則等方法，實(shí)現(xiàn)個(gè)性化推薦。c.風(fēng)險(xiǎn)控制：通過分析市場(chǎng)數(shù)據(jù)、交易數(shù)據(jù)等，預(yù)測(cè)市場(chǎng)風(fēng)險(xiǎn)和交易風(fēng)險(xiǎn)。①分析市場(chǎng)數(shù)據(jù)，如股票價(jià)格、市場(chǎng)趨勢(shì)等；②分析交易數(shù)據(jù)，如交易金額、交易頻率等；③利用預(yù)測(cè)模型，實(shí)現(xiàn)風(fēng)險(xiǎn)控制。2.醫(yī)療行業(yè)a.疾病預(yù)測(cè)：通過分析患者的病歷、檢查結(jié)果等數(shù)據(jù)，預(yù)測(cè)疾病發(fā)生概率。①分析患者病歷，如病史、癥狀等；②分析檢查結(jié)果，如影像學(xué)檢查、生化檢查等；③利用機(jī)器學(xué)習(xí)算法，構(gòu)建疾病預(yù)測(cè)模型。b.治療方案優(yōu)化：根據(jù)患者的病情、藥物反應(yīng)等數(shù)據(jù)，為醫(yī)生提供個(gè)性化的治療方案。①分析患者病情，如病情嚴(yán)重程度、并發(fā)癥等；②分析藥物反應(yīng)，如藥物療效、副作用等；③利用數(shù)據(jù)挖掘技術(shù)，優(yōu)化治療方案。c.醫(yī)療資源分配：通過分析醫(yī)院資源使用情況、患者就診數(shù)據(jù)等，優(yōu)化醫(yī)療資源配置。①分析醫(yī)院資源使用情況，如床位、設(shè)備等；②分析患者就診數(shù)據(jù)，如就診科室、就診時(shí)間等；③利用數(shù)據(jù)挖掘技術(shù)，實(shí)現(xiàn)醫(yī)療資源合理分配。3.電商行業(yè)a.用戶行為分析：通過分析用戶瀏覽、購(gòu)買、評(píng)價(jià)等數(shù)據(jù)，了解用戶需求和行為。①分析用戶瀏覽數(shù)據(jù)，如瀏覽時(shí)長(zhǎng)、瀏覽頁(yè)面等；②分析用戶購(gòu)買數(shù)據(jù)，如購(gòu)買頻率、購(gòu)買金額等；③分析用戶評(píng)價(jià)數(shù)據(jù)，如評(píng)價(jià)內(nèi)容、評(píng)價(jià)星級(jí)等。b.個(gè)性化推薦：根據(jù)用戶歷史購(gòu)買數(shù)據(jù)、瀏覽數(shù)據(jù)等，推薦個(gè)性化的商品和服務(wù)。①分析用戶歷史購(gòu)買數(shù)據(jù)，如購(gòu)買商品、購(gòu)買時(shí)間等；②分析用戶瀏覽數(shù)據(jù)，如瀏覽商品、瀏覽時(shí)間等；③利用協(xié)同過濾、關(guān)聯(lián)規(guī)則等方法，實(shí)現(xiàn)個(gè)性化推薦。c.庫(kù)存管理：通過分析銷售數(shù)據(jù)、庫(kù)存數(shù)據(jù)等，優(yōu)化庫(kù)存管理。①分析銷售數(shù)據(jù)，如銷售量、銷售趨勢(shì)等；②分析庫(kù)存數(shù)據(jù)，如庫(kù)存量、庫(kù)存周轉(zhuǎn)率等；③利用數(shù)據(jù)挖掘技術(shù)，實(shí)現(xiàn)庫(kù)存優(yōu)化。三、大數(shù)據(jù)數(shù)據(jù)挖掘基礎(chǔ)知識(shí)1.數(shù)據(jù)預(yù)處理a.數(shù)據(jù)清洗：去除數(shù)據(jù)中的噪聲、異常值等，提高數(shù)據(jù)質(zhì)量。①去除重復(fù)數(shù)據(jù)；②去除缺失數(shù)據(jù)；③去除異常值。b.數(shù)據(jù)集成：將來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行整合，形成統(tǒng)一的數(shù)據(jù)集。①數(shù)據(jù)轉(zhuǎn)換；②數(shù)據(jù)映射；③數(shù)據(jù)合并。c.數(shù)據(jù)變換：對(duì)數(shù)據(jù)進(jìn)行規(guī)范化、歸一化等處理，提高數(shù)據(jù)挖掘效果。①數(shù)據(jù)規(guī)范化；②數(shù)據(jù)歸一化；③數(shù)據(jù)離散化。2.數(shù)據(jù)挖掘算法a.聚類算法：將相似的數(shù)據(jù)劃分為同一類別。①Kmeans算法；②層次聚類算法；③密度聚類算法。b.分類算法：將數(shù)據(jù)分為不同的類別。①?zèng)Q策樹；②支持向量機(jī)；③隨機(jī)森林。c.關(guān)聯(lián)規(guī)則挖掘：發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。①Apriori算法；②FPgrowth算法；③Eclat算法。3.模式評(píng)估a.模型準(zhǔn)確性：評(píng)估模型預(yù)測(cè)結(jié)果的準(zhǔn)確性。①準(zhǔn)確率；②精確率；③召回率。b.模型穩(wěn)定性：評(píng)估模型在不同數(shù)據(jù)集上的表現(xiàn)。①交叉驗(yàn)證；②隨機(jī)森林；③模型融合。c.模型可解釋性：評(píng)估模型預(yù)測(cè)結(jié)果的合理性。①解釋模型；②可視化；③特征重要性。[1]，.大數(shù)據(jù)數(shù)據(jù)挖掘技術(shù)與應(yīng)用[M].北京：清華大學(xué)出版社，