大數(shù)據(jù)數(shù)據(jù)挖掘行業(yè)應(yīng)用重點(diǎn)基礎(chǔ)知識點(diǎn)一、大數(shù)據(jù)數(shù)據(jù)挖掘概述1.大數(shù)據(jù)定義：大數(shù)據(jù)是指規(guī)模巨大、類型繁多、價(jià)值密度低的數(shù)據(jù)集合，通常從海量數(shù)據(jù)中提取有價(jià)值的信息。2.數(shù)據(jù)挖掘定義：數(shù)據(jù)挖掘是從大量數(shù)據(jù)中提取有價(jià)值信息的過程，包括數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘算法、模式評估等步驟。3.數(shù)據(jù)挖掘應(yīng)用領(lǐng)域：數(shù)據(jù)挖掘廣泛應(yīng)用于金融、醫(yī)療、電商、社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)等多個(gè)領(lǐng)域。二、大數(shù)據(jù)數(shù)據(jù)挖掘行業(yè)應(yīng)用重點(diǎn)1.金融行業(yè)a.信用風(fēng)險(xiǎn)評估：通過分析客戶的消費(fèi)行為、信用記錄等數(shù)據(jù)，預(yù)測客戶信用風(fēng)險(xiǎn)。①分析客戶消費(fèi)行為，如購物頻率、消費(fèi)金額等；②分析客戶信用記錄，如逾期記錄、還款記錄等；③結(jié)合多種數(shù)據(jù)源，構(gòu)建信用風(fēng)險(xiǎn)評估模型。b.個(gè)性化推薦：根據(jù)客戶的歷史交易數(shù)據(jù)、瀏覽記錄等，推薦個(gè)性化的金融產(chǎn)品和服務(wù)。①分析客戶歷史交易數(shù)據(jù)，如購買產(chǎn)品、服務(wù)類型等；②分析客戶瀏覽記錄，如瀏覽產(chǎn)品、服務(wù)類型等；③利用協(xié)同過濾、關(guān)聯(lián)規(guī)則等方法，實(shí)現(xiàn)個(gè)性化推薦。c.風(fēng)險(xiǎn)控制：通過分析市場數(shù)據(jù)、交易數(shù)據(jù)等，預(yù)測市場風(fēng)險(xiǎn)和交易風(fēng)險(xiǎn)。①分析市場數(shù)據(jù)，如股票價(jià)格、市場趨勢等；②分析交易數(shù)據(jù)，如交易金額、交易頻率等；③利用預(yù)測模型，實(shí)現(xiàn)風(fēng)險(xiǎn)控制。2.醫(yī)療行業(yè)a.疾病預(yù)測：通過分析患者的病歷、檢查結(jié)果等數(shù)據(jù)，預(yù)測疾病發(fā)生概率。①分析患者病歷，如病史、癥狀等；②分析檢查結(jié)果，如影像學(xué)檢查、生化檢查等；③利用機(jī)器學(xué)習(xí)算法，構(gòu)建疾病預(yù)測模型。b.治療方案優(yōu)化：根據(jù)患者的病情、藥物反應(yīng)等數(shù)據(jù)，為醫(yī)生提供個(gè)性化的治療方案。①分析患者病情，如病情嚴(yán)重程度、并發(fā)癥等；②分析藥物反應(yīng)，如藥物療效、副作用等；③利用數(shù)據(jù)挖掘技術(shù)，優(yōu)化治療方案。c.醫(yī)療資源分配：通過分析醫(yī)院資源使用情況、患者就診數(shù)據(jù)等，優(yōu)化醫(yī)療資源配置。①分析醫(yī)院資源使用情況，如床位、設(shè)備等；②分析患者就診數(shù)據(jù)，如就診科室、就診時(shí)間等；③利用數(shù)據(jù)挖掘技術(shù)，實(shí)現(xiàn)醫(yī)療資源合理分配。3.電商行業(yè)a.用戶行為分析：通過分析用戶瀏覽、購買、評價(jià)等數(shù)據(jù)，了解用戶需求和行為。①分析用戶瀏覽數(shù)據(jù)，如瀏覽時(shí)長、瀏覽頁面等；②分析用戶購買數(shù)據(jù)，如購買頻率、購買金額等；③分析用戶評價(jià)數(shù)據(jù)，如評價(jià)內(nèi)容、評價(jià)星級等。b.個(gè)性化推薦：根據(jù)用戶歷史購買數(shù)據(jù)、瀏覽數(shù)據(jù)等，推薦個(gè)性化的商品和服務(wù)。①分析用戶歷史購買數(shù)據(jù)，如購買商品、購買時(shí)間等；②分析用戶瀏覽數(shù)據(jù)，如瀏覽商品、瀏覽時(shí)間等；③利用協(xié)同過濾、關(guān)聯(lián)規(guī)則等方法，實(shí)現(xiàn)個(gè)性化推薦。c.庫存管理：通過分析銷售數(shù)據(jù)、庫存數(shù)據(jù)等，優(yōu)化庫存管理。①分析銷售數(shù)據(jù)，如銷售量、銷售趨勢等；②分析庫存數(shù)據(jù)，如庫存量、庫存周轉(zhuǎn)率等；③利用數(shù)據(jù)挖掘技術(shù)，實(shí)現(xiàn)庫存優(yōu)化。三、大數(shù)據(jù)數(shù)據(jù)挖掘基礎(chǔ)知識1.數(shù)據(jù)預(yù)處理a.數(shù)據(jù)清洗：去除數(shù)據(jù)中的噪聲、異常值等，提高數(shù)據(jù)質(zhì)量。①去除重復(fù)數(shù)據(jù)；②去除缺失數(shù)據(jù)；③去除異常值。b.數(shù)據(jù)集成：將來自不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行整合，形成統(tǒng)一的數(shù)據(jù)集。①數(shù)據(jù)轉(zhuǎn)換；②數(shù)據(jù)映射；③數(shù)據(jù)合并。c.數(shù)據(jù)變換：對數(shù)據(jù)進(jìn)行規(guī)范化、歸一化等處理，提高數(shù)據(jù)挖掘效果。①數(shù)據(jù)規(guī)范化；②數(shù)據(jù)歸一化；③數(shù)據(jù)離散化。2.數(shù)據(jù)挖掘算法a.聚類算法：將相似的數(shù)據(jù)劃分為同一類別。①Kmeans算法；②層次聚類算法；③密度聚類算法。b.分類算法：將數(shù)據(jù)分為不同的類別。①決策樹；②支持向量機(jī)；③隨機(jī)森林。c.關(guān)聯(lián)規(guī)則挖掘：發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。①Apriori算法；②FPgrowth算法；③Eclat算法。3.模式評估a.模型準(zhǔn)確性：評估模型預(yù)測結(jié)果的準(zhǔn)確性。①準(zhǔn)確率；②精確率；③召回率。b.模型穩(wěn)定性：評估模型在不同數(shù)據(jù)集上的表現(xiàn)。①交叉驗(yàn)證；②隨機(jī)森林；③模型融合。c.模型可解釋性：評估模型預(yù)測結(jié)果的合理性。①解釋模型；②可視化；③特征重要性。[1]，.大數(shù)據(jù)數(shù)據(jù)挖掘技術(shù)與應(yīng)用[M].北京：清華大學(xué)出版社，