第5章（1）請(qǐng)闡述什么是大數(shù)據(jù)分析。大數(shù)據(jù)分析的主要任務(wù)主要有：第一類是預(yù)測(cè)任務(wù)，目標(biāo)是根據(jù)某些屬性的值，預(yù)測(cè)另外一些特定屬性的值。被預(yù)測(cè)的屬性一般稱為目標(biāo)變量或因變量，被用來(lái)做預(yù)測(cè)的屬性稱為解釋變量和自變量；第二類是描述任務(wù)，目標(biāo)是導(dǎo)出概括數(shù)據(jù)中潛在聯(lián)系的模式，包括相關(guān)、趨勢(shì)、聚類、軌跡和異常等。描述性任務(wù)通常是探查性的，常常需要后處理技術(shù)來(lái)驗(yàn)證和解釋結(jié)果。具體可分為分類、回歸、關(guān)聯(lián)分析、聚類分析、推薦系統(tǒng)、異常檢測(cè)、鏈接分析等幾種。（2）大數(shù)據(jù)分析的類型有哪些？大數(shù)據(jù)分析主要有描述性統(tǒng)計(jì)分析、探索性數(shù)據(jù)分析以及驗(yàn)證性數(shù)據(jù)分析等。（3）舉例兩種數(shù)據(jù)挖掘的應(yīng)用場(chǎng)景？（1）電子郵件系統(tǒng)中垃圾郵件的判斷電子郵件系統(tǒng)判斷一封Email是否屬于垃圾郵件。這應(yīng)該屬于文本挖掘的范疇，通常會(huì)采用樸素貝葉斯的方法進(jìn)行判別。它的主要原理就是，根據(jù)電子郵件中的詞匯，是否經(jīng)常出現(xiàn)在垃圾郵件中進(jìn)行判斷。例如，如果一份電子郵件的正文中包含“推廣”、“廣告”、“促銷”等詞匯時(shí)，該郵件被判定為垃圾郵件的概率將會(huì)比較大。（2）金融領(lǐng)域中金融產(chǎn)品的推廣營(yíng)銷針對(duì)商業(yè)銀行中的零售客戶進(jìn)行細(xì)分，基于零售客戶的特征變量（人口特征、資產(chǎn)特征、負(fù)債特征、結(jié)算特征），計(jì)算客戶之間的距離。然后，按照距離的遠(yuǎn)近，把相似的客戶聚集為一類，從而有效地細(xì)分客戶。將全體客戶劃分為諸如：理財(cái)偏好者、基金偏好者、活期偏好者、國(guó)債偏好者等。其目的在于識(shí)別不同的客戶群體，然后針對(duì)不同的客戶群體，精準(zhǔn)地進(jìn)行產(chǎn)品設(shè)計(jì)和推送，從而節(jié)約營(yíng)銷成本，提高營(yíng)銷效率。（4）簡(jiǎn)述數(shù)據(jù)挖掘的分類算法及應(yīng)用。K-Means算法也叫作k均值聚類算法，它是最著名的劃分聚類算法，由于簡(jiǎn)潔和效率使得它成為所有聚類算法中最廣泛使用的。決策樹算法是一種能解決分類或回歸問題的機(jī)器學(xué)習(xí)算法，它是一種典型的分類方法，最早產(chǎn)生于上世紀(jì)60年代。決策樹算法首先對(duì)數(shù)據(jù)進(jìn)行處理，利用歸納算法生成可讀的規(guī)則和決策樹，然后使用決策對(duì)新數(shù)據(jù)進(jìn)行分析，因此在本質(zhì)上決策樹是通過一系列規(guī)則對(duì)數(shù)據(jù)進(jìn)行分類的過程。KNN算法也叫作K最近鄰算法，是數(shù)據(jù)挖掘分類技術(shù)中最簡(jiǎn)單的方法之一。所謂K最近鄰，就是k個(gè)最近的鄰居的意思，說(shuō)的是每個(gè)樣本都可以用它最接近的k個(gè)鄰居來(lái)代表。遺傳算法模擬了自然選擇和遺傳中發(fā)生的繁殖、交配和基因突變現(xiàn)象，是一種采用遺傳結(jié)合、遺傳交叉變異及自然選擇等操作來(lái)生成實(shí)現(xiàn)規(guī)則的、基于進(jìn)化理論的機(jī)器學(xué)習(xí)方法。神經(jīng)網(wǎng)絡(luò)可以指向兩種，一個(gè)是生物神經(jīng)網(wǎng)絡(luò)，一個(gè)是人工神經(jīng)網(wǎng)絡(luò)。在這里專指人工神經(jīng)網(wǎng)絡(luò)。它是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。第6章1）請(qǐng)闡述什么是數(shù)據(jù)可視化？數(shù)據(jù)可視化，是關(guān)于數(shù)據(jù)視覺表現(xiàn)形式的科學(xué)技術(shù)研究，它為大數(shù)據(jù)分析提供了一種更加直觀的挖掘、分析與展示當(dāng)代手段，從而讓大數(shù)據(jù)更有意義。因此，大數(shù)據(jù)可視化是將各種數(shù)據(jù)用圖形化的方式展示給人們，是人們理解數(shù)據(jù)，詮釋數(shù)據(jù)的重要手段和途徑。從本質(zhì)上講，數(shù)據(jù)可視化是為了幫助用戶通過認(rèn)知數(shù)據(jù)，進(jìn)而發(fā)現(xiàn)這些數(shù)據(jù)所反映的實(shí)質(zhì)。2）數(shù)據(jù)可視化的流程是什么？數(shù)據(jù)可視化是一個(gè)系統(tǒng)的流程，該流程以數(shù)據(jù)為基礎(chǔ)，以數(shù)據(jù)流為導(dǎo)向，還包括了數(shù)據(jù)采集、數(shù)據(jù)處理、可視化映射和用戶感知等環(huán)節(jié)。具體的可視化實(shí)現(xiàn)流程有很多3）數(shù)據(jù)可視化有哪些實(shí)現(xiàn)圖表？在統(tǒng)計(jì)圖表中每一種類型的圖表中都可包含不同的數(shù)據(jù)可視化圖形，如柱狀圖、餅圖、氣泡圖、熱力圖、趨勢(shì)圖、直方圖、雷達(dá)圖、色塊圖、漏斗圖、和弦圖、儀表盤、面積圖、折線圖、密度圖以及K線圖等。4）數(shù)據(jù)可視化的方法有哪些？文本可視化、網(wǎng)絡(luò)可視化與空間信息可視化5）數(shù)據(jù)可視化有哪些應(yīng)用？金融行業(yè)面臨諸多挑戰(zhàn)。通過引入數(shù)據(jù)可視化可以對(duì)企業(yè)各地日常業(yè)務(wù)動(dòng)態(tài)實(shí)時(shí)掌控，客戶數(shù)量和借貸金額等數(shù)據(jù)進(jìn)行有效監(jiān)管，幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)監(jiān)控，加強(qiáng)對(duì)市場(chǎng)的監(jiān)督和管理；通過對(duì)核心數(shù)據(jù)多維度的分析和對(duì)比，指導(dǎo)公司科學(xué)調(diào)整運(yùn)營(yíng)策略，制定發(fā)展方向，不斷提高公司風(fēng)控管理能力和競(jìng)爭(zhēng)力。

數(shù)據(jù)可視化在工業(yè)生產(chǎn)中有著重要的應(yīng)用，如可視化智能硬件的生產(chǎn)與使用。可視化智能硬件通過軟硬件結(jié)合的方式，讓設(shè)備擁有智能化的功能，并對(duì)硬件采集上來(lái)的數(shù)據(jù)進(jìn)行可視化的呈現(xiàn)。因此在智能化之后，硬件就具備了大數(shù)據(jù)等附加價(jià)值。隨著可視化技術(shù)的不斷發(fā)展，今后智能硬件從可穿戴設(shè)備延伸到智能電視、智能家居、智能汽車、醫(yī)療健康、智能玩具、智能機(jī)器人、智能交通、智能教育等各個(gè)不同的領(lǐng)域。等習(xí)題71）請(qǐng)闡述什么是數(shù)據(jù)治理。數(shù)據(jù)治理是指從使用零散數(shù)據(jù)變?yōu)槭褂媒y(tǒng)一數(shù)據(jù)、從具有很少或沒有組織流程到企業(yè)范圍內(nèi)的綜合數(shù)據(jù)管控、從數(shù)據(jù)混亂狀況到數(shù)據(jù)井井有條的一個(gè)過程。數(shù)據(jù)治理強(qiáng)調(diào)的是一個(gè)過程，是一個(gè)從混亂到有序的過程。2）請(qǐng)闡述什么是元數(shù)據(jù)。一般來(lái)講，元數(shù)據(jù)主要用來(lái)描述數(shù)據(jù)屬性的信息，例如記錄數(shù)據(jù)倉(cāng)庫(kù)中模型的定義、各層級(jí)間的映射關(guān)系、監(jiān)控?cái)?shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)狀態(tài)及ETL的任務(wù)運(yùn)行狀態(tài)等。因此，元數(shù)據(jù)是對(duì)數(shù)據(jù)本身進(jìn)行描述的數(shù)據(jù)，或者說(shuō)，它不是對(duì)象本身，它只描述對(duì)象的屬性，就是一個(gè)對(duì)數(shù)據(jù)自身進(jìn)行描繪的數(shù)據(jù)。3）請(qǐng)闡述什么是主數(shù)據(jù)。主數(shù)據(jù)是用來(lái)描述企業(yè)核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，它是具有高業(yè)務(wù)價(jià)值的、可以在企業(yè)內(nèi)跨越各個(gè)業(yè)務(wù)部門被重復(fù)使用的數(shù)據(jù)，并且存在于多個(gè)異構(gòu)的應(yīng)用系統(tǒng)中。4）請(qǐng)闡述在數(shù)據(jù)治理項(xiàng)目實(shí)施中包含哪些主要流程。（1）組織架構(gòu)（2）流程（3）數(shù)據(jù)標(biāo)準(zhǔn)（4）工具（