1、 全國高校標(biāo)準(zhǔn)教材云計算姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用主編張燕張重生張志立副主編BIG DATA大數(shù)據(jù)教授，清華大學(xué)博士。現(xiàn)任南京大數(shù)據(jù)研究院院長、中國信息協(xié)會大數(shù)據(jù)分會副會長、中國大數(shù)據(jù)技術(shù)與應(yīng)用聯(lián)盟副理事長。主持完成科研項目25項，發(fā)表論文80余篇，出版專業(yè)書籍15本。獲部級科技進(jìn)步二等獎4項、三等獎4項。主編的云計算被全國高校普遍采用，被引用量排名中國計算機(jī)圖書第一名。創(chuàng)辦了知名的中國云計算（）和中國大數(shù)據(jù)（）網(wǎng)站。曾率隊奪得2002 PennySort國際計算機(jī)排序比賽冠軍，兩次奪得全國高?？萍急荣愖罡擢?，并三次奪得清華大學(xué)科技

2、比賽最高獎。榮獲“全軍十大學(xué)習(xí)成才標(biāo)兵”（排名第一）、南京“十大杰出青年”、江蘇省中青年科學(xué)技術(shù)帶頭人、清華大學(xué)“學(xué)術(shù)新秀”等稱號。3 of 44 全國高校標(biāo)準(zhǔn)教材云計算姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用第五章R語言5 .1 R語言簡介5 . 2R與數(shù)據(jù)挖掘5 . 3Spark R習(xí)題5 .1R語言簡介大數(shù)據(jù)配套PPT課件十大熱門編程語言第七位用于統(tǒng)計計算語言和作圖的語言R免費(fèi)、開源及統(tǒng)計模塊齊全數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)自然語言處理等計量經(jīng)濟(jì)學(xué) 實證金融學(xué) 統(tǒng)計遺傳學(xué)等4 of 445 of 445 .1R語言簡介大數(shù)據(jù)配套PPT課件5.1.1 R語言產(chǎn)生與發(fā)展歷程S語言1995年2013年基于S語

3、言的一個GNU項目，語法來自Scheme語言，R語言的源代碼正式發(fā)布到自由軟件協(xié)會的FTP上核心開發(fā)團(tuán)隊達(dá)到20人，來自牛津大學(xué)、AT&T實驗室等等。不單是一門語言，更是一個數(shù)據(jù)計算與分析的環(huán)境，內(nèi)容涵蓋了從統(tǒng)計計算到機(jī)器學(xué)習(xí)，從金融分析到生物信息，從社會網(wǎng)絡(luò)分析到自然語言處理，從各種數(shù)據(jù)庫各種語言接口到高性能計算模型6 of 445 .1R語言簡介大數(shù)據(jù)配套PPT課件5.1.2 R語言基本功能介紹 R語言是一套完整的數(shù)據(jù)處理、計算和制圖軟件系統(tǒng)，主要包括以下功能 數(shù)據(jù)存儲和處理系統(tǒng) 數(shù)組運(yùn)算工具，（其向量、矩陣運(yùn)算方面功能尤其強(qiáng)大） 完整連貫的統(tǒng)計分析工具 優(yōu)秀的統(tǒng)計制圖功能7 of 445

4、 .1R語言簡介大數(shù)據(jù)配套PPT課件R語言讀取存儲u 豐富的數(shù)據(jù)讀取和存儲能力 可以保存和加載R語言的數(shù)據(jù)，與R.data的交互是通過R語言的save( )函數(shù)和load()函數(shù)實現(xiàn)的 能夠加載和導(dǎo)出.csv文件（write.csv()函數(shù)和read.csv()函數(shù)） 能夠?qū)隨PSS/SAS/Matlab等數(shù)據(jù)集 可以通過RODBC接口，從數(shù)據(jù)庫中導(dǎo)入數(shù)據(jù) 可以通過odbcConnectExcel接口從Excel表格中導(dǎo)入數(shù)據(jù)8 of 445 .1R語言簡介大數(shù)據(jù)配套PPT課件u 豐富的數(shù)據(jù)處理功能數(shù)據(jù)挖掘中，需要花70%以上的時間在數(shù)據(jù)處理上，R語言提供豐富的數(shù)據(jù)處理功能 篩選filter

5、() 按給定的邏輯判斷篩選出符合要求的子數(shù)據(jù)集 排列arrange() 按給定的列名依次對行進(jìn)行排序 選擇select() 用列名作參數(shù)來選擇子數(shù)據(jù)集 變形mutate()或transformation()用來進(jìn)行列變形 匯總summarise()進(jìn)行匯總操作，返回一維結(jié)果 分組分組動作 group_by()9 of 44 較復(fù)雜的繼承關(guān)系，和數(shù)組的關(guān)系既是父親又是兒子，還是孫子 列表由向量直接派生而來 可以將幾個不同類型但長度相同的向量合并到一個數(shù)據(jù)框 定義了如NULL、NA、NaN、inf等特殊數(shù)據(jù) 提供了獲取數(shù)據(jù)類型信息的一些有用函數(shù)5 .1R語言簡介大數(shù)據(jù)配套PPT課件 R語言處理數(shù)據(jù)

6、的最基本單位是向量，而不是原子數(shù)據(jù) R語言定義了一類非常特殊的數(shù)據(jù)類型：因子 數(shù)組是向量和矩陣的直接推廣，是由三維或三維以上的數(shù)據(jù)構(gòu)成的 向量 因子 數(shù)組 矩陣 列表 數(shù)據(jù)框 特殊值數(shù)據(jù) 有用函數(shù)u 豐富的數(shù)據(jù)處理能力5.1 1R語言簡介大數(shù)據(jù)配套PPT課件5.1.3 R語言常見的應(yīng)用領(lǐng)域統(tǒng)計分析人工智能應(yīng)用數(shù)學(xué)數(shù)據(jù)挖掘數(shù)據(jù)可視化生物信息學(xué)R語言應(yīng)用領(lǐng)域計量經(jīng)濟(jì)金融分析財經(jīng)分析10 of 4411 of 44 全國高校標(biāo)準(zhǔn)教材云計算姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用第五章R語言5 .1 R語言簡介5 .2 R與數(shù)據(jù)挖掘5 .3 Spark R習(xí)題12 of 445.2 R與數(shù)據(jù)挖掘大數(shù)據(jù)配套

7、PPT課件 數(shù)據(jù)挖掘 數(shù)據(jù)挖掘（Data Mining）是從大量的數(shù)據(jù)中發(fā)現(xiàn)有趣知識的過程，涉及統(tǒng)計學(xué)、機(jī)器學(xué)習(xí)、模式識別等多個交叉； 主要技術(shù)包括分類與預(yù)測、聚類、離群點檢測、關(guān)聯(lián)規(guī)則、序列分析和文本挖掘以及社交網(wǎng)絡(luò)分析和 情感分析等。 R語言與數(shù)據(jù)挖掘有關(guān)的任務(wù)視圖 MachineLearning：主要涉及機(jī)器學(xué)習(xí)和統(tǒng)計學(xué)習(xí)功能 Cluster：主要涉及聚類分析和有限混合模型 TimeSeries：主要涉及時間序列分析 Multivariate：主要用于多元統(tǒng)計分析及其算法R語言主要用于統(tǒng)計計算和統(tǒng)計制圖，提供了大量的統(tǒng)計和制圖工具 Spatial：主要用于空間數(shù)據(jù)分析13 of 445.

8、2R與數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.1 R軟件包與常見的數(shù)據(jù)挖掘算法介紹u 分類與預(yù)測算法分類與預(yù)測算法支持向量機(jī)決策樹K-近鄰算法14 of 445.2R與數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.1 R軟件包與常見的數(shù)據(jù)挖掘算法介紹如果一個樣本與特征空間中的K個最相似（特征空間中最鄰近）的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別u 分類與預(yù)測算法K-近鄰算法 library(kknn) data(iris) m val +prob= rep(1/m, m) iris.learn iris.valid iris.kknn +kernel= triangular) summary(

9、iris.kknn) fit table(iris.valid$Species, fit) fitsetosa1200versicolor0210virginica0017setosa versicolor virginica5.2R與數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.1 R軟件包與常見的數(shù)據(jù)挖掘算法介紹決策樹（Decision Tree）是一種依托于分類、訓(xùn)練上的預(yù)測樹，根據(jù)已知預(yù)測、歸類未來u 分類與預(yù)測算法決策樹iris數(shù)據(jù)集的決策樹 生成樹階段 決策樹修剪階段15 of 4416 of 445.2R與數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.1 R軟件包與常見的數(shù)據(jù)挖掘算法介紹支持向量機(jī)（

10、Support Vector Machine，SVM）是一個二分類的辦法，即將數(shù)據(jù)集中的數(shù)據(jù)分為兩類u 分類與預(yù)測算法支持向量機(jī)SVM中的超平面對比利用超平面分割數(shù)據(jù)集17 of 445.2R與數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.1 R軟件包與常見的數(shù)據(jù)挖掘算法介紹u 聚類算法及其R包 “聚類”是根據(jù)“物以類聚”的原理，將本身沒有類別的樣本聚集成不同的組（或稱為簇），并對每個簇進(jìn)行描述的過程 常用的聚類算法主要包括K-means聚類、層次聚類和基于密度的聚類K-means聚類層次聚類基于密度的聚類18 of 445.2R與數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.1 R軟件包與常見的數(shù)據(jù)挖掘算法介紹

11、u 聚類算法及其R包K-means聚類 同一聚類中的對象相似度較高；而不同聚類中的對象相似度較小部分鳶尾花數(shù)據(jù)的3-means聚類結(jié)果19 of 445.2R與數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.1 R軟件包與常見的數(shù)據(jù)挖掘算法介紹一層一層地進(jìn)行聚類，可以從下而上地把小的cluster合并聚集，也可以從上而下地將大的cluster進(jìn)行分割u 聚類算法及其R包層次聚類iris數(shù)據(jù)集中20個樣本的層次聚類結(jié)果20 of 445.2R與數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.1 R軟件包與常見的數(shù)據(jù)挖掘算法介紹最小數(shù)目的對象點 MinPts可到距離，用于定義鄰域的大小 epsu 聚類算法及其R包基于密度

12、的聚類關(guān)鍵參數(shù)DBSCAN算法的數(shù)據(jù)集DBSCAN算法的密度聚類結(jié)果5.2R與數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.1 R軟件包與常見的數(shù)據(jù)挖掘算法介紹u 離群點檢測與R包離群點檢測與 R包單變量的離群點檢測多變量離群點檢測局部離群點因子檢測用聚類方法進(jìn)行離散點檢測 返回的統(tǒng)計信息用于繪制箱體圖 實現(xiàn)多變量離群點的檢測 基于密度的局部離群點檢測 將不屬于任務(wù)一類的數(shù)據(jù)作常值檢測21 of 4422 of 445.2R與數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.1 R軟件包與常見的數(shù)據(jù)挖掘算法介紹u 關(guān)聯(lián)規(guī)則與R包Groceries數(shù)據(jù)集關(guān)聯(lián)度的散點圖top-10關(guān)聯(lián)規(guī)則關(guān)系圖23 of 445.2R與

13、數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.1 R軟件包與常見的數(shù)據(jù)挖掘算法介紹u 時間序列分類與R包人口出生率時間序列圖出生率時間序列解構(gòu)圖24 of 445.2R與數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.1 R軟件包與常見的數(shù)據(jù)挖掘算法介紹u 文本挖掘提取文本中的詞語，并統(tǒng)計頻率況進(jìn)行事先預(yù)的主要因素，并通過構(gòu)建預(yù)測模型，對海藻的爆測以海藻樣本數(shù)據(jù)為數(shù)據(jù)集，通過數(shù)據(jù)挖掘的方式分析影響海藻爆發(fā)方法5.2R與數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.2 R在數(shù)據(jù)挖掘中的應(yīng)用舉例背景河流中海藻的集中爆發(fā)不僅會對河流的生態(tài)環(huán)境造成破壞，還會影響河流的水質(zhì)需求基于以往的觀測數(shù)據(jù)，對河流中海藻的爆要防范措施以提高河流的

14、水質(zhì)量況進(jìn)行預(yù)測并采取必25 of 445.2R與數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.2 R在數(shù)據(jù)挖掘中的應(yīng)用舉例數(shù)據(jù)集加載數(shù)據(jù)集中的數(shù)據(jù)分析無效數(shù)據(jù)處理模型的評價與選擇預(yù)測模型的構(gòu)建海藻爆發(fā)頻率預(yù)測 完成對海藻爆況的實現(xiàn)預(yù)測26 of 4427 of 445.2 R與數(shù)據(jù)挖掘大數(shù)據(jù)配套PPT課件5.2.2 R在數(shù)據(jù)挖掘中的應(yīng)用舉例u 部分代碼 線性回歸和回歸樹模型的預(yù)測 lm.predictions.a1 rt.predictions.a1 mae.a1.lm mae.a1.rt mae.a1.lm#顯示線性回歸模型預(yù)測值的平均誤差1 13.10681 mae.a1.rt#顯示回歸樹模型預(yù)測

15、值的平均誤差1 8.480619 回歸樹的MAE值為8.48 線性回歸模型的MAE值 13.11 回歸樹模型的預(yù)測值的平均誤差要優(yōu)于線性回歸模型預(yù)測值的平均誤差28 of 44 全國高校標(biāo)準(zhǔn)教材云計算姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用第五章R語言5 .1 R語言簡介5 .2 R與數(shù)據(jù)挖掘5 .3 Spark R習(xí)題29 of 445.3 Spark R大數(shù)據(jù)配套PPT課件5.3.1 SparkR 簡介SparkR就是用R語言編寫Spark程序，它允許數(shù)據(jù)科學(xué)家分析大規(guī)模的數(shù)據(jù)集，并通過R Shell交互式地在SparkR上運(yùn)行作業(yè)上 SparkR的核心是SparkR DataFrame，數(shù)據(jù)

16、組織成一個帶有列名的分布式數(shù)據(jù)集 1taFrames的數(shù)據(jù)來源非常廣泛 2高擴(kuò)展性 3DataFrames的優(yōu)化 4對RDD API的支持5.3Spark R大數(shù)據(jù)配套PPT課件5.3.2 SparkR 環(huán)境搭建 1. Linux下安裝R 2. rJava包安裝 3. SparkR的安裝首先在官網(wǎng)下載R的軟件包，官網(wǎng)網(wǎng)址為/SparkR包對rJava包有依賴關(guān)系，因此，在安裝SparkR之前，需要先完成rJava包的安裝為了避免Spark版本的兼容問題，采用源碼編譯的方式來安裝SparkR30 of 445.3Spark R大數(shù)據(jù)配套PPT課件5.3

17、.3 SparkR 使用 創(chuàng)建SparkSession 創(chuàng)建SparkDataFrmes SparkSession（即Spark會話）是SparkR的切入點， 它使得R程序和Spark集群相互通信根據(jù)需要從本地R數(shù)據(jù)框（R data frame），Hive 表（Hive table）或者從其他數(shù)據(jù)源創(chuàng)建SparkDataFrmes31 of 4432 of 445.3Spark R大數(shù)據(jù)配套PPT課件5.3.4 SparkR 與HQLHQL是一種類SQL的語言，這種語言最終被轉(zhuǎn)化為Map/Reduce，通過Hive可以使用HQL語言查詢存放在HDFS上的數(shù)據(jù)SparkRu 利用Hive表來創(chuàng)建

18、DataFrame；u 將DataFrame轉(zhuǎn)化為Spark SQL；u SparkR提供了對HQL的支持和API，但是Hive適合用來對一段時間內(nèi)的數(shù)據(jù)進(jìn)行分析查詢33 of 445.3Spark R大數(shù)據(jù)配套PPT課件5.3.5 SparkR實現(xiàn)的主要機(jī)器學(xué)習(xí)算法概述廣義線性模型簡單最小二乘回歸（OLS）的擴(kuò)展，響應(yīng)變量可以是正整數(shù)或分類數(shù)據(jù)，為某指數(shù)分布族,期望值函數(shù)與預(yù)測變量之間為線性關(guān)系，需要指定分布類型和連接函數(shù)加速失效時間生存回歸模型AFT模型將經(jīng)典線性回歸模型的建模方法直接拓展到了生存分析領(lǐng)域， 即具有截尾生存時間的情形樸素貝葉斯模型通過某對象的先驗概率，利用貝葉斯公式計算出其

19、后驗概率，選擇具模型的保存與加載K-means模型于距離的聚類算法，采用距離作為相似性的評價指標(biāo)有最大后驗概率的類作為該對象所屬的類SparkR提供了對K-means算法的支持，K-means算法是很典型的基模型訓(xùn)練好了以后，需要將訓(xùn)練好的模型保存起來，以便下一次再用5.3Spark R大數(shù)據(jù)配套PPT課件5.3.6 SparkR在數(shù)據(jù)分析中的應(yīng)用舉例利用SparkR提供的接口函數(shù)，在Hadoop集群環(huán)境中對“德國信用數(shù)據(jù)集”進(jìn)行處理，并利用訓(xùn)練得到的信用梯度損失模型對貸款人的信用度進(jìn)行預(yù)測加載Spark解析文件矩陣形式預(yù)測模型模型評價從HDFS中讀取德國信用數(shù)據(jù)文件分割為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)

20、集完成模型訓(xùn)練和數(shù)據(jù)預(yù)測梯度下降算法優(yōu)化損失函數(shù)和邏輯回歸算法對借款人的信用進(jìn)行評級34 of 445.3Spark R大數(shù)據(jù)配套PPT課件5.3.6 SparkR在數(shù)據(jù)分析中的應(yīng)用舉例u 部分代碼 利用梯度下降算法優(yōu)化損失函數(shù)和邏輯回歸算法，計算信用等級預(yù)測模型# 初始化向量theta theta hypot gCost - function(t,X,y) + 1/nrow(X)*(t(X)%*%(hypot(X%*%t)-y) # 定義訓(xùn)練函數(shù)+ train - function(theta, rdd) # 計算梯度+ gradient_rdd - lapplyPartition(rdd,

21、 function(part) +X - part,1:25+y - part,26+p_gradient - gCost(theta,X,y)+list(list(1, p_gradient)+ )+ agg_gradient_rdd alpha tol step while(T) + cat(step: ,step,n)+ p_gradient - train(theta, matrix_train_rdd)+ theta - theta-alpha*p_gradient+ gradient - train(theta, matrix_train_rdd) #根據(jù)梯度下降算法進(jìn)行模型訓(xùn)練+

22、 if(abs(norm(gradient,type=F)- norm(p_gradient,type=F)=tol) break+ step - step+1+ 35 of 44 習(xí)題： 1. R 語言是解釋性語言還是編譯性語言？2. 簡述R 語言的基本功能。3. R 語言通常用在哪些領(lǐng)域？4. 簡述R 軟件包的安裝和加載過程？5. R 語言常用的分類與預(yù)測算法有哪些？6. 簡述如何利用R 程序包進(jìn)行數(shù)據(jù)分析、建模和數(shù)據(jù)預(yù)測。7. 如何使用“ 聚類” 和“ 分類” 對數(shù)據(jù)樣本進(jìn)行分組？8. 查閱相關(guān)資料， 實例演示R 語言在數(shù)據(jù)挖掘中的應(yīng)用。9. 查閱相關(guān)資料， 實例演示S pa r k R 環(huán)境搭建。1 0 . S p a r k R D