1、R語(yǔ)言文本挖掘l Packages：tm: 包含了文本挖掘工具；XML：包含了XML處理工具。l 下面使用Chapter3中的文件進(jìn)行分析進(jìn)行數(shù)據(jù)分析：設(shè)置工作目錄： setwd(C:/Users/Mr.Cheng/Desktop/課件/數(shù)據(jù)科學(xué)R語(yǔ)言實(shí)戰(zhàn)代碼/Chapter03)讀取文本文件的路徑，然后安裝tm包并加載tm包： path=state-of-the-union.txt install.packages(tm) library(tm)通過(guò)下列代碼將其分成塊或行： text=readLines(path,encoding=UTF-8)text是變量聲明中行的數(shù)組。有若干可用的文本函

2、數(shù)，可以直接在結(jié)果的文本中運(yùn)行，常用的操作包括以下幾項(xiàng)。1. 轉(zhuǎn)換成小寫(xiě)字母；2. 移除標(biāo)點(diǎn)；3. 移除數(shù)字：此操作用于集中涉及具體的文本；4. 移除URL：此操作可以避免使出現(xiàn)在URL中的字復(fù)雜化；5. 調(diào)整“停用詞”列表：當(dāng)與特定行業(yè)的文本一起工作時(shí)，此操作尤其有用；6. 與詞干一起工作：此操作允許調(diào)整文本以便僅出現(xiàn)詞干。有助于將焦點(diǎn)集中于文本中涉及的真正術(shù)語(yǔ)，并非出現(xiàn)的各種格式。R使用了用于處理文本的語(yǔ)料庫(kù)?？梢詮亩喾N源創(chuàng)建語(yǔ)料庫(kù)，源包括VecyorSource（文本流）。下列代碼會(huì)將原始文本轉(zhuǎn)化為語(yǔ)料庫(kù)，便于進(jìn)一步進(jìn)行R處理： vs=VectorSource(text)#將文本與出現(xiàn)在

3、源中單詞的向量排成一行 elem=getElem(stepNext(vs)#getElem()函數(shù)建立了已通過(guò)的源，用于R中進(jìn)行更深的數(shù)據(jù)存取。stepNext()函數(shù)更新了源的位置，以備將來(lái)之需。 result=readPlain(elem,en,id1) txt=Corpus(vs) #Corpus()：語(yǔ)料庫(kù)是一些可用于進(jìn)一步處理的數(shù)據(jù)源l 創(chuàng)建語(yǔ)料庫(kù)：l 將文本轉(zhuǎn)化成小寫(xiě)字母： txtlc=tm_map(txt,tolower) inspect(txt1)Metadata: corpus specific: 1, document level (indexed): 0Content:

4、documents: 11 Mr. Speaker, Mr. Vice President, Members of Congress, my fellow Americans: inspect(txtlc1)Metadata: corpus specific: 1, document level (indexed): 0Content: documents: 11 mr. speaker, mr. vice president, members of congress, my fellow americans:l 移除標(biāo)點(diǎn)： txtnp=tm_map(txt,removePunctuation

5、) inspect(txt1)Metadata: corpus specific: 1, document level (indexed): 0Content: documents: 11 Mr. Speaker, Mr. Vice President, Members of Congress, my fellow Americans: inspect(txtnp1)Metadata: corpus specific: 1, document level (indexed): 0Content: documents: 11 Mr Speaker Mr Vice President Member

6、s of Congress my fellow Americansl 移除數(shù)字： txtnn=tm_map(txtnp,removeNumbers) inspect(txtnp63)Metadata: corpus specific: 1, document level (indexed): 0Content: documents: 11 After 2014 we will inspect(txtnn63)Metadata: corpus specific: 1, document level (indexed): 0Content: documents: 11 After we will

7、l 移除單詞：通常移除所有短的英語(yǔ)單詞，這些單詞對(duì)分析沒(méi)有意義，通常都會(huì)移除停用詞以便停止作者對(duì)單詞賦予的特殊含義?！皌he”和“and”就是停用詞，雖然是必須用詞，但是這些單詞并不會(huì)提升文本的質(zhì)量?？蓛H通過(guò)向集群添加停用詞，調(diào)整感興趣的語(yǔ)言中的標(biāo)準(zhǔn)停用詞。 txtns=tm_map(txt1,removeWords,stopwords(english) inspect(txtns)Metadata: corpus specific: 1, document level (indexed): 0Content: documents: 11 Mr. Speaker, Mr. Vice Presi

8、dent, Members Congress, fellow Americans: inspect(txt1)Metadata: corpus specific: 1, document level (indexed): 0Content: documents: 11 Mr. Speaker, Mr. Vice President, Members of Congress, my fellow Americans:l 移除空格符移除空格符與標(biāo)準(zhǔn)的文本挖掘的關(guān)系不大，并且使用的函數(shù)會(huì)忽視先前的空格符。此函數(shù)提供了一種清除中間結(jié)果以便于進(jìn)行更好說(shuō)明的方法： txtnw=tm_map(txt30,s

9、tripWhitespace) inspect(txtnw) inspect(txt30)*stripWhitespace 同時(shí)也將標(biāo)點(diǎn)從兩個(gè)拓展字符減少到一個(gè)拓展字符。l 詞干我們可以將語(yǔ)料庫(kù)調(diào)整自?xún)H使用詞干。詞干是詞根，而不管通用的屈折詞綴或用法。例如，“wait”“waiting”“waits”“waited”等詞的詞干相同。 install.packages(SnowballC) inspect(txt50)Metadata: corpus specific: 1, document level (indexed): 0Content: documents: 11 A pre-exis

10、ting condition used to mean that someone like Amanda Shelley, a physician assistant and single mom from Arizona, couldnt get health insurance.? But on January 1st, she got covered.? On January 3rd, she felt a sharp pain.? On January 6th, she had emergency surgery.? Just one week earlier, Amanda said

11、, that surgery wouldve meant bankruptcy. txtstem=tm_map(txt,stemDocument) inspect(txtstem50)Metadata: corpus specific: 1, document level (indexed): 0Content: documents: 11 A pre-exist condit use to mean that someon like Amanda Shelley, a physician assist and singl mom from Arizona, couldnt get healt

12、h insurance.? But on Januari 1st, she got covered.? On Januari 3rd, she felt a sharp pain.? On Januari 6th, she had emerg surgery.? Just one week earlier, Amanda said, that surgeri wouldv meant bankruptcy. txtcomplete=tm_map(txtstem,stemCompletion,dictionary=txt) inspect(txtcomplete50)Metadata: corp

13、us specific: 1, document level (indexed): 0Content: documents: 1A pre-exist condit use to mean that someon like Amanda Shelley, a physician assist and singl mom from Arizona, couldnt get health insurance.? But on Januari 1st, she got covered.? On Januari 3rd, she felt a sharp pain.? On Januari 6th,

14、she had emerg surgery.? Just one week earlier, Amanda said, that surgeri wouldv meant bankruptcy. l 文檔詞條矩陣文本詞條矩陣表示術(shù)語(yǔ)出現(xiàn)在一些文檔中的頻率，所以，每個(gè)文檔都包括某一術(shù)語(yǔ)在該文檔中的次數(shù)。在我們的示例中，此矩陣包括文檔行/段中發(fā)現(xiàn)的關(guān)鍵詞以及出現(xiàn)的頻率。 dtm=DocumentTermMatrix(txt)DocumentTermMatrix(x,control=) #表示語(yǔ)料庫(kù)中的術(shù)語(yǔ)用法;#x:語(yǔ)料庫(kù)。#control：控制選項(xiàng)的名單。某些選項(xiàng)特定于進(jìn)一步使用。可用于全局選項(xiàng)

15、#有以下兩項(xiàng)：1 bounds：使用的語(yǔ)料庫(kù)范圍。2 weighting：包含了用于遇到過(guò)的術(shù)語(yǔ)的加權(quán)函數(shù)。 dtmNon-/sparse entries: 4521/Sparsity : 97%Maximal term length: 16Weighting : term frequency (tf) txt=tm_map(txt,removeWords,stopwords(English)#tm_map(x,FUN,lazy=T)將轉(zhuǎn)換用于語(yǔ)料庫(kù)界面：1. x:使用轉(zhuǎn)換的語(yǔ)料庫(kù)；2. FUN:需要使用的轉(zhuǎn)換；3. lazy:如果設(shè)置為T(mén)RUE, 可執(zhí)行惰性數(shù)據(jù)存取。removewords會(huì)

16、刪除文檔中的字；stopwords集是通用的英語(yǔ)停用詞列表；removeSparseTerm功能可以為文檔矩陣刪除不經(jīng)常遇到的術(shù)語(yǔ)：removeSparseTerms(x,sparse),其中x為一個(gè)語(yǔ)料庫(kù)，sparse為包含所允許的最大稀疏性的值，范圍為01.findAssocs(x,terms,corlimit): 用來(lái)找到文檔矩陣中詞語(yǔ)的關(guān)聯(lián)，其中terms 為我們必須找到其關(guān)聯(lián)性的術(shù)語(yǔ)，corlimit為包含所要探索的較低相關(guān)性限制。我們同樣可以使用tm包中的函數(shù)移除稀疏術(shù)語(yǔ)以降低矩陣的稀疏性。 dtm2=removeSparseTerms(dtm,0.94) inspect(dtm2

17、)Non-/sparse entries: 1956/10600Sparsity : 84%Maximal term length: 11Weighting : term frequency (tf)Sample : TermsDocs and but for have more our that the this with 10 5 1 2 0 1 1 2 8 5 0 21 8 0 0 0 3 4 4 10 1 1 26 6 2 0 1 3 4 0 8 0 5 37 7 1 3 0 3 2 0 4 1 3 39 3 1 1 1 1 2 2 5 2 2 40 12 0 0 0 5 2 4 7

18、0 3 48 4 1 5 2 1 0 4 8 2 2 66 6 1 3 0 1 4 1 11 2 2 72 11 1 1 2 0 3 1 8 0 2 83 10 3 4 1 1 9 2 5 0 1我們可以尋找不同單詞之間的關(guān)聯(lián)： findAssocs(dtm2,work,0.25)$work together hard most and want 0.52 0.47 0.46 0.45 0.45 make can the all americans 0.43 0.43 0.42 0.38 0.37 for are lets help but 0.37 0.36 0.36 0.35 0.35 n

19、ation take way other more 0.35 0.35 0.35 0.33 0.32 where believe future like opportunity 0.32 0.31 0.31 0.31 0.31 what families who that young 0.31 0.31 0.29 0.29 0.29 last workers this right im 0.29 0.28 0.27 0.27 0.27 see while new some create 0.27 0.27 0.26 0.26 0.26 dont 0.26 看來(lái)奧巴馬希望美國(guó)民眾一起努力的工作。

20、l 文本集群在我們努力進(jìn)行集合的數(shù)值分析中，通常會(huì)使用聚類(lèi)，如以通用性為基礎(chǔ)的觀測(cè)或觀測(cè)數(shù)據(jù)點(diǎn)的接近。在文本分析中，我們使用聚類(lèi)重復(fù)同樣的操作：試圖確定文檔中單詞用法之間的關(guān)系。在本例中，我們使用K-means聚類(lèi)。K-means聚類(lèi)減少了關(guān)系式之間的平方差和以及距離被最小化到規(guī)定的閾值的群組/集群字。在這種情況下，即為規(guī)定集群的數(shù)目。 library(stats) mymeans=kmeans(dtm,5) mymeansK-means clustering with 5 clusters of sizes 9, 6, 29, 8, 34Cluster means: americans co

21、ngress fellow members president speaker vice america americas and decades did extra graduation her highest its level lift more needed part rate spent student reached getOption(max.print) - omitted 5 rows Clustering vector: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 5 5 5 5 3 5 4 5 4 4 5 3 3

22、1 4 5 5 3 3 3 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 2 5 1 5 3 2 1 5 3 3 5 5 4 3 5 5 1 5 1 2 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 3 3 5 3 3 3 3 4 5 5 5 5 5 5 3 3 5 3 3 3 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 3 1 3 1 1 4 2 3 3 4 3 2 3

23、3 1 5 5 5 5 3 81 82 83 84 85 86 5 5 2 5 5 5 Within cluster sum of squares by cluster:1 821.1111 780.3333 2095.3103 875.6250 963.2059 (between_SS / total_SS = 23.4 %)Available components:1 cluster centers totss 4 withinss tot.withinss betweenss 7 size iter ifault 看一下匯總數(shù)據(jù)，你會(huì)發(fā)現(xiàn)我們要?jiǎng)h除的稀疏項(xiàng)（8815個(gè)中心） summar

24、y(mymeans) Length Class Mode cluster 86 -none- numericcenters 8815 -none- numerictotss 1 -none- numericwithinss 5 -none- numerictot.withinss 1 -none- numericbetweenss 1 -none- numericsize 5 -none- numericiter 1 -none- numericifault 1 -none- numeric我們還可以找到用得罪頻繁的術(shù)語(yǔ)（至少被提及十次）（含停用詞，如“.”“和”等）： freq=findFr

25、eqTerms(dtm,10) freq 1 americans congress america and 5 more than time today 9 who with businesses have 13 jobs new our over 17 the years help his 21 some world but first 25 for from give home 我們可以繪制集群的樹(shù)枝形結(jié)構(gòu)關(guān)系圖來(lái)表明關(guān)系： m2=as.matrix(dtm) dm=dist(scale(m2) fit=hclust(dm,method=ward.D) plot(fit)l 文字圖形 so

26、urce(/biocLite.R) biocLite(Rgraphviz)#這個(gè)包非常難以安裝，具體參見(jiàn)：/weidelight/article/details/和/display/DUKER/Install+RGraphviz+under+Windows library(Rgraphviz) path1=Detailed Description of Documents Available.txt text1=readLines(path1,encoding=UTF-8)

27、 vs=VectorSource(text1) elem=getElem(stepNext(vs) result=readPlain(elem,en,id1) txt1=Corpus(vs) dtm1=DocumentTermMatrix(txt1) plot(dtm1,terms=findFreqTerms(dtm1,lowfreq=5)1:10,corThreshold=0.5)我們可以通過(guò)使用R看見(jiàn)常用詞的條形圖（計(jì)數(shù)超過(guò)10）： tdm=TermDocumentMatrix(txt1)#注意這里的是TermDocumentMatrix m=as.matrix(tdm)# 轉(zhuǎn)換為矩陣 v

28、=sort(rowSums(m),decreasing=T)# 按行求和生成得到每個(gè)單詞的頻數(shù) d=data.frame(word=names(v),freq=v)# 進(jìn)一步轉(zhuǎn)換為data.frame便于調(diào)用 library(ggplot2) q=ggplot(subset(d,freq10),aes(word,freq)+geom_bar(stat=identity)+theme(axis.text.x=element_text(angle=45,hjust=1) q生成詞云： library(wordcloud2) wordcloud2(d,minRotation = -pi/2,maxR

29、otation = pi/2,size=2)調(diào)整配色：用RColorBrewer包中的brewer.pal來(lái)選擇適合的調(diào)色板： install.packages(RColorBrewer) library(RColorBrewer) display.brewer.all()#查看所有的配色 brewer.pal(7,YlOrRd)1 #FFFFB2 #FED976 #FEB24C #FD8D3C #FC4E2A #E31A1C7 #B10026 display.brewer.pal(7,YlOrRd) wordcloud2(d,minRotation = -pi/2,maxRotation =

30、 pi/2,size=1.2,color=pal) pal=brewer.pal(6,Dark2) pal=pal-(1:6) wordcloud2(d,minRotation = -pi/2,maxRotation = pi/2,size=1,color=pal)l 分析XML文本將XML數(shù)據(jù)輸入R中： library(XML) url=books.xml data=xmlParse(url)判斷XML功能包按所需方式及時(shí)間工作。由于源XML文件可能較大，只有在發(fā)出要求時(shí)函數(shù)才會(huì)輸入大量數(shù)據(jù)。你會(huì)發(fā)現(xiàn)此時(shí)數(shù)據(jù)對(duì)象中沒(méi)有內(nèi)容。判斷XML功能包是否已對(duì)全部XML流進(jìn)行解析，并將其轉(zhuǎn)換為列表： d

31、f=xmlToDataFrame(data)查看列表的第一行：(我們可以獲取欄標(biāo)題) colnames(df)1 author title genre price publish_date6 description這時(shí)我們會(huì)得到一個(gè)一致的XML，因此XML已被轉(zhuǎn)換為數(shù)據(jù)框比如，我們可以通過(guò)以下代碼計(jì)算平均圖書(shū)價(jià)格： mean(as.numeric(df$price)1 3.還有一個(gè)有趣的現(xiàn)象，即數(shù)據(jù)不一致，且不易轉(zhuǎn)換為數(shù)據(jù)框。下面示例中使用的是華盛頓大學(xué)的課程列表uwm.xml文件：當(dāng)XML工作時(shí)，我們需要移至文檔中的實(shí)際數(shù)據(jù)進(jìn)行操作。這一步驟可以通過(guò)以下文檔根實(shí)現(xiàn)： url=uwm.xml

32、data=xmlParse(url) root=xmlRoot(data)在這一點(diǎn)上，直接將根繪制在XML上。我們所擁有根域所提供的主題集合如下第一課程設(shè)置的顯示所示。 root1$course_listing # 216-088 NEW STUDENT ORIENTATION 0 U attr(,class)1 XMLInternalNodeList XMLNodeList 可獲得一張出現(xiàn)在每個(gè)XML節(jié)點(diǎn)的字段列表： fields=xmlApply(root,names) fields$course_listing note course title credits note course

33、title credits level restrictions section_listing level restrictions section_listing 所以，不出所料，每一類(lèi)別都有注釋、標(biāo)題等內(nèi)容。通過(guò)查看數(shù)據(jù)可以看見(jiàn)各種section_listing條目，這取決于某一特定科目有多少章節(jié)。section_listing 條目是全新的子樹(shù)，因此此條目在之前的代碼在之前的代碼案例的引文中出現(xiàn)?？梢酝ㄟ^(guò)檢查XML的顯著性差異： table(sapply(fields,identical,fields1)FALSE TRUE 1779 333 300多個(gè)科目似乎有若干個(gè)章節(jié)。這樣就會(huì)阻

34、止我們將XML樹(shù)搬至矩陣和/或數(shù)據(jù)框中，原因在于每個(gè)節(jié)點(diǎn)的數(shù)據(jù)并非一致?？纱_保有正確的字段列表（并非像之前那樣粗略地看）： unique(unlist(fields)1 note course title credits 5 level restrictions section_listing所以希望按照某一方式對(duì)所有的數(shù)據(jù)進(jìn)行分類(lèi)。課程中有哪些不同的等級(jí)？請(qǐng)找出它們： unique(xpathSApply(data,/*/level,xmlValue)1 U G U/G從XML提取信息的標(biāo)準(zhǔn)機(jī)制是使用路徑。路徑說(shuō)明了希望采取的方向，從作為起點(diǎn)的節(jié)點(diǎn)一直到下面記憶中特定的測(cè)試：就之前的指令來(lái)說(shuō)，我們告訴R從數(shù)據(jù)或XML文檔的最基本內(nèi)容開(kāi)始。從那里起下降了兩個(gè)等級(jí)（第一等級(jí)是文檔的基本內(nèi)容，第二等級(jí)是course_listing）。應(yīng)該能夠跟隨之前樣例輸出的路徑。然后，尋找水平字段的示例。水平字段的每個(gè)數(shù)值都會(huì)放入結(jié)果中。所有的結(jié)果都會(huì)放入唯一性測(cè)試，并且在屏幕上顯示輸出。什么是等級(jí)的拆分？R中的標(biāo)準(zhǔn)技術(shù)就是采用路徑中發(fā)現(xiàn)的原始數(shù)值，并且將這些數(shù)值添加到表中。由于將數(shù)值添加到表中之后可以發(fā)現(xiàn)相同的數(shù)值，因此會(huì)擴(kuò)展簡(jiǎn)易計(jì)數(shù)器： table(xpathSApply(data,/*