第9章復(fù)雜網(wǎng)絡(luò)分析BigData目錄§9.1復(fù)雜網(wǎng)絡(luò)分析的概念§9.2復(fù)雜網(wǎng)絡(luò)的分析方法§9.3復(fù)雜網(wǎng)絡(luò)分析的python實現(xiàn)現(xiàn)實世界中，許多復(fù)雜系統(tǒng)都可以建模成一種復(fù)雜網(wǎng)絡(luò)進行分析，比如常見的電力網(wǎng)絡(luò)、航空網(wǎng)絡(luò)、交通網(wǎng)絡(luò)、計算機網(wǎng)絡(luò)、社交網(wǎng)絡(luò)，等等。§9.1復(fù)雜網(wǎng)絡(luò)分析的概念復(fù)雜網(wǎng)絡(luò)不僅是一種數(shù)據(jù)的表現(xiàn)形式，也是一種科學(xué)研究的手段。復(fù)雜網(wǎng)絡(luò)的理論基礎(chǔ)是運籌學(xué)中的圖一、圖1.引例圖是大數(shù)學(xué)家歐拉在解決哥尼斯堡七橋問題時提出的全新的數(shù)學(xué)概念。哥尼斯堡有條穿城而過的河流名普雷格爾（RiverPregel），河中有兩座小島，在此稱為左島和右島，河的北岸、南岸及兩島之間共有7座橋相連，如右圖所示。

哥尼斯堡七橋問題是說，一個人從北岸、南岸、左島或右島這四個地點中任何一個出發(fā)，怎樣走才能不重復(fù)地走遍所有的七座橋而回到出發(fā)點？抽象2.圖的定義圖，記為G，定義為點和邊的集合：G＝{V,E}，式中V是點的集合，其元素稱為圖G的節(jié)點(node)或頂點(vertex)；E是邊的集合，其元素稱為圖G的邊(edge)，是用來連接節(jié)點的。從圖的定義看來，圖顯著區(qū)別于幾何學(xué)中的幾何圖形：幾何圖形中點的位置、線的長度、斜率等概念十分重要，而圖只關(guān)心有多少節(jié)點、哪些點對之間有邊相連。若圖G的邊都是沒有方向的，即沒有規(guī)定邊的起點和終點，則稱G是無向圖。若圖G中任意兩個節(jié)點之間至多有一條邊，則稱G是無多重邊的圖。圖的一些概念1圖的一些概念2

則n階矩陣稱為圖G的鄰接矩。無向無多重邊的圖的鄰接矩陣是一個對稱矩陣。鄰接矩陣將用于計算特征向量中心性。

若給圖中的點和邊賦以具體的含義和權(quán)數(shù)，如對節(jié)點而言，各節(jié)點表示城市、個人等，對權(quán)而言，如距離、費用、容量等，則稱這樣的圖為網(wǎng)絡(luò)，記為N。從定義看，網(wǎng)絡(luò)來自現(xiàn)實世界，節(jié)點和邊都有具體含義，并對邊賦有權(quán)數(shù)。比如，公路或鐵路交通網(wǎng)絡(luò)，節(jié)點是城市，邊是連接城市的公路或鐵路，兩城市之間的公路或鐵路的長度即為邊上的權(quán)數(shù)。思政：托舉我國經(jīng)濟、科技的交通網(wǎng)絡(luò)、電力網(wǎng)絡(luò)、通信網(wǎng)絡(luò)、能源網(wǎng)絡(luò)等基礎(chǔ)設(shè)施，舉世矚目，都是現(xiàn)實中的網(wǎng)絡(luò)，也是典型的復(fù)雜網(wǎng)絡(luò)。二、網(wǎng)絡(luò)

【解】（1）網(wǎng)絡(luò)構(gòu)建

以城市為節(jié)點，兩個城市之間能直達就用一條邊相連，邊的權(quán)就是兩城市的票價，于是該公司六個城市之間的航行線路如右圖所示。這是一個無向無多重邊的有權(quán)網(wǎng)絡(luò)。序號路（航線）路長(票價)最短路165否250否345是450否545是685否

我國科學(xué)家錢學(xué)森先生給出了復(fù)雜網(wǎng)絡(luò)的嚴格定義：具有自組織、自相似、吸引子、小世界、無標度中部分或全部性質(zhì)的網(wǎng)絡(luò)稱之為復(fù)雜網(wǎng)絡(luò)。簡言之，復(fù)雜網(wǎng)絡(luò)就是指一種呈現(xiàn)高度復(fù)雜性的網(wǎng)絡(luò)。1.定義三、復(fù)雜網(wǎng)絡(luò)復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性節(jié)點多樣性連接多樣性網(wǎng)絡(luò)進化性動力學(xué)復(fù)雜性多重復(fù)雜性融合2.復(fù)雜網(wǎng)絡(luò)高度復(fù)雜性的構(gòu)成示意圖復(fù)雜網(wǎng)絡(luò)小世界無標度社區(qū)復(fù)雜網(wǎng)絡(luò)中的任何一個成員和任何一個陌生人之間所間隔的人不會超過六個現(xiàn)實世界的網(wǎng)絡(luò)中少數(shù)的節(jié)點往往擁有大量的連接，而大部分節(jié)點的連接卻很少復(fù)雜網(wǎng)絡(luò)中的節(jié)點往往呈現(xiàn)出集群特性。例如，社交網(wǎng)絡(luò)中總是存在熟人圈或朋友圈，其中每個成員都認識其他成員3.復(fù)雜網(wǎng)絡(luò)的特性小結(jié)＋課程思政：復(fù)雜網(wǎng)絡(luò)的演化歷程：圖→網(wǎng)絡(luò)→復(fù)雜網(wǎng)絡(luò)圖：小規(guī)模頂點和邊的數(shù)學(xué)（運籌學(xué)）概念

網(wǎng)絡(luò)：圖的頂點、邊、權(quán)賦以現(xiàn)實意義，比如交通網(wǎng)絡(luò)、電力網(wǎng)絡(luò)、…

復(fù)雜網(wǎng)絡(luò)：大規(guī)模的頂點和邊，是數(shù)學(xué)和計算機兩個學(xué)科的綜合概念，

基本研究方法是中心性和社區(qū)劃分課程思政：復(fù)雜網(wǎng)絡(luò)的嚴格定義是由我國當代大科學(xué)家錢學(xué)森先生給出的。錢學(xué)森先生不僅是中國航天事業(yè)的奠基人之一，他對復(fù)雜網(wǎng)絡(luò)的早期研究同樣體現(xiàn)了追求真理、勇于探索未知領(lǐng)域的科學(xué)精神。這種精神鼓勵我們在面對復(fù)雜的科學(xué)研究時，要敢于質(zhì)疑現(xiàn)有知識體系，勇于開拓新的研究方向?！?.2復(fù)雜網(wǎng)絡(luò)的分析方法關(guān)于復(fù)雜網(wǎng)絡(luò)主要有兩類分析：中心性分析和社區(qū)劃分。一、中心性分析1.度數(shù)中心性度數(shù)中心性示意圖2.中介中心性中介節(jié)點v對節(jié)點s和t之間的聯(lián)系具有控制和制約作用3.接近中心性一個點越是與其他點接近，該點在傳遞信息方面就越不依賴其他節(jié)點，則該點就具有較高的接近中心度4.特征向量中心性特征向量中心性描述的是影響在網(wǎng)絡(luò)中的傳遞性，是節(jié)點的一個綜合性、全局性的重要性指標二、社區(qū)劃分網(wǎng)絡(luò)中社區(qū)結(jié)構(gòu)的一個直觀示意圖要注意社區(qū)劃分與聚類分析的本質(zhì)區(qū)別：聚類分析：關(guān)心的是數(shù)據(jù)點在特征空間中的分布（即使沒有顯式的“邊”）。社區(qū)劃分：關(guān)心的是網(wǎng)絡(luò)中的連接模式（即使節(jié)點本身沒有特征，僅靠連接關(guān)系也能分析）。小結(jié)＋課程思政：中心性分析是發(fā)現(xiàn)網(wǎng)絡(luò)中關(guān)鍵節(jié)點或節(jié)點中的關(guān)鍵角色的分析方法。社區(qū)劃分是發(fā)現(xiàn)節(jié)點集群的方法，與聚類分析又有著本質(zhì)的不同。課程思政：復(fù)雜網(wǎng)絡(luò)理論不僅應(yīng)用于自然科學(xué)領(lǐng)域，在社會網(wǎng)絡(luò)分析中也發(fā)揮著重要作用。通過學(xué)習(xí)這一理論，我們能夠更好地理解和解決社會中的各種復(fù)雜問題，如疾病傳播控制、信息擴散等，這要求科學(xué)家們具備強烈的社會責(zé)任感?！?.3復(fù)雜網(wǎng)絡(luò)分析的python實現(xiàn)

一、表數(shù)據(jù)轉(zhuǎn)換為圖數(shù)據(jù)

復(fù)雜網(wǎng)絡(luò)分析的python實現(xiàn)

二、complex_network_analyzer

三、案例分析

從三個方面將復(fù)雜網(wǎng)絡(luò)分析的實現(xiàn)：

一、表數(shù)據(jù)轉(zhuǎn)換為圖數(shù)據(jù)

若想用復(fù)雜網(wǎng)絡(luò)分析方法分析表數(shù)據(jù)，則需要將表數(shù)據(jù)轉(zhuǎn)換為圖數(shù)據(jù)。那么，怎么轉(zhuǎn)換呢？請看下述轉(zhuǎn)換流程：

Python實現(xiàn)復(fù)雜網(wǎng)絡(luò)分析的庫主要是networkx。我們基于networkx二次開發(fā)了復(fù)雜網(wǎng)絡(luò)分析器complex_network_analyzer，語句簡單、結(jié)果直觀，如下：二、復(fù)雜網(wǎng)絡(luò)分析基于python的實現(xiàn)importpandasaspdfromcomplex_network_analyzerimportComplexNetworkAnalyzerasCNA#0.示例數(shù)據(jù)file=r"..\第9章-復(fù)雜網(wǎng)絡(luò)分析\實驗9.1-2022年全國各地級市鄉(xiāng)村振興數(shù)據(jù).xlsx"X=pd.read_excel(file).iloc[1:,2:]#1.建模model=CNA()#2.生成建圖元素elements=model.graph_elements_generator(X,similarity=0.4)#3.建圖graph=model.graph_constructor(elements)#4.圖描述summary=model.graph_summary(graph)#5.中心性分析centers=model.graph_centralization(graph)#6.社區(qū)劃分community=munity_detection(graph)三、案例分析-人均能源消費量數(shù)據(jù)集“【第9章案例分析】人均生活能源消費量.xlsx”是來自中國能源統(tǒng)計年鑒2019自1980年至2018年共39年的人均生活能源消費量（數(shù)據(jù)的前5行如下）：請根據(jù)數(shù)據(jù)集完成下述任務(wù)：（一）發(fā)現(xiàn)生活能源消費變化的關(guān)鍵時間節(jié)點（二）生活能源消費的傳播特性年份煤炭

(千克)電力

(千瓦小時)液化石油氣

(千克)天然氣

(立方米)煤氣

(立方米)1980118110.40.21.41981122120.50.21.41982124120.50.21.51983128130.60.11.51984135150.60.41.6【實驗過程】本案例有兩個模塊：數(shù)據(jù)模塊→分析模塊。

數(shù)據(jù)模塊主要是：讀入數(shù)據(jù)，數(shù)據(jù)標準化已放在模型的圖元素生成器graph_elements_generator方法中；

分析模塊主要是：建立模型→生成建圖元素（節(jié)點、邊、權(quán)，等）

→建圖→圖描述→中心性分析→社區(qū)劃分

sourcetargetweight010.0069020.0109030.0239040.0436050.1002source和target表示邊的兩個頂點，weight表示該邊上的權(quán)（2）建圖：根據(jù)圖元素所建圖如下（3）圖描述項值項值1.節(jié)點數(shù)397.網(wǎng)絡(luò)平均最短路長0.2729008552.邊數(shù)2198.密度0.2955465593.平均度數(shù)11.230769239.平均聚集系數(shù)0.7929378314.度同配性系數(shù)0.37029748410.傳遞性0.7894736845.度皮爾森相關(guān)系數(shù)0.37029748411.連通分支數(shù)1由圖描述知，該圖有39個節(jié)點（每個年份就是一個節(jié)點）、219條邊；從聚集系數(shù)、傳遞性看，所建網(wǎng)絡(luò)總體上良好（4）中心性分析（前五個年份）年份絕對度數(shù)中心性相對度數(shù)中心性中介中心性接近中心性特征向量中心性1980110.28947368400.2992125980.2269160821981120.3157894740.00074220.3486238530.2467613531982120.3157894740.00074220.3486238530.2467613531983120.3157894740.00074220.3486238530.2467613531984130.3421052630.0022695330.3518518520.2613216151）度數(shù)中心性最大的6個年份：1989,1990,1991,1992,2005,2006這6個年份是我國能源消費結(jié)構(gòu)調(diào)整的關(guān)鍵節(jié)點2）中介中心性和接近中心性最大的年份都是1996年

說明1996年是我國能源消費模式轉(zhuǎn)變的關(guān)鍵過渡點，

也是我國能源信息（國家能源政策）的關(guān)鍵交匯點3）特征向量中心性最大的是1989年

說明1989年是我國能源消費結(jié)構(gòu)變化的起始點、對能源消費趨勢起引領(lǐng)作用

4個中心性分布可視化在網(wǎng)絡(luò)中可視化中心性（5）社區(qū)劃分從模塊度看來，劃分為2個社區(qū)是更恰當?shù)乃惴K度社區(qū)數(shù)量label_propagation0.4344010812louvain0.4306592773greedy_modularity0.4344010812社區(qū)成員數(shù)量成員社區(qū)1161980,…,1995社區(qū)2231996,…,2018從劃分結(jié)果看，1980至1995為一個社區(qū)，特點是高污染消費；1996至2018為一個社區(qū)，特點是能源結(jié)構(gòu)調(diào)整社區(qū)劃分可視化####案例分析——人均生活能源消費分析importpandasaspdfromcomplex_network_analyzerimportComplexNetworkAnalyzerasCNA##1.數(shù)據(jù)模塊file=r"..\數(shù)據(jù)\【第9章案例分析】人均生活能源消費量.xlsx"X=pd.read_excel(file,index_col=0)##2.分析模塊：建模→生成圖元素→建圖→圖描述→中心性分析→社區(qū)劃分model=CNA()#（1）建模elements=model.graph_elements_generator(X,similarity=0.68)#（2）生成圖元素graph=model.graph_constructor(elements)#（3）建圖summary=model.graph_summary(graph)#（4）圖描述centers=model.graph_centraliz