1、持搬努撟與珊巍社會網(wǎng)絡(luò)關(guān)系數(shù)據(jù)智能采集系統(tǒng)的設(shè)計與實現(xiàn)基于數(shù)據(jù)挖掘原理張小飛蔡亞萍劉威（南京師范大學數(shù)據(jù)挖掘?qū)嶒炇夷暇菊炕跀?shù)據(jù)挖掘原理，設(shè)計并實現(xiàn)一個針對虛擬社區(qū)社會網(wǎng)絡(luò)分析的關(guān)系數(shù)據(jù)智能采集系統(tǒng)，從系統(tǒng)設(shè)計與關(guān)鍵模塊實現(xiàn)兩個方面進行詳細介紹。最后，以“蘇州計算機教育論壇”為實驗對象，證實本系統(tǒng)能夠極大提高數(shù)據(jù)采集的效率，得到的數(shù)據(jù)能夠滿足社會網(wǎng)絡(luò)分析軟件的要求?！娟P(guān)鍵詞】社會網(wǎng)絡(luò)分析關(guān)系數(shù)據(jù)智能采集數(shù)據(jù)挖掘【分類號】（，）【】（），【】研究背景與目的社會網(wǎng)絡(luò)分析方法的發(fā)展社會網(wǎng)絡(luò)分析（，）方法是通過對行動者之間的關(guān)系與聯(lián)系的聯(lián)結(jié)情況進行研究與分析，歸納出行動者的社會網(wǎng)絡(luò)信息，進一步

2、觀察并了解行動者的社會網(wǎng)絡(luò)特征。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，人們越來越多地通過網(wǎng)絡(luò)進行溝通、交流以及形成人際關(guān)系。在這樣的時代背景下，從人類學、心理學、社會學、傳播學、數(shù)學以及統(tǒng)計學領(lǐng)域中發(fā)展起來的社會網(wǎng)絡(luò)分析開始用于網(wǎng)絡(luò)時代虛擬社區(qū)中人際交流的研究。虛擬社區(qū)的研究現(xiàn)狀在虛擬社區(qū)繁榮的早期，以等人為代表的學者就開始對虛擬社區(qū)進行社會學研究。近年來，收稿日期：一收修改稿日期：圜現(xiàn)代圖書情報技術(shù)總第期年第期國內(nèi)外學者開始重視利用方法來研究虛擬社區(qū)，其中比較典型的研究案例包括：、胡勇”。、劉榮光。、王陸對中的群體互動特點及個體角色等問題的研究；“、黎加厚、葉新東舊等對博客中的對話特征、教育博客共同體的關(guān)系、

3、博客群的社群特點等問題的研究。另外，基于方法提出了一種在線協(xié)作學習環(huán)境交互分析的新方法。通過文獻研究，可以看出這類型的研究大致都遵循以下技術(shù)路線：確定網(wǎng)絡(luò)邊界；采集關(guān)系數(shù)據(jù)；建立關(guān)系矩陣；使用軟件進行數(shù)據(jù)分析。虛擬社區(qū)研究中關(guān)系數(shù)據(jù)采集的問題及解決方案目前，國內(nèi)在方面的研究基本都集中在關(guān)系數(shù)據(jù)的分析層面，數(shù)據(jù)的采集主要通過人工統(tǒng)計。、調(diào)查問卷哺或直接訪問數(shù)據(jù)庫。得到。但是由于權(quán)限的限制，研究者大都無法獲得數(shù)據(jù)庫的直接訪問，同時由于上海量數(shù)據(jù)的存在，人工統(tǒng)計或調(diào)查問卷也將是一項枯燥而耗時耗力的工作。因此國外的部分學者提出了一些基于的關(guān)系數(shù)據(jù)自動采集方法，如基于網(wǎng)絡(luò)日志的方法”“，基于文本內(nèi)容分析

4、的方法¨等。前者因為網(wǎng)絡(luò)日志文件的可利用性因素，并不適合各類虛擬社區(qū)的關(guān)系數(shù)據(jù)采集，后者借助了一些自然語言處理的方法，如命名實體識別，在一定程度上增加了系統(tǒng)的復(fù)雜性?？紤]到虛擬社區(qū)頁面結(jié)構(gòu)化的特點，以論壇為例，其一般由版塊頁面、主帖頁面、回復(fù)頁面種類型的頁面構(gòu)成層級的網(wǎng)站結(jié)構(gòu)，且這些頁面通常是服務(wù)器基于特定模板自動生成。因此筆者采用模式匹配的思想，設(shè)計并實現(xiàn)了一種針對這種半結(jié)構(gòu)化文檔的關(guān)系數(shù)據(jù)智能采集系統(tǒng)。相對于日志分析的方法，其具有更廣的適用性。相對于文本內(nèi)容分析，其在一定程度上降低了系統(tǒng)的復(fù)雜性，提高了系統(tǒng)的采集效率，因此更適合于海量數(shù)據(jù)的環(huán)境。需求分析及系統(tǒng)設(shè)計系統(tǒng)需求社會網(wǎng)絡(luò)

5、分析的目的在于發(fā)現(xiàn)網(wǎng)絡(luò)中行動主體之間的結(jié)構(gòu)及其交互關(guān)系。筆者選取了一個典型的計算機教育虛擬社區(qū)“蘇州計算機教育論壇”中的“園區(qū)教研”版塊為研究對象。在該社區(qū)網(wǎng)絡(luò)中，行動主體 表現(xiàn)為論壇中活動的注冊用戶，主體之間的結(jié)構(gòu)及其關(guān)系則由用戶發(fā)帖來體現(xiàn)?；诖四康模鞠到y(tǒng)主要采集如下信息：（）誰和誰產(chǎn)生了交互（關(guān)系的存在性）；（）交互的次數(shù)（關(guān)系的強度）。為了便于量化統(tǒng)計，本文作如下規(guī)定：（）當用戶回復(fù)他人發(fā)表的主帖時，即認為該用戶與主帖人產(chǎn)生了交互，方向為用戶指向主帖人；（）用戶在回復(fù)他人主帖的同時引用了其他人的話語，則認為該用戶同時與主帖人和被引用人產(chǎn)生了交互，方向為用戶指向主帖人和被引用人。系統(tǒng)框

6、架及其功能本系統(tǒng)的主要功能是定點從用戶指定的站點、博客群等虛擬社區(qū)網(wǎng)站中提取用戶的交互數(shù)據(jù)，為基于網(wǎng)絡(luò)的研究提供準確、便捷的數(shù)據(jù)來源。結(jié)合數(shù)據(jù)挖掘中搜索引擎的設(shè)計思想，筆者設(shè)計并實現(xiàn)了如下系統(tǒng)原型，主要包括頁面下載、數(shù)據(jù)提取、數(shù)據(jù)存儲、數(shù)據(jù)轉(zhuǎn)換等幾個關(guān)鍵模塊，如圖所示：一一一一一一一一一一一一一一一一一一一一一圖系統(tǒng)框架圖頁面下載模塊根據(jù)用戶定義的規(guī)則有選擇地下載目標區(qū)域中特定類型的頁面，以供本系統(tǒng)內(nèi)部數(shù)據(jù)提取模塊作進一步處理。數(shù)據(jù)提取模塊根據(jù)用戶配置的模式，從網(wǎng)頁文本中提取用戶關(guān)注的結(jié)構(gòu)化信息，如用戶信息、主帖信息、用戶交互信息等，為后續(xù)數(shù)據(jù)轉(zhuǎn)換模塊的處理提供結(jié)構(gòu)化的數(shù)據(jù)源。同時，該模塊還將

7、不斷發(fā)現(xiàn)目標區(qū)域新的下載任務(wù)，從而使下載模塊遍歷完指定區(qū)域的所有網(wǎng)頁。數(shù)據(jù)存儲模塊是系統(tǒng)業(yè)務(wù)邏輯和（數(shù)據(jù)庫管理系統(tǒng)）之間的一個橋梁，它封裝數(shù)據(jù)庫底層操作的邏輯細節(jié)，為其他業(yè)務(wù)邏輯提困攘撼凳耩鴦耕巍供簡潔一致的數(shù)據(jù)訪問接口。數(shù)據(jù)轉(zhuǎn)換模塊對中的結(jié)構(gòu)化數(shù)據(jù)作進一步的轉(zhuǎn)換處理，以生成軟件所支持的數(shù)據(jù)格式。本系統(tǒng)的主要任務(wù)在于統(tǒng)計中存儲的用戶交互記錄，然后生成矩陣表示的數(shù)據(jù)文件。關(guān)鍵模塊實現(xiàn)本系統(tǒng)以作為開發(fā)語言，作為集成開發(fā)環(huán)境，數(shù)據(jù)庫采用，同時為了提高數(shù)據(jù)的訪問效率，采用開源數(shù)據(jù)庫連接池管理底層數(shù)據(jù)庫連接。以下對本系統(tǒng)各關(guān)鍵模塊作詳細說明。頁面下載模塊頁面下載模塊是一個多線程的下載程序，為了防止同一任

8、務(wù)的重復(fù)處理而影響最終數(shù)據(jù)的準確性，整個模塊由統(tǒng)一的任務(wù)管理器負責調(diào)度。各下載線程向任務(wù)管理器發(fā)出任務(wù)請求，接到請求之后，任務(wù)管理器從任務(wù)池中獲取一定數(shù)量處于“等待處理”狀態(tài)的任務(wù)，修改其狀態(tài)為“正在處理”，然后交給相應(yīng)下載線程進行下載。同樣處理完成的任務(wù)也將被提交至任務(wù)管理器，其修改任務(wù)池中相應(yīng)任務(wù)為“已處理”狀態(tài)，處理邏輯如圖所示：圖下載模塊處理邏輯數(shù)據(jù)提取模塊數(shù)據(jù)提取模塊封裝了與具體業(yè)務(wù)無關(guān)的提取邏圈現(xiàn)代圖書情報技術(shù) 輯，采用基于正則表達式的漸進式模式匹配策略實現(xiàn)數(shù)據(jù)的提取。為了保證數(shù)據(jù)提取的準確性，目標數(shù)據(jù)模式由人工分析目標類型的頁面得到。該模塊設(shè)計了“匹配結(jié)果緩存”、“待處理匹配模式

9、隊列”兩種數(shù)據(jù)結(jié)構(gòu)來輔助提取邏輯的實現(xiàn)，其中前者存儲針對特定頁面類型的數(shù)據(jù)提取模式，后者存儲已處理的匹配模式及其匹配結(jié)果，如表和表所示：表匹配結(jié)果緩存原始頁面內(nèi)容匹配結(jié)果緩存（注：“”存儲已處理的匹配模式，“”存儲該模式的匹配結(jié)果）表待處理匹配模式隊列（注：“”存儲匹配模式標識，“”存儲待處理的匹配模式，“”存儲該模式將要匹配的數(shù)據(jù)源標識，具體對應(yīng)“匹配結(jié)果緩存”某緩存項的）信息提取模塊按順序依次處理“待處理匹配模式隊列”中存儲的模式隊列，然后把匹配結(jié)果存入“匹配結(jié)果緩存”，這些緩存結(jié)果作為后續(xù)匹配任務(wù)的數(shù)據(jù)源作進一步提取，所以整個過程是一種漸進式的、逐級細化的數(shù)據(jù)提取過程，其處理邏輯如圖所示

10、：圖數(shù)據(jù)提取模塊處理邏輯網(wǎng)數(shù)據(jù)流：竺總第期年第期其中數(shù)據(jù)流表示把原始頁面以作為標識存人“匹配結(jié)果緩存”，表示依據(jù)當前模式值提取“匹配結(jié)果緩存”中對應(yīng)的緩存項作為匹配數(shù)據(jù)源，表示以當前模式值為，把匹配結(jié)果存入“匹配結(jié)果緩存”。以園區(qū)教研版塊的回復(fù)頁面為例，為提取發(fā)帖用戶名和用戶，構(gòu)造了如表所示的匹配模式隊列，整個提取過程如表所示。對于一個頁面，只需順序處理該隊列一次，便可抽取到頁面的所有用戶信息。為了保證同一頁面多個用戶名和用戶的對應(yīng)關(guān)系，匹配結(jié)果緩存中的各緩存項依據(jù)匹配區(qū)域進行分組。表用戶回復(fù)頁面的匹配模式隊列工鼉野啤“、”、抵“”。？矗表用戶回復(fù)頁面用戶名和用戶的數(shù)據(jù)提取過程步驟描述匹配績果

11、寰翟寞二囊嶝纛翼馨簍量翼存中標頁面的整個發(fā)帖區(qū)識的緩存內(nèi)容，即原始頁面內(nèi)容“廈用”稷虱十“俁瓦朋匹笫呆友帖雎各個早弛用尸陌應(yīng)用“”模式于“”模式的匹配結(jié)果蓋鍪用戶帖的用戶描述應(yīng)用“”模式于”模式的匹配結(jié)果星嵩罌述區(qū)的忙標槲模式于模式的匹配結(jié)果然標霎囂容中的應(yīng)用”模好模式的匹配結(jié)果磊篇；鏨簽內(nèi)容中包含應(yīng)肘”模式于”模式的匹配結(jié)果磊名；警內(nèi)容中包含數(shù)據(jù)轉(zhuǎn)換模塊用戶交互信息最終被結(jié)構(gòu)化地存儲在數(shù)據(jù)庫之中，數(shù)據(jù)轉(zhuǎn)換模塊負責讀取其中的數(shù)據(jù)，然后輸出為軟件所支持的數(shù)據(jù)格式。本模塊首先在發(fā)帖記錄表、主帖信息表、用戶信息表的基礎(chǔ)上構(gòu)建“回帖記錄視圖”，然后構(gòu)建用于統(tǒng)計的哈希表結(jié)構(gòu)，如圖所示。數(shù)據(jù)轉(zhuǎn)換模塊依次遍

12、歷“回帖記錄視圖”的各條記錄，然后統(tǒng)計由交互施事，交互受事標識的交互交互統(tǒng)計哈希表交互事件交互次數(shù)交互施事交互受事次數(shù)圖回帖記錄視圖和交互統(tǒng)計哈希表事件次數(shù)，存入交互統(tǒng)計哈希表。最后在交互統(tǒng)計哈希表的基礎(chǔ)上生成以矩陣形式表示的用戶交互矩陣，并輸出為眾多軟件均支持的數(shù)據(jù)文件，其處理邏輯如表所示：遍歷回望己錄視圖累蓑薔。統(tǒng)計交互記錄一交互統(tǒng)計哈希表：交互矩陣卜生成交互矩陣：數(shù)據(jù)叫輸出交互矩陣數(shù)據(jù)一文件。同控制流數(shù)據(jù)流、，圖數(shù)據(jù)轉(zhuǎn)換模塊處理邏輯案例結(jié)果分析筆者利用該關(guān)系數(shù)據(jù)采集系統(tǒng)對“蘇州計算機教育論壇”的“園區(qū)教研”版塊進行實驗，得到個活動用戶的×維加權(quán)關(guān)系矩陣，將其命名為“”。由于節(jié)點

13、數(shù)過大，筆者選取其中入度中心度最高的個成員節(jié)點，列出其×的關(guān)系矩陣，如表所示。矩陣中橫向用戶表示交互動作的發(fā)起者，數(shù)字代表交互的次數(shù)，例如：冬至對肖年志的主動交互次數(shù)為次，而肖年志對冬至的主動交互次數(shù)為次。本系統(tǒng)暫不關(guān)注用戶與自身的交互，故將對角線上的數(shù)據(jù)置。目前，虛擬社區(qū)研究中的數(shù)據(jù)分析主要依靠各種計算機輔助手段實施，常用的軟件包括囫蟹熙一耩攥勢撩鴦研究表人度前位的成員關(guān)系矩陣肖年志冬至黃毅晟蘇州布衣顧小虎蔣繪寰肖年志冬至黃毅晟蘇州布衣顧小虎蔣繪寰、和等，根據(jù)和年的統(tǒng)計¨，大部分軟件都支持矩陣的數(shù)據(jù)格式，將數(shù)據(jù)導(dǎo)入軟件之后即可進行相關(guān)的分析和統(tǒng)計。筆者將導(dǎo)入中，對網(wǎng)絡(luò)整體

14、特征進行分析，得到該網(wǎng)絡(luò)密度為，中心度（）為，聚類 系數(shù)（）為。將其導(dǎo)人，繪制出如圖所示的網(wǎng)絡(luò)關(guān)系圖，分析得到有位成員的入度為，占總數(shù)的，而入度前位的成員平均入度高達，由此可見該網(wǎng)絡(luò)聯(lián)系集中于少數(shù)核心成員，是一個具有較高中心性的網(wǎng)絡(luò)。圖整體網(wǎng)絡(luò)圖本系統(tǒng)共采集到“園區(qū)教研”版塊條主帖，條跟帖，總耗時約分秒。如果采用人工方法進行統(tǒng)計，以記錄一條跟帖信息需秒計算，總共所囚現(xiàn)代圖書情報技術(shù) 需時間約為小時。由此可見，本系統(tǒng)極大提高了數(shù)據(jù)采集的效率，且得到的數(shù)據(jù)能夠滿足社會網(wǎng)絡(luò)分析軟件的要求。博磁鋁舛¨嘲。甜鴝嘛一協(xié)一：總第期年第期 劉榮光，劉曉琴網(wǎng)絡(luò)課程中討論區(qū)交互特征的社會 結(jié)語 筆者在設(shè)

15、計過程中最大限度地考慮了系統(tǒng)功能模 網(wǎng)絡(luò)分析以網(wǎng)絡(luò)遠程教育課程為例上海師范大 學學報：自然科學版，（）： 王陸虛擬學習社區(qū)的社會網(wǎng)絡(luò)分析中國屯化教育， （）： ， 塊的通用性，如下載模塊、數(shù)據(jù)存儲模塊基本上與具體 的業(yè)務(wù)邏輯相互獨立。數(shù)據(jù)提取模塊中與業(yè)務(wù)無關(guān)的 提取邏輯也被封裝成通用模塊，以供不同的數(shù)據(jù)提取 系統(tǒng)使用。但是該系統(tǒng)原型還是存在一些不足，例如 匹配模式隊列的構(gòu)建需要用戶根據(jù)具體的數(shù)據(jù)需求手 工構(gòu)建，這同時需要用戶懂得正則表達式的知識。另 外數(shù)據(jù)轉(zhuǎn)換模塊的業(yè)務(wù)邏輯也與數(shù)據(jù)庫關(guān)系模式存在 耦合。這主要因為社會網(wǎng)絡(luò)分析本身具有極強的個案 性，即使是面對同類型的虛擬社區(qū)，不同研究對數(shù)據(jù)的

16、要求也不盡相同，這限制了其在實現(xiàn)上的通用性，將在 今后的研究中對系統(tǒng)的不足之處作進一步完善。 ， ， ： ” ”： 啦 ，： ，： 葉新東，邱峰，沈敏勇教育技術(shù)博客的社會網(wǎng)絡(luò)分析現(xiàn) 代教育技術(shù)，（）： ： ，：， 邱均平，于長福，馬瑞敏圖林博客的社會網(wǎng)絡(luò)分析圖書 情報工作，（）： ， ， 參鴦變裁：。 劉軍社會網(wǎng)絡(luò)分析導(dǎo)論北京：社會科學文獻出版社， ： 咖 ， ， ： ： ， 黎加厚，趙怡，王玨網(wǎng)絡(luò)時代教育傳播學研究的新方法：社會 網(wǎng)絡(luò)分析以蘇州教育博客學習發(fā)展共同體為例電化 教育研究，（）：一 ： ： ： ，：， ， 一： ， ， ： 胡勇，王陸異步網(wǎng)絡(luò)協(xié)作學習中知識建構(gòu)的內(nèi)容分析和社會 ，

17、： 網(wǎng)絡(luò)分析電化教育研究，（）： （作者：） 囫 萬方數(shù)據(jù) 社會網(wǎng)絡(luò)關(guān)系數(shù)據(jù)智能采集系統(tǒng)的設(shè)計與實現(xiàn)基于Web數(shù) 據(jù)挖掘原理 作者： 作者單位： 刊名： 英文刊名： 年，卷(期： 引用次數(shù)： 張小飛， 蔡亞萍， 劉威 南京師范大學Web數(shù)據(jù)挖掘?qū)嶒炇?南京,210097 現(xiàn)代圖書情報技術(shù) NEW TECHNOLOGY OF LIBRARY AND INFORMATION SERVICE 2009，(9 0次 參考文獻(13條 1.劉軍.社會網(wǎng)絡(luò)分析導(dǎo)論M.北京:社會科學文獻出版社,2004. 2.黎加厚,趙怡,王玨.網(wǎng)絡(luò)時代教育傳播學研究的新方法:社會網(wǎng)絡(luò)分析-以蘇州教育博客學習發(fā)展共同體為例

18、 J.電化教育研究,2007(8:13-17. 3.Tateo L.The Italian Extreme Right On-line Network:An Exploratory Study Using an Integrated Social Network Analysis and Content Analysis ApproachJ/OL.Journal of Computer-Mediated Communication.2009-06-03./vol10/issue2/tateo.html. 4.胡勇,王陸.異步網(wǎng)絡(luò)協(xié)作學習中知識建構(gòu)的內(nèi)

19、容分析和社會網(wǎng)絡(luò)分析J.電化教育研究,2006(11:30-35. 5.劉榮光,劉曉琴.Moodle網(wǎng)絡(luò)課程中討論區(qū)交互特征的社會網(wǎng)絡(luò)分析-以網(wǎng)絡(luò)遠程教育課程為例J.上海師范 大學學報:自然科學版,2008,37(4:433-437. 6.王陸.虛擬學習社區(qū)的社會網(wǎng)絡(luò)分析J.中國電化教育,2009(2:5-11. 7.Herring S C,Kouper I,Paolillo J C,et al.Conversations in the Blogosphere:An Analysis"From the Bottom Up"C.In:Proceedings of the 38

20、th Hawai'i International Conference on System Sciences.Los Alamitos,CA,USA:IEEE Press,2005:40-45. 8.葉新東,邱峰,沈敏勇.教育技術(shù)博客的社會網(wǎng)絡(luò)分析J.現(xiàn)代教育技術(shù),2008,18(5:48-53. 9.Repetto M.A Methodological Proposal to Analyse Interactions in Online Collaborative Learning EnvironmentsC.In:Proceedings of the 2nd PROLEARN Doctoral Consortium in Technology Enhanced Learning,Crete,Greece.Aachen:RWTH,2007. 10.邱均平,于長福,馬瑞敏.圖林博客的社會網(wǎng)絡(luò)分析J.圖書情報工作,2008,52(11:6-9. 11.Nurmela K,Lehtinen E,Pa