...v.網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與工程—一門新興的穿插學(xué)科？

——香山科學(xué)會(huì)議第424學(xué)術(shù)討論會(huì)綜述

大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)展抓取、管理和處理的數(shù)據(jù)集合。數(shù)據(jù)本錢的下降助推了數(shù)據(jù)量的增長(zhǎng)，新的數(shù)據(jù)源和數(shù)據(jù)采集技術(shù)的出現(xiàn)大大增加了數(shù)據(jù)的類型，數(shù)據(jù)間復(fù)雜的相互聯(lián)系使大數(shù)據(jù)的處理變得異常困難。全球信息總量每?jī)赡昃驮鲩L(zhǎng)一倍左右，2011年全球被創(chuàng)立和被復(fù)制的數(shù)據(jù)總量有1.8ZB(1021)，到2020年全球所管理的數(shù)據(jù)將到達(dá)35ZB，比現(xiàn)在多出50倍。數(shù)據(jù)量的指數(shù)級(jí)增長(zhǎng)不但改變了人們的生活方式、企業(yè)的運(yùn)營(yíng)模式，也改變了科研范式。今年3月美國(guó)政府6個(gè)部門宣布啟動(dòng)2億美元的“大數(shù)據(jù)研究與開(kāi)展方案〞，使大數(shù)據(jù)研究上升為國(guó)家意志。歐盟也有類似的舉措，今年1月截止的預(yù)算為5千萬(wàn)歐元的FP7Call8專門征集針對(duì)大數(shù)據(jù)的研究工程，并以根底設(shè)施為先導(dǎo)。大數(shù)據(jù)研究已成為科研的熱點(diǎn)。2012年5月22～24日,主題為“網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與工程─一門新興的穿插學(xué)科？〞的香山科學(xué)會(huì)議第424次學(xué)術(shù)討論會(huì)在召開(kāi)。會(huì)議聘請(qǐng)中國(guó)科學(xué)院計(jì)算技術(shù)研究所李國(guó)杰研究員、**中文大學(xué)華云生教授、清華大學(xué)姚期智教授以及中國(guó)科學(xué)院計(jì)算技術(shù)研究所程學(xué)旗研究員擔(dān)任執(zhí)行主席。來(lái)自國(guó)內(nèi)外信息、經(jīng)濟(jì)、生物、社會(huì)等領(lǐng)域及企業(yè)共43位專家學(xué)者應(yīng)邀出席本次會(huì)議。李國(guó)杰院士和華云生教授作了會(huì)議主題評(píng)述報(bào)告。會(huì)議圍繞大數(shù)據(jù)應(yīng)用挑戰(zhàn)、網(wǎng)絡(luò)大數(shù)據(jù)科學(xué)的共性理論根底和網(wǎng)絡(luò)大數(shù)據(jù)工程的良性生態(tài)環(huán)境三個(gè)中心議題進(jìn)展了深入探討，共組織了3個(gè)中心議題評(píng)述報(bào)告和13個(gè)專題報(bào)告。一、大數(shù)據(jù)科學(xué)與工程面臨的挑戰(zhàn)性問(wèn)題與學(xué)科根底李國(guó)杰研究員作了題為“網(wǎng)絡(luò)大數(shù)據(jù)應(yīng)用提出的挑戰(zhàn)性問(wèn)題〞主題評(píng)述報(bào)告，指出目前大數(shù)據(jù)的工程技術(shù)研究已走在科學(xué)研究的前面，科研人員首先要虛心與各應(yīng)用領(lǐng)域的科研人員合作，努力解決各領(lǐng)域大數(shù)據(jù)處理提出的技術(shù)挑戰(zhàn)問(wèn)題。這些挑戰(zhàn)包括：高效處理非構(gòu)造化和半構(gòu)造化數(shù)據(jù)；適宜的數(shù)據(jù)表示方法；尋找高擴(kuò)展性的數(shù)據(jù)分析技術(shù)；數(shù)據(jù)的去冗余和高效率低本錢的數(shù)據(jù)存儲(chǔ)；大幅度降低數(shù)據(jù)處理、存儲(chǔ)和通信的能耗；構(gòu)建融合人、機(jī)、物三元世界的大數(shù)據(jù)系統(tǒng)等?，F(xiàn)有計(jì)算機(jī)系統(tǒng)不能滿足大數(shù)據(jù)的需求，需要對(duì)整個(gè)IT架構(gòu)進(jìn)展革命性的重構(gòu)。在討論網(wǎng)絡(luò)數(shù)據(jù)科學(xué)能不能成為一門新的穿插學(xué)科之前，首先要搞清楚“網(wǎng)絡(luò)數(shù)據(jù)科學(xué)〞研究的對(duì)象終究是什么。許多學(xué)者認(rèn)為數(shù)據(jù)科學(xué)要把數(shù)據(jù)當(dāng)成自然體〔DataNature〕來(lái)研究，試圖把計(jì)算機(jī)科學(xué)劃歸為自然科學(xué)。脫離各個(gè)領(lǐng)域“物理世界〞，作為客觀事物間接存在形式的“數(shù)據(jù)界〞終究有什么共性問(wèn)題目前還不清楚。本次香山會(huì)議的重點(diǎn)不是討論自然科學(xué)中的海量信息處理，而是討論網(wǎng)絡(luò)空間〔Cyberspace〕中的大數(shù)據(jù)挑戰(zhàn)問(wèn)題。網(wǎng)絡(luò)空間中的數(shù)據(jù)背后是數(shù)據(jù)關(guān)系網(wǎng)絡(luò)，數(shù)據(jù)網(wǎng)絡(luò)背后是人。研究數(shù)據(jù)網(wǎng)絡(luò)實(shí)際上是研究人組成的社會(huì)網(wǎng)絡(luò)。網(wǎng)絡(luò)數(shù)據(jù)科學(xué)應(yīng)發(fā)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)〔信息〕產(chǎn)生與傳播的規(guī)律、網(wǎng)絡(luò)信息涌現(xiàn)的內(nèi)在機(jī)制以及與其相關(guān)的社會(huì)學(xué)、心理學(xué)、經(jīng)濟(jì)學(xué)和信息科學(xué)的機(jī)理，利用這些機(jī)理研究互聯(lián)網(wǎng)對(duì)政治、經(jīng)濟(jì)、文化等各方面的影響。傳統(tǒng)計(jì)算機(jī)科學(xué)是研究算法的科學(xué)，而網(wǎng)絡(luò)數(shù)據(jù)科學(xué)不能局限于此。網(wǎng)絡(luò)數(shù)據(jù)科學(xué)應(yīng)不同于傳統(tǒng)的人工智能和統(tǒng)計(jì)學(xué)，面對(duì)PB級(jí)以上的海量數(shù)據(jù)，需要更簡(jiǎn)單有效的問(wèn)題求解方法。大數(shù)據(jù)的分析不能停留在獲得概率分布結(jié)果，也不能滿足于對(duì)細(xì)節(jié)問(wèn)題的數(shù)據(jù)挖掘，而是要爭(zhēng)取從大數(shù)據(jù)中獲得新知識(shí)。應(yīng)優(yōu)先選擇“預(yù)言性數(shù)據(jù)挖掘問(wèn)題〞做研究，即數(shù)據(jù)規(guī)模大到一定程度，就可以解決以前解決不了的問(wèn)題，實(shí)現(xiàn)社會(huì)科學(xué)的“變革式〞進(jìn)步。他最后指出，大數(shù)據(jù)研究被國(guó)外一些學(xué)者稱之為科研“第四范式〞，強(qiáng)調(diào)不需要事先給出假設(shè)和模型，可以直接從數(shù)據(jù)的相互關(guān)系中求解問(wèn)題，甚至認(rèn)為大數(shù)據(jù)研究方法是“理論的終結(jié)〞。數(shù)據(jù)量的增加是否會(huì)引起科研模式本質(zhì)性的改變，相互關(guān)系是否比因果關(guān)系更能反映事物的本質(zhì)，還需要更多的科研實(shí)踐來(lái)驗(yàn)證。但可以斷言，20世紀(jì)是量子力學(xué)的世紀(jì)，到了21世紀(jì)，數(shù)據(jù)網(wǎng)絡(luò)理論將成為量子力學(xué)可尊敬的后繼。華云生教授作了題為“大數(shù)據(jù)科學(xué)與工程的學(xué)科根底探討：計(jì)算思維的角度〞的主題評(píng)述報(bào)告，論述了與大數(shù)據(jù)相關(guān)的一些學(xué)科領(lǐng)域，包括數(shù)據(jù)科學(xué)、數(shù)據(jù)工程、數(shù)據(jù)挖掘、信息科學(xué)、信息論、信息工程、知識(shí)工程以及知識(shí)發(fā)現(xiàn)等，這些學(xué)科的研究范圍與重點(diǎn)各不一樣。大數(shù)據(jù)往往以復(fù)雜關(guān)聯(lián)的數(shù)據(jù)網(wǎng)絡(luò)這樣一種獨(dú)特的形式存在，因此要理解大數(shù)據(jù)就要對(duì)大數(shù)據(jù)后面的網(wǎng)絡(luò)進(jìn)展深入分析。從大數(shù)據(jù)上獲得知識(shí)需要工程方法，譬如：抽象、分割、學(xué)習(xí)與泛化等，數(shù)據(jù)分析的根本方法就是由粗到精、逐層抽象。另外，還要放松對(duì)目標(biāo)的約束，從而使問(wèn)題變得可解。總體而言，大數(shù)據(jù)是科學(xué)還是工程，依賴于具體的應(yīng)用。大數(shù)據(jù)科學(xué)致力于從大數(shù)據(jù)中發(fā)現(xiàn)新知識(shí)，而大數(shù)據(jù)工程那么是應(yīng)用大數(shù)據(jù)知識(shí)來(lái)構(gòu)建新的事物。大數(shù)據(jù)這個(gè)術(shù)語(yǔ)在國(guó)際上已很熱，目前與大數(shù)據(jù)有關(guān)的國(guó)際學(xué)術(shù)會(huì)議很多，但大多數(shù)還是用處理“smalldata〞的方法來(lái)處理大數(shù)據(jù)。每個(gè)領(lǐng)域的大數(shù)據(jù)一般不能用于別的領(lǐng)域，需要積累不同領(lǐng)域的大數(shù)據(jù)才能找到大數(shù)據(jù)的共性。與會(huì)專家就主題評(píng)書報(bào)告展開(kāi)了熱烈地討論。二、社會(huì)、經(jīng)濟(jì)與IT等領(lǐng)域中網(wǎng)絡(luò)大數(shù)據(jù)應(yīng)用的挑戰(zhàn)性問(wèn)題與會(huì)專家在題為“面向大數(shù)據(jù)管理與計(jì)算的現(xiàn)實(shí)挑戰(zhàn)〞中心議題評(píng)述報(bào)告中，提出用“數(shù)據(jù)化學(xué)〔DataChemistry〕〞的概念來(lái)描述大數(shù)據(jù)研究，如同各種元素通過(guò)化學(xué)反響能生成不同的化合物一樣；采用統(tǒng)計(jì)分析與人工智能相結(jié)合的方法，通過(guò)自適應(yīng)地構(gòu)建模型來(lái)發(fā)現(xiàn)大數(shù)據(jù)的某種動(dòng)態(tài)組合中的大價(jià)值。他還指出，大不一定好，最近開(kāi)場(chǎng)流行的納米出版〔Nanopublishing〕就是盡量用較少的文字發(fā)表論文的關(guān)鍵信息。與會(huì)專家還作了“大數(shù)據(jù)、數(shù)據(jù)科學(xué)與經(jīng)濟(jì)開(kāi)展〞、“金融證劵行業(yè)中的大數(shù)據(jù)處理〞、“大數(shù)據(jù)管理與處理平臺(tái)的挑戰(zhàn)〞、“大數(shù)據(jù)應(yīng)用的需求分析〞和“生物大數(shù)據(jù)的挑戰(zhàn)〞專題報(bào)告。與會(huì)專家就上述報(bào)告和大數(shù)據(jù)應(yīng)用挑戰(zhàn)問(wèn)題展開(kāi)了討論。三、網(wǎng)絡(luò)數(shù)據(jù)科學(xué)的共性理論根底與會(huì)專家在題為“網(wǎng)絡(luò)數(shù)據(jù)科學(xué)的共性理論根底〞的中心議題評(píng)述報(bào)告中，指出網(wǎng)絡(luò)數(shù)據(jù)科學(xué)的共性理論根底來(lái)自多個(gè)不同的學(xué)科領(lǐng)域，包括理論計(jì)算機(jī)科學(xué)、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)理論、人工智能、機(jī)器學(xué)習(xí)以及社會(huì)科學(xué)等；理論計(jì)算機(jī)科學(xué)為解決大數(shù)據(jù)研究中的障礙提供了豐富的分析工具，但在改進(jìn)和擴(kuò)展這些工具以解決新的應(yīng)用方面還存在有不少的挑戰(zhàn)。與會(huì)專家還作了“面向網(wǎng)絡(luò)大數(shù)據(jù)的機(jī)器學(xué)習(xí)模型與算法〞、“基于用戶行為的移動(dòng)網(wǎng)絡(luò)病毒傳播及分布式抑制〞、“社會(huì)計(jì)算：開(kāi)展理論、促進(jìn)應(yīng)用〞和“海量數(shù)據(jù)的計(jì)算與量質(zhì)融合管理〞專題報(bào)告。與會(huì)專家就上述報(bào)告和網(wǎng)絡(luò)數(shù)據(jù)科學(xué)理論問(wèn)題展開(kāi)了討論。四、網(wǎng)絡(luò)大數(shù)據(jù)的良性生態(tài)環(huán)境構(gòu)建與會(huì)專家在題為“網(wǎng)絡(luò)大數(shù)據(jù)的良性生態(tài)環(huán)境構(gòu)建〞中心議題評(píng)述報(bào)告中指出：網(wǎng)絡(luò)大數(shù)據(jù)無(wú)論是采集、清洗、索引與存儲(chǔ)，還是檢索、挖掘、傳輸與可視化等方面均面臨挑戰(zhàn)；在大數(shù)據(jù)環(huán)境下需要重新思考“數(shù)據(jù)、信息、知識(shí)〞的本質(zhì)，需要關(guān)注大數(shù)據(jù)的計(jì)算、計(jì)算復(fù)雜性以及大規(guī)模稠密與大規(guī)模稀疏之間的關(guān)聯(lián)與區(qū)別；管理政策、隱私保護(hù)、人才培養(yǎng)等一系列涉及大數(shù)據(jù)生態(tài)環(huán)境的問(wèn)題無(wú)一不是大挑戰(zhàn)；解決這些困難與挑戰(zhàn)必須依靠學(xué)術(shù)界、工業(yè)界與政府部門共同努力，為網(wǎng)絡(luò)大數(shù)據(jù)構(gòu)建起跨行業(yè)、跨領(lǐng)域的良性生態(tài)環(huán)境，為數(shù)據(jù)生產(chǎn)加工、傳播、消費(fèi)建立起和諧的大數(shù)據(jù)生態(tài)系統(tǒng)。與會(huì)專家還作了“互聯(lián)網(wǎng)數(shù)據(jù)的價(jià)值評(píng)估與影響力度量〞、“互聯(lián)網(wǎng)深度數(shù)據(jù)效勞的工程問(wèn)題與解決思路〞、“開(kāi)源軟件、操作系統(tǒng)與開(kāi)源硬件〞和“海量網(wǎng)絡(luò)數(shù)據(jù)產(chǎn)業(yè)生態(tài)系統(tǒng)趨勢(shì)及挑戰(zhàn)〞專題報(bào)告。五、會(huì)議總結(jié)與專家建議經(jīng)過(guò)與會(huì)專家充分討論，會(huì)議形成了以下根本共識(shí)：1.大數(shù)據(jù)時(shí)代已經(jīng)降臨，大數(shù)據(jù)已是許多不同行業(yè)共同面對(duì)的大問(wèn)題。盡管大數(shù)據(jù)意味著大機(jī)遇，但同時(shí)也意味著工程技術(shù)、管理政策、人才培養(yǎng)等方面的大挑戰(zhàn)。只有解決了這些挑戰(zhàn)問(wèn)題，才能充分利用這個(gè)大機(jī)遇，從而能夠充分挖掘得到大數(shù)據(jù)的大價(jià)值。2.在不遠(yuǎn)的未來(lái)，可能形成網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)與效勞、數(shù)據(jù)材料、數(shù)據(jù)制藥等戰(zhàn)略性新興產(chǎn)業(yè)，一個(gè)國(guó)家所擁有的大數(shù)據(jù)的規(guī)模與活性及運(yùn)用大數(shù)據(jù)的能力，將是國(guó)家競(jìng)爭(zhēng)力的重要組成局部。我國(guó)亟需在國(guó)家層面對(duì)大數(shù)據(jù)給予高度重視，特別需要從政策制定、資源投入、人才培養(yǎng)等方面給予強(qiáng)有力的支持。3.大數(shù)據(jù)背后必然有著支持其研究與應(yīng)用的數(shù)據(jù)科學(xué)。但無(wú)論是美國(guó)還是歐盟的大數(shù)據(jù)研究方案，以及國(guó)內(nèi)外大公司的大數(shù)據(jù)研發(fā)，目前最重視的都是大數(shù)據(jù)分析算法和大數(shù)據(jù)系統(tǒng)效率。因此，當(dāng)前應(yīng)把主要精力放在應(yīng)對(duì)大數(shù)據(jù)的工程技術(shù)挑戰(zhàn)上。工程上無(wú)法解決的問(wèn)題就很自然地會(huì)成了為數(shù)據(jù)科學(xué)的研究?jī)?nèi)容，大數(shù)據(jù)處理技術(shù)的進(jìn)步將促進(jìn)數(shù)據(jù)科學(xué)的誕生和開(kāi)展。4.大數(shù)據(jù)科學(xué)的共性理論根底來(lái)自多個(gè)不同的學(xué)科領(lǐng)域，包括計(jì)算機(jī)科學(xué)、統(tǒng)計(jì)學(xué)、人工智能、社會(huì)科學(xué)等。大數(shù)據(jù)中往往存在著復(fù)雜的關(guān)聯(lián)關(guān)系。數(shù)據(jù)科學(xué)的重點(diǎn)是研究聯(lián)系大數(shù)據(jù)的關(guān)系網(wǎng)絡(luò)，因此對(duì)大數(shù)據(jù)所形成的復(fù)雜數(shù)據(jù)網(wǎng)絡(luò)的特性與功能進(jìn)展研究的復(fù)雜網(wǎng)絡(luò)分析將是數(shù)據(jù)科學(xué)的重要基石。5.大數(shù)據(jù)涉及物理、生物、腦科學(xué)、醫(yī)療、環(huán)保、經(jīng)濟(jì)、文化、平安等眾多領(lǐng)域。網(wǎng)絡(luò)空間中的數(shù)據(jù)是大數(shù)據(jù)的重要組成局部，這類大數(shù)據(jù)與人的活動(dòng)密切相關(guān)，因此也與社會(huì)科學(xué)密切相關(guān)。網(wǎng)絡(luò)數(shù)據(jù)科學(xué)和工程是信息科學(xué)技術(shù)與社會(huì)科學(xué)穿插的研究領(lǐng)域，對(duì)國(guó)家的穩(wěn)定與開(kāi)展有獨(dú)特的作用，應(yīng)予以高度重視。6.為了有效應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)，抓住大數(shù)據(jù)機(jī)遇，建立良性的大數(shù)據(jù)生態(tài)環(huán)境是唯一出路。需要學(xué)術(shù)界、工業(yè)界以及政府部門在國(guó)家政策的引導(dǎo)下共同努力，通過(guò)消除壁壘、成立聯(lián)盟、建立專業(yè)組織等途徑，建立和諧的大數(shù)據(jù)生態(tài)系統(tǒng)。與會(huì)專家還針對(duì)上述共識(shí)，給出了具體的行動(dòng)建議：1.大數(shù)據(jù)應(yīng)用大數(shù)據(jù)涉及的行業(yè)和領(lǐng)域有很多，專家們建議，當(dāng)前大數(shù)據(jù)的研究應(yīng)以關(guān)乎國(guó)計(jì)民生的科學(xué)決策、應(yīng)急管理〔如疾病防治、災(zāi)害預(yù)測(cè)與控制、食品平安與群體事件〕、環(huán)境管理、社會(huì)計(jì)算以及知識(shí)經(jīng)濟(jì)為主要的應(yīng)用領(lǐng)域。2.大數(shù)據(jù)科學(xué)的共性理論與方向研究網(wǎng)絡(luò)空間大數(shù)據(jù)的內(nèi)在機(jī)理，主要包括大數(shù)據(jù)的生命周期、演化與傳播規(guī)律，數(shù)據(jù)科學(xué)與社會(huì)學(xué)、經(jīng)濟(jì)學(xué)等之間的互動(dòng)機(jī)制，以及大數(shù)據(jù)的構(gòu)造與效能的規(guī)律性〔如社會(huì)效應(yīng)、經(jīng)濟(jì)效應(yīng)等〕；在大數(shù)據(jù)計(jì)算方面，研究大數(shù)據(jù)的表示以及大數(shù)據(jù)的計(jì)算模型及其復(fù)雜性；在大數(shù)據(jù)應(yīng)用根底理論方面，研究大數(shù)據(jù)與知識(shí)發(fā)現(xiàn)〔學(xué)習(xí)方法、語(yǔ)義解釋〕，大數(shù)據(jù)環(huán)境下的實(shí)驗(yàn)與驗(yàn)證方法，以及大數(shù)據(jù)的平安與隱私。3.大數(shù)據(jù)工程的研究?jī)?nèi)容與目標(biāo)大數(shù)據(jù)工程的總體目標(biāo)是在有限時(shí)間、有限資源情況下解決挑戰(zhàn)性問(wèn)題。具體包含四個(gè)方面：〔1〕大數(shù)據(jù)的感知與獲取，以及表達(dá)和預(yù)處理；〔2〕大數(shù)據(jù)的存儲(chǔ)與管理；〔3〕大數(shù)據(jù)分析，具體包括典型行業(yè)的需求分析，分析方法與工具以及大數(shù)據(jù)的可視化；〔4〕大數(shù)據(jù)系統(tǒng)體系架構(gòu)，包括體系架構(gòu)與平臺(tái)以及研發(fā)環(huán)境。4.大數(shù)據(jù)研究的組織方式專家們一致建議：〔1〕國(guó)家成立類似2011協(xié)作中心這樣的組織機(jī)構(gòu)，以更好地推動(dòng)大數(shù)據(jù)的協(xié)同創(chuàng)新研究與戰(zhàn)略性應(yīng)用；〔2〕成立國(guó)家級(jí)的行業(yè)大數(shù)據(jù)共享聯(lián)盟，使工業(yè)界、學(xué)術(shù)界以及政府部門都能夠參與進(jìn)來(lái)，一方面為學(xué)術(shù)研究提供根本的數(shù)據(jù)資源，另一方面為大數(shù)據(jù)的應(yīng)用提供理論與技術(shù)