羅克佳華的數(shù)據(jù)智慧

陶波，清華高校電子工程學(xué)士，美國(guó)普林斯頓高校電子工程系博士，中國(guó)電子學(xué)會(huì)云計(jì)算專家委員會(huì)委員。在美國(guó)硅谷工作十多年，曾多次自主創(chuàng)業(yè)。在硅谷時(shí)曾任職谷歌，擔(dān)當(dāng)高級(jí)研發(fā)經(jīng)理，負(fù)責(zé)GoogleVideo、Youtube、picasaweb等產(chǎn)品。在中國(guó)谷歌任職時(shí)，負(fù)責(zé)中國(guó)區(qū)社交產(chǎn)品部，并擔(dān)當(dāng)谷歌中國(guó)討論院副院長(zhǎng)，開(kāi)發(fā)大型互聯(lián)網(wǎng)應(yīng)用和云計(jì)算技術(shù)和平臺(tái)。還曾任EMC中國(guó)首席技術(shù)官，兼任EMC中國(guó)討論院院長(zhǎng)，同時(shí)負(fù)責(zé)EMC和VMware云數(shù)據(jù)庫(kù)和大數(shù)據(jù)的產(chǎn)品。現(xiàn)任職羅克佳華高級(jí)副總裁、北京羅克佳華總經(jīng)理。

和騰訊、阿里巴巴等公眾熟識(shí)的企業(yè)不同，羅克佳華始終致力于煤礦平安、環(huán)保、節(jié)能、物流等方面的物聯(lián)網(wǎng)和云計(jì)算應(yīng)用，對(duì)大數(shù)據(jù)的商用價(jià)值同樣有深刻理解。采訪羅克佳華高級(jí)副總裁、北京羅克佳華總經(jīng)理陶波博士是在2024年1月一天下午1點(diǎn)多鐘，此時(shí)正是很多公司午休的時(shí)間，陶波博士卻是話鋒正健，條理清楚地道出了國(guó)內(nèi)外大數(shù)據(jù)業(yè)務(wù)的進(jìn)展脈絡(luò)，將讓人眼花的大數(shù)據(jù)較為形象地呈現(xiàn)出來(lái)。

大數(shù)據(jù)的難題：融合與質(zhì)量

所謂大數(shù)據(jù)，是指那些大小已經(jīng)超出了傳統(tǒng)意義上的尺度，一般的軟件工具難以捕獲、存儲(chǔ)、管理和分析的數(shù)據(jù)。那么，多大才算大數(shù)據(jù)呢？一般認(rèn)為，其數(shù)量級(jí)應(yīng)當(dāng)是“太字節(jié)”（1TB=240B）的，但是隨著數(shù)據(jù)的與時(shí)俱增，這個(gè)數(shù)量級(jí)也會(huì)變大。

說(shuō)到大數(shù)據(jù)與云計(jì)算、才智城市的關(guān)系，北京羅克佳華總經(jīng)理陶波博士指出，大數(shù)據(jù)和云計(jì)算是兩種技術(shù)，在才智城市里面都有應(yīng)用，

“假如畫(huà)兩個(gè)圓圈的話，大數(shù)據(jù)和云計(jì)算有一部分是重疊的”。在技術(shù)層面，云計(jì)算包含計(jì)算資源和數(shù)據(jù)資源，新的云計(jì)算技術(shù)包括計(jì)算資源虛擬化以及自動(dòng)管理和新的數(shù)據(jù)存儲(chǔ)、管理。而大數(shù)據(jù)包括數(shù)據(jù)的管理、存儲(chǔ)和分析，這個(gè)重疊的地方就是數(shù)據(jù)的存儲(chǔ)與管理。

才智城市的許多應(yīng)用產(chǎn)生著大量的數(shù)據(jù)，而新的大數(shù)據(jù)技術(shù)在才智城市中也有許多體現(xiàn)?，F(xiàn)在許多城市提出“數(shù)據(jù)融合”，緣由是政府部門建立了各自不同的業(yè)務(wù)系統(tǒng)，許多小區(qū)和街道辦也有自己的系統(tǒng)，里面有各種各樣的數(shù)據(jù)，例如浩大的戶籍?dāng)?shù)據(jù)、納稅數(shù)據(jù)等。從而產(chǎn)生了數(shù)據(jù)的不全都性問(wèn)題，這種不全都性主要又源于人們的收入、居住地，尤其是出租屋，甚至是婚姻狀況等數(shù)據(jù)的快速轉(zhuǎn)變。除了數(shù)據(jù)融合的難題之外，大數(shù)據(jù)還要涉及到另一個(gè)麻煩問(wèn)題――怎么提高數(shù)據(jù)質(zhì)量。

大數(shù)據(jù)的另外一種應(yīng)用場(chǎng)景是統(tǒng)一的數(shù)據(jù)平臺(tái)，目前有各種各樣的數(shù)據(jù)類型，如監(jiān)控視頻、圖片，還有更多文檔型的數(shù)據(jù)。需要一個(gè)統(tǒng)一的數(shù)據(jù)存儲(chǔ)和管理平臺(tái)，以滿意各種不同類型數(shù)據(jù)的存儲(chǔ)和管理需求，這些也是現(xiàn)代一些新大數(shù)據(jù)的基礎(chǔ)。

國(guó)外大數(shù)據(jù)行業(yè)已消失并購(gòu)

數(shù)據(jù)量的增長(zhǎng)在某種意義上講也符合摩爾定律。2024年麥肯錫公司出版了討論報(bào)告《大數(shù)據(jù)：下一個(gè)創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)率的前沿》，報(bào)告對(duì)美國(guó)政府、制造業(yè)、新聞業(yè)、銀行業(yè)、零售業(yè)等17個(gè)行業(yè)的數(shù)據(jù)量進(jìn)行了估算，排第一的離散式制造業(yè)數(shù)據(jù)量有966PB（1PB=250B），其次位的美國(guó)政府有848PB，第三位的新聞傳媒業(yè)有715PB，這些數(shù)據(jù)量的大小已經(jīng)超出一般人的認(rèn)知。如何讓大數(shù)據(jù)有用并產(chǎn)生價(jià)值，已經(jīng)引起了業(yè)界的重視。

到目前，大數(shù)據(jù)業(yè)務(wù)已經(jīng)形成了一條從數(shù)據(jù)整合、分析、挖掘到展現(xiàn)的完整產(chǎn)業(yè)鏈。其中的展現(xiàn)環(huán)節(jié)也被稱為“數(shù)據(jù)可視化”，可以形象簡(jiǎn)潔地將簡(jiǎn)單的數(shù)據(jù)信息表現(xiàn)出來(lái)。有業(yè)內(nèi)人士基于與大數(shù)據(jù)相關(guān)的投資標(biāo)的，將大數(shù)據(jù)產(chǎn)業(yè)鏈上的企業(yè)分成了四類：第一類是與海量數(shù)據(jù)的存儲(chǔ)和處理相關(guān)的公司；其次類是與數(shù)據(jù)中心建設(shè)與運(yùn)營(yíng)維護(hù)相關(guān)的公司；第三類是與視頻化應(yīng)用相關(guān)的公司；第四類是與智能化和人機(jī)交互概念相關(guān)的公司。

而在國(guó)外，IT企業(yè)早已瞄準(zhǔn)大數(shù)據(jù)的相關(guān)業(yè)務(wù)，并形成了兩種趨勢(shì)，一是大的廠商在發(fā)力，另外一個(gè)是新型的公司，不管是做數(shù)據(jù)分析的，還是做線上應(yīng)用的，有許多公司都得到了風(fēng)投的青睞或是被收購(gòu)。

IT巨頭如大數(shù)據(jù)廠商乃至一些做基礎(chǔ)架構(gòu)的軟硬件廠商都部署快速。據(jù)陶波博士介紹，EMC整條產(chǎn)品線都沿著大數(shù)據(jù)的方向，在云基礎(chǔ)架構(gòu)和虛擬化軟件領(lǐng)域聞名的VMware，也很重視將大數(shù)據(jù)與操作系統(tǒng)捆綁，關(guān)注他們的虛擬化軟件在處理大數(shù)據(jù)時(shí)，遇到Hadoop高磁盤吞吐的狀況下能否滿意需求。芯片巨頭英特爾也關(guān)注他們的芯片能否更好地適用于以數(shù)據(jù)為中心的新計(jì)算模式和應(yīng)用模式，并設(shè)有特地的大數(shù)據(jù)團(tuán)隊(duì)，在這方面進(jìn)行發(fā)力。

從事大數(shù)據(jù)業(yè)務(wù)的新型公司也引起了VC和大公司的愛(ài)好，過(guò)去兩年，這方面的投資和收購(gòu)常有發(fā)生。這些新型公司大體可分為兩種，一種是做數(shù)據(jù)分析型公司，如2024年EMC收購(gòu)Greenplumn，2024年HP收購(gòu)了Vertiica。另一種是把數(shù)據(jù)分析當(dāng)作云服務(wù)的公司，如VMware收購(gòu)的Cetas，他們的服務(wù)理念很簡(jiǎn)潔，用戶只要把數(shù)據(jù)上傳就能夠使用Cetas所供應(yīng)的數(shù)據(jù)分析服務(wù)。剛上市不久的Splunk也類似，它專注于Linux系統(tǒng)的日志分析業(yè)務(wù)。

傳統(tǒng)行業(yè)大數(shù)據(jù)業(yè)務(wù)需求凸顯

雖然大數(shù)據(jù)業(yè)務(wù)的模式已經(jīng)基本成型，但是大數(shù)據(jù)業(yè)務(wù)的開(kāi)展還遠(yuǎn)非想象中的那樣，上下游企業(yè)通力合作，將各行各業(yè)的數(shù)據(jù)進(jìn)行聯(lián)機(jī)分析和挖掘，而是遵循了先易后難的規(guī)律。已經(jīng)進(jìn)入大數(shù)據(jù)市場(chǎng)的企業(yè)將關(guān)注點(diǎn)主要集中在內(nèi)部數(shù)據(jù)上，如騰訊各大產(chǎn)品線中都擁有自己的數(shù)據(jù)挖掘團(tuán)隊(duì)，阿里巴巴在2024年7月設(shè)立了首席數(shù)據(jù)官崗位（CDO），負(fù)責(zé)推動(dòng)其“數(shù)據(jù)共享平臺(tái)”戰(zhàn)略。

關(guān)于公司內(nèi)部數(shù)據(jù)的來(lái)源和種類，陶波博士說(shuō)：“我覺(jué)得數(shù)據(jù)有兩大類，一個(gè)是業(yè)務(wù)數(shù)據(jù)，對(duì)任何公司來(lái)講的業(yè)務(wù)數(shù)據(jù)，另外一個(gè)是管理數(shù)據(jù)。”他進(jìn)一步解釋，業(yè)務(wù)數(shù)據(jù)是跟業(yè)務(wù)發(fā)生關(guān)系的數(shù)據(jù)，如互聯(lián)網(wǎng)網(wǎng)站的Web日志，電商后臺(tái)所存的用戶消費(fèi)記錄。管理數(shù)據(jù)包括人力資源、公司財(cái)務(wù)系統(tǒng)數(shù)據(jù)，其它包括ERP和CRM等。對(duì)于大數(shù)據(jù)的應(yīng)用場(chǎng)景來(lái)講，對(duì)這兩種都有需求。

這些數(shù)據(jù)當(dāng)中，既有人的數(shù)據(jù)也有物的數(shù)據(jù)。依據(jù)不同公司的業(yè)務(wù)類型側(cè)重點(diǎn)會(huì)不同，如電商兩者都有，由于從數(shù)據(jù)里面可以分析出商品銷售狀況和客戶的消費(fèi)習(xí)慣。據(jù)陶波博士透露，在羅克佳華的環(huán)保項(xiàng)目監(jiān)測(cè)中，在電廠主機(jī)的生產(chǎn)系統(tǒng)和輔機(jī)的脫硫脫硝系統(tǒng)，記錄了大量的物體信息，如煙、粉、塵、SO2的含量，磨煤機(jī)的工作狀況。這些是電廠的業(yè)務(wù)數(shù)據(jù)、生產(chǎn)數(shù)據(jù)，同時(shí)這數(shù)據(jù)是由設(shè)備產(chǎn)生的，也是物的數(shù)據(jù)。類似的許多傳統(tǒng)行業(yè)的企業(yè)，電廠、化工企業(yè)、）臺(tái)金企業(yè)也開(kāi)頭留意到數(shù)據(jù)分析的重要性，熟悉到數(shù)據(jù)管理需要一套可拓展系統(tǒng)。

國(guó)內(nèi)開(kāi)放數(shù)據(jù)缺乏法律依據(jù)

在涂子沛博士寫(xiě)的一本叫《大數(shù)據(jù)》的書(shū)中，主要介紹了美國(guó)政府開(kāi)放數(shù)據(jù)的歷程及其前景。美國(guó)政府的CTO把白宮、商務(wù)部行政預(yù)算管理局等多個(gè)部門的數(shù)據(jù)做了融合，并于2024年5月把相應(yīng)的數(shù)據(jù)在Data.Gov網(wǎng)上進(jìn)行了。盡管該做法在國(guó)際上得到了很多好評(píng)，英國(guó)也隨后跟進(jìn)。對(duì)于開(kāi)放數(shù)據(jù)所產(chǎn)生的詳細(xì)經(jīng)濟(jì)價(jià)值，陶波博士謹(jǐn)慎表示：“雖然沒(méi)有看到詳細(xì)的資料表明實(shí)際效果，但是我覺(jué)得這個(gè)數(shù)據(jù)（開(kāi)放）是有好處的?！奔偃缒芸吹浇鼛啄陙?lái)人的年齡比例構(gòu)成，就可以知道社會(huì)年齡結(jié)構(gòu)的變化，或者是知道整體收入統(tǒng)計(jì)結(jié)果，將會(huì)有利于企業(yè)的產(chǎn)品規(guī)劃。

在美國(guó)，對(duì)數(shù)據(jù)的管理和使用已經(jīng)有較為完備的法律規(guī)范，例如常見(jiàn)的fact，即事實(shí)數(shù)據(jù)是沒(méi)有版權(quán)的，任何人在任何地方都可以。但是在國(guó)內(nèi)，開(kāi)放數(shù)據(jù)這一方面走得比較慢，國(guó)務(wù)院只是在2024年推出了《政府信息公開(kāi)條例》，并未上升為法律，效果一般。詳細(xì)如遙感方面的數(shù)據(jù)，從國(guó)家層面來(lái)說(shuō)，這些數(shù)據(jù)是否公開(kāi)，怎么公開(kāi)，仍不明確?！翱赡苷怯捎跊](méi)有法律界定，使得政府部門無(wú)法開(kāi)放這些數(shù)據(jù)?！碧詹ú┦垦a(bǔ)充道。

羅克佳華大數(shù)據(jù)服務(wù)：從數(shù)據(jù)里面產(chǎn)生才智

說(shuō)到羅克佳華的大數(shù)據(jù)業(yè)務(wù)，陶波博士的語(yǔ)氣變得有點(diǎn)感動(dòng)，他說(shuō)：“這會(huì)是將來(lái)我們特別重視的一個(gè)方向，由于在物聯(lián)網(wǎng)應(yīng)用里面，從數(shù)據(jù)里面產(chǎn)生才智，我們認(rèn)為會(huì)是一個(gè)特別重要的方向?！绷_克佳華這幾年在大數(shù)據(jù)方面進(jìn)展比較快，已經(jīng)推出了自己的物聯(lián)網(wǎng)數(shù)據(jù)堆棧1.0（10TDataStack1.0），它是一個(gè)軟件。該數(shù)據(jù)堆棧大致分成五層，第一層是數(shù)據(jù)接入，適配于不同的物聯(lián)網(wǎng)設(shè)備所產(chǎn)生的數(shù)據(jù)，下面兩層分別是數(shù)據(jù)的存儲(chǔ)和數(shù)據(jù)的管理，最上面兩層是數(shù)據(jù)分析系統(tǒng)，針對(duì)不同行業(yè)的詳細(xì)數(shù)據(jù)分析的應(yīng)用。

這個(gè)數(shù)據(jù)堆棧1.0已經(jīng)在一些實(shí)際的工作中得到了應(yīng)用。數(shù)據(jù)堆棧1.0已成為解決方案的一部分，客戶在實(shí)施羅克佳華供應(yīng)的方案之后，同時(shí)可獲得佳華云供應(yīng)的公共線上服務(wù)。其中包含了從物聯(lián)網(wǎng)設(shè)備把數(shù)據(jù)上傳，最終形成數(shù)據(jù)分析和展現(xiàn)結(jié)果。

在羅克佳華的大數(shù)據(jù)分析、挖掘項(xiàng)目中一個(gè)實(shí)施周期并不長(zhǎng)。在他們擅長(zhǎng)的能耗監(jiān)測(cè)里，通過(guò)在客戶現(xiàn)場(chǎng)部署標(biāo)準(zhǔn)的端設(shè)備，一旦數(shù)據(jù)上線之后，客戶的設(shè)備不用做大的改動(dòng)就可以直接獲得服務(wù)力量。由于實(shí)行了標(biāo)準(zhǔn)解決方案，所以項(xiàng)目實(shí)施特別快，小的案例一般一到兩個(gè)月就能完成。

羅克佳華