面向電子商務(wù)的大數(shù)據(jù)存儲(chǔ)與分析技術(shù)及其應(yīng)用》項(xiàng)目總結(jié)報(bào)告一、項(xiàng)目概況項(xiàng)目基本信息：本項(xiàng)目是由東南大學(xué)和焦點(diǎn)科技股份有限公司聯(lián)合承擔(dān)，立項(xiàng)時(shí)間為2013年9月，項(xiàng)目編號(hào)（BY2013073-01）,項(xiàng)目負(fù)責(zé)人為東南大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院東方。本項(xiàng)目研究經(jīng)費(fèi)210萬元，其中省撥款30萬元，單位自籌180萬元。隨著電子商務(wù)行業(yè)的深入發(fā)展，將會(huì)產(chǎn)生并積累更大規(guī)模的業(yè)務(wù)數(shù)據(jù)，同時(shí)為了滿足用戶日益復(fù)雜的查詢請(qǐng)求，提高服務(wù)質(zhì)量，電子商務(wù)提供商也必將支持更加高效的數(shù)據(jù)分析處理操作。此時(shí)電子商務(wù)將面臨PB級(jí)數(shù)據(jù)的存儲(chǔ)與分析處理，因此是一個(gè)典型的大數(shù)據(jù)處理應(yīng)用。近年來，在電子商務(wù)數(shù)據(jù)量不斷擴(kuò)大的同時(shí)，相應(yīng)的數(shù)據(jù)分析與處理應(yīng)用也日趨復(fù)雜?；诖耍瑢?shí)現(xiàn)電子商務(wù)大數(shù)據(jù)應(yīng)用的高效執(zhí)行與處理將面臨新的挑戰(zhàn)：（1） 如何實(shí)現(xiàn)電子商務(wù)圖數(shù)據(jù)查詢與分析傳統(tǒng)電子商務(wù)應(yīng)用主要進(jìn)行面向單一對(duì)象的數(shù)據(jù)分析與處理，如面向個(gè)體用戶的個(gè)性化推薦等，并不支持面向群體對(duì)象的數(shù)據(jù)挖掘與分析；另一方面，目前電子商務(wù)數(shù)據(jù)分析過程通?；诒斫Y(jié)構(gòu)進(jìn)行數(shù)據(jù)的逐行掃描計(jì)算，沒有考慮全局?jǐn)?shù)據(jù)間的邏輯相關(guān)性。然而，隨著電子商務(wù)數(shù)據(jù)量的不斷增大，數(shù)據(jù)間的邏輯關(guān)系也變得不斷復(fù)雜化。此時(shí)用戶信息、商品信息以及用戶行為（購買、訪問等）之間具有廣泛的時(shí)空序列關(guān)系，可以建模成大規(guī)模圖結(jié)構(gòu)（其中實(shí)體可表示為節(jié)點(diǎn)，關(guān)系可表示為邊）。此時(shí)的大數(shù)據(jù)處理過程可以轉(zhuǎn)化為基于圖數(shù)據(jù)的查詢與分析。因此為了能夠利用全局信息進(jìn)行更加靈活的分析與挖掘，需要提供支持大規(guī)模復(fù)雜圖數(shù)據(jù)的查詢與分析機(jī)制。（2） 如何實(shí)現(xiàn)支持流式數(shù)據(jù)處理的大數(shù)據(jù)并行計(jì)算框架電子商務(wù)數(shù)據(jù)產(chǎn)生方式通常是流式的，然而傳統(tǒng)電子商務(wù)應(yīng)用的數(shù)據(jù)更新時(shí)間往往是非實(shí)時(shí)的（以天為單位更新），在這種情況下數(shù)據(jù)的時(shí)效性往往得不到保證，而最新的數(shù)據(jù)在數(shù)據(jù)挖掘過程中所表現(xiàn)出的意義可能更為重要。因此面對(duì)電子商務(wù)產(chǎn)生的海量流數(shù)據(jù)，對(duì)靜態(tài)數(shù)據(jù)的批處理已經(jīng)難以滿足業(yè)務(wù)需求。為了能夠讓電子商務(wù)數(shù)據(jù)分析應(yīng)用更加具有實(shí)時(shí)性，需要對(duì)不斷到達(dá)的流式數(shù)據(jù)進(jìn)行分析與處理。因此需要提供支持流式數(shù)據(jù)處理的大數(shù)據(jù)并行計(jì)算框架及相關(guān)技術(shù)。（3） 如何實(shí)現(xiàn)面向電子商務(wù)的大數(shù)據(jù)高效存儲(chǔ)、組織與管理隨著電子商務(wù)應(yīng)用的不斷發(fā)展，電商平臺(tái)需要管理的數(shù)據(jù)容量、速率和價(jià)值在持續(xù)、快速增長(zhǎng)，底層存儲(chǔ)系統(tǒng)也相應(yīng)地面臨嚴(yán)峻的擴(kuò)展問題；同時(shí)由于電子商務(wù)數(shù)據(jù)分析處理過程中對(duì)數(shù)據(jù)的訪問頻度各不相同，且隨時(shí)間變化，極有可能導(dǎo)致局部熱點(diǎn)數(shù)據(jù)過載以及系統(tǒng)負(fù)載不均等問題。為平衡性能、容量、能耗和價(jià)格等需求，亟需一種面向電子商務(wù)大數(shù)據(jù)的新型數(shù)據(jù)存儲(chǔ)架構(gòu)及數(shù)據(jù)組織模式，在控制電商平臺(tái)運(yùn)維成本同時(shí)，讓底層存儲(chǔ)系統(tǒng)更加高效化，數(shù)據(jù)管理更加智能化。根據(jù)以上分析，現(xiàn)有電子商務(wù)數(shù)據(jù)處理技術(shù)無法有效滿足大數(shù)據(jù)環(huán)境下電子商務(wù)的應(yīng)用需求，缺乏完整的支持電子商務(wù)大數(shù)據(jù)處理的模型框架以及管理與分析的相關(guān)技術(shù)?；谏鲜鲂枨?，東南大學(xué)與焦點(diǎn)科技股份有限公司聯(lián)合承擔(dān)了江蘇省產(chǎn)學(xué)研前瞻性研究項(xiàng)目“面向電子商務(wù)的大數(shù)據(jù)存儲(chǔ)與分析技術(shù)及其應(yīng)用”的研究工作，從實(shí)現(xiàn)電子商務(wù)大數(shù)據(jù)應(yīng)用的高效執(zhí)行與處理所面臨的挑戰(zhàn)出發(fā)，重點(diǎn)研究面向電子商務(wù)的大數(shù)據(jù)管理與分析技術(shù)。具體內(nèi)容包含四個(gè)方面1）研究圖結(jié)構(gòu)的電子商務(wù)大數(shù)據(jù)處理機(jī)制：擬結(jié)合電子商務(wù)多源數(shù)據(jù)聯(lián)合分析及個(gè)性化推薦應(yīng)用的數(shù)據(jù)特征，研究基于圖結(jié)構(gòu)的新型數(shù)據(jù)組織模型，將原有結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)按照時(shí)空特性進(jìn)行抽象和重組織，形成圖數(shù)據(jù)。結(jié)合大規(guī)模圖數(shù)據(jù)所具有的內(nèi)在邏輯關(guān)系，設(shè)計(jì)面向上層應(yīng)用的多指標(biāo)圖分割算法，在考慮子圖間邏輯關(guān)系的前提下降低子圖間耦合性，進(jìn)而提出通用分布式圖查詢算法，以支持上層分析和推薦應(yīng)用。2）研究電子商務(wù)大數(shù)據(jù)流式處理模型及相關(guān)機(jī)制：為了滿足電子商務(wù)多源數(shù)據(jù)聯(lián)合分析及個(gè)性化推薦的實(shí)時(shí)性需求及推薦應(yīng)用的時(shí)效性需求，我們還將基于通用數(shù)據(jù)并行計(jì)算平臺(tái)Hadoop研究基于數(shù)據(jù)本地化的流式處理模型，設(shè)計(jì)數(shù)據(jù)本地化機(jī)制、研究?jī)?nèi)存管理機(jī)制、設(shè)計(jì)流水線任務(wù)調(diào)度機(jī)制，為上層電子商務(wù)應(yīng)用提供透明的流式數(shù)據(jù)支撐平臺(tái)。3）研究電子商務(wù)大數(shù)據(jù)處理的自動(dòng)分級(jí)存儲(chǔ)架構(gòu)及數(shù)據(jù)組織與管理機(jī)制：針對(duì)電子商務(wù)大數(shù)據(jù)處理特性，以及不同的存儲(chǔ)設(shè)備在性能、容量、價(jià)格上的不同，研究并設(shè)計(jì)具有高度可擴(kuò)展性、高效性以及自適應(yīng)性的分級(jí)存儲(chǔ)系統(tǒng)架構(gòu)，在此基礎(chǔ)上，研究海量電子商務(wù)相關(guān)數(shù)據(jù)的放置算法及數(shù)據(jù)遷移策略，從而更好地為大數(shù)據(jù)處理分析提供高效服務(wù)。4）支持電子商務(wù)應(yīng)用的大數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)：面向電子商務(wù)大規(guī)模數(shù)據(jù)處理的實(shí)際需求，綜合運(yùn)用分布式數(shù)據(jù)組織管理機(jī)制以及流式數(shù)據(jù)處理機(jī)制等上述理論研究成果，設(shè)計(jì)并實(shí)現(xiàn)大數(shù)據(jù)處理支撐平臺(tái)，并與企業(yè)現(xiàn)有的電子商務(wù)平臺(tái)進(jìn)行整合，從而支持個(gè)性化推薦和數(shù)據(jù)挖掘等典型電子商務(wù)大數(shù)據(jù)應(yīng)用，并且驗(yàn)證本項(xiàng)目所取得的各項(xiàng)理論成果，與此同時(shí)，通過該系統(tǒng)的示范作用將項(xiàng)目研究成果加以推廣。二、項(xiàng)目實(shí)施情況經(jīng)東南大學(xué)及焦點(diǎn)科技股份有限公司雙方協(xié)作，本項(xiàng)目成立了以項(xiàng)目負(fù)責(zé)人為首的校企聯(lián)合研發(fā)團(tuán)隊(duì)共計(jì)15人，其中副教授3人，講師2人，企業(yè)工程師5人，博碩士研究生5人。經(jīng)過兩年多的產(chǎn)學(xué)研合作研究，較系統(tǒng)研究了面向電子商務(wù)的大數(shù)據(jù)存儲(chǔ)與分析技術(shù)，成功研制了支持電子商務(wù)應(yīng)用的大數(shù)據(jù)處理平臺(tái)原型系統(tǒng)，集成到焦點(diǎn)科技股份有限公司現(xiàn)有的電子商務(wù)平臺(tái)并實(shí)現(xiàn)了示范應(yīng)用，圓滿完成了研發(fā)和產(chǎn)業(yè)化任務(wù)。具體表現(xiàn)在以下幾方面：1）在基于圖結(jié)構(gòu)的電子商務(wù)大數(shù)據(jù)處理方面，結(jié)合電子商務(wù)多源數(shù)據(jù)聯(lián)合分析及個(gè)性化推薦應(yīng)用的數(shù)據(jù)特征，本項(xiàng)目研究了基于圖結(jié)構(gòu)的新型數(shù)據(jù)組織模型，將原有結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)按照時(shí)空特性進(jìn)行抽象和重組織，形成圖數(shù)據(jù)。結(jié)合大規(guī)模圖數(shù)據(jù)所具有的內(nèi)在邏輯關(guān)系，設(shè)計(jì)了面向上層應(yīng)用的多指標(biāo)圖分割算法，在考慮子圖間邏輯關(guān)系的前提下降低子圖間耦合性，進(jìn)而提出了通用分布式圖查詢算法，以支持上層分析和推薦應(yīng)用。2）在電子商務(wù)大數(shù)據(jù)流式處理方面，為了滿足電子商務(wù)多源數(shù)據(jù)聯(lián)合分析及個(gè)性化推薦的實(shí)時(shí)性需求及推薦應(yīng)用的時(shí)效性需求，本項(xiàng)目基于通用數(shù)據(jù)并行計(jì)算平臺(tái)Hadoop研究基于數(shù)據(jù)本地化的流式處理模型，設(shè)計(jì)了數(shù)據(jù)本地化機(jī)制、研究了內(nèi)存管理機(jī)制、設(shè)計(jì)了流水線任務(wù)調(diào)度機(jī)制，為上層電子商務(wù)應(yīng)用提供流式數(shù)據(jù)支撐平臺(tái)。3）在面向電子商務(wù)大數(shù)據(jù)處理的自動(dòng)分級(jí)存儲(chǔ)架構(gòu)及數(shù)據(jù)組織與管理方面，針對(duì)電子商務(wù)大數(shù)據(jù)處理特性，以及不同的存儲(chǔ)設(shè)備在性能、容量、價(jià)格上的不同，研究并設(shè)計(jì)了具有高度可擴(kuò)展性、高效性以及自適應(yīng)性的分級(jí)存儲(chǔ)系統(tǒng)架構(gòu)，在此基礎(chǔ)上，提出了海量電子商務(wù)相關(guān)數(shù)據(jù)的放置算法及數(shù)據(jù)遷移策略，從而更好地為大數(shù)據(jù)處理分析提供高效服務(wù)。4）在支持電子商務(wù)應(yīng)用的大數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)、實(shí)現(xiàn)與應(yīng)用方面，面向電子商務(wù)大規(guī)模數(shù)據(jù)處理的實(shí)際需求，綜合運(yùn)用分布式數(shù)據(jù)組織管理機(jī)制以及流式數(shù)據(jù)處理機(jī)制等上述理論研究成果，設(shè)計(jì)并實(shí)現(xiàn)了大數(shù)據(jù)處理支撐平臺(tái)，并與企業(yè)現(xiàn)有的電子商務(wù)平臺(tái)進(jìn)行了整合，從而支持個(gè)性化推薦和數(shù)據(jù)挖掘等典型電子商務(wù)大數(shù)據(jù)應(yīng)用。達(dá)到了圖數(shù)據(jù)處理加速比、流式處理加速比、處理響應(yīng)時(shí)間以及平臺(tái)可擴(kuò)展性等方面的設(shè)計(jì)要求，充分驗(yàn)證了本研究的理論成果的可用性，提升了企業(yè)的服務(wù)質(zhì)量和經(jīng)濟(jì)效益。5）項(xiàng)目完成時(shí)，共申請(qǐng)發(fā)明專利9項(xiàng)；軟件著作權(quán)1項(xiàng)；在國內(nèi)外核心期刊和會(huì)議上發(fā)表論文25篇，其中SCI收錄論文7篇，EI收錄論文24篇。6）項(xiàng)目研究過程中，培養(yǎng)博士研究生6名（張競(jìng)慧、王宇翔、周經(jīng)亞、熊潤(rùn)群、沈典、史濟(jì)源），碩士研究生6名（施洵、張毅、陳苗、張駿雪、楊業(yè)、丁玎）。項(xiàng)目執(zhí)行期間，焦點(diǎn)科技股份有限公司通過應(yīng)用面向電子商務(wù)的大數(shù)據(jù)存儲(chǔ)與分析技術(shù)技術(shù)，為中國制造網(wǎng)平臺(tái)的運(yùn)行提供了更好的支持。合計(jì)實(shí)現(xiàn)新增銷售580萬元，利稅233.5萬元。三、項(xiàng)目技術(shù)情況本項(xiàng)目主要圍繞面向電子商務(wù)的大數(shù)據(jù)存儲(chǔ)與分析技術(shù)，從基于圖結(jié)構(gòu)的電子商務(wù)大數(shù)據(jù)處理機(jī)制、數(shù)據(jù)流式處理模型及相關(guān)機(jī)制、電子商務(wù)大數(shù)據(jù)處理的自動(dòng)分級(jí)存儲(chǔ)架構(gòu)及數(shù)據(jù)組織與管理機(jī)制以及支持電子商務(wù)應(yīng)用的大數(shù)據(jù)處理平臺(tái)等四個(gè)方面進(jìn)行研究與開發(fā)，具體技術(shù)情況匯報(bào)如下：1） 圖結(jié)構(gòu)的電子商務(wù)大數(shù)據(jù)處理機(jī)制?解決的關(guān)鍵技術(shù)結(jié)合電子商務(wù)多源數(shù)據(jù)聯(lián)合分析及個(gè)性化推薦應(yīng)用的數(shù)據(jù)特征，研究基于圖結(jié)構(gòu)的新型數(shù)據(jù)組織模型。結(jié)合大規(guī)模圖數(shù)據(jù)所具有的內(nèi)在邏輯關(guān)系，設(shè)計(jì)面向上層應(yīng)用的基于超快技術(shù)的圖分割算法，在考慮子圖間邏輯關(guān)系的前提下降低子圖間耦合性，進(jìn)而提出通用分布式圖查詢算法，以支持上層分析和推薦應(yīng)用。?研究方法及技術(shù)路線基于超塊劃分算法的整體工作流程如圖1所示。給定原始的大規(guī)模圖數(shù)據(jù)后，首先將對(duì)大規(guī)模圖數(shù)據(jù)進(jìn)行預(yù)劃分，形成原子快。原子塊根據(jù)應(yīng)用的執(zhí)行模式組合后得到超塊，組合過程將同時(shí)考慮均衡計(jì)算負(fù)載以及減小網(wǎng)絡(luò)開銷這兩個(gè)目標(biāo)。預(yù)劃分階段的主要任務(wù)是將大規(guī)模的圖數(shù)據(jù)通過一定的方法劃分為一組原子塊。劃分的方法可以采用基于哈希的方法或者聚類的方法。相較于超塊組合而言，圖數(shù)據(jù)的預(yù)劃分階段將需要較長(zhǎng)的計(jì)算時(shí)間并消耗大量的計(jì)算資源。但是對(duì)于同一份圖數(shù)據(jù)而言，預(yù)劃分操作是離線進(jìn)行的并且只會(huì)進(jìn)行一次，因此其開銷是可以接受的。而在線動(dòng)態(tài)超塊組合算法相比離線的劃分算法而言，則更加快速和高效。該階段將會(huì)利用預(yù)劃分階段產(chǎn)生的原子塊來生成超塊。相比原始的圖而言，原子塊的數(shù)量遠(yuǎn)小于原始的圖的頂點(diǎn)，因此在線動(dòng)態(tài)超塊組合算法只需要在一個(gè)較小的數(shù)據(jù)集上進(jìn)行處理。受益于超塊組合這種快速、高效的方法，使得動(dòng)態(tài)為每個(gè)應(yīng)用進(jìn)行滿足應(yīng)用需求的數(shù)據(jù)劃分成為了可能。?取得成果及創(chuàng)新點(diǎn)針對(duì)各類圖數(shù)據(jù)處理應(yīng)用資源需求各不相同的特點(diǎn)，本文提出了面向應(yīng)用感知的大規(guī)模圖數(shù)據(jù)快速劃分方法。提出了大規(guī)模圖數(shù)據(jù)處理應(yīng)用執(zhí)行模式抽取和分析技術(shù)和基于超塊思想的大規(guī)模圖數(shù)據(jù)劃分方法，通過自適應(yīng)感知應(yīng)用的資源需求，動(dòng)態(tài)調(diào)整圖數(shù)據(jù)劃分策略，達(dá)到加快處理電子商務(wù)圖數(shù)據(jù)的目的。圖結(jié)構(gòu)的電子商務(wù)大數(shù)據(jù)處理機(jī)制解決的關(guān)鍵技術(shù)為了滿足電子商務(wù)多源數(shù)據(jù)聯(lián)合分析及個(gè)性化推薦的實(shí)時(shí)性需求及推薦應(yīng)用的時(shí)效性需求，我們還將基于通用數(shù)據(jù)并行計(jì)算平臺(tái)Hadoop研究基于數(shù)據(jù)本地化的流式處理模型，設(shè)計(jì)數(shù)據(jù)本地化機(jī)制、研究?jī)?nèi)存管理機(jī)制、設(shè)計(jì)流水線任務(wù)調(diào)度機(jī)制，為上層電子商務(wù)應(yīng)用提供透明的流式數(shù)據(jù)支撐平臺(tái)。研究方法及技術(shù)路線電子商務(wù)數(shù)據(jù)產(chǎn)生方式通常是流式的，然而傳統(tǒng)電子商務(wù)應(yīng)用的數(shù)據(jù)更新時(shí)間往往是非實(shí)時(shí)的(以天為單位更新)，在這種情況下數(shù)據(jù)的時(shí)效性往往得不到保證，而最新的數(shù)據(jù)在數(shù)據(jù)挖掘過程中所表現(xiàn)出的意義可能更為重要。因此面對(duì)電子商務(wù)產(chǎn)生的海量流數(shù)據(jù)，對(duì)靜態(tài)數(shù)據(jù)的批處理已經(jīng)難以滿足業(yè)務(wù)需求。為了能夠讓電子商務(wù)數(shù)據(jù)分析應(yīng)用更加具有實(shí)時(shí)性，需要對(duì)不斷到達(dá)的流式數(shù)據(jù)進(jìn)行分析與處理。因此需要提供支持流式數(shù)據(jù)處理的大數(shù)據(jù)并行計(jì)算框架及相關(guān)技術(shù)。本項(xiàng)目通過數(shù)據(jù)本地化、中間數(shù)據(jù)分發(fā)流水線和基于KVBTree的內(nèi)存管理技術(shù)提高電子商務(wù)大數(shù)據(jù)流式數(shù)據(jù)處理執(zhí)行性能。在數(shù)據(jù)本地化及中間數(shù)據(jù)分發(fā)流水線方面，數(shù)據(jù)本地化技術(shù)使得數(shù)據(jù)提前發(fā)送、聚合與存儲(chǔ)；通過使用數(shù)據(jù)本地化機(jī)制，可以使數(shù)據(jù)發(fā)送與聚合同時(shí)進(jìn)行，以提高系統(tǒng)處理速度。本項(xiàng)目提出基于概率統(tǒng)計(jì)的劃分方法，是根據(jù)數(shù)據(jù)分布的特點(diǎn)進(jìn)行劃分，追求數(shù)據(jù)劃分的均勻性，可以保證StreamMapReduce各個(gè)節(jié)點(diǎn)負(fù)載的均衡性。有效解決簡(jiǎn)單hash劃分法的不足。另一方面，對(duì)于大數(shù)據(jù)處理，系統(tǒng)瓶頸一般在于IO,CPU資源相對(duì)較充裕，通過分發(fā)流水線控制與調(diào)度，可以一定程度上提高CPU的使用率，由于計(jì)算結(jié)果直接傳遞到下一階段，一定程度上也緩解了當(dāng)前節(jié)點(diǎn)的IO負(fù)載。具體如圖2所示。在基于KVBTree的內(nèi)存管理方面，由于MapReduce中間結(jié)果為＜key,list(value)＞這一特殊形式，需要設(shè)計(jì)特定的適用B+樹才能存放。基于此本項(xiàng)目根據(jù)大數(shù)據(jù)處理中的中間數(shù)據(jù)的特性，使用類似B+樹的索引結(jié)構(gòu)管理大規(guī)模的中間數(shù)據(jù)，保證其存儲(chǔ)的可靠性、大容量、高速讀寫等性能。具體包括相關(guān)數(shù)據(jù)結(jié)構(gòu)的定義，如：樹節(jié)點(diǎn)結(jié)構(gòu)，數(shù)據(jù)區(qū)結(jié)構(gòu)，緩存區(qū)結(jié)構(gòu)，緩存區(qū)信息頭結(jié)構(gòu)等等；以及緩存區(qū)的建立與管理。具體如圖3所示。

l\xl\x■:102:x10:x103:x100:x104:x101:x105:x106:x?取得成果及創(chuàng)新點(diǎn)針對(duì)當(dāng)前Hadoop等大數(shù)據(jù)處理模型在處理流式數(shù)據(jù)時(shí)效率低下的問題，提出了數(shù)據(jù)本地化處理、中間數(shù)據(jù)分發(fā)流水線和基于KVBTree的內(nèi)存管理等執(zhí)行優(yōu)化技術(shù)。上述技術(shù)通過減少計(jì)算節(jié)點(diǎn)間的數(shù)據(jù)傳輸量、減少計(jì)算節(jié)點(diǎn)間同步等待時(shí)間、減少磁盤10開銷，達(dá)到加快處理流式數(shù)據(jù)的目的。3） 電子商務(wù)大數(shù)據(jù)處理的自動(dòng)分級(jí)存儲(chǔ)架構(gòu)及數(shù)據(jù)組織與管理機(jī)制解決的關(guān)鍵技術(shù)針對(duì)電子商務(wù)大數(shù)據(jù)處理特性，以及不同的存儲(chǔ)設(shè)備在性能、容量、價(jià)格上的不同，研究并設(shè)計(jì)具有高度可擴(kuò)展性、高效性以及自適應(yīng)性的分級(jí)存儲(chǔ)系統(tǒng)架構(gòu)，在此基礎(chǔ)上，研究海量電子商務(wù)相關(guān)數(shù)據(jù)的放置算法及數(shù)據(jù)遷移策略，從而更好地為大數(shù)據(jù)處理分析提供高效服務(wù)。研究方法及技術(shù)路線為平衡性能、容量、能耗和價(jià)格等需求，亟需一種面向電子商務(wù)大數(shù)據(jù)的新型數(shù)據(jù)存儲(chǔ)架構(gòu)及數(shù)據(jù)組織模式，在控制電商平臺(tái)運(yùn)維成本同時(shí)，讓底層存儲(chǔ)系統(tǒng)更加高效化，數(shù)據(jù)管理更加智能化。為實(shí)現(xiàn)上述目標(biāo)，本項(xiàng)目提出了如圖4所示的采用異構(gòu)性感知的動(dòng)態(tài)副本放置策略的大規(guī)模異構(gòu)Hadoop系統(tǒng)模型。

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□BigDataSetAdministrator圖4基于SLRP的異構(gòu)Hadoop系統(tǒng)模型BigDataSetAdministrator在此基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)Hadoop集群節(jié)點(diǎn)的異構(gòu)性感知模塊（Heterogeneity-awareModule，簡(jiǎn)稱HaM）,采用節(jié)點(diǎn)異構(gòu)性感知算法（Heterogeneityawarealgorithm，簡(jiǎn)稱Haag）對(duì)大規(guī)模Hadoop集群節(jié)點(diǎn)進(jìn)行分級(jí)管理，形成多層級(jí)的虛擬存儲(chǔ)域（VirtualStorageTier，簡(jiǎn)稱VST）；然后，通過數(shù)據(jù)塊熱度監(jiān)測(cè)模塊（HotnessMonitor，簡(jiǎn)稱HoM），采用文件訪問熱度感知的復(fù)制機(jī)制（Hotness-ProportionalReplication，簡(jiǎn)稱HoP）確定其副本因子，以優(yōu)化存儲(chǔ)資源的利用率；在此基礎(chǔ)上，數(shù)據(jù)副本放置模塊（Snake-LikeReplicaPlacement，簡(jiǎn)稱SLRP）在每個(gè)虛擬存儲(chǔ)域內(nèi)按照Snake-Like方式對(duì)數(shù)據(jù)塊及其副本進(jìn)行布局，充分利用多層級(jí)VST內(nèi)節(jié)點(diǎn)性能的差異性，盡量把熱點(diǎn)數(shù)據(jù)及其副本分布在高性能的VST中，以此引導(dǎo)MapReduce任務(wù)集中運(yùn)行在性能優(yōu)異的Hadoop節(jié)點(diǎn)上，并進(jìn)行VST域內(nèi)的負(fù)載均衡；最后，通過能耗控制模塊（PowerControl，簡(jiǎn)稱PoC）管理集群所有虛擬存儲(chǔ)域的能耗開銷，并結(jié)合基于SLRP的數(shù)據(jù)塊副本放置方案，按照一定的策略關(guān)閉或開啟集群中的節(jié)點(diǎn)，優(yōu)化Hadoop集群的能耗開銷。?取得成果及創(chuàng)新點(diǎn)針對(duì)電商平臺(tái)需要管理的數(shù)據(jù)容量、速率和價(jià)值在持續(xù)、快速增長(zhǎng)導(dǎo)致底層存儲(chǔ)系統(tǒng)面臨嚴(yán)峻的擴(kuò)展問題以及局部熱點(diǎn)數(shù)據(jù)過載和系統(tǒng)負(fù)載不均等問題，提出了大規(guī)模集群節(jié)點(diǎn)異構(gòu)感知算法，并基于此設(shè)計(jì)了一種蛇形電商大數(shù)據(jù)放置策略，在控制電商平臺(tái)運(yùn)維成本同時(shí)，讓底層存儲(chǔ)系統(tǒng)更加高效化，數(shù)據(jù)管理更加智能化。4） 支持電子商務(wù)應(yīng)用的大數(shù)據(jù)處理平臺(tái)?解決的關(guān)鍵技術(shù)面向電子商務(wù)大規(guī)模數(shù)據(jù)處理的實(shí)際需求，綜合運(yùn)用分布式數(shù)據(jù)組織管理機(jī)制以及流式數(shù)據(jù)處理機(jī)制等上述理論研究成果，設(shè)計(jì)并實(shí)現(xiàn)大數(shù)據(jù)處理支撐平臺(tái)，并與企業(yè)現(xiàn)有的電子商務(wù)平臺(tái)進(jìn)行整合，從而支持個(gè)性化推薦和數(shù)據(jù)挖掘等典型電子商務(wù)大數(shù)據(jù)應(yīng)用，并且驗(yàn)證本項(xiàng)目所取得的各項(xiàng)理論成果。?研究方法及技術(shù)路線采用相關(guān)研究成果并基于開源云軟件部署相應(yīng)的研究成果，實(shí)現(xiàn)支持電子商務(wù)應(yīng)用的大數(shù)據(jù)處理平臺(tái)，具體架構(gòu)及各組件間的邏輯交互關(guān)系如圖5所示。底層云計(jì)算環(huán)境為上層提供基礎(chǔ)設(shè)施；數(shù)據(jù)存儲(chǔ)管理層包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)預(yù)放置和數(shù)據(jù)遷移等；數(shù)據(jù)處理技術(shù)層包括大數(shù)據(jù)分析、大數(shù)據(jù)查詢和流式數(shù)據(jù)處理；應(yīng)用服務(wù)層包括應(yīng)用解析與構(gòu)建、電子商務(wù)應(yīng)用集合、任務(wù)調(diào)度和資源管理。對(duì)于數(shù)據(jù)存儲(chǔ)部分，由于電子商務(wù)平臺(tái)的客戶量大，用戶數(shù)據(jù)多達(dá)TB級(jí)，為了實(shí)現(xiàn)高效、可靠地?cái)?shù)據(jù)存取，我們對(duì)底層各類存儲(chǔ)介質(zhì)進(jìn)行自動(dòng)分級(jí)管理，并采用HadoopHDFS文件系統(tǒng)組織存儲(chǔ)海量的用戶數(shù)據(jù)。對(duì)于數(shù)據(jù)分析部分，利用圖查詢技術(shù)構(gòu)建用戶數(shù)據(jù)全局視圖，基于圖數(shù)據(jù)時(shí)空序列關(guān)系及屬性邏輯關(guān)系實(shí)現(xiàn)兩階段圖分割算法和圖查詢算法，豐富個(gè)性化推薦結(jié)果，促進(jìn)其完整性，同時(shí)使得數(shù)據(jù)挖掘內(nèi)容更加多樣化。此外，為了應(yīng)對(duì)電子商務(wù)中數(shù)據(jù)流式到達(dá)情況，我們對(duì)HDFS系統(tǒng)進(jìn)行二次開發(fā)，設(shè)計(jì)基于內(nèi)存管理的數(shù)據(jù)本地化計(jì)算、存儲(chǔ)機(jī)制，實(shí)現(xiàn)流式數(shù)據(jù)的本地化處理，以提供對(duì)個(gè)性化推薦以及數(shù)據(jù)挖掘應(yīng)用中流數(shù)據(jù)處理的支持。在任務(wù)調(diào)度和資源管理部分，我們采用HadoopMapreduce處理模型，針對(duì)性地分析電子商務(wù)應(yīng)用的資源使用特點(diǎn)，優(yōu)化了其中的資源分配方案。在云基礎(chǔ)設(shè)施層，我們擬采用開源軟件OpenStack搭建云計(jì)算環(huán)境。OpenStack具有易擴(kuò)展、較靈活、兼容性好等特點(diǎn)可以很容易地同其他模塊進(jìn)行相互協(xié)作和配合。?取得成果及創(chuàng)新點(diǎn)結(jié)合電子商務(wù)平臺(tái)的特點(diǎn)，基于東南大學(xué)云計(jì)算平臺(tái)，開發(fā)完成基于子圖匹配的電子商務(wù)推薦、基于流式數(shù)據(jù)處理的在線聚集查詢、大數(shù)據(jù)分級(jí)存儲(chǔ)等模塊，實(shí)現(xiàn)了云計(jì)算環(huán)境下面向電子商務(wù)的查詢和推薦原型系統(tǒng)。通過將該系統(tǒng)與企業(yè)現(xiàn)有電子商務(wù)平臺(tái)的集成，完成了企業(yè)數(shù)據(jù)查詢與推薦的實(shí)際部署運(yùn)行，達(dá)到了計(jì)算（存儲(chǔ)）可擴(kuò)展性、數(shù)據(jù)處理實(shí)時(shí)性等設(shè)計(jì)要求，充分驗(yàn)證了本研究的理論成果的可用性，提升了企業(yè)的服務(wù)質(zhì)量和經(jīng)濟(jì)效益。四、合同任務(wù)指標(biāo)完成情況在江蘇省產(chǎn)學(xué)研前瞻性研究項(xiàng)目的資助下，東南大學(xué)聯(lián)合焦點(diǎn)科技股份有限公司開展了緊密的產(chǎn)學(xué)研合作研究，取得了以下研究成果：1） 主要的技術(shù)指標(biāo)完成情況深入研究了基于圖結(jié)構(gòu)的電子商務(wù)大數(shù)據(jù)處理技術(shù):提出了大規(guī)模圖數(shù)據(jù)處理應(yīng)用執(zhí)行模式的抽取和分析機(jī)制。結(jié)合大規(guī)模圖數(shù)據(jù)所具有的內(nèi)在邏輯關(guān)系，設(shè)計(jì)面向上層應(yīng)用感知的多指標(biāo)圖分割算法，實(shí)現(xiàn)了復(fù)雜電子商務(wù)數(shù)據(jù)的快速組織與劃分。在考慮子圖間邏輯關(guān)系的前提下降低子圖間耦合性，進(jìn)而提出通用分布式圖查詢算法。深入研究了電子商務(wù)大數(shù)據(jù)流式處理模型及相關(guān)技術(shù):針對(duì)電子商務(wù)多源數(shù)據(jù)聯(lián)合分析及個(gè)性化推薦的實(shí)時(shí)性及時(shí)效性需求，建立了基于數(shù)據(jù)本地化的流式處理模型，提出了數(shù)據(jù)本地化及中間數(shù)據(jù)分發(fā)流水線技術(shù)，基于KVBTree的內(nèi)存管理技術(shù)。深入研究了面向電子商務(wù)大數(shù)據(jù)處理的自動(dòng)分級(jí)存儲(chǔ)架構(gòu)及數(shù)據(jù)組織與管理技術(shù):針對(duì)電子商務(wù)大數(shù)據(jù)處理特性，以及不同的存儲(chǔ)設(shè)備在性能、容量、價(jià)格上的不同，建立了采用異構(gòu)性感知的動(dòng)態(tài)副本放置策略的大規(guī)模異構(gòu)Hadoop系統(tǒng)模型，并提出Hadoop集群系統(tǒng)節(jié)點(diǎn)異構(gòu)性感知算法、基于熱度感知的數(shù)據(jù)副本復(fù)制機(jī)制。東南大學(xué)和焦點(diǎn)科技股份有限公司結(jié)合電子商務(wù)的特點(diǎn)，基于所研發(fā)的大數(shù)據(jù)分析處理技術(shù)和東南大學(xué)云計(jì)算平臺(tái)，設(shè)計(jì)并研制出支持電子商務(wù)應(yīng)用的大數(shù)據(jù)處理平臺(tái)。通過將該系統(tǒng)集成進(jìn)焦點(diǎn)科技股份有限公司現(xiàn)有電子商務(wù)平臺(tái)進(jìn)行應(yīng)用及測(cè)試，證明本項(xiàng)目所研發(fā)的支持電子商務(wù)應(yīng)用的大數(shù)據(jù)處理平臺(tái)具有可擴(kuò)展性強(qiáng)、數(shù)據(jù)訪問延遲低、支持TB級(jí)數(shù)據(jù)處理等特點(diǎn)。（1）在基于圖結(jié)構(gòu)的電子商務(wù)大數(shù)據(jù)處理方面，本系統(tǒng)支持十億用戶規(guī)模的圖數(shù)據(jù)數(shù)據(jù)，并可近實(shí)時(shí)（秒級(jí)）地商品推薦。本系統(tǒng)可擴(kuò)展性強(qiáng)，與單機(jī)環(huán)境相比，4臺(tái)服務(wù)器以上的集群環(huán)境的加速比大于2.5；（2）在電子商務(wù)大數(shù)據(jù)流式處理方面，本系統(tǒng)支持基于流式處理的電子商務(wù)數(shù)據(jù)在線聚集操作，可對(duì)TB級(jí)電子商務(wù)數(shù)據(jù)近實(shí)時(shí)（秒級(jí)）地進(jìn)行分析處理。相較于Hadoop等采用Block方式處理數(shù)據(jù)的模型，流式數(shù)據(jù)數(shù)據(jù)處理的加速比大于2；（3）在面向電子商務(wù)大數(shù)據(jù)處理的自動(dòng)分級(jí)存儲(chǔ)架構(gòu)及數(shù)據(jù)組織與管理方面，支持大規(guī)模Hadoop集群節(jié)點(diǎn)的異構(gòu)性感知，可形成多層級(jí)的虛擬存儲(chǔ)域，能夠完成PB級(jí)的電商大數(shù)據(jù)高效放置。對(duì)于熱點(diǎn)的電商大數(shù)據(jù)能夠在秒級(jí)范圍內(nèi)完成必要遷移，與現(xiàn)有HDFS相比，電商平臺(tái)任務(wù)的執(zhí)行效率提升了近25%；對(duì)于低價(jià)值的電商大數(shù)據(jù)，則被自適應(yīng)地遷移到低級(jí)存儲(chǔ)層級(jí)，有效提升了存儲(chǔ)空間效率，提升幅度超過30%。充分驗(yàn)證了本研究的理論成果的可用性，滿足了不斷擴(kuò)大的電子商務(wù)大數(shù)據(jù)分析處理應(yīng)用需求，提升了企業(yè)的服務(wù)質(zhì)量和經(jīng)濟(jì)效益。項(xiàng)目共申請(qǐng)發(fā)明專利9；軟件著作權(quán)1項(xiàng)；在國內(nèi)外核心期刊和會(huì)議上發(fā)表論文25篇，其中SCI收錄論文7篇，EI收錄論文24篇。項(xiàng)目培養(yǎng)博士研究生6名，碩士研究生6。焦點(diǎn)科技股份有限公司通過應(yīng)用面向電子商務(wù)的大數(shù)據(jù)存儲(chǔ)與分析技術(shù)技術(shù)，為中國制造網(wǎng)平臺(tái)的運(yùn)行提供了更好的支持。合計(jì)實(shí)現(xiàn)新增銷售580萬元，利稅233.5萬元。申請(qǐng)的國家發(fā)明專利熊潤(rùn)群，羅軍舟，東方，金嘉暉.一種云數(shù)據(jù)中心大規(guī)模異構(gòu)集群節(jié)點(diǎn)快速定量分級(jí)方法，國家發(fā)明專利，受權(quán)時(shí)間：2016.9，授理號(hào)：201610809567.2.張競(jìng)慧，董堅(jiān)，羅軍舟.一種基于日志分析的IaaS云平臺(tái)網(wǎng)絡(luò)故障定位方法及系統(tǒng)，國家發(fā)明專利，受理時(shí)間：2016.9，受理號(hào)：201610808973.7.東方，羅軍舟，張毅，王宇翔，徐曉冬.大數(shù)據(jù)環(huán)境下的流式數(shù)據(jù)處理方法，國家發(fā)明專利，授權(quán)時(shí)間：2016.6，授權(quán)號(hào)：ZL201310287554.X東方，羅軍舟，沈典.一種用于云計(jì)算環(huán)境中防范旁路攻擊虛擬機(jī)的方法，國家發(fā)明專利，受權(quán)時(shí)間：2015.4，授權(quán)號(hào)：ZL201210356355.5.東方，羅軍舟，金嘉暉.基于網(wǎng)絡(luò)帶寬估計(jì)的云計(jì)算任務(wù)調(diào)度方法，國家發(fā)明專利，授權(quán)時(shí)間：2014.12，授權(quán)號(hào)：ZL201210205574.3.東方，陳苗，羅軍舟，孟憲棟.高性能計(jì)算和云計(jì)算混合環(huán)境中的動(dòng)態(tài)資源管理方法，國家發(fā)明專利，受理時(shí)間：2014.8，受理號(hào)：201410410274.8.東方，周經(jīng)亞，羅軍舟.一種基于DHT機(jī)制的云存儲(chǔ)系統(tǒng)的資源動(dòng)態(tài)分配方法，國家發(fā)明專利，受理時(shí)間：2014.7，受理號(hào)：201410326861.9.東方，羅軍舟，王巍，黃彬彬.一種基于動(dòng)態(tài)定價(jià)策略的多數(shù)據(jù)中心成本優(yōu)化方法，國家發(fā)明專利，受理時(shí)間：2013.10，受理號(hào)：201310519850.8.東方，羅軍舟，施洵，朱夏，徐曉冬.電子商務(wù)環(huán)境下基于云計(jì)算處理模式的個(gè)性化推薦方法，國家發(fā)明專利，受理時(shí)間：2013.10，受理號(hào)：201310287555.4軟件著作權(quán)登記證書東方，施洵，張毅，張駿雪，王宇翔，朱夏.面向電子商務(wù)環(huán)境的協(xié)同過濾推薦系統(tǒng)軟件V1.0，計(jì)算機(jī)軟件著作權(quán)，登記號(hào)：2013SR163273(與焦點(diǎn)科技股份有限公司共同申請(qǐng))論文發(fā)表ShiJ,LuoJ,DongF,etal.Elasticresourceprovisioningforscientificworkflowschedulingincloudunderbudgetanddeadlineconstraints[J].ClusterComputing,2016,19(1):167-182.ZhangJ,ChenJ,LuoJ,etal.Efficientlocation-awaredataplacementfordata-intensiveapplicationsingeo-distributedscientificdatacenters[J].TsinghuaScienceandTechnology,2016,21(5):471-481.DongF,ZhangJ,LuoJ,etal.Enablingapplication-awareflexiblegraphpartitionmechanismforparallelgraphprocessingsystems[J].ConcurrencyandComputation:PracticeandExperience,2016.ShenD,LuoJ,DongF,etal.Stochasticmodelingofdynamicright-sizingforenergy-efficiencyinclouddatacenters[J].FutureGenerationComputerSystems,2015,48:82-95.ZhangJ,LuoJ,DongF.Scientificworkflowschedulinginnon-dedicatedheterogeneousmulticlusterwithadvancereservations[J].IntegratedComputer-AidedEngineering,2015,22(3):261-280.ZhangJ,WangM,LuoJ,etal.Towardsoptimizedschedulingfordata-intensivescientificworkflowinmultipledatacenterenvironment[J].ConcurrencyandComputation:PracticeandExperience,2015,27(18):5606-5622.XiongR,LuoJ,DongF.OptimizingdataplacementinheterogeneousHadoopclusters[J].ClusterComputing,2015,18(4):1465-1480.DongF,LuoJ,LiuB.APerformanceFluctuation-AwareStochasticSchedulingMechanismforWorkflowApplicationsinCloudEnvironment[J].IEICETransactionsonInformationandSystems,Vol.E97-D,No.10,October2014,2641-2651WangY,LuoJ,SongA,etal.OATS:onlineaggregationwithtwo-levelsharingstrategyincloud[J].DistributedandParallelDatabases,2014,32(4):467-505.LuoJ,JinJ,ShanF.StandardizationofLow-LatencyTCPwithExplicitCongestionNotification:ASurvey[J],IEEEInternetComputing,vol.21,no.1,pp.48-55,Jan.-Feb.2017.ShenD,LuoJ,DongF,etal.AppBag:Application-AwareBandwidthAllocationforVirtualMachinesinCloudEnvironment[C]//ParallelProcessing(ICPP),201645thInternationalConferenceon.IEEE,2016:21-30.ShiJ,DongF,ZhangJ,etal.Resourceprovisioningoptimizationforservicehostingoncloudplatform[C].ComputerSupportedCooperativeWorkinDesign(CSCWD),2016IEEE20thInternationalConferenceon.IEEE,2016:340-345.LiuZ,DongF,ZhangJ,etal.AClient-SideDirectoryPrefetchingMechanismforGlusterFS[C].IEEEInternationalConferenceonSystems,Man,andCybernetics(SMC),2016:3942-3947.ZhouP,Dongf,XuZ,etal.ECStor:AFlexibleEnterprise-orientedCloudStorageSystembasedonGlusterFS[C].2016FourthInternationalConferenceonAdvancedCloudandBigData.IEEE,2016:13-18.JinJ,KhemmaratS,GaoL,etal.Queryingweb-scaleinformationnetworksthroughboundingmatchingscores[C].Proceedingsofthe24thInternationalConferenceonWorldWideWeb.ACM,2015:527-537.YangY,DongF,LuoJ.ComputingserviceSkyeubeforwebserviceselection[C].ComputerSupportedCooperativeWorkinDesign(CSCWD),2015IEEE19thInternationalConferenceon.IEEE,2015:614-619.ShiJ,DongF,ZhangJ,etal.Two-PhaseOnlineVirtualMachinePlacementinHeterogeneousCloudDataCenter[C].Systems,Man,andCybernetics(SMC),2015IEEEInternationalConferenceon.IEEE,2015:1369-1374.ZhangJ,DongF,ShenD,etal.Superblock:AnApplication-AwareDynamicPartitionStrategyforLarge-ScaleGraph[C].2015ThirdInternationalConferenceonAdvancedCloudandBigData.IEEE,2015:167-174.WangY,LuoJ,SongA,etal.ASampling-BasedHybridApproximateQueryProcessingSystemintheCloud[C].201443rdInternationalConferenceonParallelProcessing.IEEE,2014:291-300.JinJ,KhemmaratS,GaoL,etal.Adistributedapproachfortop-kstarqueriesonmassiveinformationnetworks[C].201420thIEEEInternationalConferenceonParallelandDistributedSystems(ICPADS).IEEE,2014:9-16.ShiJ,LuoJ,DongF,etal.Abudgetanddeadlineawarescientificworkflowresourceprovisioningandschedulingmechanismforcloud[C].ComputerSupportedCooperativeWorkinDesign(CSCWD),Proceedingsofthe2014IEEE18thInternationalConferenceon.IEEE,2014:672-677.ZhangJ,DongF,ShenD,etal.Gametheorybaseddynamicresourceallocationforhybridenvironmentwithcloudandbigdataapplication[C].2014IEEEInternationalConferenceonSystems,Man,andCybernetics(SMC).IEEE,2014:1128-1133.ShenD,DongF,ZhangJ,etal.Cost-EffectiveVirtualMachineImageReplicationManagementforCloudDataCenters[C].HighPerformanceComputingandCommunications,2014IEEE6thIntlSymponCyberspaceSafetyandSecurity,2014IEEE11thIntlConfonEmbeddedSoftwareandSyst(HPCC,CSS,ICESS),2014IEEEIntlConfon.IEEE,2014:229-236.XiongR,LuoJ,DongF.SLDP:ANovelDataPlacementStrategyforLarge-ScaleHeterogeneousHadoopCluster[C].2014SecondInternationalConferenceonAdvancedCloudandBigData(CBD),IEEE,2014:9-17.ChenM,DongF,LuoJ.DynamicresourcemanagementinaHPCandCloudhybridenviron