第一章緒論大數(shù)據(jù)管理與應(yīng)用——隨著新一代信息技術(shù)的不斷發(fā)展，數(shù)據(jù)在人們的生活中起到愈來愈重要的作用，人類社會已經(jīng)進入大數(shù)據(jù)時代。大數(shù)據(jù)時代產(chǎn)生了許多基于海量數(shù)據(jù)挖掘和分析的新模式，大數(shù)據(jù)及其相關(guān)技術(shù)對政治、經(jīng)濟以及文化領(lǐng)域產(chǎn)生了重要影響，人們的思維和決策方式同樣也迎來了巨大變革。在本章中您將了解大數(shù)據(jù)時代的主要背景，掌握數(shù)據(jù)和大數(shù)據(jù)的概念及其特征，并了解大數(shù)據(jù)管理和應(yīng)用，理解大數(shù)據(jù)管理與應(yīng)用的理論、技術(shù)和應(yīng)用體系。大數(shù)據(jù)時代數(shù)據(jù)和大數(shù)據(jù)大數(shù)據(jù)管理與應(yīng)用概述大數(shù)據(jù)管理與應(yīng)用的理論、技術(shù)和應(yīng)用體系第一章

緒論01大數(shù)據(jù)時代02數(shù)據(jù)和大數(shù)據(jù)03大數(shù)據(jù)的管理與應(yīng)用概述04大數(shù)據(jù)管理與應(yīng)用的理論技術(shù)和應(yīng)用體系云計算、物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)、社交媒體等新型信息技術(shù)和應(yīng)用模式快速發(fā)展，信息技術(shù)與人類世界的各個領(lǐng)域相互滲透，不斷融合，數(shù)據(jù)成為人類生產(chǎn)活動必不可少的一部分。人類社會已經(jīng)邁入一個新的時代——大數(shù)據(jù)時代。麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。如今，大數(shù)據(jù)及其相關(guān)技術(shù)受到媒體、政府以及各個行業(yè)領(lǐng)域的高度關(guān)注數(shù)據(jù)正在迅速膨脹，它決定著許多傳統(tǒng)行業(yè)的未來。根據(jù)國際權(quán)威機構(gòu)Statista的預(yù)測，到2035年，全球數(shù)據(jù)產(chǎn)生量將達到2142ZB，全球數(shù)據(jù)量的規(guī)模將會爆發(fā)式增長?；ヂ?lián)網(wǎng)數(shù)據(jù)并非單純指互聯(lián)網(wǎng)上存在的數(shù)據(jù)，還包括一些信息采集設(shè)備上傳的數(shù)據(jù)。大數(shù)據(jù)相關(guān)技術(shù)讓大量的數(shù)據(jù)成為了新的重要生產(chǎn)要素，它通過技術(shù)的創(chuàng)新與發(fā)展以及數(shù)據(jù)的全面感知、收集、分析、共享，使人們更多地基于事實與數(shù)據(jù)做出決策。社會不再僅僅依賴經(jīng)驗和慣性思維進行管理和運作，遵循數(shù)據(jù)的管理和運作模式逐漸成為社會主流。1.1大數(shù)據(jù)時代的背景大數(shù)據(jù)時代的思維變革從數(shù)據(jù)分析的角度來說，要完成從“小樣本”到“整體”的轉(zhuǎn)變，要分析與某事物相關(guān)的所有數(shù)據(jù)，而不是依靠分析少量的數(shù)據(jù)樣本。關(guān)于數(shù)據(jù)的質(zhì)量，數(shù)據(jù)精確性不再是唯一標準，多樣化、異構(gòu)的數(shù)據(jù)同樣值得分析和處理。在思維上需要產(chǎn)生轉(zhuǎn)變，不再探求難以捉摸的因果關(guān)系，轉(zhuǎn)而關(guān)注事物的相關(guān)關(guān)系。大數(shù)據(jù)時代的商業(yè)變革大數(shù)據(jù)同樣對企業(yè)競爭力甚至是行業(yè)結(jié)構(gòu)產(chǎn)生了巨大影響，大數(shù)據(jù)時代的數(shù)據(jù)將會成為企業(yè)核心競爭力的重要組成部分。大數(shù)據(jù)時代的管理變革我們需要全新的制度規(guī)范，而不是修改原有規(guī)范的適用范圍1.2大數(shù)據(jù)時代的巨大變革數(shù)據(jù)概念數(shù)據(jù)是指以定性或者定量的方式來描述事物的符號記錄，是可定義為有意義的實體，它涉及事物的存在形式。數(shù)據(jù)模型按照應(yīng)用層次和建模目的，數(shù)據(jù)模型分為三種基本類型：概念數(shù)據(jù)模型﹑邏輯數(shù)據(jù)模型和物理數(shù)據(jù)模型。需要注意數(shù)據(jù)模型的層次性。不同層次的數(shù)據(jù)模型之間存在一定的對應(yīng)關(guān)系，可以進行相互轉(zhuǎn)換2.1數(shù)據(jù)圖1-1數(shù)據(jù)模型的層次數(shù)據(jù)維度可以從三個不同維度分析數(shù)據(jù)類型及其特征。從數(shù)據(jù)的結(jié)構(gòu)化程度看，可以分為：結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)三種。2.1數(shù)據(jù)表1-1結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的區(qū)別與聯(lián)系類型含義本質(zhì)舉例結(jié)構(gòu)化數(shù)據(jù)直接可以用傳統(tǒng)關(guān)系數(shù)據(jù)庫存儲和管理的數(shù)據(jù)先有結(jié)構(gòu)，后有數(shù)據(jù)關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)無法用關(guān)系數(shù)據(jù)庫存儲和管理的數(shù)據(jù)沒有（或難以發(fā)現(xiàn)）統(tǒng)—結(jié)構(gòu)的數(shù)據(jù)語音、圖像文件等半結(jié)構(gòu)化數(shù)據(jù)經(jīng)過一定轉(zhuǎn)換處理后可以用關(guān)系數(shù)據(jù)庫存儲和管理的數(shù)據(jù)先有數(shù)據(jù)，后有結(jié)構(gòu)（或較容易發(fā)現(xiàn)其結(jié)構(gòu)）HTML、XML文件等從數(shù)據(jù)的加工程度看，分為：零次數(shù)據(jù)、一次數(shù)據(jù)、二次數(shù)據(jù)和三次數(shù)據(jù)。從數(shù)據(jù)的抽象或封裝程度看，可分為：數(shù)據(jù)、元數(shù)據(jù)和數(shù)據(jù)。對象三個層次2.1數(shù)據(jù)圖1-2數(shù)據(jù)的加工程度圖1-3

數(shù)據(jù)的封裝數(shù)據(jù)特征：數(shù)據(jù)不為人類所控制、數(shù)據(jù)具有未知性及數(shù)據(jù)具有多樣性和復(fù)雜性。大數(shù)據(jù)概念大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。（權(quán)威研究機構(gòu)Gartner）大數(shù)據(jù)，或稱巨量資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工在合理時間內(nèi)截取、管理、處理，并整理成為人類所能解讀的信息。（維基百科）用四個特征來描述大數(shù)據(jù)，即規(guī)模性（Volume）、高速性（Velocity）、多樣性（Variety）和真實性（Veracity），這些特征相結(jié)合，定義了IBM所稱的“大數(shù)據(jù)”。（IBM）大數(shù)據(jù)是一類能夠反映物質(zhì)世界和精神世界的運動狀態(tài)和狀態(tài)變化的信息資源，它具有決策有用性、安全危害性以及海量性、異構(gòu)性、增長性、復(fù)雜性和可重復(fù)開采性，一般都具有多種潛在價值。(管理的角度）2.2大數(shù)據(jù)大數(shù)據(jù)特征Volume（規(guī)模性）當數(shù)據(jù)量達到PB級以上，一般稱為“大”的數(shù)據(jù)。Variety（多樣性）數(shù)據(jù)多樣性是指大數(shù)據(jù)存在多種類型的數(shù)據(jù)，不僅包括結(jié)構(gòu)化數(shù)據(jù)，還包括非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。Value（價值密度低）在大數(shù)據(jù)中，價值密度的高低與數(shù)據(jù)總量的大小之間并不存在線性關(guān)系，有價值的數(shù)據(jù)往往被淹沒在海量無用數(shù)據(jù)之中。Velocity（高速性）大數(shù)據(jù)中所說的“速度”包括兩種—增長速度和處理速度。2.2大數(shù)據(jù)大數(shù)據(jù)的來源和產(chǎn)生方式大數(shù)據(jù)的來源信息管理系統(tǒng)：企業(yè)內(nèi)部使用的信息系統(tǒng)，包括辦公自動化系統(tǒng)、業(yè)務(wù)管理系統(tǒng)等。網(wǎng)絡(luò)信息系統(tǒng)：基于網(wǎng)絡(luò)運行的信息系統(tǒng)即網(wǎng)絡(luò)信息系統(tǒng)是大數(shù)據(jù)產(chǎn)生的重要方式，如電子商務(wù)系統(tǒng)、社交網(wǎng)絡(luò)、社會媒體、搜索引擎等都是常見的網(wǎng)絡(luò)信息系統(tǒng)。物聯(lián)網(wǎng)系統(tǒng)：物聯(lián)網(wǎng)是新一代信息技術(shù)，其核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)基礎(chǔ)上的延伸和擴展的網(wǎng)絡(luò)?？茖W(xué)實驗系統(tǒng)：主要用于科學(xué)技術(shù)研究，可以由真實的實驗產(chǎn)生數(shù)據(jù)，也可以通過模擬方式獲取仿真數(shù)據(jù)。2.2大數(shù)據(jù)大數(shù)據(jù)的來源和產(chǎn)生方式產(chǎn)生大數(shù)據(jù)的方式被動式生成數(shù)據(jù)：數(shù)據(jù)庫技術(shù)使得數(shù)據(jù)的保存和管理變得簡單，業(yè)務(wù)系統(tǒng)在運行時產(chǎn)生的數(shù)據(jù)可以直接保存到數(shù)據(jù)庫中，由于數(shù)據(jù)是隨業(yè)務(wù)系統(tǒng)運行而產(chǎn)生的，因此該階段所產(chǎn)生的數(shù)據(jù)是被動的。主動式生成數(shù)據(jù)：物聯(lián)網(wǎng)的誕生，使得移動互聯(lián)網(wǎng)的發(fā)展大大加速了數(shù)據(jù)的產(chǎn)生。例如，人們可以通過手機等移動終端，隨時隨地產(chǎn)生數(shù)據(jù)。感知式生成數(shù)據(jù)：物聯(lián)網(wǎng)的發(fā)展使得數(shù)據(jù)生成方式得以徹底的改變。例如遍布在城市各個角落的攝像頭等數(shù)據(jù)采集設(shè)備源源不斷地自動采集并生成數(shù)據(jù)。2.2大數(shù)據(jù)3.1數(shù)據(jù)生產(chǎn)要素經(jīng)濟學(xué)理論中講的生產(chǎn)要素是社會在進行生產(chǎn)活動時所需要的種種社會資源。所以要將大數(shù)據(jù)界定為資源，首先要界定其為一種生產(chǎn)要素。界定某種事物為生產(chǎn)要素，要看其在己有的經(jīng)營決策下是否參與價值創(chuàng)造，益于降低成本，提高收益率。大數(shù)據(jù)一方面有助于人們科學(xué)決策，另一方面會導(dǎo)致具體的項目活動成本以及收益的變動，可以說大數(shù)據(jù)促進了價值創(chuàng)造。所以，大數(shù)據(jù)可以被界定為一種新的生產(chǎn)要素，即大數(shù)據(jù)就是資源。隨著大數(shù)據(jù)技術(shù)與各領(lǐng)域的融合，社會對其認識也日益加深，大數(shù)據(jù)作為一種資產(chǎn)、資源已成共識。3.2大數(shù)據(jù)管理大數(shù)據(jù)資源的獲取問題正如自然資源開發(fā)和利用之前需要探測，大數(shù)據(jù)資源開發(fā)和應(yīng)用的前提也是有效地獲取。大數(shù)據(jù)資源的安全性問題豐富的原始數(shù)據(jù)涉及個人隱私和企業(yè)隱私，因此政府需要制定相應(yīng)的法律法規(guī)來保證原始數(shù)據(jù)開采的安全性，企業(yè)和個人也應(yīng)利用安全防護技術(shù)來保障數(shù)據(jù)的安全。大數(shù)據(jù)資源的所有權(quán)問題通過有效的管理機制來界定大數(shù)據(jù)資源的所有權(quán)和使用權(quán)是至關(guān)重要的管理問題。大數(shù)據(jù)資源的類型描述私有大數(shù)據(jù)（privateBigData）私有大數(shù)據(jù)是由于安全性或保密性等特殊要求限制，僅能由某些特定企業(yè)或組織所有、開發(fā)和利用的大數(shù)據(jù)資源公有大數(shù)據(jù)（publicBigData）公有大數(shù)據(jù)是可以由公眾共享的大數(shù)據(jù)資源，公有大數(shù)據(jù)可以為大數(shù)據(jù)相關(guān)科學(xué)研究的開展提供便利混合大數(shù)據(jù)（hybridBigData）混合大數(shù)據(jù)介于私有大數(shù)據(jù)和公有大數(shù)據(jù)之間，可以通過交易、購買或轉(zhuǎn)讓等方式在私有大數(shù)據(jù)和公有大數(shù)據(jù)之間轉(zhuǎn)換表1-2不同類型大數(shù)據(jù)資源的簡要描述3.2大數(shù)據(jù)管理大數(shù)據(jù)資源的產(chǎn)業(yè)鏈發(fā)展問題大數(shù)據(jù)資源的完整產(chǎn)業(yè)鏈包括數(shù)據(jù)的采集、存儲、挖掘、管理、交易、應(yīng)用和服務(wù)等。大數(shù)據(jù)資源產(chǎn)業(yè)鏈的發(fā)展還會催生新的產(chǎn)業(yè)，如大數(shù)據(jù)資源的交易會促使以大數(shù)據(jù)資源經(jīng)營為主營業(yè)務(wù)的大數(shù)據(jù)資源中間商和供應(yīng)商的出現(xiàn)。對大數(shù)據(jù)產(chǎn)業(yè)發(fā)展問題的研究是實現(xiàn)大數(shù)據(jù)潛在商業(yè)價值的重要環(huán)節(jié)，而大數(shù)據(jù)產(chǎn)業(yè)發(fā)展中面臨著一系列比傳統(tǒng)商業(yè)環(huán)境下更復(fù)雜的優(yōu)化問題、決策問題、預(yù)測問題和評估問題等。3.3大數(shù)據(jù)應(yīng)用大數(shù)據(jù)在制造領(lǐng)域的應(yīng)用在制造業(yè)大規(guī)模定制中的應(yīng)用包括數(shù)據(jù)采集、數(shù)據(jù)管理、訂單管理、智能化制造、定制平臺等。大數(shù)據(jù)在商務(wù)領(lǐng)域的應(yīng)用大數(shù)據(jù)時代的電子商務(wù)，經(jīng)營模式由傳統(tǒng)的管理化的運營模式變?yōu)橐孕畔橹黧w的數(shù)據(jù)化運營模式。大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用信用評價、風(fēng)控管理、客戶畫像和精準營銷等。大數(shù)據(jù)在醫(yī)療領(lǐng)域的應(yīng)用不僅可以實現(xiàn)對流行疾病的爆發(fā)趨勢的預(yù)測，也能夠為患者提供更加便利的服務(wù)。大數(shù)據(jù)在能源領(lǐng)域的應(yīng)用將電力、石油、燃氣等能源領(lǐng)域數(shù)據(jù)進行綜合采集、處理、分析與應(yīng)用。大數(shù)據(jù)在政府管理領(lǐng)域的應(yīng)用政府公共服務(wù)的效率提高，政府向民眾提供的服務(wù)更加優(yōu)質(zhì)、更加高效。4.1大數(shù)據(jù)管理與應(yīng)用的理論體系大數(shù)據(jù)管理與應(yīng)用工作的理論體系，以統(tǒng)計、領(lǐng)域知識和機器學(xué)習(xí)為基礎(chǔ)和引領(lǐng)，同時依靠相應(yīng)的存儲、計算和網(wǎng)絡(luò)平臺，對內(nèi)部和外部的各類大數(shù)據(jù)和信息進行采集、管理和分析，以創(chuàng)造的洞察，并形成數(shù)據(jù)可視化展示，為相關(guān)人員提供支持。圖1-4大數(shù)據(jù)管理與應(yīng)用的理論體系4.2