大數(shù)據(jù)理論新工科建設(shè)之路·數(shù)據(jù)科學與大數(shù)據(jù)系列公安大數(shù)據(jù)應(yīng)用基礎(chǔ)第一章01大數(shù)據(jù)的概念大數(shù)據(jù)的定義大數(shù)據(jù)這個概念是從最先經(jīng)歷信息爆炸的學科，如天文學和基因?qū)W中發(fā)展而來的。由于需要處理的數(shù)據(jù)量過大，且需要的空間已經(jīng)超過了一般計算機在處理數(shù)據(jù)時所能使用的內(nèi)存，因此必須改進處理數(shù)據(jù)的工具。大數(shù)據(jù)不僅指數(shù)據(jù)的體量大，而且強調(diào)數(shù)據(jù)類型繁多、價值密度低、處理速度快。大數(shù)據(jù)的概念01020304第一次信息革命創(chuàng)造了語言。人類歷史上經(jīng)歷過四次信息革命：第二次信息革命創(chuàng)造了文字。第三次信息革命發(fā)明了造紙與印刷術(shù)。第四次信息革命實現(xiàn)了電子通信(信息化)。大數(shù)據(jù)的概念大數(shù)據(jù)的本質(zhì)從本體論角度來看，信息可定義為事物的存在方式和運動狀態(tài)的表現(xiàn)形式。信息數(shù)據(jù)是指能夠客觀反映事實的數(shù)字和資料，可定義為有意義的實體，它涉及事物的存在形式，是表達知識的字符集合。數(shù)據(jù)數(shù)據(jù)是信息的載體，信息是有背景的數(shù)據(jù)，而知識是經(jīng)過人類的歸納和整理，最終呈現(xiàn)出規(guī)律的信息。數(shù)據(jù)與信息大數(shù)據(jù)的概念依據(jù)來源，大數(shù)據(jù)一般分為4類：1)科研數(shù)據(jù)。2)互聯(lián)網(wǎng)數(shù)據(jù)。3)感知數(shù)據(jù)。4)企業(yè)數(shù)據(jù)。大數(shù)據(jù)的概念大數(shù)據(jù)的分類依據(jù)使用主體：1)政府大數(shù)據(jù)。2)企業(yè)大數(shù)據(jù)。3)個人大數(shù)據(jù)。大數(shù)據(jù)的概念體量巨大，種類繁多互聯(lián)網(wǎng)搜索引擎的發(fā)展、電子商務(wù)交易平臺的覆蓋及微博、微信等社交媒體的興起產(chǎn)生了大量的數(shù)據(jù)。開放，容易獲取采集大數(shù)據(jù)不是為了存儲，而是為了分析。重視社會預測預測是大數(shù)據(jù)的主要應(yīng)用之一。在大數(shù)據(jù)時代，預見行業(yè)未來的能力成為企業(yè)追求的目標?！啊贝髷?shù)據(jù)的概念大數(shù)據(jù)的特征重視發(fā)現(xiàn)而非實證實證研究強調(diào)建立理論假設(shè)，設(shè)定范圍、隨機抽樣，定量調(diào)查采集數(shù)據(jù)，進而證偽或證實理論假設(shè)。非結(jié)構(gòu)化數(shù)據(jù)越來越多數(shù)據(jù)挖掘重視未知的有效信息和實用知識。非結(jié)構(gòu)化數(shù)據(jù)越來越多，是大數(shù)據(jù)發(fā)展的突出特征。大數(shù)據(jù)的概念百度連接了信息與用戶，阿里巴巴連接了商品與消費者，騰訊連接了人與人，無數(shù)的連接都是建立在數(shù)據(jù)基礎(chǔ)上的，大數(shù)據(jù)具有強大的連接功能。連接功能大數(shù)據(jù)將會反饋所連接的事物、空間和時間，通過數(shù)據(jù)記錄反饋物體的移動，人們的個人愛好、行為習慣、活動軌跡、運動規(guī)律等。反饋功能大數(shù)據(jù)能夠揭示事物內(nèi)部和外部的相關(guān)性，這些相關(guān)性揭示了事物的真相和規(guī)律，將會為個人、企業(yè)、社會帶來巨大價值。揭示功能大數(shù)據(jù)的概念大數(shù)據(jù)的功能大數(shù)據(jù)處理的基本流程為：在合適工具的輔助下，對異構(gòu)數(shù)據(jù)進行采集，將結(jié)果按照一定的標準統(tǒng)一存儲，利用合適的數(shù)據(jù)挖掘技術(shù)對存儲的數(shù)據(jù)進行分析，從中提取有價值的信息，并利用恰當?shù)姆绞綄⒔Y(jié)果展示給終端用戶。大數(shù)據(jù)處理的基本流程大數(shù)據(jù)的概念02大數(shù)據(jù)的發(fā)展大數(shù)據(jù)的發(fā)展現(xiàn)狀21世紀，移動通信網(wǎng)絡(luò)從第二代逐漸發(fā)展到了第三代、第四代及第五代(5G)。正是由于計算機、互聯(lián)網(wǎng)、移動通信網(wǎng)絡(luò)的迅速發(fā)展，網(wǎng)絡(luò)中的數(shù)據(jù)量越來越龐大?！都~約時報》2012年2月的一篇專欄稱，“大數(shù)據(jù)”時代已經(jīng)來臨，在商業(yè)、經(jīng)濟及其他領(lǐng)域中，管理者的決策越來越依靠數(shù)據(jù)，而不再只依靠經(jīng)驗和直覺。在2013年5月舉行的慶祝以太網(wǎng)誕生40周年的大會上，博通公司CTO亨利在接受采訪時表示，摩爾定律很快就要走向終結(jié)。大數(shù)據(jù)的發(fā)展數(shù)據(jù)的資源化數(shù)據(jù)的資源化是指大數(shù)據(jù)將成為社會和企業(yè)關(guān)注的重要戰(zhàn)略資源，并成為各方競爭的新焦點。與云計算的深度結(jié)合大數(shù)據(jù)離不開云計算，云計算為大數(shù)據(jù)提供了可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的前提之一?？茖W理論的突破隨著大數(shù)據(jù)的快速發(fā)展，大數(shù)據(jù)很有可能掀起繼電子計算機和互聯(lián)網(wǎng)之后的新一輪技術(shù)革命。“”大數(shù)據(jù)的發(fā)展大數(shù)據(jù)的發(fā)展趨勢2016年，“數(shù)據(jù)科學與大數(shù)據(jù)”成為一級本科專業(yè)，催生了一批與之相關(guān)的新的就業(yè)崗位。數(shù)據(jù)共享平臺的成立大數(shù)據(jù)作為一種重要的戰(zhàn)略資產(chǎn)，已滲透到各行業(yè)的各個領(lǐng)域中，其應(yīng)用不僅有助于企業(yè)經(jīng)營，還有助于推動國民經(jīng)濟的發(fā)展。推動各行業(yè)發(fā)展哈佛大學教授拉塔尼婭·斯威尼的研究顯示，只要知道一個人的年齡、性別和郵編，并與公開的數(shù)據(jù)庫進行交叉對比，便可識別出87%的人的身份。隱私問題初現(xiàn)大數(shù)據(jù)的發(fā)展03大數(shù)據(jù)的應(yīng)用商業(yè)智能(BusinessIntelligence，BI)和聯(lián)機分析處理(On-LineAnalyticalProcessing，OLAP)是大數(shù)據(jù)應(yīng)用的前身。目前，企業(yè)內(nèi)部大數(shù)據(jù)的應(yīng)用，可以在多個方面提升企業(yè)的生產(chǎn)效率和競爭力。在金融領(lǐng)域，企業(yè)內(nèi)部大數(shù)據(jù)的應(yīng)用發(fā)展迅速。企業(yè)內(nèi)部大數(shù)據(jù)大數(shù)據(jù)的應(yīng)用在線社交網(wǎng)絡(luò)大數(shù)據(jù)在線社交網(wǎng)絡(luò)是一種在信息網(wǎng)絡(luò)上由社會個體集合及個體之間的連接關(guān)系構(gòu)成的社會性結(jié)構(gòu)。在線社交網(wǎng)絡(luò)大數(shù)據(jù)主要來自即時消息、社交媒體、共享空間等應(yīng)用。由于在線社交網(wǎng)絡(luò)大數(shù)據(jù)往往代表了人類的主要活動，因此對此類數(shù)據(jù)的分析得到了更多關(guān)注。大數(shù)據(jù)的應(yīng)用在線社交網(wǎng)絡(luò)大數(shù)據(jù)分析是從網(wǎng)絡(luò)結(jié)構(gòu)、群體互動和信息傳播3個維度上進行的，其基于數(shù)學、信息學、社會學、管理學等多個學科的融合理論和方法，為理解人類社會中存在的各種關(guān)系提供了一種可計算的分析方法。目前，在線社交網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用包括網(wǎng)絡(luò)輿情分析、網(wǎng)絡(luò)情報收集與分析、社會化營銷、政府決策支持、在線教育等。大數(shù)據(jù)的應(yīng)用01020304在線社交網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用可以從以下3個方面幫助我們了解人的行為，掌握社會和經(jīng)濟活動的變化規(guī)律。前期警告：通過監(jiān)測用戶使用電子設(shè)備及服務(wù)時出現(xiàn)的異常，在出現(xiàn)危機時更快速地應(yīng)對。實時監(jiān)控：通過對用戶當前行為、情感和意愿等方面的監(jiān)控，為政策和方案的制定提供準確的信息。實時反饋：在實時監(jiān)控的基礎(chǔ)上，針對某些社會活動獲得群體的反饋信息。大數(shù)據(jù)的應(yīng)用健康醫(yī)療大數(shù)據(jù)是復雜數(shù)據(jù)，其蘊涵的信息價值很高，對其進行有效的存儲、處理、查詢、分析和應(yīng)用，可以開發(fā)出巨大的潛在價值，對改善人類健康狀況意義重大。健康醫(yī)療大數(shù)據(jù)大數(shù)據(jù)的應(yīng)用2009年，谷歌比美國疾病控制與預防中心提前1～2周預測到了甲型HIN1流感的爆發(fā)，此事震驚了醫(yī)學界和計算機領(lǐng)域的科學家。谷歌正是借助大數(shù)據(jù)技術(shù)從用戶的相關(guān)搜索中預測到流感的爆發(fā)的。2020年，“百度預測”上線了“疾病預測”功能，借助用戶搜索預測疾病的爆發(fā)。其策略分為主動收集和被動收集兩種，被動收集利用用戶周期性提交的數(shù)據(jù)，分析疾病的當前狀況和趨勢，而主動收集則利用用戶在社交媒體上的動態(tài)、在搜索引擎上的記錄進行分析，預測疾病的爆發(fā)。大數(shù)據(jù)的應(yīng)用金融大數(shù)據(jù)互聯(lián)網(wǎng)金融是傳統(tǒng)金融行業(yè)與互聯(lián)網(wǎng)相結(jié)合的新興領(lǐng)域，是指借助于互聯(lián)網(wǎng)技術(shù)、移動通信技術(shù)實現(xiàn)資金融通、支付和信息中介等業(yè)務(wù)的新型金融模式?；ヂ?lián)網(wǎng)金融包括3種基本的企業(yè)組織形式：網(wǎng)絡(luò)小貸公司、第三方支付公司及金融中介公司。大數(shù)據(jù)的應(yīng)用目前在全球范圍內(nèi)?；ヂ?lián)網(wǎng)金融已經(jīng)出現(xiàn)了以下3個重要的發(fā)展趨勢。(1)移動支付替代傳統(tǒng)支付業(yè)務(wù)。(2)個人向個人(創(chuàng)業(yè)者)提供便捷借貸通道的P2P平臺替代傳統(tǒng)存貸款業(yè)務(wù)。(3)眾籌融資替代傳統(tǒng)證券業(yè)務(wù)。大數(shù)據(jù)的應(yīng)用金融大數(shù)據(jù)可以理解為反映人們金融交易行為互動的數(shù)據(jù)，金融大數(shù)據(jù)具有極大量、多維度和完備性等特征。人們根據(jù)金融大數(shù)據(jù)進行決策，需要有處理這些特征的新科技手段。在現(xiàn)已運用的新科技中，云平臺是收集和分類金融大數(shù)據(jù)的基礎(chǔ)，集約化云計算是加工和處理金融大數(shù)據(jù)的主要手段，機器學習、物聯(lián)網(wǎng)、區(qū)塊鏈等其他人工智能技術(shù)則是對多維度金融大數(shù)據(jù)進行甄別、判斷和預測的主要分析工具。大數(shù)據(jù)的應(yīng)用04常用的數(shù)據(jù)挖掘工具TableauTableau是一家成立于2004年的商業(yè)智能軟件公司，總部位于美國西雅圖。Tableau家族的產(chǎn)品包括TableauDesktop、TableauServer、TableauOnline、TableauPublic和TableauReader。Tableau是桌面系統(tǒng)中非常簡單的商業(yè)智能工具軟件，它不強迫用戶編寫定義，新的Tableau控制臺也可完全由用戶自定義配置。常用的數(shù)據(jù)挖掘工具TableauDesktop是一個桌面端分析工具，具有活躍的儀表盤和可視化數(shù)據(jù)瀏覽功能。TableauDesktopTableauServer是一個商業(yè)智能應(yīng)用程序，用于發(fā)布和管理TableauDesktop制作的儀表盤，同時也可以用于發(fā)布和管理數(shù)據(jù)源。TableauServerTableauOnline是TableauServer軟件及服務(wù)的托管版本。TableauOnline常用的數(shù)據(jù)挖掘工具TableauPublicTableauPublic是一個免費產(chǎn)品，用于將視圖分享在網(wǎng)頁、博客或者其他社交媒體上，便于互動。TableauReaderTableauReader是一個免費的桌面應(yīng)用程序，用來打開用TableauDesktop創(chuàng)建的視圖文件。常用的數(shù)據(jù)挖掘工具Excel是MicrosoftOffice中的電子表格程序。可以使用Excel創(chuàng)建工作簿，以便分析數(shù)據(jù)并做出更明智的業(yè)務(wù)決策；可以使用Excel跟蹤數(shù)據(jù)，生成數(shù)據(jù)模型，編寫公式以對數(shù)據(jù)進行計算，并以多種方式透視數(shù)據(jù)，以各種具有專業(yè)外觀的圖表展示數(shù)據(jù)。簡而言之，Excel是用來方便地處理數(shù)據(jù)的辦公軟件。Excel常用的數(shù)據(jù)挖掘工具Excel提供數(shù)據(jù)服務(wù)，已成為企業(yè)解決相關(guān)數(shù)據(jù)問題常用且實用的數(shù)據(jù)挖掘工具。Excel提供的這組數(shù)據(jù)挖掘工具，又稱“分析工具庫”，包括方差分析、直方圖分析、移動平均分析、回歸分析、抽樣分析、T-檢驗等，利用這些數(shù)據(jù)挖掘工具，可以解決企業(yè)管理、財務(wù)、運營、業(yè)務(wù)等各項工作中的許多問題。它能根據(jù)企業(yè)實際業(yè)務(wù)情況，更好地發(fā)揮數(shù)據(jù)的作用，實現(xiàn)公司內(nèi)部數(shù)據(jù)的整合及使用，提高工作效率?！啊背Ｓ玫臄?shù)據(jù)挖掘工具雖然隨著功能的不斷增強，Excel在數(shù)據(jù)處理方面有著不錯的表現(xiàn)，但對于數(shù)據(jù)體量非常巨大的大數(shù)據(jù)來說，Excel有些“力不從心”。常用的數(shù)據(jù)挖掘工具SPSSModelerSPSSModeler的前身是英國ISL(IntegralSolutionsLimited)公司開發(fā)