大數(shù)據與數(shù)據挖掘第二部分大數(shù)據大數(shù)據概念大數(shù)據行業(yè)應用數(shù)據分析與挖掘大數(shù)據技術大數(shù)據體系數(shù)據的大小物理屬性的數(shù)據公斤、公里、升等信息屬性的數(shù)據位(Bit)是量度信息的基本單位，只有0、1兩種二進制狀態(tài)。8位(bit)組成一個字節(jié)(1Byte，8bit)，能夠容納一個英文字符，而一個漢字需要兩個字節(jié)(2Byte，16bit)的存儲空間。一頁書籍：10KB一張低分辨率照片：100KB一次胸透視：10MB一張CD光盤：500MB一部高質量電影：1GB大數(shù)據何為大？—數(shù)據度量1Byte=8bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes練習題3PB=(?)GB假設《紅樓夢》含標點87萬字（不含標點853509字），1GB約等于（？）部紅樓夢？1TB約等于（？）部？美國國會圖書館藏書（151,785,778冊）（2011年4月：收錄數(shù)據235TB），1EB=（？）倍美國國會圖書館存儲的信息量大數(shù)據時代的到來主要有以下一些原因硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發(fā)展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯(lián)網大數(shù)據時代的到來主要有以下一些原因硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發(fā)展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯(lián)網大數(shù)據時代的到來主要有以下一些原因硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發(fā)展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯(lián)網大數(shù)據時代的到來主要有以下一些原因硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發(fā)展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯(lián)網大數(shù)據時代的到來主要有以下一些原因硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發(fā)展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯(lián)網大數(shù)據時代的到來主要有以下一些原因硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發(fā)展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯(lián)網大數(shù)據時代的到來主要有以下一些原因硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發(fā)展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯(lián)網練習題促進大數(shù)據技術到來的主要因素有那些？大數(shù)據時代的到來主要是由于網上的數(shù)據量大規(guī)模增加（）大數(shù)據不僅是網絡業(yè)的未來，而且是整個社會和經濟發(fā)展的未來。早期的大規(guī)模數(shù)據應用文本資料的數(shù)字化將文本資料轉化成數(shù)字信息存儲，可進行搜索，傳播。亞馬遜數(shù)字圖書館文本資料的數(shù)字化亞馬遜的數(shù)字圖書館地理方位的數(shù)字化對地理位置的數(shù)據化需要滿足一些前提條件：需要能精確地測量相關區(qū)域內的每一塊地方；需要一套標準的標記體系；需要收集和記錄數(shù)據的工具。簡而言之，就是地理范圍、標準、工具或者說量化、標準化、收集。只有具備了這些，才能把位置信息當成數(shù)據來存儲和分析。莫里斯航海圖表

UPS的快速定位系統(tǒng)UPS快遞多效地利用了地理定位數(shù)據。為了使總部能及時了在車輛的位置和預防引擎故障，它的貨車上裝有傳感器、無線適配器和GPS。這些設備方便了公司監(jiān)督管理員工并優(yōu)化行車線路。UPS為貨車定制的最佳行車路徑是根據過去的行車經驗總結而來的。設計了盡量少左轉的路線，因為左轉要求貨車在交叉路口穿過去，所以更容易出事故。而且，貨車往往需要等待一會兒才能左轉，也會更耗油，因此，減少左轉使得行車的安全性和效率都得到了大幅提升。社交網絡的發(fā)展簡單地說，社交網絡是在互聯(lián)網上與其他人相聯(lián)系的一個平臺。社交網絡站點通常圍繞用戶的基本信息而運作，用戶基本信息是指有關用戶喜歡的事、不喜歡的事、興趣、愛好、學校、職業(yè)或任何其他共同點的集合。通常，這些站點提供不同級別的隱私控制。社交網絡的目標是，通過一個或多個共同點將一些人相互聯(lián)系起來而建立一個群組。國外：Facebook,twitterFacebook2012年擁有大約6.29億用戶，他們通過上千億的朋友關系網相互連接。這個巨大的社交網絡覆蓋了大約10%的全球總人口。國內：新浪微博，微信，人人網社交網絡的理論基礎1967年，哈佛大學的心理學教授米爾格倫(1934～1984)創(chuàng)立了六度分割理論，簡單地說：“你和任何一個陌生人之間所間隔的人不會超過六個，也就是說，最多通過六個人你就能夠認識任何一個陌生人?！卑凑樟确指衾碚摚總€個體的

社交圈都不斷放大，最后成為一個大型網絡。這是社會性網絡（Social

Networking）的早期理解。我國社交網絡的發(fā)展E-mail點對點人與人之間可以通過電子郵件交流BBS點對面BBS將點對點形式演變?yōu)辄c對面，降低交流成本。實現(xiàn)了個人的分散信息向可共享的聚合信息的進步。天涯、貓撲、西祠胡同等產品都是BBS時代的典型企業(yè)。2006年年以前，資本主要關注BBS及博客形態(tài)的社交網絡產品，但是后期來看，這類企業(yè)的發(fā)展多不盡人意。娛樂化社交網絡2002年，LinkedIn成立;2003年，運用豐富的多媒體個性化空間吸引注意力的Myspace成立;2004年，復制線下真實人際關系來到線上低成本管理的Facebook成立中國社交網絡產品相也繼出現(xiàn)，如2005年成立的人人網、2008年成立的開心網。微信息社交網絡時代

2009年8月，新浪推出微博產品，用戶

通過推介及自行搜索等方式構建自己的朋友圈，這種產品迅速聚合了海量的用戶群，當然也吸引了眾多業(yè)者(如騰訊、網易、盛大)的追隨。這種模式也再次將廣義社交網絡推向投資人視野。

隨著移動互聯(lián)網的發(fā)展，微信息社交產品逐漸與位置服務等移動特性相結合，相繼出現(xiàn)微信等移動客戶端產品。垂直社交網絡應用時代

垂直社交網絡主要是與游戲、電子商務等相結合，是社交網絡探究商業(yè)模式的有利嘗試。清科研究中心預計，垂直社交將成為社交網絡未來發(fā)展的主要方向。根據“社交網絡分析之父”貝爾納多·哈柏曼（BernardoHuberman）的分析，社交網絡中單一主題出現(xiàn)的頻率可以用來預測很多事情，比如好萊塢的票房收入。他和一位在惠普實驗室工作的同事開發(fā)了一個程序，可以用來監(jiān)聽微博的發(fā)布頻率，基于此，他們就能預測一部電影的成敗，這往往比其他傳統(tǒng)評估預測方法還要準確。網絡搜索技術的發(fā)展Google大數(shù)據的產生供應鏈原始材料供應商11級批發(fā)零售商1

半成品/成品供應商1核心企業(yè)2級批發(fā)零售商1原始材料供應商21級批發(fā)零售商1

半成品/成品供應商22級批發(fā)零售商2…………原始采用供應商n1級批發(fā)零售商n

半成品/成品供應商n2級批發(fā)零售商n政府部門電信、稅務、銀行、工商、房產、電力、自來水等多個部門數(shù)據的集成綜合電商供應商、客戶、商戶、物流叫車出租車、客戶商旅/票務客戶、航空公司、旅店、飯店等哪些屬于大數(shù)據的研究范疇大數(shù)據熱反映出人們在猜測追尋下一個大創(chuàng)新交通數(shù)據？社交數(shù)據？電子商務數(shù)據？供應鏈數(shù)據？企業(yè)經營管理數(shù)據？數(shù)據大不等于大數(shù)據現(xiàn)有設備，技術，方法所能處理的不是大數(shù)據數(shù)據挖掘，精細化運營，精準廣告和個性化服務推廣不是未來大數(shù)據服務商業(yè)模式的主要部分大數(shù)據的特征多樣性(Variety)數(shù)量巨大(Volume)速度快(Velocity)價值密度低(Value)大數(shù)據的描述性定義多樣性數(shù)據來源多樣性—超出一種服務，一個公司，一個地區(qū)數(shù)據種類多樣性—文字，語音，圖表，圖片，視頻數(shù)據對象多樣性—個人，商業(yè)，社會，自然界大數(shù)據的多樣性越高，潛在價值就越大大數(shù)據的操作定義數(shù)量以TB為基本計量單位數(shù)據間關系眾多，結構復雜，變化多端大數(shù)據的體量越大，潛在價值就越大大數(shù)據的操作定義傳輸速度快處理的數(shù)據是TB級代替了GB級，“超大規(guī)模數(shù)據”和“海量數(shù)據”也有規(guī)模大的特點，但大數(shù)據更強調數(shù)據的快速動態(tài)變化，形成流式數(shù)據，數(shù)據流動的速度快到難以用傳統(tǒng)的系統(tǒng)去處理。價值密度低數(shù)據量呈指數(shù)增長的同時，隱藏在海量數(shù)據的有用信息卻沒有相應比例增長，反而使我們獲取有用信息的難度加大。以視頻為例，連續(xù)的監(jiān)控過程，可能有用的數(shù)據僅有一兩秒傳統(tǒng)數(shù)據與大數(shù)據的區(qū)別傳統(tǒng)數(shù)據硬件條件IBM

System

x3100通過4個DIMM

插槽，實現(xiàn)512MB或1

GB/8

GB

DDR

II

667

MHz的內存容量可掛6個500G外部存儲建立服務器矩陣后容量可增加需求：騰訊qq郵箱，騰訊宣稱有7億多注冊賬號，有3億多活躍賬號，平均每人100G空間

傳統(tǒng)數(shù)據傳統(tǒng)的數(shù)據采集來源單一，且存儲、管理和分析數(shù)據量也相對較小，大多采用關系型數(shù)據庫和并行數(shù)據倉庫即可處理。傳統(tǒng)的數(shù)據處理方法是以處理器為中心，而大數(shù)據環(huán)境下，需要采取以數(shù)據為中心的模式，減少數(shù)據移動帶來的開銷。因此，傳統(tǒng)的數(shù)據處理方法，已經不能適應大數(shù)據的需求！傳統(tǒng)數(shù)據與大數(shù)據的區(qū)別傳統(tǒng)數(shù)據與大數(shù)據的區(qū)別傳統(tǒng)數(shù)據處理結構化數(shù)據結構化數(shù)據，簡單來說就是數(shù)據庫。結合到典型場景中更容易理解，比如企業(yè)ERP、財務系統(tǒng)；醫(yī)療HIS數(shù)據庫；教育一卡通；政府行政審批；其他核心數(shù)據庫等。傳統(tǒng)數(shù)據與大數(shù)據的區(qū)別世界上跟多的是半結構和非結構化數(shù)據半結構化是指數(shù)據的字段數(shù)量不固定，大小可變化的數(shù)據非結構化數(shù)據，包括視頻、音頻、圖片、圖像、文檔、文本等形式。具體到典型案例中，像是醫(yī)療影像系統(tǒng)、教育