1、信息技術(shù)部,大數(shù)據(jù)與NOSql概述 (2016年12月18日),1,學(xué)習(xí)交流PPT,主要內(nèi)容,大數(shù)據(jù)概述 大數(shù)據(jù)的定義 大數(shù)據(jù)的4V特征 大數(shù)據(jù)的系統(tǒng)要求 大數(shù)據(jù)的典型架構(gòu) 大數(shù)據(jù)的應(yīng)用 大數(shù)據(jù)的發(fā)展,2,學(xué)習(xí)交流PPT,主要內(nèi)容,Nosql概述 什么是NoSQL NoSQL的優(yōu)勢和不足 NoSQL的CAP理論實現(xiàn) NoSQL數(shù)據(jù)模型及分類,3,學(xué)習(xí)交流PPT,大數(shù)據(jù)的定義,大數(shù)據(jù)（big data），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。 在維克托邁爾-舍恩伯格及肯

2、尼斯庫克耶編寫的大數(shù)據(jù)時代2 中大數(shù)據(jù)指不用隨機分析法（抽樣調(diào)查）這樣捷徑，而采用所有數(shù)據(jù)進行分析處理。,4,學(xué)習(xí)交流PPT,大數(shù)據(jù)的4V特征,Volume（海量）、Variety（多樣）、Velocity（實時）、Value(價值) 海量數(shù)據(jù)量巨大，對TB、PB數(shù)據(jù)級的處理， 已經(jīng)成為基本配置。 多樣處理多樣性的數(shù)據(jù)類型，結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，能處理Web數(shù)據(jù)，能處理語音數(shù)據(jù)甚至是圖像、視頻數(shù)據(jù)。 實時在客戶每次瀏覽頁面，每次下訂單的過程中都存在，都會需要對用戶進行實時的推薦，決策已經(jīng)變得實時 價值價值密度低，商業(yè)價值高。一條數(shù)小時的監(jiān)控視頻，可能有用的數(shù)據(jù)僅有一兩秒。能從海量數(shù)據(jù)中發(fā)掘

3、出這些數(shù)據(jù)，將成為企業(yè)競爭力的重要來源。,5,學(xué)習(xí)交流PPT,大數(shù)據(jù)的系統(tǒng)需求,高新能（ High performance ） 高并發(fā)讀寫 實時動態(tài)獲取和更新數(shù)據(jù) 海量存儲（Huge Storage ） 海量數(shù)據(jù)的高效率存儲和訪問 類似SNS網(wǎng)站 高可擴展性和高可用性 （ High Scalability & High Availability ） 需要擁有快速橫向擴展能力 能提供7*24小時不間斷服務(wù),6,學(xué)習(xí)交流PPT,大數(shù)據(jù)典型架構(gòu),7,學(xué)習(xí)交流PPT,大數(shù)據(jù)典型架構(gòu),8,學(xué)習(xí)交流PPT,大數(shù)據(jù)典型架構(gòu),數(shù)據(jù)計算用時對比 離線計算 流式計算 實時計算,9,學(xué)習(xí)交流PPT,大數(shù)據(jù)的應(yīng)用,大

4、數(shù)據(jù)與互聯(lián)網(wǎng) 大交易數(shù)據(jù)：來自電商的數(shù)據(jù)，包括B2B、B2C、C2C、團購等 大交互數(shù)據(jù)：來自社交網(wǎng)絡(luò)的數(shù)據(jù)，SNS、微博等 兩類數(shù)據(jù)有效融合將是大勢所趨，更能增強企業(yè)的商業(yè)洞察力,10,學(xué)習(xí)交流PPT,大數(shù)據(jù)的應(yīng)用,大數(shù)據(jù)與金融銀行,11,學(xué)習(xí)交流PPT,大數(shù)據(jù)的應(yīng)用,大數(shù)據(jù)與金融保險,12,學(xué)習(xí)交流PPT,大數(shù)據(jù)的應(yīng)用,大數(shù)據(jù)與金融證券 股價預(yù)測 客戶關(guān)系管理 投資景氣指數(shù)分析,13,學(xué)習(xí)交流PPT,大數(shù)據(jù)的發(fā)展,14,學(xué)習(xí)交流PPT,NOSql的概念,什么是NoSQL？ NoSQL是Not Only SQL的縮寫，而不是Not SQL； 它不一定遵循傳統(tǒng)數(shù)據(jù)庫的一些基本要求，比如SQL標

5、準、ACID屬性、表結(jié)構(gòu)等等。 相比傳統(tǒng)數(shù)據(jù)庫，叫它分布式數(shù)據(jù)管理系統(tǒng)更貼切，數(shù)據(jù)存儲被簡化更靈活，重點被放在了分布式數(shù)據(jù)管理上。 NoSQL數(shù)據(jù)庫主要應(yīng)用于web2.0的大規(guī)模系統(tǒng)，具有模式靈活、最終一致性、面向海量數(shù)據(jù)、分布式、開源、水平可擴展、配置簡單、非關(guān)系型等特點。,15,學(xué)習(xí)交流PPT,NOSql的優(yōu)勢,易擴展 NoSQL數(shù)據(jù)庫種類繁多； 共同的特點都是去掉系型特性； 數(shù)據(jù)之間無關(guān)系，容易橫向擴展； 甚至可以NoSQL之間的整合。 數(shù)據(jù)模型靈活 無需事先為要存儲的數(shù)據(jù)建立字段 隨時可以存儲自定義的數(shù)據(jù)格式 高可用 NoSQL在不太影響性能的情況，就可以方便的實現(xiàn)高可用的架構(gòu)。比如C

6、assandra，HBase模型，通過復(fù)制模型也能實現(xiàn)高可用。 大數(shù)據(jù)量，高性能 NoSQL數(shù)據(jù)庫都具有非常高的讀寫性能，尤其在大數(shù)據(jù)量下，同樣表現(xiàn)優(yōu)秀。這得益于它的無關(guān)系性，數(shù)據(jù)結(jié)構(gòu)簡單。,16,學(xué)習(xí)交流PPT,NOSql的CAP原理實現(xiàn),分布式數(shù)據(jù)系統(tǒng)的CAP原理的三要素： 一致性 (Consistency) 可用性 (Availability) 分區(qū)容忍性 (Partition tolerance) NOSql的CAP原理實現(xiàn)： 在分布式系統(tǒng)中，三個要素最多只能同時實現(xiàn)兩點 考慮CP，主要是一些Key-Value數(shù)據(jù)庫，典型代表為Google的Big Table，將各列數(shù)據(jù)進行排序存儲。

7、數(shù)據(jù)值按范圍分布在多臺機器，數(shù)據(jù)更新操作有嚴格的一致性保證。 考慮AP，主要是一些面向文檔的適用于分布式系統(tǒng)的數(shù)據(jù)庫，如Amazon的Dynamo，Dynamo將數(shù)據(jù)按key進行Hash存儲。其數(shù)據(jù)分片模型有比較強的容災(zāi)性，因此它實現(xiàn)的是相對松散的弱一致性最終一致性,17,學(xué)習(xí)交流PPT,NOSql數(shù)據(jù)模型及分類,NoSQL的兩個核心理論基礎(chǔ)： Google的BigTable BigTable將各列數(shù)據(jù)進行排序存儲； 數(shù)據(jù)值按范圍分布在多臺機器； 數(shù)據(jù)更新操作有嚴格的一致性保證。 Amazon的Dynamo Dynamo使用的是另外一種分布式模型； 模型更簡單，將數(shù)據(jù)按key進行hash存儲； 其數(shù)據(jù)分片模型有比較強的容災(zāi)性； 實現(xiàn)的是相對松散的弱一致性(最終一致性)。,18,學(xué)習(xí)交流PPT,NOSql數(shù)據(jù)模型及分類,19,學(xué)習(xí)交流PPT,NOSql數(shù)據(jù)模型及分類,NOSql使用情況,20,學(xué)習(xí)交流PPT,NOSql數(shù)據(jù)模型及分類,DB-Engines 發(fā)布了 2016 年 12 月份的數(shù)據(jù)庫排名,21,學(xué)習(xí)交流PPT,NOSql數(shù)據(jù)模型及分類,綜合來看，NoSQL數(shù)據(jù)庫正在逐漸地成為數(shù)據(jù)庫領(lǐng)域中不可或缺的一