非關(guān)系型數(shù)據(jù)庫NoSql非關(guān)系型數(shù)據(jù)庫NoSql1傳統(tǒng)數(shù)據(jù)庫的瓶頸1云計算和大數(shù)據(jù)對數(shù)據(jù)庫的要求2NoSql數(shù)據(jù)庫3Redis基礎(chǔ)4目錄CONTENTS傳統(tǒng)數(shù)據(jù)庫的瓶頸1云計算和大數(shù)據(jù)對數(shù)據(jù)庫的要求2NoSql數(shù)2傳統(tǒng)數(shù)據(jù)庫的瓶頸傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問題。傳統(tǒng)數(shù)據(jù)庫的瓶頸傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站，特3高并發(fā)讀寫的性能低大規(guī)模SNS網(wǎng)站數(shù)據(jù)庫并發(fā)負(fù)載非常高，往往要達(dá)到每秒上萬次讀寫請求。關(guān)系數(shù)據(jù)庫應(yīng)付上萬次SQL查詢還勉強(qiáng)頂?shù)米。菓?yīng)付上萬次SQL寫數(shù)據(jù)請求，硬盤IO就已經(jīng)無法承受了。01高并發(fā)讀寫的性能低大規(guī)模SNS網(wǎng)站數(shù)據(jù)庫并發(fā)負(fù)載非常高，往往4支撐容量有限對于關(guān)系數(shù)據(jù)庫來說，數(shù)百萬記錄的表里查詢尚可接受。在一張上億條記錄的表里面進(jìn)行SQL查詢，效率是極其低下乃至不可忍受的02支撐容量有限對于關(guān)系數(shù)據(jù)庫來說，數(shù)百萬記錄的表里查詢尚可接受5可擴(kuò)展和可用性低傳統(tǒng)數(shù)據(jù)庫卻沒有辦法像web

server那樣簡單的通過添加更多的服務(wù)器來擴(kuò)展性能和負(fù)載能力。對于很多需要提供24小時不間斷服務(wù)的網(wǎng)站來說，對數(shù)據(jù)庫系統(tǒng)進(jìn)行升級和擴(kuò)展往往需要停機(jī)維護(hù)03可擴(kuò)展和可用性低傳統(tǒng)數(shù)據(jù)庫卻沒有辦法像web

server那6云計算和大數(shù)據(jù)對數(shù)據(jù)庫技術(shù)的需求海量數(shù)據(jù)處理：需要處理pb級別的數(shù)據(jù)量大規(guī)模集群管理：更加簡單的分布式部署極速的讀寫響應(yīng)：提高用戶的使用體驗低成本的建設(shè)和運(yùn)營：大量部署時，大幅降低軟件授權(quán)費用云計算和大數(shù)據(jù)對數(shù)據(jù)庫技術(shù)的需求海量數(shù)據(jù)處理：需要處理pb級7NoSql數(shù)據(jù)庫什么是NoSql數(shù)據(jù)庫？NoSql即NotOnlySQL是與傳統(tǒng)關(guān)系型數(shù)據(jù)庫對應(yīng)的，也可理解為norelational，即非關(guān)系型數(shù)據(jù)庫NoSql數(shù)據(jù)庫什么是NoSql數(shù)據(jù)庫？8NoSql數(shù)據(jù)庫NoSql數(shù)據(jù)庫的特征1、不需要預(yù)定義模式：即不需要先設(shè)計表結(jié)構(gòu)。他的數(shù)據(jù)格式是松散的，數(shù)據(jù)庫中的每條記錄都可能有不同的屬性和格式。2、彈性可擴(kuò)展：可以在不停機(jī)的情況下添加或刪除節(jié)點3、不支持標(biāo)準(zhǔn)SQLNoSql數(shù)據(jù)庫NoSql數(shù)據(jù)庫的特征9NoSql數(shù)據(jù)庫的分類類型常見數(shù)據(jù)庫優(yōu)點缺點應(yīng)用場景鍵值數(shù)據(jù)庫RedisMemcacheDBDynamo快速查詢存儲的數(shù)據(jù)缺少結(jié)構(gòu)化內(nèi)容緩存，處理高負(fù)載。也可充當(dāng)消息隊列列存儲數(shù)據(jù)庫HBaseBigTable查找速度快，可擴(kuò)展性強(qiáng)，更容易進(jìn)行分布式擴(kuò)展功能相對局限分布式文件系統(tǒng)文檔型數(shù)據(jù)庫MongoDBCouchDB數(shù)據(jù)結(jié)構(gòu)要求不嚴(yán)格查詢性能不高與key-value類似，不過數(shù)據(jù)庫能知道value內(nèi)容圖形(Graph)數(shù)據(jù)庫Neo4J利用圖結(jié)構(gòu)相關(guān)算法不易集群專注于構(gòu)建關(guān)系圖譜NoSql數(shù)據(jù)庫的分類類型常見數(shù)據(jù)庫優(yōu)點缺點應(yīng)用場景鍵值數(shù)據(jù)10NoSql數(shù)據(jù)庫的優(yōu)缺點數(shù)據(jù)庫類型特征優(yōu)點缺點關(guān)系型數(shù)據(jù)庫1、關(guān)系型數(shù)據(jù)庫的最大特點就是事務(wù)的一致性；2、簡單來說，關(guān)系模型指的就是二維表格模型1、容易理解：二維表結(jié)構(gòu)是非常容易理解；2、使用方便：支持SQL，可用于復(fù)雜的查詢；3、易于維護(hù)：豐富的完整性大大減低了數(shù)據(jù)冗余和數(shù)據(jù)不一致的概率；1、為了維護(hù)一致性所付出的巨大代價就是其讀寫性能比較差；2、固定的表結(jié)構(gòu)；3、高并發(fā)讀寫需求；4、海量數(shù)據(jù)的高效率讀寫；非關(guān)系型數(shù)據(jù)庫1、使用鍵值對存儲數(shù)據(jù)；2、分布式；3、非關(guān)系型數(shù)據(jù)庫嚴(yán)格上不是一種數(shù)據(jù)庫，應(yīng)該是一種數(shù)據(jù)結(jié)構(gòu)化存儲方法的集合。1、無需經(jīng)過sql層的解析，讀寫性能很高；2、基于鍵值對，數(shù)據(jù)沒有耦合性，容易擴(kuò)展；1、不提供sql支持，學(xué)習(xí)和使用成本較高；2、無事務(wù)處理，附加功能bi和報表等支持也不好；NoSql數(shù)據(jù)庫的優(yōu)缺點數(shù)據(jù)庫類型特征優(yōu)點缺點1、關(guān)系型數(shù)據(jù)11NoSql數(shù)據(jù)庫應(yīng)用場景1、數(shù)據(jù)模型比較簡單2、靈活性更強(qiáng)的IT系統(tǒng)3、對數(shù)據(jù)庫性能要求較高4、不需要高度的數(shù)據(jù)一致性NoSql數(shù)據(jù)庫應(yīng)用場景1、數(shù)據(jù)模型比較簡單12Redis基礎(chǔ)redis是將數(shù)據(jù)存放到內(nèi)存中,由于內(nèi)容存取速度快所以redis被廣泛應(yīng)用在互聯(lián)網(wǎng)項目中，redis優(yōu)點:存取速度快,官方稱讀取速度會達(dá)到30萬次每秒,寫速度在10萬次每秒,具體限制于硬件。數(shù)據(jù)類型：string，hash，list（列表），set（集合）缺點：對持久化支持不夠良好。所以redis一般不作為數(shù)據(jù)的主數(shù)據(jù)庫存儲,一般配合傳統(tǒng)的關(guān)系型數(shù)據(jù)庫使用.Redis基礎(chǔ)redis是將數(shù)據(jù)存放到內(nèi)存中,由于內(nèi)容存取速13Redis應(yīng)用場景緩存(數(shù)據(jù)查詢、短連接、新聞內(nèi)容、商品內(nèi)容等等)。(最多使用)分布式集群架構(gòu)中的session分離。聊天室的在線好友列表。任務(wù)隊列。(秒殺、搶購、12306等等)緩沖削峰Redis應(yīng)用場景緩存(數(shù)據(jù)查詢、短連接、新聞內(nèi)容、商品內(nèi)容14THANKYOU.THANKYOU.15非關(guān)系型數(shù)據(jù)庫NoSql非關(guān)系型數(shù)據(jù)庫NoSql16傳統(tǒng)數(shù)據(jù)庫的瓶頸1云計算和大數(shù)據(jù)對數(shù)據(jù)庫的要求2NoSql數(shù)據(jù)庫3Redis基礎(chǔ)4目錄CONTENTS傳統(tǒng)數(shù)據(jù)庫的瓶頸1云計算和大數(shù)據(jù)對數(shù)據(jù)庫的要求2NoSql數(shù)17傳統(tǒng)數(shù)據(jù)庫的瓶頸傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問題。傳統(tǒng)數(shù)據(jù)庫的瓶頸傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站，特18高并發(fā)讀寫的性能低大規(guī)模SNS網(wǎng)站數(shù)據(jù)庫并發(fā)負(fù)載非常高，往往要達(dá)到每秒上萬次讀寫請求。關(guān)系數(shù)據(jù)庫應(yīng)付上萬次SQL查詢還勉強(qiáng)頂?shù)米?，但是?yīng)付上萬次SQL寫數(shù)據(jù)請求，硬盤IO就已經(jīng)無法承受了。01高并發(fā)讀寫的性能低大規(guī)模SNS網(wǎng)站數(shù)據(jù)庫并發(fā)負(fù)載非常高，往往19支撐容量有限對于關(guān)系數(shù)據(jù)庫來說，數(shù)百萬記錄的表里查詢尚可接受。在一張上億條記錄的表里面進(jìn)行SQL查詢，效率是極其低下乃至不可忍受的02支撐容量有限對于關(guān)系數(shù)據(jù)庫來說，數(shù)百萬記錄的表里查詢尚可接受20可擴(kuò)展和可用性低傳統(tǒng)數(shù)據(jù)庫卻沒有辦法像web

server那樣簡單的通過添加更多的服務(wù)器來擴(kuò)展性能和負(fù)載能力。對于很多需要提供24小時不間斷服務(wù)的網(wǎng)站來說，對數(shù)據(jù)庫系統(tǒng)進(jìn)行升級和擴(kuò)展往往需要停機(jī)維護(hù)03可擴(kuò)展和可用性低傳統(tǒng)數(shù)據(jù)庫卻沒有辦法像web

server那21云計算和大數(shù)據(jù)對數(shù)據(jù)庫技術(shù)的需求海量數(shù)據(jù)處理：需要處理pb級別的數(shù)據(jù)量大規(guī)模集群管理：更加簡單的分布式部署極速的讀寫響應(yīng)：提高用戶的使用體驗低成本的建設(shè)和運(yùn)營：大量部署時，大幅降低軟件授權(quán)費用云計算和大數(shù)據(jù)對數(shù)據(jù)庫技術(shù)的需求海量數(shù)據(jù)處理：需要處理pb級22NoSql數(shù)據(jù)庫什么是NoSql數(shù)據(jù)庫？NoSql即NotOnlySQL是與傳統(tǒng)關(guān)系型數(shù)據(jù)庫對應(yīng)的，也可理解為norelational，即非關(guān)系型數(shù)據(jù)庫NoSql數(shù)據(jù)庫什么是NoSql數(shù)據(jù)庫？23NoSql數(shù)據(jù)庫NoSql數(shù)據(jù)庫的特征1、不需要預(yù)定義模式：即不需要先設(shè)計表結(jié)構(gòu)。他的數(shù)據(jù)格式是松散的，數(shù)據(jù)庫中的每條記錄都可能有不同的屬性和格式。2、彈性可擴(kuò)展：可以在不停機(jī)的情況下添加或刪除節(jié)點3、不支持標(biāo)準(zhǔn)SQLNoSql數(shù)據(jù)庫NoSql數(shù)據(jù)庫的特征24NoSql數(shù)據(jù)庫的分類類型常見數(shù)據(jù)庫優(yōu)點缺點應(yīng)用場景鍵值數(shù)據(jù)庫RedisMemcacheDBDynamo快速查詢存儲的數(shù)據(jù)缺少結(jié)構(gòu)化內(nèi)容緩存，處理高負(fù)載。也可充當(dāng)消息隊列列存儲數(shù)據(jù)庫HBaseBigTable查找速度快，可擴(kuò)展性強(qiáng)，更容易進(jìn)行分布式擴(kuò)展功能相對局限分布式文件系統(tǒng)文檔型數(shù)據(jù)庫MongoDBCouchDB數(shù)據(jù)結(jié)構(gòu)要求不嚴(yán)格查詢性能不高與key-value類似，不過數(shù)據(jù)庫能知道value內(nèi)容圖形(Graph)數(shù)據(jù)庫Neo4J利用圖結(jié)構(gòu)相關(guān)算法不易集群專注于構(gòu)建關(guān)系圖譜NoSql數(shù)據(jù)庫的分類類型常見數(shù)據(jù)庫優(yōu)點缺點應(yīng)用場景鍵值數(shù)據(jù)25NoSql數(shù)據(jù)庫的優(yōu)缺點數(shù)據(jù)庫類型特征優(yōu)點缺點關(guān)系型數(shù)據(jù)庫1、關(guān)系型數(shù)據(jù)庫的最大特點就是事務(wù)的一致性；2、簡單來說，關(guān)系模型指的就是二維表格模型1、容易理解：二維表結(jié)構(gòu)是非常容易理解；2、使用方便：支持SQL，可用于復(fù)雜的查詢；3、易于維護(hù)：豐富的完整性大大減低了數(shù)據(jù)冗余和數(shù)據(jù)不一致的概率；1、為了維護(hù)一致性所付出的巨大代價就是其讀寫性能比較差；2、固定的表結(jié)構(gòu)；3、高并發(fā)讀寫需求；4、海量數(shù)據(jù)的高效率讀寫；非關(guān)系型數(shù)據(jù)庫1、使用鍵值對存儲數(shù)據(jù)；2、分布式；3、非關(guān)系型數(shù)據(jù)庫嚴(yán)格上不是一種數(shù)據(jù)庫，應(yīng)該是一種數(shù)據(jù)結(jié)構(gòu)化存儲方法的集合。1、無需經(jīng)過sql層的解析，讀寫性能很高；2、基于鍵值對，數(shù)據(jù)沒有耦合性，容易擴(kuò)展；1、不提供sql支持，學(xué)習(xí)和使用成本較高；2、無事務(wù)處理，附加功能bi和報表等支持也不好；NoSql數(shù)據(jù)庫的優(yōu)缺點數(shù)據(jù)庫類型特征優(yōu)點缺點1、關(guān)系型數(shù)據(jù)26NoSql數(shù)據(jù)庫應(yīng)用場景1、數(shù)據(jù)模型比較簡單2、靈活性更強(qiáng)的IT系統(tǒng)3、對數(shù)據(jù)庫性能要求較高4、不需要高度的數(shù)據(jù)一致性NoSql數(shù)據(jù)庫應(yīng)用場景1、數(shù)據(jù)模型比較簡單27Redis基礎(chǔ)redis是將數(shù)據(jù)存放到內(nèi)存中,由于內(nèi)容存取速度快所以redis被廣泛應(yīng)用在互聯(lián)網(wǎng)項目中，redis優(yōu)點:存取速度快,官方稱讀取速度會達(dá)到30萬次每秒,寫速度在10萬次每秒,具體限制于硬件。數(shù)據(jù)類型：string，hash，list（列表），set（集合）缺點：對持久化支持不夠良好。所以redis一般不作為數(shù)據(jù)的主數(shù)