數(shù)據(jù)存儲與管理

（

第二學(xué)期）《大數(shù)據(jù)導(dǎo)論》

第三章數(shù)據(jù)存儲與管理3.1數(shù)據(jù)存儲與管理技術(shù)3.2大數(shù)據(jù)存儲與管理應(yīng)用3.3大數(shù)據(jù)存儲與管理面臨的挑戰(zhàn)3.1數(shù)據(jù)存儲與管理技術(shù)3.1數(shù)據(jù)存儲與管理技術(shù)3.1.1傳統(tǒng)關(guān)系型數(shù)據(jù)庫3.1.2新興的數(shù)據(jù)庫存儲管理系統(tǒng)3.1數(shù)據(jù)存儲與管理技術(shù)3.1.1傳統(tǒng)關(guān)系型數(shù)據(jù)庫1)定義2)發(fā)展的幾個階段3)目前市場主流的關(guān)系型數(shù)據(jù)庫4)大數(shù)據(jù)環(huán)境下，傳統(tǒng)關(guān)系型數(shù)據(jù)庫的不足表現(xiàn)E.F.CoddDonChamberlin3.1數(shù)據(jù)存儲與管理技術(shù)1)定義數(shù)據(jù)庫數(shù)據(jù)庫是按照數(shù)據(jù)結(jié)構(gòu)來組織、存儲和管理數(shù)據(jù)的倉庫。（產(chǎn)生于1950年）數(shù)據(jù)庫技術(shù)并不僅限于存儲數(shù)據(jù)，組織和管理數(shù)據(jù)也是數(shù)據(jù)庫技術(shù)的重要組成部分。數(shù)據(jù)庫歷程層次式數(shù)據(jù)庫網(wǎng)絡(luò)式數(shù)據(jù)庫關(guān)系式數(shù)據(jù)庫不同的數(shù)據(jù)庫是按照不同的數(shù)據(jù)結(jié)構(gòu)來聯(lián)系和組織的。數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)：指數(shù)據(jù)的組織形式或數(shù)據(jù)之間的聯(lián)系。3.1數(shù)據(jù)存儲與管理技術(shù)1)定義關(guān)系模型：一種所謂建立在關(guān)系上的模型。關(guān)系模型包含三個方面：1.數(shù)據(jù)結(jié)構(gòu)：數(shù)據(jù)存儲的問題，二維表（行和列）；2.操作指令結(jié)合：所有SQL語句；3.完整性約束：表內(nèi)數(shù)據(jù)約束（字段與字段）、表與表之間約束（外鍵）。是一種建立在關(guān)系模型（數(shù)學(xué)模型）上的數(shù)據(jù)庫。關(guān)系型數(shù)據(jù)庫1泛指非關(guān)系型的數(shù)據(jù)庫，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，為了解決大規(guī)模數(shù)據(jù)集合多重數(shù)據(jù)種類帶來的挑戰(zhàn)，尤其是大數(shù)據(jù)應(yīng)用難題。非關(guān)系型數(shù)據(jù)庫2關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫表1表2表3數(shù)據(jù)記錄列列數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)記錄列列數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)3.1數(shù)據(jù)存儲與管理技術(shù)理論奠基數(shù)學(xué)家E.F.Codd發(fā)表了數(shù)學(xué)論文《用于大型共享數(shù)據(jù)庫的關(guān)系數(shù)據(jù)模型》，提出關(guān)系和關(guān)系運算的概念，奠定了關(guān)系型數(shù)據(jù)庫的理論模型。SQL標準DonChamberlin將Codd的論文和關(guān)系運算，轉(zhuǎn)換成為比較容易理解和使用的SQL語言，并且在后面成為所有關(guān)系型數(shù)據(jù)庫的標準。商用成型LarryElision和他的同事看到商機，開發(fā)出第一個商用大型關(guān)系型數(shù)據(jù)庫Oracle，Scott作為一個開發(fā)的員工，將其測試賬戶放在里面了2312)發(fā)展的幾個階段4多家發(fā)展除了Oracle數(shù)據(jù)庫，IBM也開發(fā)出了DB2數(shù)據(jù)庫后來演變成了PostgresSQL。微軟和Sybase合作，開發(fā)除了MSSQL和Sybase；后又加入Ingres和Informax，其他的主流關(guān)系型數(shù)據(jù)庫幾乎都和MichaelStonebraker有關(guān)。3.1數(shù)據(jù)存儲與管理技術(shù)3)目前市場主流關(guān)系型數(shù)據(jù)庫1.Oracle2.MySQL3.MariaDB4.SqlServer5.Access6.DB27.Sybase8.Informix3.1數(shù)據(jù)存儲與管理技術(shù)4)大數(shù)據(jù)環(huán)境下，傳統(tǒng)關(guān)系型數(shù)據(jù)庫的不足表現(xiàn)不足之處NO.1應(yīng)用場景局限性NO.3對非結(jié)構(gòu)化數(shù)據(jù)的處理能力不足NO.2快速訪問海量數(shù)據(jù)的能力被束縛NO.4擴展性能差3.1.2新興的數(shù)據(jù)存儲管理系統(tǒng)?大數(shù)據(jù)類型（回顧）?大數(shù)據(jù)存儲與管理發(fā)展過程中，典型的技術(shù)1)Hadoop是什么，Hadoop四個主要的特征2)認識NoSQL數(shù)據(jù)庫，NoSQL數(shù)據(jù)庫較關(guān)系型數(shù)據(jù)庫的優(yōu)勢3)認識NewSQL，NewSQL系統(tǒng)類型4)云存儲3.1數(shù)據(jù)存儲與管理技術(shù)3.1數(shù)據(jù)存儲與管理技術(shù)大數(shù)據(jù)的類型(回顧)傳統(tǒng)企業(yè)數(shù)據(jù)

包括CRMsystems的消費者數(shù)據(jù)，傳統(tǒng)的ERP數(shù)據(jù)，庫存數(shù)據(jù)以及賬目數(shù)據(jù)等。機器和傳感器數(shù)據(jù)

包括呼叫記錄，智能儀表，工業(yè)設(shè)備傳感器，設(shè)備日志，交易數(shù)據(jù)等。社交數(shù)據(jù)

包括用戶行為記錄，反饋數(shù)據(jù)等。如Twitter，F(xiàn)acebook這樣的社交媒體平臺。3.1數(shù)據(jù)存儲與管理技術(shù)

大數(shù)據(jù)存儲與管理發(fā)展過程中，典型的技術(shù)（引入）分布式文件存儲（HDFS）NoSQL數(shù)據(jù)庫NewSQL數(shù)據(jù)庫云存儲技術(shù)是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點上，而是通過計算機網(wǎng)絡(luò)與節(jié)點相連。NoSQL的擁護者們提倡運用非關(guān)系型的數(shù)據(jù)存儲，相對于鋪天蓋地的關(guān)系型數(shù)據(jù)庫運用，這一概念無疑是一種全新的思維的注入。

NewSQL是指這樣一類新式的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，針對OLTP（讀-寫）工作負載，追求提供和NoSQL系統(tǒng)相同的擴展性能，且仍然保持ACID和SQL等特性。

指通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。3.1數(shù)據(jù)存儲與管理技術(shù)1）Hadoop與HDFSHadoop與HDFS

Hadoop是由Apache基金會開發(fā)出來的一個開源的軟件框架，簡單地說，Hadoop是一個分布式系統(tǒng)和并行執(zhí)行環(huán)境，便于存儲和處理大規(guī)模數(shù)據(jù)的開源軟件平臺。HDFS是Hadoop的核心，是Haoop框架的分布式文件系統(tǒng)。Hadoop的主要特征1.擴展能力強2.成本低3.高效率4.可靠3.1數(shù)據(jù)存儲與管理技術(shù)2）認識NoSQL數(shù)據(jù)庫，NoSQL數(shù)據(jù)庫較SQL數(shù)據(jù)庫的優(yōu)勢NoSQLNoSQL的擁護者們提倡運用非關(guān)系型的數(shù)據(jù)存儲，相對于鋪天蓋地的關(guān)系型數(shù)據(jù)庫運用，這一概念無疑是一種全新的思維的注入。不使用關(guān)系數(shù)據(jù)庫模型(或SQL語言)開源針對大型集群而設(shè)計基于21世紀互聯(lián)網(wǎng)特征的需求優(yōu)勢1.更簡便2.高吞吐量3.可以使用低端硬件集群和具備高水平擴展能力4.避免了對象關(guān)系映射3.1數(shù)據(jù)存儲與管理技術(shù)4）云存儲技術(shù)

云計算是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴展且經(jīng)常是虛擬化的資源。

云存儲是指通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。3.1數(shù)據(jù)存儲與管理技術(shù)3）認識NewSQL，NewSQL系統(tǒng)類型第一PPT模板網(wǎng)，PPT素材下載