支撐大數(shù)據(jù)的基礎(chǔ)設(shè)施高性能服務(wù)器集群、超算設(shè)施云計(jì)算及數(shù)據(jù)中心服務(wù)器集群的出現(xiàn)由集群構(gòu)成的超級(jí)計(jì)算機(jī)加州大學(xué)伯克力分校的NOW（NetworkofWorkstations）是另一個(gè)著名的高性能集群項(xiàng)目，是一種基于UNIX工作站的集群。第一個(gè)原型系統(tǒng)NOW-0是使用FDDI連接的4臺(tái)HP9000/735工作站。1997年的NOW-2由Myrinet連接的100臺(tái)SUN工作站組成，其運(yùn)算能力超過10GFLOPS，成為首臺(tái)進(jìn)入世界超級(jí)計(jì)算機(jī)500強(qiáng)（Top500）的集群計(jì)算機(jī)。FDDI：FiberDistributedDataInterface，光纖分布式數(shù)據(jù)接是80年代中期發(fā)展起來一項(xiàng)局域網(wǎng)技術(shù)。Myrinet：一項(xiàng)經(jīng)濟(jì)高效、高性能的分包通信和交換技術(shù)，被廣泛應(yīng)用于工作站、PC、服務(wù)器、刀片服務(wù)器或單板計(jì)算機(jī)的互聯(lián)集群。集群占領(lǐng)超算市場(chǎng)2003年美國弗吉尼亞工學(xué)院研制了世界排名第3的PC機(jī)群系統(tǒng)X，導(dǎo)致高性能計(jì)算機(jī)實(shí)現(xiàn)了平民化，PC機(jī)群給高性能計(jì)算的計(jì)算架構(gòu)帶來轉(zhuǎn)變，也開啟了高性能計(jì)算的平民化和個(gè)人化運(yùn)動(dòng)。2005年11月Top500最新公布的排名中，集群所占的比例，也從1997年的0.2％（1臺(tái)）迅速增加為72％（360臺(tái)），高性能計(jì)算的集群時(shí)代到來了。集群系統(tǒng)的主要優(yōu)點(diǎn)：高可擴(kuò)展性：集群系統(tǒng)的性能隨著CPU個(gè)數(shù)的增加幾乎是線性變化的。高可用性：集群中的一個(gè)節(jié)點(diǎn)失效，它的任務(wù)可以傳遞給其他節(jié)點(diǎn)?？梢杂行Х乐箚吸c(diǎn)失效。高性能：負(fù)載平衡集群允許系統(tǒng)同時(shí)接入更多的用戶。高性價(jià)比：可以采用廉價(jià)的符合工業(yè)標(biāo)準(zhǔn)的硬件構(gòu)造高性能的系統(tǒng)。服務(wù)器集群與超算超算設(shè)施——天河有多強(qiáng)大：系統(tǒng)存儲(chǔ)總?cè)萘肯喈?dāng)于600億冊(cè)每冊(cè)10萬字的圖書。假設(shè)每人每秒鐘進(jìn)行一次運(yùn)算，天河二號(hào)計(jì)算一小時(shí)相當(dāng)于13億人同時(shí)計(jì)算1000年。電影《阿凡達(dá)》的動(dòng)漫渲染制作動(dòng)用了眾多超級(jí)計(jì)算機(jī)資源、耗時(shí)一年多才完成，而如果用天河二號(hào)，1個(gè)月足矣。國防科學(xué)技術(shù)大學(xué)研制的超級(jí)計(jì)算機(jī)系統(tǒng)。共有312萬個(gè)計(jì)算核心，以33.86PFLOPS連續(xù)六度稱雄(2013-2015)。超算設(shè)施——泰坦泰坦（英語：Titan）是一臺(tái)由克雷公司承建的超級(jí)計(jì)算機(jī)，位于美國能源部下屬的橡樹嶺國家實(shí)驗(yàn)室中，供各項(xiàng)科學(xué)研究項(xiàng)目使用。共有560,640個(gè)計(jì)算核心，2012年11月Linpack測(cè)試為17.59PFLOPS，Top500排名第一。世界上第一臺(tái)以通用圖形處理器（GPGPU）為主要數(shù)據(jù)處理單元的超級(jí)計(jì)算機(jī)。超算設(shè)施——京京（KComputer）是富士通與日本理化學(xué)研究所共同開發(fā)的超級(jí)計(jì)算機(jī)，位于日本神戶的理化學(xué)研究所內(nèi)。2011年6月組裝還未完全完成，LINPACK測(cè)試達(dá)到了8.16PFLOPS，排名第一。同年11月，全部組裝完成后速度達(dá)到10.51PFLOPS，排名第一。共計(jì)

548,352個(gè)計(jì)算核心。我國超算設(shè)施進(jìn)一步發(fā)展2016年6月的Top5神威·太湖之光超算設(shè)施——神威神威·太湖之光超級(jí)計(jì)算機(jī)是由國家并行計(jì)算機(jī)工程技術(shù)研究中心研制、安裝在國家超級(jí)計(jì)算無錫中心的超級(jí)計(jì)算機(jī)。安裝了40960個(gè)中國自主研發(fā)的“申威26010”眾核處理器，峰值性能為12.5億億次/秒，持續(xù)性能為9.3億億次/秒。2016-2017四次奪冠，依托它的應(yīng)用研究在2016年11月榮獲“戈登·貝爾”獎(jiǎng)，實(shí)現(xiàn)了我國零的突破。中國自主研發(fā)的“申威26010”眾核處理器最新榜單，仍需努力2019年6月Top500數(shù)據(jù)中心概念《TheDatacenterasaComputer》數(shù)據(jù)中心是一整套復(fù)雜的設(shè)施。它不僅僅包括計(jì)算機(jī)系統(tǒng)和其它與之配套的設(shè)備（例如通信和存儲(chǔ)系統(tǒng)），還包含冗余的數(shù)據(jù)通信連接、環(huán)境控制設(shè)備、監(jiān)控設(shè)備以及各種安全裝置數(shù)據(jù)中心是多功能的建筑物，能容納多個(gè)服務(wù)器以及通信設(shè)備。這些設(shè)備被放置在一起是因?yàn)樗鼈兙哂邢嗤膶?duì)環(huán)境的要求以及物理安全上的需求，并且這樣放置便于維護(hù)，而“并不僅僅是一些服務(wù)器的集合”。數(shù)據(jù)中心是全球協(xié)作的特定設(shè)備網(wǎng)絡(luò)，在Internet網(wǎng)絡(luò)基礎(chǔ)設(shè)施上傳遞、加速、展示、計(jì)算、存儲(chǔ)數(shù)據(jù)信息。數(shù)據(jù)中心航拍面薄(Facebook)數(shù)據(jù)中心微軟(Microsoft)數(shù)據(jù)中心蘋果(Apple)數(shù)據(jù)中心谷歌(Google)數(shù)據(jù)中心企業(yè)云數(shù)據(jù)中心解決方案云計(jì)算概念及核心云計(jì)算是一種商業(yè)計(jì)算模型，以服務(wù)為中心。它將計(jì)算任務(wù)分布在大量的計(jì)算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠按需獲得計(jì)算、存儲(chǔ)和內(nèi)存資源。云計(jì)算使得人們能像使用水、電、煤氣、電話等服務(wù)那樣使用計(jì)算機(jī)資源。硬件為中心軟件為中心服務(wù)為中心PCC/S云計(jì)算云計(jì)算與大數(shù)據(jù)很后悔讓MapReduce和GoogleFileSystem這樣的paper給發(fā)了出來。GFS：SOSP03MapReduce：OSDI04Bigtable：OSDI06Google的云計(jì)算與大數(shù)據(jù)大數(shù)據(jù)存儲(chǔ)思考：如何在以千計(jì)的普通服務(wù)器組成的集群中存儲(chǔ)以PB計(jì)的海量數(shù)據(jù)。重要手段：超大規(guī)模分布式文件系統(tǒng)，即以文件系統(tǒng)的方式來組織海量數(shù)據(jù)。代表工作：Google的文件系統(tǒng)——GFSGhemawat,S.;Gobioff,H.;Leung,S.T.(2003)."TheGoogleFileSystem".Proceedingsofthe19thACMSymposiumonOperatingSystemsPrinciples-SOSP'03Google文件系統(tǒng)(GFS)Google文件系統(tǒng)(GoogleFileSystem,GFS)是Google公司為了能存儲(chǔ)以百億計(jì)的海量網(wǎng)頁信息而專門開發(fā)的文件系統(tǒng)。GFS提供了海量非結(jié)構(gòu)化信息的存儲(chǔ)平臺(tái)，并提供數(shù)據(jù)的冗余備份、成千臺(tái)服務(wù)器的自動(dòng)負(fù)載均衡以及失效服務(wù)器檢測(cè)等各種完備的分布式存儲(chǔ)功能。在GFS基礎(chǔ)功能之上，可以開發(fā)更加符合應(yīng)用需求的存儲(chǔ)系統(tǒng)和計(jì)算框架。GFS設(shè)計(jì)原則GFS采用大量商業(yè)PC來構(gòu)建存儲(chǔ)集群，PC的穩(wěn)定性并沒有很高的保障。部件錯(cuò)誤不再被當(dāng)作異常，而是將其作為常見的情況加以處理。數(shù)據(jù)冗余備份、機(jī)器有效性檢測(cè)、機(jī)器故障恢復(fù)都被放在設(shè)計(jì)目標(biāo)里。GFS文件系統(tǒng)所存儲(chǔ)的文件絕大多數(shù)都是大文件（GB），設(shè)計(jì)時(shí)針對(duì)大文件的讀寫操作進(jìn)行了優(yōu)化，盡管也支持小文件，但不作為重點(diǎn)。系統(tǒng)中存在大量的“追加寫”操作。即將新增內(nèi)容追加到已有文件末尾，已經(jīng)寫入的內(nèi)容一般不做更改，很少有文件的‘’隨機(jī)寫“行為。對(duì)于數(shù)據(jù)讀取操作來說，絕大多數(shù)讀文件操作都是“順序讀”，少量操作是“隨機(jī)讀”。往往是一次讀取較大量的數(shù)據(jù)，而不是不斷定位到某個(gè)位置讀取少量數(shù)據(jù)。GFS整體架構(gòu)GFS文件系統(tǒng)主要由3個(gè)組成部分構(gòu)成：唯一的主控服務(wù)器(Master)、眾多的Chunk服務(wù)器和GFS客戶端。主控服務(wù)器：負(fù)責(zé)整體系統(tǒng)的管理工作；Chunk服務(wù)器：負(fù)責(zé)實(shí)際的數(shù)據(jù)存儲(chǔ)并響應(yīng)客戶端的讀/寫請(qǐng)求；GFS客戶端：用戶操作。GFS由上千臺(tái)PC構(gòu)成，但是在應(yīng)用開發(fā)者的眼中，GFS類似于本地的統(tǒng)一文件系統(tǒng)，分布式存儲(chǔ)系統(tǒng)的細(xì)節(jié)是隱藏的。GFS整體架構(gòu)GFS文件存儲(chǔ)：對(duì)于開發(fā)者而言，GFS類似于Linux文件系統(tǒng)或者是Windows操作系統(tǒng)提供的文件系統(tǒng)，由目錄和存放在目錄下的文件構(gòu)成樹形結(jié)構(gòu)，這個(gè)樹形結(jié)構(gòu)被稱為GFS命名空間。GFS向應(yīng)用開發(fā)者提供了文件的創(chuàng)建、刪除、讀取和寫入等常見的操作接口(API)。在實(shí)際存儲(chǔ)的時(shí)候，首先會(huì)將不同大小的文件切割成固定大小的數(shù)據(jù)塊，每一塊被作為一個(gè)Chunk，通常將Chunk的大小設(shè)定為64MB。每個(gè)文件由若干個(gè)固定大小的Chunk構(gòu)成。在Chunk服務(wù)器內(nèi)部，會(huì)對(duì)Chunk進(jìn)一步切割，切割為更小的數(shù)據(jù)塊Block。GFS命名空間由眾多的目錄和GFS文件構(gòu)成，一個(gè)GFS文件由眾多固定大小的Chunk構(gòu)成。而每個(gè)Chunk又由更小的粒度Block構(gòu)成，Chunk是基本存儲(chǔ)單元，Block是基本讀取單元。GFS整體架構(gòu)應(yīng)用程序GFS客戶端(文件名，Chunk索引)(Chunk句柄Chunk位置)GFS主服務(wù)器文件命名空間/foo/barChunk2ef0向數(shù)據(jù)塊服務(wù)器發(fā)出指令數(shù)據(jù)塊服務(wù)器狀態(tài)GFS數(shù)據(jù)塊服務(wù)器Linux文件系統(tǒng)GFS數(shù)據(jù)塊服務(wù)器Linux文件系統(tǒng)……(Chunk句柄，字節(jié)范圍)Chunk數(shù)據(jù)…標(biāo)注：數(shù)據(jù)信息控制信息GFS主控服務(wù)器主控服務(wù)器主要從事系統(tǒng)元數(shù)據(jù)存儲(chǔ)管理以及整個(gè)分布式系統(tǒng)的管理，比如：負(fù)載均衡，數(shù)據(jù)遷移，新節(jié)點(diǎn)及失效節(jié)點(diǎn)的檢測(cè)等。GFS主控服務(wù)器所管理的系統(tǒng)元數(shù)據(jù)包括以下三種：GFS命名空間和Chunk命名空間：主要用來對(duì)目錄文件以及Chunk的增刪改等信息進(jìn)行記錄。從文件到其所屬Chunk之間的映射關(guān)系：因?yàn)橐粋€(gè)文件會(huì)被切割成眾多Chunk，所以系統(tǒng)需要維護(hù)這種映射關(guān)系。Chunk在Chunk服務(wù)器上的存儲(chǔ)信息：每個(gè)Chunk會(huì)被復(fù)制多個(gè)備份，并存儲(chǔ)在不同的服務(wù)器上。GFS主控服務(wù)器主控服務(wù)器存儲(chǔ)的管理數(shù)據(jù)GFS主控服務(wù)器主控服務(wù)器上管理數(shù)據(jù)的安全性需要保障：GFS將前兩類管理信息(命名空間，文件到Chunk的映射)記錄在系統(tǒng)日志文件內(nèi)。并且將系統(tǒng)日志分別存儲(chǔ)在多臺(tái)機(jī)器上，避免信息丟失。第3類管理信息(Chunk存儲(chǔ)信息)通過主控服務(wù)器定期詢問Chunk服務(wù)器來維護(hù)的。GFS主控服務(wù)器主控服務(wù)器所承擔(dān)的系統(tǒng)管理工作：不同Chunk服務(wù)器之間的負(fù)載均衡。創(chuàng)建新的Chunk以及垃圾回收。數(shù)據(jù)備份及遷移時(shí)需要考慮（1）Chunk數(shù)據(jù)的可用性；當(dāng)Chunk數(shù)據(jù)不可用時(shí)，及時(shí)重新備份；（2）盡可能減少網(wǎng)絡(luò)傳輸壓力。GFS主控服務(wù)器GFS是典型的主從結(jié)構(gòu)方式。通過主控服務(wù)器實(shí)現(xiàn)全局管控，管理便捷。缺點(diǎn)：系統(tǒng)瓶頸，單點(diǎn)失效。GFS采用增加另外一臺(tái)影子服務(wù)器(Shadow)的方式來解決單點(diǎn)失效問題。當(dāng)主控服務(wù)器出現(xiàn)故障，無法提供服務(wù)時(shí)。由影子服務(wù)器接替主控服務(wù)器行使對(duì)應(yīng)的管理功能。GFS寫操作示例GFS客戶端發(fā)出寫操作請(qǐng)求，GFS系統(tǒng)必須將這個(gè)寫操作應(yīng)用到Chunk的所有備份，從而維護(hù)數(shù)據(jù)的一致性。對(duì)于多個(gè)相互備份的Chunk從中選取一個(gè)作為主備份，其余為次級(jí)備份，主備份決定次級(jí)備份的寫入順序。Colossus：下一代GFSColossus對(duì)GFS的改進(jìn)：GFS主控服務(wù)器內(nèi)存大小決定整個(gè)文件系統(tǒng)可以管理文件的數(shù)量，擴(kuò)展性差。Colossus將單一主控服務(wù)器改造為多主控服務(wù)器構(gòu)成的集群，將所有管理數(shù)據(jù)進(jìn)行數(shù)據(jù)分片后分配到不同的主控服務(wù)器中。GFS通過Chunk數(shù)據(jù)備份來保證數(shù)據(jù)高可用性，但付出更多存儲(chǔ)成本。

Colossus采用糾刪碼算法，可以在減少備份數(shù)目的情形下達(dá)到類似的高可用性要求。GFS在內(nèi)部管理Chunk備份存放位置，客戶端對(duì)此是不可見的，Colossus增加了客戶端的靈活性使得客戶端可以管理備份數(shù)據(jù)的存儲(chǔ)地點(diǎn)。糾刪碼(ErasureCode)為了增加存儲(chǔ)系統(tǒng)的可靠性和數(shù)據(jù)可用性，經(jīng)常使用數(shù)據(jù)備份來達(dá)到這一點(diǎn)，直接增加存儲(chǔ)成本。能否在不對(duì)數(shù)據(jù)做備份的情形下提供類似的數(shù)據(jù)可用性？糾刪碼就是為了達(dá)到這一目的而在分布式存儲(chǔ)中開始被廣泛使用。一種常見的做法是：對(duì)于熱點(diǎn)數(shù)據(jù)，在大規(guī)模存儲(chǔ)系統(tǒng)中仍然保留3個(gè)備份，而對(duì)于冷數(shù)據(jù)則只保留1份數(shù)據(jù)，通過糾刪碼來保證數(shù)據(jù)的可用性。為什么？糾刪碼(ErasureCode)糾刪碼通過對(duì)原始數(shù)據(jù)進(jìn)行校驗(yàn)并保留校驗(yàn)數(shù)據(jù)，以增加冗余的方式來保證數(shù)據(jù)的可恢復(fù)性?；舅枷耄簩?shù)據(jù)文件切割為等長的n個(gè)數(shù)據(jù)塊，并根據(jù)n個(gè)數(shù)據(jù)塊生成m個(gè)冗余的校驗(yàn)信息，得到n+m塊數(shù)據(jù)。如果其中m塊數(shù)據(jù)丟失，可以通過剩下的n個(gè)數(shù)據(jù)塊將其進(jìn)行恢復(fù)。例子：要存儲(chǔ)的數(shù)據(jù)塊生成冗余碼x或y的值任意一個(gè)丟失，都可以通過剩余那個(gè)和冗余碼找回來。Reed-Solomon編碼Reed-Solomon編碼是最常用的糾刪碼之一，Google在Colossus以及Facebook在HDFS-RAID中都已經(jīng)實(shí)現(xiàn)并部署了RS編碼來減少存儲(chǔ)成本。如果要通過RS編碼來計(jì)算原始數(shù)據(jù)的校驗(yàn)信息C，需要設(shè)定涉及所有原始數(shù)據(jù)塊的編碼函數(shù)F。8塊原始數(shù)據(jù)2個(gè)函數(shù)，生成2個(gè)校驗(yàn)數(shù)據(jù)塊可以容忍10塊數(shù)據(jù)中任意損失2塊數(shù)據(jù)而不會(huì)造成數(shù)據(jù)丟失。問題：允許丟失幾塊數(shù)據(jù)？Reed-Solomon編碼RS編碼的問題轉(zhuǎn)換：已知n個(gè)數(shù)據(jù)字d1,d2,…,dn分別行儲(chǔ)在不同的存儲(chǔ)設(shè)備上，需要根據(jù)這些數(shù)據(jù)字計(jì)算m個(gè)校驗(yàn)字c1,c2,…,cm使得n+m個(gè)數(shù)據(jù)字可以容忍最多m個(gè)數(shù)據(jù)損失。要實(shí)現(xiàn)這一點(diǎn)，RS編碼涉及3個(gè)主要問題：計(jì)算原始數(shù)據(jù)的校驗(yàn)字。從數(shù)據(jù)錯(cuò)誤中恢復(fù)原始數(shù)據(jù)。實(shí)現(xiàn)快速計(jì)算。LRC編碼使用RS編碼時(shí)，如果將一個(gè)文件劃分成10個(gè)數(shù)據(jù)塊，即使只有其中一個(gè)數(shù)據(jù)塊損壞，也需要其他所有數(shù)據(jù)塊來共同恢復(fù)這個(gè)損壞的數(shù)據(jù)塊。在分布式網(wǎng)絡(luò)環(huán)境下，為了恢復(fù)少量數(shù)據(jù)塊，需要大量的網(wǎng)絡(luò)傳輸和磁盤IO才能夠?qū)⑵溥M(jìn)行恢復(fù)。LRC的提出就是為了解決這一難題，所以LRC面臨的問題是：能否在可靠性與RS編碼大致相同的情況下，減少恢復(fù)損毀數(shù)據(jù)所需的數(shù)據(jù)塊數(shù)量。Facebook的XorBas系統(tǒng)采用了LRC來達(dá)到這一目標(biāo)，根據(jù)XorBas的數(shù)據(jù)，通過采用LRC編碼，其恢復(fù)損毀數(shù)據(jù)所需的數(shù)據(jù)塊數(shù)量可以降低為RS編碼的一半，付出的代價(jià)是增加14%的額外存儲(chǔ)成本。LRC編碼LRC編碼中存在“塊局部性（BlockLocality）”和“最小碼距（MinimalCodeDistance）”兩個(gè)概念：塊局部性：指的是對(duì)于某個(gè)糾刪碼來說，要對(duì)一個(gè)數(shù)據(jù)塊編碼，最多需要多少其他數(shù)據(jù)塊?；謴?fù)某個(gè)數(shù)據(jù)塊時(shí)需要其他數(shù)據(jù)塊的個(gè)數(shù)。最小碼距：指的是對(duì)于切割成n塊的文件，最少損毀多少塊數(shù)據(jù)文件就不可恢復(fù)了。LRC編碼XorBas中LRC編碼的實(shí)現(xiàn)10個(gè)數(shù)據(jù)塊，用(10，4)RS編碼生成4個(gè)校驗(yàn)數(shù)據(jù)塊。將14個(gè)數(shù)據(jù)塊分為3組，每組實(shí)現(xiàn)一個(gè)局部校驗(yàn)數(shù)據(jù)塊。即可在局部實(shí)現(xiàn)通過少量數(shù)據(jù)塊進(jìn)行恢復(fù)。例如通過5個(gè)數(shù)據(jù)塊即可恢復(fù)X1LRC編碼LRC本質(zhì)上是在RS編碼基礎(chǔ)上通過