網(wǎng)絡(luò)存儲(chǔ)的未來(lái)發(fā)展方向【詳析】

結(jié)構(gòu)數(shù)據(jù)與非結(jié)構(gòu)數(shù)據(jù)根據(jù)結(jié)構(gòu)數(shù)據(jù)(Structureddata)與非結(jié)構(gòu)數(shù)據(jù)(Unstructureddata)的對(duì)比比例估計(jì)，在一個(gè)企業(yè)中，非結(jié)構(gòu)數(shù)據(jù)的比率大約為80%。非結(jié)構(gòu)數(shù)據(jù)是一種由電子郵件，企業(yè)內(nèi)部文件，企業(yè)新聞，博客文章以及公司網(wǎng)頁(yè)組成的沒(méi)有形成固定結(jié)構(gòu)的數(shù)據(jù)，而結(jié)構(gòu)數(shù)據(jù)則是在相關(guān)數(shù)據(jù)庫(kù)里獲取的數(shù)據(jù)源。如果你形成了一種新的數(shù)據(jù)格式，并且可以從其數(shù)據(jù)庫(kù)里獲取，那這就是結(jié)構(gòu)數(shù)據(jù)，反之亦然。為什么要討論結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)呢？當(dāng)數(shù)據(jù)變?yōu)榻Y(jié)構(gòu)數(shù)據(jù)時(shí)，通過(guò)光纖信道獲取信號(hào)的水準(zhǔn)才最有效。隨著結(jié)構(gòu)數(shù)據(jù)量的不斷遞增，光纖信道也變得越來(lái)越流行。在過(guò)去的10年里，光纖信道成為各大企業(yè)編寫(xiě)結(jié)構(gòu)數(shù)據(jù)庫(kù)時(shí)，最好的網(wǎng)絡(luò)傳輸工具。那么，在未來(lái)發(fā)展中，光纖信道將何去何從？當(dāng)然，結(jié)構(gòu)數(shù)據(jù)也在逐漸走下坡路，但事實(shí)上，在經(jīng)過(guò)一段萎靡期后，結(jié)構(gòu)數(shù)據(jù)也會(huì)逐漸上揚(yáng)。然而，諸如谷歌(Google)以及Facebook之類的搜索引擎和社交網(wǎng)絡(luò)公司一直在探索非結(jié)構(gòu)數(shù)據(jù)。其結(jié)果就是，谷歌和Facebook公司不會(huì)采用光纖信道的方式來(lái)獲取數(shù)據(jù)，當(dāng)然這要除了英特爾網(wǎng)絡(luò)應(yīng)用之外，如：ERP。同時(shí)，谷歌和Facebook則需要為Sarbaines-Oxley提供相關(guān)報(bào)告。在谷歌和Facebook的網(wǎng)絡(luò)存儲(chǔ)器中，典型的使用兩種SATA驅(qū)動(dòng)器，并且在其他單獨(dú)的服務(wù)器中備份了3份所搜集的數(shù)據(jù)，這樣一來(lái)，無(wú)需RAID(OFweek通信國(guó)際注：RAID是“RedundantArrayofIndependentDisk”的縮寫(xiě)，中文意思是獨(dú)立冗余磁盤(pán)陣列。)，就能解決數(shù)據(jù)冗余的問(wèn)題。RAID是一種應(yīng)用在結(jié)構(gòu)數(shù)據(jù)中，且成本非常高的一種存儲(chǔ)磁盤(pán)陣列。他們采用的是一種名為，ApacheHadoop的軟件架構(gòu)，該軟件架構(gòu)是谷歌通過(guò)其GFS(谷歌文件系統(tǒng)，GoogleFileSystem)系統(tǒng)所構(gòu)思的，也是其開(kāi)源HDFS(Hadoop分布文件系統(tǒng)，HadoopDistributedFileSystem)系統(tǒng)發(fā)展的產(chǎn)物。HDFS是一種用于大型文件處理，支持多個(gè)64Mbs文件格式處理的文件系統(tǒng)。很顯然，當(dāng)用于處理文本文檔時(shí)，HDFS的確有點(diǎn)大材小用，但當(dāng)處理音頻文件、圖片、以及視頻文件時(shí)，HDFS就能獨(dú)擋一面，成為焦點(diǎn)。HDFS是典型與HBase以及在Google的BigTable和(或)稱為Hive的數(shù)據(jù)庫(kù)架構(gòu)之后的其他開(kāi)源模式項(xiàng)目相配套使用的文件處理系統(tǒng)。這到底是啥意思呢？隨著Web2.0數(shù)據(jù)的飛速增長(zhǎng)，Web2.0的網(wǎng)絡(luò)用戶所提供的網(wǎng)絡(luò)數(shù)據(jù)就成為了Web1.0網(wǎng)站信息發(fā)布者的相關(guān)數(shù)據(jù)源，我們希望增長(zhǎng)最快的是非結(jié)構(gòu)數(shù)據(jù)。谷歌和Facebook所采用的都是帶存儲(chǔ)功能的服務(wù)器，網(wǎng)絡(luò)數(shù)據(jù)首先被存儲(chǔ)在其本地硬盤(pán)上，然后再通過(guò)網(wǎng)絡(luò)附件形式，存儲(chǔ)到其標(biāo)準(zhǔn)的網(wǎng)絡(luò)服務(wù)器上。我們知道，搜索引擎和社交網(wǎng)絡(luò)這些網(wǎng)站所使用的網(wǎng)絡(luò)存儲(chǔ)器都來(lái)自國(guó)產(chǎn)。然而，問(wèn)題是，在多數(shù)企業(yè)轉(zhuǎn)型向云計(jì)算和云存儲(chǔ)模式發(fā)展的大前提下，傳統(tǒng)數(shù)據(jù)中心是否也會(huì)朝這個(gè)方向發(fā)展，或者將被迫朝這個(gè)方向發(fā)展？云計(jì)算和云存儲(chǔ)云計(jì)算和傳統(tǒng)的網(wǎng)絡(luò)計(jì)算的不同之處在于，傳統(tǒng)網(wǎng)絡(luò)計(jì)算是用戶通過(guò)租賃IT設(shè)備商的網(wǎng)絡(luò)設(shè)備，以及向設(shè)備商支付運(yùn)營(yíng)成本(如設(shè)備制冷、設(shè)備能耗等)的方式，而云計(jì)算則是用戶自己根據(jù)其使用需求設(shè)計(jì)、購(gòu)買、安裝、運(yùn)維IT設(shè)備以及軟件，當(dāng)然包括運(yùn)營(yíng)成本(如設(shè)備制冷、設(shè)備能耗等)。進(jìn)而，用戶還控制其設(shè)備的使用周期、設(shè)備升級(jí)以及設(shè)備的停運(yùn)等運(yùn)營(yíng)項(xiàng)目。云計(jì)算和傳統(tǒng)網(wǎng)絡(luò)計(jì)算的最大不同點(diǎn)在于，在傳統(tǒng)網(wǎng)絡(luò)計(jì)算中，用戶必須向IT設(shè)備商提供其最大網(wǎng)絡(luò)數(shù)據(jù)源以及最高的網(wǎng)絡(luò)流量，而最高的網(wǎng)絡(luò)流量是很難估算的，因?yàn)楣久刻於荚谙蚯鞍l(fā)展，不斷升級(jí)與變化。鑒于此，多家公司合租一大型網(wǎng)絡(luò)服務(wù)器是最好的解決方案，這樣既減輕了租用公司的經(jīng)濟(jì)壓力，也提高了服務(wù)器的使用率，也讓IT設(shè)備租賃公司賺取更多的利潤(rùn)。云存儲(chǔ)也采用了同樣的多家公司合租服務(wù)器的商業(yè)運(yùn)營(yíng)模式。當(dāng)谷歌對(duì)外提供7Gbs的超大容量，免費(fèi)郵箱時(shí)，這個(gè)7Gbs聽(tīng)起來(lái)的確是超大容量，但絕大多數(shù)個(gè)人電子郵箱用戶的使用率均低于1GB。同時(shí)，其他的云存儲(chǔ)商業(yè)運(yùn)營(yíng)模式將為某些企業(yè)專門(mén)量身定制合理的網(wǎng)絡(luò)存儲(chǔ)器(如：采用光纖信道存儲(chǔ)的1000GBs超大容量郵箱)，當(dāng)然在技術(shù)層面來(lái)講，這也對(duì)谷歌要求非常嚴(yán)格，因?yàn)榇笃髽I(yè)耗費(fèi)巨資使用Gmail郵件業(yè)務(wù)，谷歌必須對(duì)其網(wǎng)絡(luò)數(shù)據(jù)安全負(fù)責(zé)。同時(shí)，這也是一種大型企業(yè)獨(dú)享的網(wǎng)絡(luò)業(yè)務(wù)。云架構(gòu)與商業(yè)模式：誰(shuí)控制數(shù)據(jù)？用戶是否會(huì)批量向云計(jì)算遷移的關(guān)鍵因素在于數(shù)據(jù)存儲(chǔ)在哪里，誰(shuí)控制所存儲(chǔ)的數(shù)據(jù)，存儲(chǔ)數(shù)據(jù)的安全性如何？通過(guò)服務(wù)器合租的運(yùn)營(yíng)模式，云架構(gòu)已經(jīng)得以成功優(yōu)化。在虛擬主機(jī)里的多數(shù)網(wǎng)絡(luò)應(yīng)用允許用戶共享同一臺(tái)服務(wù)器，操作系統(tǒng)和應(yīng)用軟件，構(gòu)成一完整的共享存儲(chǔ)器資源體系。如果其中一家主要公司的運(yùn)營(yíng)和數(shù)據(jù)安全失控時(shí)，那么所有共享的公司也將受到威脅。許多用戶，特別是早期的用戶，更傾向于選用私有云，因?yàn)樗接性频倪\(yùn)營(yíng)模式是其服務(wù)器等硬件設(shè)施和軟件設(shè)施均安置在自己IT機(jī)房?jī)?nèi)，但采用私有云的成本相對(duì)較高。在一家公司采用云架構(gòu)的方式實(shí)現(xiàn)服務(wù)器合租，這也需要服務(wù)器租用公司自己控制其網(wǎng)絡(luò)數(shù)據(jù)。如果公有云設(shè)備商或公司諸如Amazon、Rackspace、微軟以及新加入云計(jì)算大家庭的HP公司提供的云計(jì)算服務(wù)在價(jià)格和用戶網(wǎng)絡(luò)數(shù)據(jù)安全這兩方面的競(jìng)爭(zhēng)逐日變得激烈的話，將會(huì)有更多的企業(yè)選擇使用云計(jì)算，向云計(jì)算遷移。這將對(duì)用戶在選用云計(jì)算、云存儲(chǔ)、網(wǎng)絡(luò)傳輸、數(shù)據(jù)庫(kù)等的網(wǎng)絡(luò)供應(yīng)商時(shí)提供更多的選擇，同時(shí)也會(huì)減少用戶對(duì)名牌云計(jì)算企業(yè)和存儲(chǔ)設(shè)備供應(yīng)商的需求量，但也會(huì)讓用戶在琳瑯滿目的云計(jì)算領(lǐng)域失去方向。事實(shí)上，在2011年4月7日，F(xiàn)acebook推出了一款公開(kāi)計(jì)算工程，其聲稱為開(kāi)源網(wǎng)絡(luò)架構(gòu)的服務(wù)器是目前業(yè)內(nèi)數(shù)據(jù)中心中最高等級(jí)的網(wǎng)絡(luò)服務(wù)器。可以說(shuō)，在該網(wǎng)絡(luò)架構(gòu)中，沒(méi)有名牌硬件設(shè)備，存儲(chǔ)設(shè)備或者網(wǎng)絡(luò)。在公有云和存儲(chǔ)引領(lǐng)IT網(wǎng)絡(luò)領(lǐng)域之前，云計(jì)算的市場(chǎng)依舊很小。為啥會(huì)有影響？光纖信道逐日萎靡，以太網(wǎng)需要更高帶寬網(wǎng)絡(luò)存儲(chǔ)數(shù)據(jù)將不斷發(fā)展。我們希望在隨著越來(lái)越多的數(shù)據(jù)上傳到網(wǎng)絡(luò)，以及通過(guò)微軟的SharePoint工具上傳到企業(yè)內(nèi)部網(wǎng)的數(shù)據(jù)，非架構(gòu)數(shù)據(jù)能增長(zhǎng)更快些。光纖信道的成本較高并且其只能用于結(jié)構(gòu)數(shù)據(jù)。知道現(xiàn)在為止，谷歌也沒(méi)有采用10GbE網(wǎng)絡(luò)連接器服務(wù)器和存儲(chǔ)器。在谷歌的運(yùn)營(yíng)模式中，兩臺(tái)SATA驅(qū)動(dòng)器也未能掙脫1GbE的束縛。這個(gè)變革就類似于應(yīng)用廣泛的FLASH和應(yīng)用在服務(wù)器里的超高速緩存一樣，或許每個(gè)服務(wù)器處理4~12GBs指令。FLASH緩存區(qū)將為交換機(jī)設(shè)備從當(dāng)前的1GbE升級(jí)到采用40Gb或者100Gb交換機(jī)提供更高上行速率的10GbE網(wǎng)絡(luò)時(shí)提供更快、延時(shí)更低的網(wǎng)絡(luò)連接。公有云設(shè)備供應(yīng)商將會(huì)面臨這種現(xiàn)象。隨著全球互聯(lián)網(wǎng)的逐漸升級(jí)，將會(huì)生成越來(lái)越多的結(jié)構(gòu)數(shù)據(jù)，這將造就光纖信道繼續(xù)廣泛應(yīng)用于結(jié)構(gòu)數(shù)據(jù)領(lǐng)域。隨著業(yè)內(nèi)逐漸過(guò)渡到40Gb和100Gb網(wǎng)絡(luò)通信時(shí)代，特別是對(duì)于在單模光纖上能傳輸1公里的光收發(fā)模塊，以及FCoE(OFweek通信國(guó)際注：FCoE：FibreChanneloverEthernet，以太網(wǎng)光纖通道)和iSCSI(OFweek通信國(guó)際注：iSCSI：Internet小型計(jì)算機(jī)系統(tǒng)接口InternetSmallComputerSystemInterface)變得更加成熟，許多當(dāng)前應(yīng)用于結(jié)構(gòu)數(shù)據(jù)中的新型應(yīng)用將逐漸過(guò)渡到以太網(wǎng)連接。進(jìn)而，據(jù)我們分析，SFP+光收發(fā)模塊以及成為10GbE的首選。上周，思科宣布其首臺(tái)架頂式服務(wù)器以及10GbELOM選擇接口都采用SFP+產(chǎn)品。隨著10GBASE-T逐漸發(fā)展，到2014年，SFP+將以標(biāo)準(zhǔn)的服務(wù)器連接產(chǎn)品的身份進(jìn)入數(shù)據(jù)中心網(wǎng)絡(luò)連接領(lǐng)域。這周在斯坦福據(jù)悉的OIDA(OFweek通信國(guó)際注：OpticalelectronicsIndustryDevelopmentAssociation，光電子產(chǎn)業(yè)發(fā)展協(xié)會(huì))會(huì)議上，來(lái)自Facebook的DonnLee表示，目前升級(jí)為10GbE的最廉價(jià)方式是采用SFP+DA線纜，并且應(yīng)用于谷