104|微軟的大數(shù)據(jù)發(fā)展史：Azure2018-06-01 進(jìn)入課一、HDInsightHadoopAzure數(shù)據(jù)發(fā)展方式，與其他解決內(nèi)部需求的項目不同，最初主要圍繞Hadoop生態(tài)圈展開。HadoopWindowsHadoop虎、Facebook、LinkedIn等灣區(qū)互聯(lián)網(wǎng)企業(yè)，這些企業(yè)都用免費(fèi)的Linux，不用昂貴的Windows，它們沒必要考慮Hadoop在Windows下運(yùn)行的問題。微軟擔(dān)心大數(shù)據(jù)系統(tǒng)的出現(xiàn)和普及，尤其是Hadoop生態(tài)圈的壯大，會威脅到Windows的銷售，導(dǎo)致Windows服務(wù)器的業(yè)務(wù)下降。因此微軟云計算部門選擇了和Hortonworks合作，把Hadoop在Windows上的穩(wěn)定運(yùn)行當(dāng)作頭等大事對待。HortonworksHDInsight端Hadoop版本的團(tuán)隊。這個團(tuán)隊有兩大任務(wù)：其一是和Hortonworks一起，實現(xiàn)Hadoop在Windows上的穩(wěn)定運(yùn)行；其二是為微軟提供云端的Hadoop版本，也就是從微軟給這個團(tuán)隊定義的任務(wù)出發(fā)，HDInsight團(tuán)隊很好地完成了這兩個任務(wù)。但是HDInsightHDInsight在對接Hadoop文件系統(tǒng)和微軟的云存儲AzureBlobStore時，對接得不是很高效，因此HDInsight的運(yùn)HDInsight我在上一篇文章中提到過，必應(yīng)部門做了一個數(shù)據(jù)分析平臺Cosmos。這個平臺和HDInsightCosmos分析數(shù)據(jù)就好，不需要考慮是不是兼容Hadoop。因此，Cosmos在和HDInsight的對標(biāo)AzureDataLake很長一段時間里，HDInsightCosmos大部門采用自己的平臺，然而HDInsight因為性能問題每戰(zhàn)必輸。CosmosCosmos被重組到云計算部門后，微軟聘請了著名的數(shù)據(jù)庫領(lǐng)域的專家，前威斯康辛大學(xué)教授、前雅虎副總裁拉·羅摩克里希納恩（RaguRamaisnan）領(lǐng)導(dǎo)這個團(tuán)隊。為什么聘請這個人，因為云計算部門想做一款新產(chǎn)品，我們姑且簡單地理解為是做一款面向外部客戶的Cosmos吧。CosmosAzure的數(shù)據(jù)查詢引擎。因為他的這個想法，就需要對Cosmos做傷筋動骨的改動。慢淡出了權(quán)力中心，陸續(xù)離開微軟，我也正是在那個時候去了Tableau。2016AzureDataLake選擇了老版本的Cosmos不肯搬遷，在外部也只有沃爾瑪買單。為什么會是這樣一個結(jié)果用戶需要重新學(xué)習(xí)一種叫作U-SQL的語言，才能充分發(fā)揮這個系統(tǒng)的性能。U-SQL其實是SCOPE的改造版，但改造得不倫不類。為什么這么說？首先是SCOPE語言很靈活，但U-SQL卻很死板。其次是SCOPE在數(shù)據(jù)類型上向C#兼容，而U-SQL卻決定一半的地方兼容SQL，另外一些場景兼容C#，兼容規(guī)則因此搞得非常復(fù)雜。這個系統(tǒng)和C#緊緊地綁定在一起，而Hadoop生態(tài)圈完全基于Java，于是鮮有用戶愿云計算部門的另外一個大數(shù)據(jù)平臺是DocumentDB，它是市面上很少見的可以和MongoDB競爭的產(chǎn)品。有關(guān)DocumenDBDocumentDB在后來的一次升級中被改名為CosmosDB。這次升級的主要目的是把數(shù)據(jù)模型從MongoDB一種提升到了若干種，包括MongoDB的半結(jié)構(gòu)化數(shù)據(jù)、圖數(shù)據(jù)庫等，從而使CosmosDB能夠更靈活地支持不同的應(yīng)用。CosmosDB推出時，市面上還找不到同類競品。當(dāng)然，這個說法其實不完全準(zhǔn)確，因為開源社區(qū)在2012年曾經(jīng)有一個叫作FoundationDB的項目，和CosmosDB的做法很像，底層是統(tǒng)一的存儲方式，上面支持不同的數(shù)據(jù)模型。但是FoundationDB被蘋果收購之后就不再開源，一直到2018年5月這才重新開源出來。這種產(chǎn)品的獨(dú)特性給了微軟一個很CosmosDBMongoDB，CosmosDB表現(xiàn)出了良好的性能和擴(kuò)展性，并解決了MongoDB長期以來為人詬病的安全問題。因此，CosmosDB發(fā)布之后業(yè)務(wù)量一直迅猛增長，最終成了微軟大數(shù)據(jù)服務(wù)里面唯一的亮 因為這是一個只在Azure上發(fā)售的服務(wù)，一定程度上也給Azure帶來了不少的流量。在2018年5（MicrosoftBuild）上，CosmosDB作為大CosmosDB增加了全球多節(jié)點(diǎn)同時寫入的功能。這一切都說明，CosmosDB業(yè)已成為微軟HDInsight，還是自己努力研發(fā)的AzureDataLake，又或者是具備獨(dú)特地位的CosmosDB，投入都是巨大的。的性能問題，AzureDa