大數(shù)據(jù)與云計算的技術與未來CloudComputing第一部分大數(shù)據(jù)時代的思維變革BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK大數(shù)據(jù)定義大數(shù)據(jù)(BigData)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為有價值的信息。大數(shù)據(jù)技術，是指從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力。4一.認識大數(shù)據(jù)時代最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫。麥肯錫稱：“數(shù)據(jù)，已經滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來?！贝髷?shù)據(jù)時代的生活令人神往，你對客觀世界的認識更進了一步，所做的決策也不再僅僅依賴主觀判斷。甚至于你的一個習慣動作、你的一次消費行為、你的一份就診記錄，都正在被巨大的數(shù)字網(wǎng)絡串聯(lián)起來。移動互聯(lián)網(wǎng)風潮洶涌。大數(shù)據(jù)正悄悄包圍著我們。甚至連世界經濟格局也在醞釀著巨大變革！5《紐約時報》2012年2月的一篇專欄中所稱，“大數(shù)據(jù)”時代已經降臨，在商業(yè)、經濟及其他領域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經驗和直覺。亞馬遜前任首席科學家AndreasWeigend說：“數(shù)據(jù)是新的石油?！惫鸫髮W社會學教授加里·金說：“這是一場革命，龐大的數(shù)據(jù)資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程?！?2012年3月份美國奧巴馬政府發(fā)布了“大數(shù)據(jù)研究和發(fā)展倡議”，投資2億以上美元，正式啟動“大數(shù)據(jù)發(fā)展計劃”。計劃在科學研究、環(huán)境、生物醫(yī)學等領域利用大數(shù)據(jù)技術進行突破。奧巴馬政府的這一計劃被視為美國政府繼信息高速公路(InformationHighway)計劃之后在信息科學領域的又一重大舉措。2012年5月，聯(lián)合國發(fā)表名為《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)與機遇》的政務白皮書中，指出大數(shù)據(jù)對于聯(lián)合國和各國政府來說是一個歷史性的機遇，還探討了如何利用包括社交網(wǎng)絡在內大數(shù)據(jù)資源造福人類。聯(lián)合國的大數(shù)據(jù)白皮書還建議聯(lián)合國成員國建設“脈搏實驗室”“PulseLabs”網(wǎng)絡開發(fā)大數(shù)據(jù)的潛在價值7隨著一系列標志性事件的發(fā)生和建立，人們越發(fā)感覺到大數(shù)據(jù)時代的力量。因此2013年被許多國外媒體和專家稱為“大數(shù)據(jù)元年”。當今“大社會”，三分技術，七分數(shù)據(jù)，得數(shù)據(jù)者得天下。8拒絕大數(shù)據(jù)時代，可能會失去生命！《大數(shù)據(jù)時代：生活、工作與思維的大變革》一書的作者維克托·邁爾·舍恩伯格，如是說，“如果你是一個個人，如果你拒絕的話，可能會失去生命，如果是一個國家的話，拒絕大數(shù)據(jù)時代的話，可能失去這個國家的未來，失去一代人的未來。”

這一句話恐怕不能算作聳人聽聞，因為每當人們站在現(xiàn)在這個節(jié)點的時候，總會去眺望未來，但是未來往往在你不經意當中已經悄悄地來到你的身邊。9硬件成本的降低網(wǎng)絡帶寬的提升云計算的興起網(wǎng)絡技術的發(fā)展智能終端的普及電子商務、社交網(wǎng)絡、電子地圖等的全面應用物聯(lián)網(wǎng)大數(shù)據(jù)時代到來的必然性：10什么是“大數(shù)據(jù)”？大數(shù)據(jù)很抽象，表示數(shù)據(jù)規(guī)模的龐大。大數(shù)據(jù)泛指巨量的數(shù)據(jù)集，因可從中挖掘出有價值的信息而受到重視?！度A爾街日報》將大數(shù)據(jù)時代、智能化生產、無線網(wǎng)絡革命稱為引領未來繁榮發(fā)展的重大技術變革。目前對大數(shù)據(jù)尚未有一個公認的定義，不同的定義基本上是從特征出發(fā)，試圖給出大數(shù)據(jù)的定義。11維基百科給出的定義：大數(shù)據(jù)是指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集?！?V”定義規(guī)模性（Volume）多樣性（Variety）高速性（Velocity）“4V”定義價值性（Value）（IDC）12全球流量累計達到1EB（即10億GB）的時間一年（2001）一個月（2004）一周（2007）一天（2013）一天產生的信息量可刻滿1.88億張DVD光盤全球網(wǎng)民平均每月使用流量：1M（1998）10M（2000）100M（2003）1G（2008）10G（2014）大數(shù)據(jù)有多“大”？13我國網(wǎng)民數(shù)量居世界之首，每天產生的數(shù)據(jù)量也位于世界前列。淘寶網(wǎng)站單日數(shù)據(jù)產生量超過5萬GB存儲量4000萬GB百度公司目前數(shù)據(jù)總量10億GB存儲網(wǎng)頁1萬億頁每天大約要處理60億次搜索請求一個8Mbps的攝像頭一小時能產生3.6GB的數(shù)據(jù)一個城市每月產生的數(shù)據(jù)達上千萬GB醫(yī)院一個病人的CT影像數(shù)據(jù)量達幾十GB全國每年需保存的數(shù)據(jù)達上百億GB14大數(shù)據(jù)就如同蜜蜂，其主要價值是傳播花粉，自己生產的蜂蜜價值并不大。2013年世界范圍內狹義的大數(shù)據(jù)產業(yè)產值只有186億美元，但廣義的大數(shù)據(jù)應用幾乎覆蓋所有產業(yè)。據(jù)麥肯錫公司預測，開放數(shù)據(jù)僅在教育、保健等7個行業(yè)便可釋放3.2萬億～5.4萬億美元的經濟價值。BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK不是隨機樣本，而是全體數(shù)據(jù)當數(shù)據(jù)處理技術已經發(fā)生了翻天覆地的變化時，在大數(shù)據(jù)時代進行抽樣分析就像在汽車時代騎馬一樣。一切都改變了，我們需要的是所有的數(shù)據(jù)，“樣本=總體”。執(zhí)迷于精確性是信息缺乏時代和模擬時代的產物。只有5%的數(shù)據(jù)是結構化且能適用于傳統(tǒng)數(shù)據(jù)庫的。如果不接受混亂，剩下95%的非結構化數(shù)據(jù)都無法被利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶。知道“是什么”就夠了，沒必要知道“為什么”。在大數(shù)據(jù)時代，我們不必非得知道現(xiàn)象背后的原因，而是要讓數(shù)據(jù)自己“發(fā)聲”。16二.大數(shù)據(jù)的應用領域天文學生物醫(yī)學電子政務氣候學企業(yè)管理教育學金融學市場營銷公共服務商業(yè)智能傳媒業(yè)生活娛樂天文學生物醫(yī)學電子政務氣候學企業(yè)管理教育學金融學市場營銷公共服務商業(yè)智能傳媒業(yè)生活娛樂總統(tǒng)選舉總統(tǒng)選舉情報學情報學圖書館學圖書館學奧巴馬的數(shù)據(jù)團隊對數(shù)以千萬計的選民郵件進行了大數(shù)據(jù)挖掘，精確預測出了更可能擁護奧巴馬的選民類型，并進行了有針對性的宣傳，從而幫助奧巴馬成為了美國歷史上唯一一位在競選經費處于劣勢下實現(xiàn)連任的總統(tǒng)。不要總喊“狼來了”，“狼”已經來了！大數(shù)據(jù)幫助奧巴馬成功實現(xiàn)連任奧巴馬的例子告訴我們，只要數(shù)據(jù)量夠大，夠及時，挖掘夠深刻，我們完全可以洞悉每個選民的投票幾率。迅速普及的互聯(lián)網(wǎng)與移動互聯(lián)網(wǎng)，悄然為記錄人的行為數(shù)據(jù)提供了最為便利、持久的載體。最重要的是，在這些強大的數(shù)據(jù)收集終端面前，人們沒有掩飾的意圖，從而創(chuàng)造著過去無法收集與分析的海量數(shù)據(jù)，這讓所有社會科學領域能夠從宏觀群體走向微觀個體，讓跟蹤每一個人的數(shù)據(jù)成為了可能，從而讓研究人性成為了可能。BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK變革公共衛(wèi)生

2009年H1N1流行病毒背景下谷歌通過檢測檢索詞條，處理了4.5億個不同的數(shù)據(jù)模型，通過預測并與2007年、2008年美國疾控中心記錄的實際流感病例進行對比后，確定了45條檢索詞條組合，并將其用于一個特定的數(shù)學模型后，預測的結果與官方數(shù)據(jù)的相關系數(shù)高達97%。按照傳統(tǒng)的信息返回流程，通告新流感病毒病例將有一到兩周的延遲。對于飛速傳播的疾病，信息滯后兩周是致命的。而谷歌運用大數(shù)據(jù)技術，以前所未有的方式，通過海量數(shù)據(jù)分析得出流感所傳播的范圍，為世界預測流感提供了一種更快捷的預測工具。20金融領域華爾街“德溫特資本市場”公司首席執(zhí)行官保羅·霍廷每天的工作之一，就是利用電腦程序分析全球3.4億微博賬戶的留言，進而判斷民眾情緒，再以“1”到“50”進行打分。根據(jù)打分結果，霍廷再決定如何處理手中數(shù)以百萬美元計的股票?；敉⒌呐袛嘣瓌t很簡單：如果所有人似乎都高興，那就買入；如果大家的焦慮情緒上升，那就拋售。這一招收效顯著——當年第一季度，霍廷的公司獲得了7%的收益率。你開心他就買，你焦慮他就拋！21

40天，36億人次。這是2014年春運的總時間和總出行人數(shù)。在這場堪稱人類歷史上最大規(guī)模的短期遷徙中，人群從哪兒去了哪兒？哪些線路最熱門？在以往，這些問題可能難以精確回答。但隨著技術進步，通過應用“大數(shù)據(jù)”這一技術利器，人們已經接近“在迷宮中感受全局”地看見春運的全景。大數(shù)據(jù)首次播報春運遷徙實況22三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)機遇大數(shù)據(jù)技術促進國家和社會發(fā)展大數(shù)據(jù)藍海成為企業(yè)競爭的新焦點大數(shù)據(jù)時代呼喚創(chuàng)新型人才挑戰(zhàn)大數(shù)據(jù)技術的運用仍有困難大數(shù)據(jù)給信息安全帶來新挑戰(zhàn)23當前,大數(shù)據(jù)的應用只是冰山一角,絕大部分隱藏在表面之下。未來，大數(shù)據(jù)所帶來的精彩值得期待！

第二部分勢不可擋的云計算浪潮云計算體驗——方便您的生活多終端同步-透明PC/筆記本客戶端瀏覽器PDA/手機/相機電子相冊電視數(shù)據(jù)中心運算中心拍出的相片立即編輯修改在線編寫文檔、報告隨時隨地寫日志隨時隨地的身體健康狀況監(jiān)控云引言《紐約時報》租用亞馬遜的云計算服務，使用基于云計算的開源軟件Hadoop，將其自1851年以來的1100萬份報道轉變成可搜索的數(shù)字化文檔，耗時僅一天。如果用傳統(tǒng)方法，這項工作可能要數(shù)月才能完成。最近興起的云計算甚至可以讓你體驗每秒10萬億次的運算能力，擁有這么強大的計算能力可以模擬核爆炸、預測氣候變化和市場發(fā)展趨勢。云計算發(fā)展背景個人電腦：80年中期互聯(lián)網(wǎng)：90年代初云計算：從現(xiàn)在開始移動互聯(lián)網(wǎng)物聯(lián)網(wǎng)智慧地球筆記本電腦上網(wǎng)本、智能手機RFID、傳感器10億20億40億萬億級需求推動、技術進步、商業(yè)模式變革照片視頻文本音樂Facebook保存有800億張照片，每秒有60萬人次訪問Youtube超過10億個視頻短片，每秒有1萬人次觀看（每天超過10億人次）約需要20P（2千萬G）以上空間超過4萬臺服務器桌面電腦云計算浪潮勢不可擋?。”仨氻槕獣r代的潮流~~一組數(shù)據(jù)——2012年，全球財富1000強企業(yè)中將有80%的使用云計算服務；到2015年，使用云計算的企業(yè)的比率有望提高到95%?！?013年，全球云計算市場規(guī)模將超1000億美元。2020年，規(guī)模將達到1500億元。——2011年，中國云計算服務市場規(guī)模315.54億元，增長88.6%?！?012年，中國云計算服務市場規(guī)模將超過600億元。2013年，將增長到1174.12億元。2023/2/5Inspurgroup國外云計算發(fā)展現(xiàn)狀國內云計算發(fā)展現(xiàn)狀政府主導，規(guī)模宏大的云計算計劃相繼出臺地方政府加快戰(zhàn)略布局各區(qū)域云計算基礎設施產業(yè)投資情況并行計算、分布式計算和網(wǎng)格計算網(wǎng)絡計算發(fā)展趨勢1995集群計算1998網(wǎng)格計算1999對等計算2007云計算2012云格(Gloud=Grid+Cloud)并行計算ParallelComputing是指同時使用多種計算資源解決計算問題的過程，其主要目的是快速解決大型且復雜的計算問題特點：把計算任務分派給系統(tǒng)內的多個運算單元大型機的多CPU和多存儲器并行計算問題的特征將工作分離成離散部分，有助于同時解決隨時并及時地執(zhí)行多個程序指令（多條線同時運行）多計算資源下解決問題的耗時要少于單個計算資源下的耗時分布式計算DistributedComputing所謂分布式計算是一門計算機科學，它研究如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多計算機進行處理，最后把這些計算結果綜合起來得到最終的結果。特點：把計算任務分派給網(wǎng)絡中的多臺獨立的機器優(yōu)點：稀有資源可以共享通過分布式計算可以在多臺計算機上平衡計算負載可以把程序放在最適合運行它的計算機上網(wǎng)格計算GridComputing網(wǎng)格是利用互聯(lián)網(wǎng)把地理上廣泛分布的各種資源（包括計算資源、存儲資源、帶寬資源、軟件資源、數(shù)據(jù)資源、信息資源、知識資源等）連成一個邏輯整體，就像一臺超級計算機一樣，為用戶提供一體化信息和應用服務（計算、存儲、訪問等）

網(wǎng)格計算是分布式計算的一種，是分布式計算封裝云計算技術概述云計算名稱的來源云計算(CloudComputing)源自亞馬遜公司(Amazon)的EC2(ElasticComputeCloud)產品和Google-IBM分布式計算項目，這兩個項目直接使用了“CloudComputing”的概念。云計算定義百度百科伯克利白皮書：云計算是一種商業(yè)模式，它將計算任務分布到大量的計算機、服務器構成的資源池上，使用用戶能夠按需獲取計算能力、存儲空間和信息服務。狹義云計算：指IT基礎設施的交付和使用模式，指通過網(wǎng)絡以按需、易擴展的方式獲得所需資源廣義云計算：服務的交付和使用模式，指通過網(wǎng)絡以按需、易擴展的方式獲得所需服務。這種服務可以是IT和軟件、互聯(lián)網(wǎng)相關，也可是其他服務。云計算定義美國國家標準與技術研究所(NIST)的云計算定義1.基本特征EssentialCharacteristics2.部署模式DeploymentModels3.服務模式ServiceModels按需自助服務On-demandSelf-Service無處不在的網(wǎng)絡接入BroadNetworkAccess敏捷的彈性RapidElasticity資源池ResourcePooling可度量的服務MeasuredService公有云PublicCloud私有云PrivateCloud混合云HybridCloud社區(qū)云CommunityCloud基礎設施即服務InfrastructureasaService(IaaS)平臺即服務PlatformasaService(PaaS)軟件即服務SoftwareasaService(SaaS)云計算優(yōu)勢數(shù)據(jù)在云端：不怕丟失,不必備份,可以任意點的恢復；軟件在云端：不必下載自動升級；無所不在的計算：在任何時間，任意地點，任何設備登錄后就可以進行計算服務；無限強大的計算：具有無限空間的，無限速度。硬件為中心軟件為中心服務為中心PCC/S云計算43云計算特點超大規(guī)模

Google云計算擁有100多萬臺服務器，Amazon、IBM等也有幾十萬臺。虛擬化

物理屬性（地理位置、存儲磁盤等）對用戶透明。高可靠性數(shù)據(jù)具有多副本容錯、計算節(jié)點同構來保障服務的高可靠性。通用性在云計算支撐下，可以構造千變萬化的應用服務。高可伸縮性規(guī)?？梢詣討B(tài)伸縮，滿足應用和用戶規(guī)模增長的需要。按需服務將計算作為一種資源，用戶按需購買極其廉價體現(xiàn)在多個方面，計算節(jié)點廉價、管理成本低、能源利用率高等。44云計算服務及好處基礎設施服務（InfrastructureasaService，IaaS）平臺環(huán)境服務（PlatformasaService,PaaS）應用軟件服務（SoftwareasaService,SaaS）存儲服務網(wǎng)絡服務開發(fā)與運行環(huán)境計算服務各類開放服務能力辦公應用信息化應用通訊應用互聯(lián)網(wǎng)應用數(shù)據(jù)庫123好處IaasPaaSSaaS低成本、大規(guī)模、高效率提供IT基礎設施統(tǒng)一平臺架構，開放平臺能力，引入外部開發(fā)創(chuàng)新力量，形成生態(tài)系統(tǒng)增強業(yè)務性能，降低業(yè)務提供成本，降低終端要求基于網(wǎng)絡以服務的形式提供計算、存儲等資源能力基于互聯(lián)網(wǎng)以服務的形式提供平臺運行環(huán)境（運行庫）基于互聯(lián)網(wǎng)以服務的形式提供軟件應用基礎設施即服務（實用計算、虛擬化）IaaS——InfrastructureasaService

是為IT行業(yè)創(chuàng)造虛擬的計算和數(shù)據(jù)中心，使得其能夠把計算單元、存儲器、I/O設備、帶寬等計算機基礎設施，集中起來成為一個虛擬的資源池來為整個網(wǎng)絡提供服務。用多少算多少AmazonWebServices，簡作AWS彈性計算云EC2（ElasticComputeCloud）——計算簡單存儲服務S3（SimpleStorageService）——存儲軟件即服務SaaS——SoftwareasaServiceSaaS是一種基于互聯(lián)網(wǎng)提供軟件服務的應用模式。軟件租賃：用戶按使用時間和使用規(guī)模付費綠色部署：用戶不需安裝，打開瀏覽器即可運行不需要額外的服務器硬件軟件（應用服務）按需定制軟件即服務SaaS產品SalesforceCRM阿里軟件GoogleappsAlexa排名：第一名Salesforce第二名阿里軟件第三名銘萬第四名金算盤第五名中企動力第六名神碼在線第七名商務領航第八名友商網(wǎng)第九名八百客第十名平臺即服務PaaS（Platformasaservice）是提供開發(fā)環(huán)境、服務器平臺、硬件資源等服務給用戶，用戶可以在服務提供商的基礎架構基礎上開發(fā)開發(fā)程序并通過互聯(lián)網(wǎng)和其服務器傳給其他用戶。PaaS能夠提供企業(yè)或個人定制研發(fā)的中間件平臺，提供應用軟件開發(fā)、數(shù)據(jù)庫、應用服務器、試驗、托管及應用服務，為個人用戶或企業(yè)的團隊協(xié)作。平臺即服務PaaS（Platformasaservice）GoogleAppEngine

云計算的目標企業(yè)B企業(yè)A企業(yè)C企業(yè)A企業(yè)B企業(yè)C互聯(lián)網(wǎng)云平臺服務商像用電、水一樣使用IT發(fā)電廠企業(yè)自己部署發(fā)電設施企業(yè)使用公共電力服務電力傳輸網(wǎng)絡云存儲與云服務云計算的一個主要用途就是存儲數(shù)據(jù)。采用云存儲的過程中，數(shù)據(jù)被存放到多個第三方服務器的存儲介質上，而不是像傳統(tǒng)的數(shù)據(jù)存儲那樣存放在企業(yè)的專用服務器上。云動態(tài)地管理可用的存儲空間，實際的存儲位置可能每天甚至每分鐘都不盡相同。盡管位置是虛擬的，用戶所看到的數(shù)據(jù)位置每天都處于相對于觀察者的固定狀態(tài)。云存儲與云服務通過云計算提供的任何基于web的應用或服務都被稱為云服務，它包括從日歷和客戶關系管理到文字處理和演示的任何應用。云服務具有諸多優(yōu)勢，如果用戶的電腦崩潰，它既不會影響到宿主應用程序，也不會影響到已經打開的文件，并且個人用戶可以從任何地點，在任何時間，使用任何智能終端訪問他的應用程序和文件。計算資源的演進：從集中到分散再到集中全世界只需要5臺電腦就足夠了

——托馬斯·沃森個人用戶的內存只需640K足矣

——比爾·蓋茨計算時代網(wǎng)絡時代云時代云計算的特點(缺點)企業(yè)級安全性問題，數(shù)據(jù)隱私保密云計算宿主離線所產生的事故迫使用戶適應新的操作環(huán)境、更改使用習慣網(wǎng)絡帶寬的局限性問題-55-云計算技術體系結構由于云計算分為IaaS、PaaS和SaaS三種類型，不同的廠家又提供了不同的解決方案，目前還沒有一個統(tǒng)一的技術體系結構；綜合不同廠家的方案，給出一個供商榷的云計算體系結構。這個體系結構如下圖所示，它概括了不同解決方案的主要特征，每一種方案或許只實現(xiàn)了其中部分功能，或許也還有部分相對次要功能尚未概括進來。云計算技術體系結構-57-云計算技術體系結構云計算技術體系結構分為4層：物理資源層、資源池層、管理中間件層和SOA構建層（如上圖）；物理資源層包括計算機、存儲器、網(wǎng)絡設施、數(shù)據(jù)庫和軟件等；資源池層是將大量相同類型的資源構成同構或接近同構的資源池，如計算資源池、數(shù)據(jù)資源池等。構建資源池更多是物理資源的集成和管理工作-58-云計算技術體系結構管理中間件負責對云計算的資源進行管理，并對眾多應用任務進行調度，使資源能夠高效、安全地為應用提供服務；SOA構建層將云計算能力封裝成標準的WebServices服務，并納入到SOA體系進行管理和使用，包括服務注冊、查找、訪問和構建服務工作流等。管理中間件和資源池層是云計算技術的最關鍵部分，SOA構建層的功能更多依靠外部設施提供。-59-云計算技術體系結構計算的管理中間件負責資源管理、任務管理、用戶管理和安全管理等工作。資源管理負責均衡地使用云資源節(jié)點，檢測節(jié)點的故障并試圖恢復或屏蔽之，并對資源的使用情況進行監(jiān)視統(tǒng)計；任務管理負責執(zhí)行用戶或應用提交的任務，包括完成用戶任務映象(Image)的部署和管理、任務調度、任務執(zhí)行、任務生命期管理等等；-60-云計算技術體系結構用戶管理是實現(xiàn)云計算商業(yè)模式的一個必不可少的環(huán)節(jié)，包括提供用戶交互接口、管理和識別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對用戶的使用進行計費等；安全管理保障云計算設施的整體安全，包括身份認證、訪問授權、綜合防護和安全審計等?；谏鲜鲶w系結構，以IaaS云計算為例，簡述云計算的實現(xiàn)機制，如下圖。云計算實現(xiàn)機制云用戶端：提供云用戶請求服務的交互界面，也是用戶使用云的入口，用戶通過Web瀏覽器可以注冊、登錄及定制服務、配置和管理用戶。打開應用實例與本地操作桌面系統(tǒng)一樣。服務目錄：云用戶在取得相應權限（付費或其他限制）后可以選擇或定制的服務列表，也可以對已有服務進行退訂的操作，在云用戶端界面生成相應的圖標或列表的形式展示相關的服務。管理系統(tǒng)和部署工具：提供管理和服務，能管理云用戶，能對用戶授權、認證、登錄進行管理，并可以管理可用計算資源和服務，接收用戶發(fā)送的請求，根據(jù)用戶請求并轉發(fā)到相應的相應程序，調度資源智能地部署資源和應用，動態(tài)地部署、配置和回收資源。監(jiān)控：監(jiān)控和計量云系統(tǒng)資源的使用情況，以便做出迅速反應，完成節(jié)點同步配置、負載均衡配置和資源監(jiān)控，確保資源能順利分配給合適的用戶。服務器集群：虛擬的或物理的服務器，由管理系統(tǒng)管理，負責高并發(fā)量的用戶請求處理、大運算量計算處理、用戶Web應用服務，云數(shù)據(jù)存儲時采用相應數(shù)據(jù)切割算法采用并行方式上傳和下載大容量數(shù)據(jù)。用戶可通過云用戶端從列表中選擇所需的服務，其請求通過管理系統(tǒng)調度相應的資源，并通過部署工具分發(fā)請求、配置Web應用。云計算關鍵技術云計算關鍵技術分布式文件系統(tǒng)并行計算設計和編程模型統(tǒng)一管理智能空間管理資源管理與調度虛擬化技術基礎核心云計算關鍵技術：計算虛擬化技術軟件與硬件相結合每臺機器上只有單一操作系統(tǒng)物理硬件邏輯抽象后，軟件獨立于物理硬件單臺機器上可以有多個操作系統(tǒng)UnixWindowsLinuxIBMHPHDSSunH3C存儲虛擬化平臺服務器虛擬化平臺存儲設備虛擬存儲池統(tǒng)一不同操作系統(tǒng)和異構存儲資源大容量數(shù)據(jù)擴容和分區(qū)管理數(shù)據(jù)自動備份和恢復統(tǒng)一存儲策略管理快照遷移虛擬計算資源復制鏡像云計算關鍵技術：資源池虛擬化云計算關鍵技術：資源管理與調度建立超大規(guī)模集群的資源管理系統(tǒng)，實現(xiàn)透明化的可伸縮計算系統(tǒng)，提高資源的使用效率、發(fā)揮計算資源的聚合效能關鍵技術虛擬機生成虛擬機文件管理（復制、備份）快速的動態(tài)部署技術資源監(jiān)控與調度，高效負載均衡高效遷移技術故障快速檢測與容錯技術高效的資源動態(tài)擴展技術67鏡像文件存儲器部署服務器、監(jiān)控服務器調度服務器云計算關鍵技術：并行計算傳統(tǒng)的并行計算算法復雜，并行規(guī)模有限（1024個節(jié)點），Mapreduce通過若干優(yōu)化（本地化計算），簡化模型（Map和Reduce）高效地并發(fā)計算（擴展到5000個節(jié)點）Google的搜索要求在幾百毫秒內得到結果，如果采用傳統(tǒng)的計算方式是不可能達到的。200多億個網(wǎng)頁，產生的索引是天文數(shù)據(jù)。2000年時2億個網(wǎng)頁，2005年是20億，2009年初是200億云計算關鍵技術：分布式文件系統(tǒng)文件劃分為64M的塊每一塊至少在三個服務器上保存（可靠性）其中某塊數(shù)據(jù)失效，會從其他塊訪問并恢復新的塊?主機（Master）管理所有元數(shù)據(jù)信息（每個塊的具體大小、位置、起始）數(shù)據(jù)實際上直接在客戶端和塊服務器（ChunkServer）之間傳輸主機和塊服務器之間保持通訊，以保證塊服務器和塊數(shù)據(jù)的有效性每次主機重啟，都會重新從塊服務器中刷新信息文件客戶端應用備份主機MasterMasterC0C1C2C5塊服務器C0C2C5塊服務器C1塊服務器…文件客戶端應用C5C3文件命名空間塊12ef7塊n...塊m...塊s.../foo/bar存儲資源管理計算資源管理網(wǎng)絡資源管理應用性能管理ExecutiveDashboardServiceLevelReporting統(tǒng)一管理中心部署對計算、存儲、網(wǎng)絡的統(tǒng)一資源化管理平臺網(wǎng)絡，安全資源的觸發(fā)聯(lián)動技術部署實現(xiàn)存儲資源基于策略的動態(tài)調整機制云計算關鍵技術：統(tǒng)一管理云計算發(fā)展的障礙云計算何時從云端到地面標準不統(tǒng)一Google、Amazon、IBM、微軟等的平臺互不兼容兩大巨頭的“云計算”之爭

云計算何時從云端到地面數(shù)據(jù)真的安全？云服務提供商的信譽——留后門？！面臨著全世界的黑客——需要高強度的安全系統(tǒng)云計算何時從云端到地面網(wǎng)絡帶寬3G尚未普及，費用極高云計算何時從云端到地面耗電量巨大主旋律——節(jié)能減排終端設備的電池容量有限第三部分大數(shù)據(jù)與云計算

云計算和大數(shù)據(jù)的關系

本質上，云計算與大數(shù)據(jù)的關系是靜與動的關系；云計算強調的是計算，這是動的概念；而大數(shù)據(jù)則是計算的對象，是靜的概念。

大數(shù)據(jù)需要處理大數(shù)據(jù)的能力（數(shù)據(jù)獲取、清潔、存儲、統(tǒng)計分析以及數(shù)據(jù)挖掘等能力），其實就是強大的存儲與計算能力；所以可謂是動中有靜。如果數(shù)據(jù)是財富，那么大數(shù)據(jù)就是寶藏，而云計算就是挖掘和利用寶藏的利器！

離開云技術海量的存儲和天量的計算能力，大數(shù)據(jù)根本沒有才、生存的根基和落地的可能?。?！第四部分物聯(lián)網(wǎng)與云計算物聯(lián)網(wǎng)定義基本定義：將各種信息傳感設備，如射頻識別(RFID)裝置、紅外感應器、全球定位系統(tǒng)、激光掃描器等種種裝置與互聯(lián)網(wǎng)結合起來而形成的