大數(shù)據(jù)的存儲與管理

近年來，隨著物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)等新技術(shù)的快速發(fā)展，數(shù)據(jù)逐漸增加，而且隨著規(guī)模的增加，出現(xiàn)了大量的數(shù)據(jù)。大數(shù)據(jù)是繼云計算之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)革命。它貫穿于整個社會,正處于成長階段,大數(shù)據(jù)引起了產(chǎn)業(yè)界、科技界和政府機構(gòu)的廣泛關(guān)注。大數(shù)據(jù)隨著新型SNS網(wǎng)絡(luò)的發(fā)展等在肥沃的土壤中更加迅速地成長。現(xiàn)在,大數(shù)據(jù)時代占據(jù)了大部分市場和企業(yè),規(guī)模不斷壯大。一、國內(nèi)互聯(lián)網(wǎng)企業(yè)設(shè)計能力i生物隨著網(wǎng)絡(luò)技術(shù)、信息技術(shù)的發(fā)展,人類產(chǎn)生的數(shù)據(jù)成指數(shù)增長。資料顯示,2011年,全球數(shù)據(jù)規(guī)模為1.8ZB,可以填滿575億個32GB的iPad。到2020年,全球數(shù)據(jù)達到40ZB。我國,2010年新存儲的數(shù)據(jù)為250PB,2012年中國的數(shù)據(jù)存儲量達到364EB,約為日本的60%,北美的7%。全球互聯(lián)網(wǎng)行業(yè)巨頭以百度、阿里巴巴、騰訊等為代表的國內(nèi)互聯(lián)網(wǎng)企業(yè)開始創(chuàng)建自己的數(shù)據(jù)中心,并在IT基礎(chǔ)設(shè)施和創(chuàng)新方面有顯著的成就。由此看來,大數(shù)據(jù)慢慢走向成熟,即將成為社會、生活不可缺少的一部分。二、大數(shù)據(jù)的特點大數(shù)據(jù)(BigData),可以認為,它所涉及的資料量規(guī)模巨大,通過一些方法和手段,在合理時間內(nèi)達到獲取、管理、處理并整理這些大量的資料數(shù)據(jù),進一步幫助企業(yè)高層做出經(jīng)營決策。“大數(shù)據(jù)”的出現(xiàn)不是偶然事件,它是在社會發(fā)展的推動下,逐漸網(wǎng)絡(luò)化、信息化。比如各種二維碼、虹膜等都可以認為是大數(shù)據(jù)。對于數(shù)據(jù)的識別和分析是很有難度的。大數(shù)據(jù)的特點如下。(1)數(shù)據(jù)類別大。大數(shù)據(jù)一般包括以事務(wù)為代表的結(jié)構(gòu)化數(shù)據(jù),以網(wǎng)頁為代表的半結(jié)構(gòu)化數(shù)據(jù)和以視頻和語音信息為代表的非結(jié)構(gòu)多類數(shù)據(jù),并且它們的處理和分析方式區(qū)別很大。(2)數(shù)據(jù)量大。通過各種方式,比如市場、信息、網(wǎng)絡(luò)等產(chǎn)生的一系列大量數(shù)據(jù)。所謂大數(shù)據(jù),數(shù)量肯定是很大的了。(3)數(shù)據(jù)快速化。有些數(shù)據(jù)是具有時效性的。比如電商行業(yè),數(shù)據(jù)是有時間限制的,否則數(shù)據(jù)無意義,或者會造成誤差。(4)數(shù)據(jù)的靈活性與復(fù)雜性。數(shù)據(jù)更新迅速,是變化的,數(shù)據(jù)的類型、用途不同,分析方式的不同、需求的不同導(dǎo)致了數(shù)據(jù)的靈活性和復(fù)雜性。三、基本組織設(shè)計大數(shù)據(jù)的處理主要是從一大堆的數(shù)據(jù)當(dāng)中篩選出有價值的數(shù)據(jù),然后進行對比、分析、處理等。解決大數(shù)據(jù)問題的核心是大數(shù)據(jù)技術(shù),主要可分為:數(shù)據(jù)采集、數(shù)據(jù)存取、基礎(chǔ)架構(gòu)、數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、模型預(yù)測、結(jié)果呈現(xiàn)等8種技術(shù)。大數(shù)據(jù)技術(shù)主要形成了批處理、流處理和交互分析三種計算模式。大數(shù)據(jù)的關(guān)鍵技術(shù)主要還是對海量數(shù)據(jù)的存儲和計算處理等,特別是對數(shù)據(jù)的分類,根據(jù)用途需求的不同,篩選出對于某一個領(lǐng)域某一個用途有意義、有價值的一系列數(shù)據(jù),拋棄相對而言無用的數(shù)據(jù)。四、大數(shù)據(jù)面臨的機遇和挑戰(zhàn)1.讀取個人信息比如日常生活中我們經(jīng)常使用的微信、旺信以及一些其他如淘粉吧、團購網(wǎng)等需要授權(quán)的網(wǎng)站和軟件應(yīng)用,都需要讀取使用者的個人信息等數(shù)據(jù),有可能會導(dǎo)致數(shù)據(jù)的泄露。2.相對價值與相對價值相結(jié)合的發(fā)展趨勢特別是大數(shù)據(jù)中的價值數(shù)據(jù),當(dāng)然價值包括數(shù)據(jù)本身的價值和其使用價值,價值也分為絕對價值和相對價值,企業(yè)可以通過這些數(shù)據(jù)分析未來的發(fā)展趨勢。國內(nèi)三大巨頭BAT坐擁數(shù)據(jù)金礦,我們來看百度、阿里巴巴、騰訊三大巨頭的大數(shù)據(jù)利用以及三者的不同之處(如下頁表1)。3.創(chuàng)造潛在的潛在價值大數(shù)據(jù)的重心將從存儲和傳輸,過渡到數(shù)據(jù)的挖掘和應(yīng)用。索取我們的個人位置信息可創(chuàng)造潛在價值6000億美元。沃爾瑪為其網(wǎng)站W(wǎng)自行設(shè)計了最新的搜索引擎Polaris,利用語義分析、數(shù)據(jù)挖掘等使得購物完成率提升了10%~20%,這意味著數(shù)十億的金額。五、如何適應(yīng)“大數(shù)據(jù)”時代1.聯(lián)合域合作智慧城加強各個領(lǐng)域之間的合作關(guān)系,加強企業(yè)商業(yè)智能、社會服務(wù)、市場營銷等各大領(lǐng)域的合作。企業(yè)服務(wù)于民眾和政府,政府也推動企業(yè)的發(fā)展,激勵市場的需求,企業(yè)根據(jù)商業(yè)智能對數(shù)據(jù)的分析了解當(dāng)今市場發(fā)展趨勢,進行產(chǎn)品的生產(chǎn)和市場分配,根據(jù)用戶的需求了解當(dāng)今社會的發(fā)展要求,政府把握公民動態(tài),了解民生。2.數(shù)據(jù)安全問題防止數(shù)據(jù)被非法交易、倒賣、竊取、泄漏或者纂改。大量的數(shù)據(jù)通過云端存儲,數(shù)據(jù)管理比較分散。數(shù)據(jù)從產(chǎn)生到獲取,再到分析、處理等每一個過程都牽扯用戶的隱私和安全問題,整個過程中,如不采取相應(yīng)措施,非法用戶容易入侵,竊取和纂改數(shù)據(jù),數(shù)據(jù)的正確性沒有了保障。因此,如何保證大數(shù)據(jù)的安全以及分析結(jié)果的可靠是信息安全領(lǐng)域所要解決的問題。3.企業(yè)員工進行自我能力的培養(yǎng)。對于能力和能力。在對于大數(shù)據(jù)發(fā)展離不開人才的需求。大數(shù)據(jù)興起的時間不算長,這方面的人才還是急缺的。可以根據(jù)社會的需求培養(yǎng)具有大數(shù)據(jù)思維和創(chuàng)新能力的復(fù)合型人才,企業(yè)可以根據(jù)企業(yè)自身的需要對企業(yè)內(nèi)部人員進行教育培訓(xùn),另外可以通過招聘引進一些具有大數(shù)據(jù)經(jīng)驗的人士。引導(dǎo)員工職業(yè)發(fā)展,采用員工激勵制等,鼓勵員工不斷地學(xué)習(xí)提升自我。加強大數(shù)據(jù)人才的培養(yǎng)也是大數(shù)據(jù)發(fā)展的重點之一。六、大數(shù)據(jù)在中小企業(yè)教學(xué)中的應(yīng)用大數(shù)據(jù)通過互聯(lián)網(wǎng)渠道,遍布全球的各個角落?；ヂ?lián)網(wǎng)企業(yè)與其他數(shù)據(jù)傳播手段相比,開展大數(shù)據(jù)應(yīng)用存在“近水樓臺先得月”的優(yōu)勢。百度、阿里巴巴、騰訊、谷歌、亞馬遜等都擁有強大的數(shù)據(jù)資源和數(shù)據(jù)技術(shù)平臺。美國等先進國家政府部門投資2億美元開展大數(shù)據(jù)應(yīng)用。我們要向美國學(xué)習(xí)推進大數(shù)據(jù)的應(yīng)用實踐。大數(shù)據(jù)的應(yīng)用主要體現(xiàn)在互聯(lián)網(wǎng)應(yīng)用、電信應(yīng)用、金融應(yīng)用和政府應(yīng)用。大數(shù)據(jù)應(yīng)用的核心思想是將數(shù)學(xué)算法運用到海量數(shù)據(jù)中預(yù)測事情發(fā)生的可能性。作為高校的一名教師,我們可以將大數(shù)據(jù)運用到高校教學(xué)中,以院系的軟件工程專業(yè)為例(圖1),該專業(yè)的學(xué)生畢業(yè)初期76.52%都是選擇在公司處理IT編程相關(guān)領(lǐng)域,4.45%選擇了考研,5.27%選擇考公務(wù)員等,五年之后他們的選擇又如何,仍然堅守在IT崗位上的人又有多少?這些數(shù)據(jù),我們都可以進行統(tǒng)計分析,了解每一年的畢業(yè)生就業(yè)情況。大數(shù)據(jù)在大學(xué)生就業(yè)中的應(yīng)用體現(xiàn)在:根據(jù)畢業(yè)生的就業(yè)情況統(tǒng)計出的數(shù)據(jù)反映社會對軟件技術(shù)專業(yè)人才的需求以及學(xué)生就業(yè)選擇的方向,發(fā)現(xiàn)未來軟件方向的就業(yè)趨勢。同時,在高校開設(shè)的《職業(yè)生涯規(guī)劃課》上可以根據(jù)往屆學(xué)生的就業(yè)情況給予新生更好地引導(dǎo),讓學(xué)生產(chǎn)生良好的認識,不會盲目地做出選擇。大數(shù)據(jù)應(yīng)用在畢業(yè)生就業(yè)上的指導(dǎo)有一定參考性,數(shù)據(jù)證明了趨勢,更加生動、真實。七、大數(shù)據(jù)時代人才培養(yǎng)的幾點基大數(shù)據(jù)已被越來越多的人熟悉,在未來的日子里,大數(shù)據(jù)將迎來一場激烈的競爭。我們應(yīng)該抓住大數(shù)據(jù)的關(guān)鍵點,跟上時