大數(shù)據(jù)詳細(xì)介紹.隨著移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)和電子商務(wù)的普及，互聯(lián)網(wǎng)應(yīng)用領(lǐng)域不斷拓展，我們正在進(jìn)入一個(gè)數(shù)據(jù)爆炸的時(shí)代，即大數(shù)據(jù)時(shí)代。大數(shù)據(jù)對(duì)社會(huì)經(jīng)濟(jì)、政治、文化和人類生活等方面產(chǎn)生了深遠(yuǎn)的影響，同時(shí)也提出了新的挑戰(zhàn)和機(jī)遇。大數(shù)據(jù)是當(dāng)下最熱門的IT行業(yè)術(shù)語(yǔ)，圍繞著大數(shù)據(jù)的商業(yè)價(jià)值的利用，數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等已成為行業(yè)人士爭(zhēng)相追捧的利潤(rùn)焦點(diǎn)。大數(shù)據(jù)時(shí)代的背景是信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，這一現(xiàn)象越來(lái)越受到關(guān)注。大數(shù)據(jù)時(shí)代的到來(lái)已經(jīng)出現(xiàn)在《紐約時(shí)報(bào)》和《華爾街時(shí)報(bào)》的專欄封面上，甚至進(jìn)入美國(guó)白宮網(wǎng)的新聞。在國(guó)內(nèi)，大數(shù)據(jù)時(shí)代也已經(jīng)成為一些互聯(lián)網(wǎng)主題的講座沙龍中的熱門話題。國(guó)君證券、國(guó)泰君安、銀河證券等也將大數(shù)據(jù)時(shí)代寫進(jìn)了投資推薦報(bào)告。大數(shù)據(jù)時(shí)代的到來(lái)得益于移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)和電子商務(wù)的發(fā)展，這些應(yīng)用拓展了互聯(lián)網(wǎng)的疆界和應(yīng)用領(lǐng)域。然而，我們?cè)谙硎鼙憷耐瑫r(shí)，也無(wú)償貢獻(xiàn)了自己的個(gè)人信息。每個(gè)人在互聯(lián)網(wǎng)進(jìn)入到大數(shù)據(jù)時(shí)代，都將是透明性存在。各種數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來(lái)發(fā)展。雖然現(xiàn)在企業(yè)可能并沒有意識(shí)到數(shù)據(jù)爆炸性增長(zhǎng)帶來(lái)的隱患，但是隨著時(shí)間的推移，人們將越來(lái)越多地意識(shí)到數(shù)據(jù)對(duì)企業(yè)的重要性。大數(shù)據(jù)時(shí)代對(duì)人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。大數(shù)據(jù)指的是海量的數(shù)據(jù)信息，它每年都在以驚人的速度增長(zhǎng)?；ヂ?lián)網(wǎng)上的數(shù)據(jù)每年將增長(zhǎng)50%，每?jī)赡瓯銓⒎环４送?，?shù)據(jù)不僅僅是指人們?cè)诨ヂ?lián)網(wǎng)上發(fā)布的信息，全世界的工業(yè)設(shè)備、汽車、電表上有著無(wú)數(shù)的數(shù)碼傳感器，隨時(shí)測(cè)量和傳遞著有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化，也產(chǎn)生了海量的數(shù)據(jù)信息。Gartner研究機(jī)構(gòu)定義了“大數(shù)據(jù)”的概念，即指海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)，需要新的處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力。最早引用“大數(shù)據(jù)”這個(gè)術(shù)語(yǔ)的是apacheorg的開源項(xiàng)目Nutch，用于描述更新網(wǎng)絡(luò)搜索索引需要同時(shí)進(jìn)行批量處理或分析的大量數(shù)據(jù)集。隨著谷歌MapReduce和GoogleFileSystem（GFS）的發(fā)布，“大數(shù)據(jù)”不再僅用來(lái)描述大量的數(shù)據(jù)，還包括處理數(shù)據(jù)的速度?！按髷?shù)據(jù)”是指超過(guò)傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)處理能力的數(shù)據(jù)，其數(shù)據(jù)規(guī)模和傳輸速度要求很高，或者其結(jié)構(gòu)不適合原本的數(shù)據(jù)庫(kù)系統(tǒng)。為了獲取其中的價(jià)值，必須選擇另一種方式來(lái)處理它。數(shù)據(jù)中隱藏著有價(jià)值的模式和信息，而當(dāng)今的各種資源，如硬件、云架構(gòu)和開源軟件使得大數(shù)據(jù)的處理更為方便和廉價(jià)。對(duì)企業(yè)組織來(lái)講，大數(shù)據(jù)的價(jià)值體現(xiàn)在分析使用和二次開發(fā)上。分析使用能揭示隱藏其中的信息，而二次開發(fā)則能創(chuàng)造出新產(chǎn)品和服務(wù)。隨著云計(jì)算時(shí)代的到來(lái)，大數(shù)據(jù)也吸引了越來(lái)越多的關(guān)注。大數(shù)據(jù)通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)，能夠從各種各樣類型的數(shù)據(jù)中快速獲得有價(jià)值信息。這一點(diǎn)促使該技術(shù)具備走向眾多企業(yè)的潛力。大數(shù)據(jù)是一個(gè)涵蓋多個(gè)領(lǐng)域的概念，包括大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用等。目前，人們主要關(guān)注大數(shù)據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用，而大數(shù)據(jù)工程和科學(xué)問(wèn)題則尚未受到足夠的重視。大數(shù)據(jù)工程涉及到大數(shù)據(jù)系統(tǒng)的規(guī)劃、建設(shè)、運(yùn)營(yíng)和管理，而大數(shù)據(jù)科學(xué)則關(guān)注于發(fā)現(xiàn)和驗(yàn)證大數(shù)據(jù)規(guī)律，以及與自然和社會(huì)活動(dòng)之間的關(guān)系。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)具有四個(gè)特性。首先，數(shù)據(jù)量呈現(xiàn)出海量性，預(yù)計(jì)到2020年，全球數(shù)據(jù)量將擴(kuò)大50倍。其次，數(shù)據(jù)類型呈現(xiàn)出多樣性，包括新型多結(jié)構(gòu)數(shù)據(jù)，如網(wǎng)絡(luò)日志、社交媒體、互聯(lián)網(wǎng)搜索、手機(jī)通話記錄和傳感器網(wǎng)絡(luò)等。第三，數(shù)據(jù)的高速性指的是數(shù)據(jù)被創(chuàng)建和移動(dòng)的速度，企業(yè)需要快速創(chuàng)建、處理和分析數(shù)據(jù)，以滿足用戶的實(shí)時(shí)需求。最后，數(shù)據(jù)易變性指的是數(shù)據(jù)具有多層結(jié)構(gòu)，呈現(xiàn)出多變的形式和類型，這對(duì)于傳統(tǒng)的應(yīng)用軟件進(jìn)行分析造成了很大的挑戰(zhàn)。除了以上四個(gè)特性之外，大數(shù)據(jù)還呈現(xiàn)出其他三個(gè)特征。首先，數(shù)據(jù)類型繁多，包括網(wǎng)絡(luò)日志、音頻、視頻、圖片和地理位置信息等等，這對(duì)于數(shù)據(jù)的處理能力提出了更高的要求。其次，數(shù)據(jù)價(jià)值密度相對(duì)較低，如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”，是大數(shù)據(jù)時(shí)代亟待解決的難題。最后，數(shù)據(jù)的價(jià)值隨時(shí)間演變，需要不斷地分析和挖掘，以獲取更多的價(jià)值。和挑戰(zhàn)隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，未來(lái)的發(fā)展方向和趨勢(shì)也變得越來(lái)越清晰。首先，大數(shù)據(jù)技術(shù)將更加普及和應(yīng)用于各個(gè)行業(yè)和領(lǐng)域，從而實(shí)現(xiàn)更多的商業(yè)價(jià)值。其次，人工智能和機(jī)器學(xué)習(xí)等技術(shù)將與大數(shù)據(jù)技術(shù)相結(jié)合，進(jìn)一步提高數(shù)據(jù)處理的效率和精度。同時(shí)，數(shù)據(jù)安全和隱私保護(hù)的挑戰(zhàn)也越來(lái)越嚴(yán)峻，需要加強(qiáng)技術(shù)和法律方面的保障。最后，大數(shù)據(jù)技術(shù)的發(fā)展還需要更多的人才和投資支持，以推動(dòng)其在各個(gè)領(lǐng)域的廣泛應(yīng)用和創(chuàng)新發(fā)展。雖然大數(shù)據(jù)目前在國(guó)內(nèi)還處于初級(jí)階段，但是商業(yè)價(jià)值已經(jīng)顯現(xiàn)出來(lái)。未來(lái)，數(shù)據(jù)可能成為最大的交易商品。但是，僅僅擁有大量數(shù)據(jù)并不能算是大數(shù)據(jù)，而是要滿足數(shù)據(jù)量大、數(shù)據(jù)種類多、非標(biāo)準(zhǔn)化數(shù)據(jù)的特征才能真正稱之為大數(shù)據(jù)。因此，大數(shù)據(jù)的價(jià)值是通過(guò)數(shù)據(jù)共享和交叉復(fù)用來(lái)獲取最大的數(shù)據(jù)價(jià)值。從長(zhǎng)遠(yuǎn)來(lái)看，大數(shù)據(jù)將會(huì)與基礎(chǔ)設(shè)施一樣，有數(shù)據(jù)提供方、管理者、監(jiān)管者，數(shù)據(jù)的交叉復(fù)用將大數(shù)據(jù)變成一大產(chǎn)業(yè)。大數(shù)據(jù)的整體態(tài)勢(shì)和發(fā)展趨勢(shì)主要體現(xiàn)在幾個(gè)方面：大數(shù)據(jù)與學(xué)術(shù)、大數(shù)據(jù)與人類的活動(dòng)、大數(shù)據(jù)的安全隱私、關(guān)鍵應(yīng)用、系統(tǒng)處理以及整個(gè)產(chǎn)業(yè)的影響。隨著大數(shù)據(jù)的發(fā)展，數(shù)據(jù)規(guī)模將變得更大，數(shù)據(jù)資源化、數(shù)據(jù)的價(jià)值凸顯、數(shù)據(jù)私有化出現(xiàn)和聯(lián)盟共享。大數(shù)據(jù)的發(fā)展也將催生許多新興職業(yè)，例如數(shù)據(jù)分析師、數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師。有非常豐富的數(shù)據(jù)經(jīng)驗(yàn)的人才將成為稀缺人才。隨著大數(shù)據(jù)的發(fā)展，數(shù)據(jù)共享聯(lián)盟將逐漸壯大成為產(chǎn)業(yè)的核心一環(huán)。然而，隨著大數(shù)據(jù)的共享越來(lái)越大，隱私問(wèn)題也隨之而來(lái)，例如每天手機(jī)產(chǎn)生的通話、位置等等。這給帶來(lái)了便利的同時(shí)也給帶來(lái)了個(gè)人隱私的問(wèn)題。數(shù)據(jù)資源化，大數(shù)據(jù)在國(guó)家、企業(yè)和社會(huì)層面成為重要的戰(zhàn)略資源，成為新的戰(zhàn)略制高點(diǎn)和搶購(gòu)的新焦點(diǎn)。隨著社會(huì)的不斷發(fā)展，大數(shù)據(jù)對(duì)IT技術(shù)架構(gòu)的挑戰(zhàn)、大數(shù)據(jù)的生態(tài)環(huán)境問(wèn)題、大數(shù)據(jù)的應(yīng)用及產(chǎn)業(yè)鏈將日益突出。大數(shù)據(jù)提供了成功的新前線，企業(yè)數(shù)據(jù)本身就蘊(yùn)藏著價(jià)值，但是將有用的數(shù)據(jù)與沒有價(jià)值的數(shù)據(jù)進(jìn)行區(qū)分看起來(lái)可能是一個(gè)棘手的問(wèn)題。除了掌握的人員情況、工資表和客戶記錄，其他數(shù)據(jù)也擁有轉(zhuǎn)化為價(jià)值的力量。例如，一段記錄人們?nèi)绾卧谀纳痰隇g覽購(gòu)物的視頻、人們?cè)谫?gòu)買您的服務(wù)前后的所作所為、如何通過(guò)社交網(wǎng)絡(luò)聯(lián)系您的客戶、是什么吸引合作伙伴加盟、客戶如何付款以及供應(yīng)商喜歡的收款方式等所有這些場(chǎng)景都提供了很多指向，將它們抽絲剝繭，透過(guò)特殊的棱鏡觀察，將其與其他數(shù)據(jù)集對(duì)照，或者以與眾不同的方式分析解剖，就能讓您的行事方式發(fā)生天翻地覆的轉(zhuǎn)變。很多公司仍然只是簡(jiǎn)單地堆積信息，把它們當(dāng)作必須保存的信息，而不是將其作為戰(zhàn)略轉(zhuǎn)變的工具。然而，數(shù)據(jù)和人員是業(yè)務(wù)部門僅有的兩個(gè)無(wú)法被競(jìng)爭(zhēng)對(duì)手復(fù)制的財(cái)富。在善用的人手中，好的數(shù)據(jù)是所有管理決策的基礎(chǔ)，帶來(lái)的是對(duì)客戶的深入了解和競(jìng)爭(zhēng)優(yōu)勢(shì)。因此，數(shù)據(jù)是業(yè)務(wù)部門的生命線，必須讓數(shù)據(jù)在決策和行動(dòng)時(shí)無(wú)縫且安全地流到人們手中。數(shù)據(jù)應(yīng)該隨時(shí)為決策提供依據(jù)。政府公開道路和公共交通的使用信息為一些私營(yíng)公司提供了巨大的價(jià)值，這些公司能夠善用這些數(shù)據(jù)，創(chuàng)造滿足潛在需求的新產(chǎn)品和服務(wù)。企業(yè)需要向創(chuàng)造和獲取數(shù)據(jù)方面的投入索取回報(bào)。有效管理來(lái)自新舊來(lái)源的數(shù)據(jù)以及獲取能夠破解龐大數(shù)據(jù)集含義的工具只是等式的一部分，但是這種挑戰(zhàn)不容低估。產(chǎn)生的數(shù)據(jù)在數(shù)量上持續(xù)膨脹，富媒體需要新的方法來(lái)發(fā)現(xiàn)，合作和交流系統(tǒng)以非結(jié)構(gòu)化文本的形式保存數(shù)據(jù)，必須用一種智能的方式來(lái)解讀。然而，應(yīng)該將這種復(fù)雜性看成是一種機(jī)會(huì)而不是問(wèn)題。處理方法正確時(shí)，產(chǎn)生的數(shù)據(jù)越多，結(jié)果就會(huì)越成熟可靠。傳感器、GPS系統(tǒng)和社交數(shù)據(jù)的新世界將帶來(lái)轉(zhuǎn)變運(yùn)營(yíng)的驚人新視角和機(jī)會(huì)。自從有了IT部門，董事會(huì)就一直在要求信息管理專家提供洞察力。商業(yè)智能穩(wěn)居CXO們的重中之重。在理想的世界中，IT是巨大的杠桿，改變了公司的影響力，帶來(lái)競(jìng)爭(zhēng)差異、節(jié)省金錢、增加利潤(rùn)、愉