大數(shù)據(jù)的概念及影響數(shù)據(jù)庫與大數(shù)據(jù)章名：節(jié)名：大數(shù)據(jù)的概念大數(shù)據(jù)的影響12大數(shù)據(jù)的特性？大數(shù)據(jù)的概念4V大量化VOLUME快速化VELOCITY多樣化VARIETY價(jià)值密度低VALUE大數(shù)據(jù)的概念數(shù)據(jù)量大(大量化)根據(jù)國際機(jī)構(gòu)IDC作出的估測(cè)，數(shù)據(jù)一直都在以每年50%的速度增長，也就是說每兩年就增長一倍。（大數(shù)據(jù)摩爾定律）人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量，相較于2010年，數(shù)據(jù)量將增長近30倍。1ZB≈103EB≈106PB≈109TB大數(shù)據(jù)的概念2.數(shù)據(jù)類型多樣化大數(shù)據(jù)的數(shù)據(jù)類型繁多，由結(jié)構(gòu)化和非結(jié)構(gòu)化

數(shù)據(jù)組成的。10%的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系數(shù)據(jù)庫中有規(guī)律

的數(shù)據(jù)。90%的非結(jié)構(gòu)化數(shù)據(jù)，它們與人類信息密切相關(guān)。大數(shù)據(jù)的概念2.數(shù)據(jù)類型多樣化企業(yè)應(yīng)用Email文檔、文件應(yīng)用日志交易記錄Web2.0數(shù)據(jù)查詢?nèi)罩?點(diǎn)擊流Twitter(推特)Blog(博客)SNS(社交網(wǎng)絡(luò)服務(wù))Wiki(超文本系統(tǒng))科學(xué)研究基因組LHC(粒子)加速器地球與空間探測(cè)Web1.0數(shù)據(jù)文本、圖像、視頻3.處理速度非常快大數(shù)據(jù)的概念秒級(jí)服務(wù)以前：把大量數(shù)據(jù)拿出來進(jìn)行分析，后拿出

一個(gè)報(bào)告，服務(wù)企業(yè)決策。現(xiàn)在：企業(yè)級(jí)應(yīng)用都需要秒級(jí)決策。從數(shù)據(jù)的生成到消耗，時(shí)間窗口非常小，可用于生成決策的時(shí)間非常少。1秒定律：這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。大數(shù)據(jù)概念實(shí)例：谷歌公司開發(fā)一款Dremel產(chǎn)品，做交互式查詢。這樣一個(gè)

產(chǎn)品可達(dá)到一個(gè)什么樣的查詢實(shí)時(shí)程度呢？結(jié)論：把成百上千臺(tái)服務(wù)器同時(shí)調(diào)動(dòng)起來做集群運(yùn)算，1秒鐘左右

可實(shí)現(xiàn)1PB數(shù)據(jù)量的交互式查詢。4.價(jià)值密度低大數(shù)據(jù)的概念1、社會(huì)發(fā)展方面2、就業(yè)市場(chǎng)方面3、人才培養(yǎng)方面4、科學(xué)研究方面5、思維方式方面大數(shù)據(jù)的影響1、社會(huì)發(fā)展方面大數(shù)據(jù)決策逐漸成為一種新的決策方式，大數(shù)據(jù)應(yīng)用有力促進(jìn)了信息技術(shù)與各行業(yè)的深度融合，大數(shù)據(jù)開發(fā)大大推動(dòng)了新技術(shù)和新應(yīng)用的不斷涌現(xiàn)。2、就業(yè)市場(chǎng)方面大數(shù)據(jù)的興起使得數(shù)據(jù)科學(xué)家成為熱門職業(yè)。大數(shù)據(jù)的影響3、人才培養(yǎng)方面大數(shù)據(jù)的興起，將在很大程度上改變中國高校信息技術(shù)相關(guān)專業(yè)的現(xiàn)有教學(xué)和科研體制。4、科學(xué)研究方面大數(shù)據(jù)的影響JimGray博士數(shù)據(jù)庫專家圖靈獎(jiǎng)獲得者(提出了事務(wù)理論)4、科學(xué)研究方面大數(shù)據(jù)的影響大數(shù)據(jù)的到來使科學(xué)研究出現(xiàn)了第四種范式。實(shí)驗(yàn)(伽利略比薩斜塔)理論(牛頓第三定律)計(jì)算(計(jì)算時(shí)代，1940年后)數(shù)據(jù)(以大數(shù)據(jù)為驅(qū)動(dòng)全新的科學(xué)研究時(shí)代，2010年后)大數(shù)據(jù)的影響大數(shù)據(jù)的影響維克托·邁爾-舍恩伯格(著)在思維方式方面，大數(shù)據(jù)完全顛覆了傳統(tǒng)的思維方式：全樣而非抽樣效率而非精確相關(guān)而非因果5、思維方式方面全面而非抽樣大數(shù)據(jù)的影響數(shù)據(jù)太多，無法存儲(chǔ)、計(jì)算和分析，統(tǒng)計(jì)學(xué)采用抽樣。大數(shù)據(jù)時(shí)代足夠的空間進(jìn)行存儲(chǔ)利用眾多CPU的服務(wù)器集群進(jìn)行計(jì)算全樣數(shù)據(jù)分析效率而非精確大數(shù)據(jù)的影響全面而非抽樣抽樣分析的結(jié)果：注重精確度，否則，數(shù)據(jù)放大到全樣誤差會(huì)放大。大數(shù)據(jù)分析的結(jié)果：使用的是全部數(shù)據(jù)，精確度是固定的，不會(huì)放大。數(shù)據(jù)分析的時(shí)效性非常重要，數(shù)據(jù)在瞬間就要得出結(jié)果，否則價(jià)值將會(huì)消失。效率比精確度更重要相關(guān)而非因果大數(shù)據(jù)的影響效率而非精確全面而非抽樣