演示文稿大數(shù)據(jù)采集與清洗目前一頁\總數(shù)三十五頁\編于十六點(diǎn)（優(yōu)選）大數(shù)據(jù)采集與清洗目前二頁\總數(shù)三十五頁\編于十六點(diǎn)什么是大數(shù)據(jù)大數(shù)據(jù)處理流程大數(shù)據(jù)的主要特征大數(shù)據(jù)采集的概念大數(shù)據(jù)采集應(yīng)用目前三頁\總數(shù)三十五頁\編于十六點(diǎn)1什么是大數(shù)據(jù)目前四頁\總數(shù)三十五頁\編于十六點(diǎn)目前五頁\總數(shù)三十五頁\編于十六點(diǎn)目前六頁\總數(shù)三十五頁\編于十六點(diǎn)目前七頁\總數(shù)三十五頁\編于十六點(diǎn)淘寶推薦

依據(jù)購物行為偏好引薦依據(jù)你最近的閱讀行為和消費(fèi)行為進(jìn)行引薦依據(jù)你用的設(shè)備往來不斷猜特征.依據(jù)時(shí)節(jié)改變進(jìn)行引薦目前八頁\總數(shù)三十五頁\編于十六點(diǎn)2014-032015-082017-102016-032018大數(shù)據(jù)工作首先寫入政府工作報(bào)告『十三五規(guī)劃綱要』提出『實(shí)施國家大數(shù)據(jù)戰(zhàn)略』』2018年《政府工作報(bào)告》提出：實(shí)施大數(shù)據(jù)發(fā)展行動(dòng)，注重用互聯(lián)網(wǎng)、大數(shù)據(jù)等提升監(jiān)管效能國務(wù)院發(fā)布《促進(jìn)大數(shù)據(jù)發(fā)展的行動(dòng)綱要》十九大提出推動(dòng)大數(shù)據(jù)戰(zhàn)略，與實(shí)體經(jīng)濟(jì)深度融合行業(yè)現(xiàn)狀與前景目前九頁\總數(shù)三十五頁\編于十六點(diǎn)目前十頁\總數(shù)三十五頁\編于十六點(diǎn)2019年人社部擬最新發(fā)布15項(xiàng)新職業(yè)1.大數(shù)據(jù)工程技術(shù)人員2.云計(jì)算工程技術(shù)人員3.人工智能工程技術(shù)人員4.物聯(lián)網(wǎng)工程技術(shù)人員5....目前十一頁\總數(shù)三十五頁\編于十六點(diǎn)目前十二頁\總數(shù)三十五頁\編于十六點(diǎn)目前十三頁\總數(shù)三十五頁\編于十六點(diǎn)什么是大數(shù)據(jù)大數(shù)據(jù)（BigData）是指無法使用傳統(tǒng)和常用的軟件技術(shù)和工具在一定時(shí)間內(nèi)完成獲取、管理和處理的數(shù)據(jù)集目前十四頁\總數(shù)三十五頁\編于十六點(diǎn)2大數(shù)據(jù)的主要特征目前十五頁\總數(shù)三十五頁\編于十六點(diǎn)大數(shù)據(jù)主要特征

VolumeVelocityVarietyVeracity真實(shí)性（Veracity），即追求高質(zhì)量的數(shù)據(jù)。容量大（Volume）,指大規(guī)模的數(shù)據(jù)量，并且數(shù)據(jù)量呈持續(xù)增長(zhǎng)趨勢(shì)。速度快（Velocity）,指的是數(shù)據(jù)被創(chuàng)建和移動(dòng)的速度。種類多（Variety）,指數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式。Value價(jià)值密度低（Value），指隨著數(shù)據(jù)量的增長(zhǎng)，數(shù)據(jù)中有意義的信息卻沒有成相應(yīng)比例增長(zhǎng)。目前十六頁\總數(shù)三十五頁\編于十六點(diǎn)3大數(shù)據(jù)處理流程目前十七頁\總數(shù)三十五頁\編于十六點(diǎn)大數(shù)據(jù)處理流程

數(shù)據(jù)預(yù)處理就是將采集來的數(shù)據(jù)從多種數(shù)據(jù)庫導(dǎo)入到大型的分布式數(shù)據(jù)庫中（目前主要是hfds或hive）,并同時(shí)做一些簡(jiǎn)單的清洗和預(yù)處理工作。數(shù)據(jù)統(tǒng)計(jì)分析就是對(duì)上面已經(jīng)完成的存儲(chǔ)在大型分布式數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行歸類統(tǒng)計(jì)，可以滿足一般場(chǎng)景的分析需求。數(shù)據(jù)挖掘是對(duì)數(shù)據(jù)進(jìn)行基于各種算法的分析計(jì)算，從而起到預(yù)測(cè)的效果，實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。數(shù)據(jù)采集就是利用多種數(shù)據(jù)庫（關(guān)系型，NOSQL）去存儲(chǔ)不同來源的數(shù)據(jù)。數(shù)據(jù)展示就是對(duì)以上處理完的結(jié)果進(jìn)行分析，或者形成報(bào)表。目前十八頁\總數(shù)三十五頁\編于十六點(diǎn)4大數(shù)據(jù)采集的概念目前十九頁\總數(shù)三十五頁\編于十六點(diǎn)大數(shù)據(jù)采集的概念3、大數(shù)據(jù)采集技術(shù)方法大數(shù)據(jù)采集技術(shù)就是對(duì)數(shù)據(jù)進(jìn)行ETL操作，通過對(duì)數(shù)據(jù)進(jìn)行提取、轉(zhuǎn)換、加載，最終挖掘數(shù)據(jù)的潛在價(jià)值。ETL指的是Extract-Transform-Load，也就是抽取、轉(zhuǎn)換、加載。抽取->從各種數(shù)據(jù)源獲取數(shù)據(jù)轉(zhuǎn)換->按需求格式將源數(shù)據(jù)轉(zhuǎn)換為目標(biāo)數(shù)據(jù)加載->把目標(biāo)數(shù)據(jù)加載到數(shù)據(jù)倉庫中2、數(shù)據(jù)采集與大數(shù)據(jù)采集的區(qū)別傳統(tǒng)數(shù)據(jù)采集：來源單一，數(shù)據(jù)量相當(dāng)??；結(jié)構(gòu)單一；關(guān)系數(shù)據(jù)庫和并行數(shù)據(jù)庫大數(shù)據(jù)的數(shù)據(jù)采集：來源廣泛，數(shù)量巨大；數(shù)據(jù)類型豐富；分布式數(shù)據(jù)庫1、什么是數(shù)據(jù)采集數(shù)據(jù)采集就是數(shù)據(jù)獲取，數(shù)據(jù)源主要分為線上數(shù)據(jù)和內(nèi)容數(shù)據(jù)目前二十頁\總數(shù)三十五頁\編于十六點(diǎn)大數(shù)據(jù)采集系統(tǒng)1.日志采集系統(tǒng)（ApacheFlume、Scribe）3.數(shù)據(jù)庫采集系統(tǒng)（關(guān)系型、nosql等各種數(shù)據(jù)庫）2.網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)（Scrapy框架、ApacheNutch）目前二十一頁\總數(shù)三十五頁\編于十六點(diǎn)5大數(shù)據(jù)采集應(yīng)用目前二十二頁\總數(shù)三十五頁\編于十六點(diǎn)目前二十三頁\總數(shù)三十五頁\編于十六點(diǎn)技能準(zhǔn)備Python基礎(chǔ)Linux操作系統(tǒng)基本操作數(shù)據(jù)庫基礎(chǔ)（SQL語句操作）目前二十四頁\總數(shù)三十五頁\編于十六點(diǎn)環(huán)境準(zhǔn)備PythonJdk(java環(huán)境)數(shù)據(jù)庫（mysql）目前二十五頁\總數(shù)三十五頁\編于十六點(diǎn)Thanks

目前二十六頁\總數(shù)三十五頁\編于十六點(diǎn)YOURTITLE

Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.目前二十七頁\總數(shù)三十五頁\編于十六點(diǎn)YOURTITLE

Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.目前二十八頁\總數(shù)三十五頁\編于十六點(diǎn)2OKPPT工作室目前二十九頁\總數(shù)三十五頁\編于十六點(diǎn)YOURTITLE

Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.目前三十頁\總數(shù)三十五頁\編于十六點(diǎn)YOURTITLE

Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.目前三十一頁\總數(shù)三十五頁\編于十六點(diǎn)YOURTITLE

21%9%28%42%目前三十二頁\總數(shù)三十五頁\編于十六點(diǎn)3OKPPT工作室目前三十三頁\總數(shù)三十五頁\編于十六點(diǎn)YOURTITLE

Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.目前三十四頁\總數(shù)三十五頁\編于十六點(diǎn)YOURTITLE

Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdiffic