1、大數(shù)據(jù)技術(shù)體系圖譜演講人2021-08-08第1頁(yè)，共96頁(yè)。目錄01.數(shù)據(jù)采集07.數(shù)據(jù)應(yīng)用03.數(shù)據(jù)存儲(chǔ)05.基礎(chǔ)技術(shù)02.數(shù)據(jù)傳輸04.數(shù)據(jù)處理06.數(shù)據(jù)治理第2頁(yè)，共96頁(yè)。01數(shù)據(jù)采集第3頁(yè)，共96頁(yè)。日志采集埋點(diǎn) PC 打點(diǎn)移動(dòng)端打點(diǎn)服務(wù)端打點(diǎn)采集框架 LogstashFlume FluentdChukwa第4頁(yè)，共96頁(yè)。外部數(shù)據(jù) 網(wǎng)絡(luò)數(shù)據(jù)采集 文本圖片視頻爬蟲技術(shù) NutchHeritrixScrapyWebCollector第5頁(yè)，共96頁(yè)。數(shù)據(jù)采集IoT設(shè)備傳感器探針第6頁(yè)，共96頁(yè)。02數(shù)據(jù)傳輸?shù)?頁(yè)，共96頁(yè)。數(shù)據(jù)傳輸消息隊(duì)列數(shù)據(jù)同步數(shù)據(jù)訂閱序列化第8頁(yè)，共96頁(yè)。數(shù)據(jù)

2、傳輸消息隊(duì)列KafkaActiveMQRabbitMQRocketMQ ZeroMQ.1.第9頁(yè)，共96頁(yè)。數(shù)據(jù)傳輸數(shù)據(jù)同步DataXKettle Cannal SqoopSymmetricDS OGG(Oracle Golden Gate) 第10頁(yè)，共96頁(yè)。數(shù)據(jù)傳輸數(shù)據(jù)訂閱Databus01Wormhole 03Otter 02阿里云 DTS04第11頁(yè)，共96頁(yè)。數(shù)據(jù)傳輸序列化JSON01Protobuf02Hessian03FST04MessagePack05Avro06第12頁(yè)，共96頁(yè)。序列化數(shù)據(jù)傳輸Kryo第13頁(yè)，共96頁(yè)。03數(shù)據(jù)存儲(chǔ)第14頁(yè)，共96頁(yè)。數(shù)據(jù)存

3、儲(chǔ)分布式文件/對(duì)象存儲(chǔ)02物理存儲(chǔ)01分布式關(guān)系型數(shù)據(jù)庫(kù) 03分析型數(shù)據(jù)庫(kù) 04搜索引擎05K-V存儲(chǔ)06第15頁(yè)，共96頁(yè)。數(shù)據(jù)存儲(chǔ)圖數(shù)據(jù)庫(kù)列存儲(chǔ)數(shù)據(jù)庫(kù)文檔數(shù)據(jù)庫(kù)時(shí)序數(shù)據(jù)庫(kù)第16頁(yè)，共96頁(yè)。數(shù)據(jù)存儲(chǔ)物理存儲(chǔ)主流框架01存儲(chǔ)類型02第17頁(yè)，共96頁(yè)。直連式存儲(chǔ)(DAS:Direct-Attached Storage)網(wǎng)絡(luò)化存儲(chǔ)(FAS:Fabric-Attached Storage) 網(wǎng)絡(luò)接入存儲(chǔ)(NAS:Network-Attached Storage)存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN:Storage Area Network)主流框架第18頁(yè)，共96頁(yè)。塊存儲(chǔ)磁盤陣列DASSAN文件存儲(chǔ)FTPNF

4、SNAS對(duì)象存儲(chǔ) 存儲(chǔ)類型第19頁(yè)，共96頁(yè)。數(shù)據(jù)存儲(chǔ)分布式文件/對(duì)象存儲(chǔ)COS(騰訊云)02OSS(阿里云) 01OBS(華為云)03KODO(七牛云)04UFile(UCloud)05HDFS06第20頁(yè)，共96頁(yè)。數(shù)據(jù)存儲(chǔ)分布式文件/對(duì)象存儲(chǔ)Ceph02Open Stack Swift 01GlasterFS 03Facebook Hasystack 04Lustre05AFS 06第21頁(yè)，共96頁(yè)。OSS(阿里云) 0106UFile(UCloud)03KODO(七牛云)OBS(華為云)HDFS02COS(騰訊云)0405分布式文件/對(duì)象存儲(chǔ)單擊此處添加文本具體內(nèi)容，簡(jiǎn)明扼要的闡述您

5、的觀點(diǎn)。根據(jù)需要可酌情增減文字，以便觀者準(zhǔn)確的理解您傳達(dá)的思想。單擊此處添加標(biāo)題第22頁(yè)，共96頁(yè)。分布式文件/對(duì)象存儲(chǔ)Ceph02Open Stack Swift 01GlasterFS 03Facebook Hasystack 04Lustre05AFS 06第23頁(yè)，共96頁(yè)。數(shù)據(jù)存儲(chǔ)分布式關(guān)系型數(shù)據(jù)庫(kù) DRDSTiDBCobarMycat Aurora .1.第24頁(yè)，共96頁(yè)。分布式關(guān)系型數(shù)據(jù)庫(kù) DRDSTiDBCobarMycat Aurora 第25頁(yè)，共96頁(yè)。數(shù)據(jù)存儲(chǔ)分析型數(shù)據(jù)庫(kù) Druid 01Kylin 02Vertica03AanalyticDB 04Lu

6、cidDB 05InfiniDB 06第26頁(yè)，共96頁(yè)。分析型數(shù)據(jù)庫(kù) 數(shù)據(jù)存儲(chǔ)MonetDB 第27頁(yè)，共96頁(yè)。分析型數(shù)據(jù)庫(kù) Druid 01Kylin 02Vertica03AanalyticDB 04LucidDB 05InfiniDB 06第28頁(yè)，共96頁(yè)。MonetDB 分析型數(shù)據(jù)庫(kù) 第29頁(yè)，共96頁(yè)。數(shù)據(jù)存儲(chǔ)搜索引擎ElasticsearchSolrSplunk OpenSearch第30頁(yè)，共96頁(yè)。搜索引擎ElasticsearchSolrOpenSearchSplunk 第31頁(yè)，共96頁(yè)。數(shù)據(jù)存儲(chǔ)K-V存儲(chǔ)Redis01Memcached02Tair03第32頁(yè)，共9

7、6頁(yè)。K-V存儲(chǔ)RedisMemcachedTair第33頁(yè)，共96頁(yè)。數(shù)據(jù)存儲(chǔ)圖數(shù)據(jù)庫(kù)TitanNeo4jArangoDBOrientDBMapGraph .1.第34頁(yè)，共96頁(yè)。圖數(shù)據(jù)庫(kù)TitanNeo4jArangoDBOrientDBMapGraph 第35頁(yè)，共96頁(yè)。數(shù)據(jù)存儲(chǔ)列存儲(chǔ)數(shù)據(jù)庫(kù)Cassandra 01Hbase 02Hypertable 04Kudu 03Apache Accumulo 05第36頁(yè)，共96頁(yè)。Cassandra Hbase Kudu Hypertable Apache Accumulo 列存儲(chǔ)數(shù)據(jù)庫(kù)第37頁(yè)，共96頁(yè)。數(shù)據(jù)存儲(chǔ)文檔數(shù)據(jù)庫(kù)M

8、ongoDB01MarkLogic03CouchDB02OrientDB 04第38頁(yè)，共96頁(yè)。MongoDBCouchDBMarkLogicOrientDB 文檔數(shù)據(jù)庫(kù)第39頁(yè)，共96頁(yè)。數(shù)據(jù)存儲(chǔ)時(shí)序數(shù)據(jù)庫(kù)InfluxDB01Druid02TimescaleDB03OpenTSDB04Graphite05阿里云HiTSDB06第40頁(yè)，共96頁(yè)。時(shí)序數(shù)據(jù)庫(kù)InfluxDB01Druid02TimescaleDB03OpenTSDB04Graphite05阿里云HiTSDB06第41頁(yè)，共96頁(yè)。04數(shù)據(jù)處理第42頁(yè)，共96頁(yè)。數(shù)據(jù)計(jì)算數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)挖掘數(shù)據(jù)測(cè)試數(shù)據(jù)湖數(shù)據(jù)處理第43頁(yè)，共96頁(yè)

9、。數(shù)據(jù)處理數(shù)據(jù)計(jì)算01流式計(jì)算(stream computing)02大規(guī)模批量計(jì)算(batch computing) 03即席查詢分析(ad-hoc computing) 04全量計(jì)算;增量計(jì)算 05圖計(jì)算06分布式協(xié)調(diào)系統(tǒng)第44頁(yè)，共96頁(yè)。數(shù)據(jù)處理數(shù)據(jù)計(jì)算集群資源管理與調(diào)度1工作流管理引擎2第45頁(yè)，共96頁(yè)。數(shù)據(jù)計(jì)算流式計(jì)算(stream computing)Storm01Flink02Spark Streaming03Kafka Stream04Twitter Heron 05Apacha Samza 06第46頁(yè)，共96頁(yè)。數(shù)據(jù)計(jì)算大規(guī)模批量計(jì)算(batch computing)

10、MapReduce 01Spark03Hive02Pig04第47頁(yè)，共96頁(yè)。數(shù)據(jù)計(jì)算即席查詢分析(ad-hoc computing) Impala 01Hawq 02Dremel 03Drill 04Phoenix 05Tajo 06第48頁(yè)，共96頁(yè)。數(shù)據(jù)計(jì)算即席查詢分析(ad-hoc computing) APresto Hortonworks Stinger B第49頁(yè)，共96頁(yè)?；A(chǔ)知識(shí) Lamdba架構(gòu)Kappa架構(gòu)IOTA架構(gòu) 常見框架 DruidGalaxyMicrosoft KineographGoogle Percolator全量計(jì)算;增量計(jì)算 第50頁(yè)，共96頁(yè)?；A(chǔ)知

11、識(shí)常見框架圖計(jì)算第51頁(yè)，共96頁(yè)。基礎(chǔ)知識(shí)GAS 編程模型BSP模型;SSP模型節(jié)點(diǎn)為中心編程模型 計(jì)算范型 圖計(jì)算第52頁(yè)，共96頁(yè)。常見框架PregelGraphChiSpark GraphXPowerGrah Apache Giraph Apache Hama圖計(jì)算第53頁(yè)，共96頁(yè)。數(shù)據(jù)計(jì)算分布式協(xié)調(diào)系統(tǒng)Eureka02Zookeeper01Consul03Chubby04阿里 Diamond05阿里 ConfigServer06第54頁(yè)，共96頁(yè)。集群資源管理與調(diào)度管理調(diào)度框架管理和監(jiān)控工具第55頁(yè)，共96頁(yè)。管理調(diào)度框架OmegaBrogMesosCoronaYarnTorca集

12、群資源管理與調(diào)度第56頁(yè)，共96頁(yè)。管理和監(jiān)控工具AmbariChukwaHue集群資源管理與調(diào)度第57頁(yè)，共96頁(yè)。數(shù)據(jù)計(jì)算工作流管理引擎Oozie01Luigi03Azkaban02Airflow04第58頁(yè)，共96頁(yè)。數(shù)據(jù)處理數(shù)據(jù)倉(cāng)庫(kù)基本概念;原理體系結(jié)構(gòu) 設(shè)計(jì);建模 第59頁(yè)，共96頁(yè)。數(shù)據(jù)倉(cāng)庫(kù)基本概念;原理體系結(jié)構(gòu) 設(shè)計(jì);建模 第60頁(yè)，共96頁(yè)。數(shù)據(jù)處理數(shù)據(jù)挖掘基本概念01功能分類02常用技術(shù) 03第61頁(yè)，共96頁(yè)。數(shù)據(jù)挖掘基本概念第62頁(yè)，共96頁(yè)。功能分類通用方法統(tǒng)計(jì)分析機(jī)器學(xué)習(xí)深度學(xué)習(xí)第63頁(yè)，共96頁(yè)。通用方法功能分類分類;聚類預(yù)測(cè);回歸時(shí)間序列分析關(guān)聯(lián)規(guī)則;偏差檢測(cè)第6

13、4頁(yè)，共96頁(yè)。統(tǒng)計(jì)分析主成分分析因子分析功能分類第65頁(yè)，共96頁(yè)。機(jī)器學(xué)習(xí)決策樹貝葉斯遺傳算法功能分類第66頁(yè)，共96頁(yè)。深度學(xué)習(xí)功能分類卷積神經(jīng)網(wǎng)絡(luò)RBNDBN第67頁(yè)，共96頁(yè)。數(shù)據(jù)挖掘常用技術(shù) MahoutSpark MlibTensorflow第68頁(yè)，共96頁(yè)。數(shù)據(jù)處理數(shù)據(jù)測(cè)試A大數(shù)據(jù)產(chǎn)品測(cè)試基準(zhǔn)BigtopB第69頁(yè)，共96頁(yè)。大數(shù)據(jù)產(chǎn)品測(cè)試基準(zhǔn)Bigtop數(shù)據(jù)測(cè)試第70頁(yè)，共96頁(yè)。數(shù)據(jù)湖基本概念;原理數(shù)據(jù)處理第71頁(yè)，共96頁(yè)。數(shù)據(jù)湖基本概念;原理第72頁(yè)，共96頁(yè)。05基礎(chǔ)技術(shù)第73頁(yè)，共96頁(yè)?；A(chǔ)技術(shù)數(shù)據(jù)分片路由1哈希分片(Hash Partition)2范圍分片(R

14、ange Partition)第74頁(yè)，共96頁(yè)。數(shù)據(jù)一致性理論基礎(chǔ)副本更新策略協(xié)議權(quán)重模型第75頁(yè)，共96頁(yè)。理論基礎(chǔ)CAP理論BASE理論ACID數(shù)據(jù)一致性第76頁(yè)，共96頁(yè)。副本更新策略主從同步任意節(jié)點(diǎn)數(shù)據(jù)一致性第77頁(yè)，共96頁(yè)。協(xié)議兩段式提交Paxos協(xié)議Raft協(xié)議向量時(shí)鐘RWN協(xié)議數(shù)據(jù)一致性第78頁(yè)，共96頁(yè)。權(quán)重模型最終一致性強(qiáng)一致性單調(diào)讀一致性單調(diào)寫一致性會(huì)話一致性數(shù)據(jù)一致性第79頁(yè)，共96頁(yè)?；A(chǔ)技術(shù)常用算法與數(shù)據(jù)結(jié)構(gòu)Merkle Tree01LSM-tree02Trie Tree03Bitmap04Bloom Filter05SkipList06第80頁(yè)，共96頁(yè)?；A(chǔ)技

15、術(shù)常用算法與數(shù)據(jù)結(jié)構(gòu)cuckoo hashing1snappy與LZSS算法2第81頁(yè)，共96頁(yè)。06數(shù)據(jù)治理第82頁(yè)，共96頁(yè)。數(shù)據(jù)治理相關(guān)概念數(shù)據(jù)規(guī)范標(biāo)準(zhǔn)元數(shù)據(jù)管理主數(shù)據(jù)管理大數(shù)據(jù)架構(gòu)管理數(shù)據(jù)質(zhì)量第83頁(yè)，共96頁(yè)。數(shù)據(jù)治理數(shù)據(jù)安全應(yīng)用治理常見框架;產(chǎn)品第84頁(yè)，共96頁(yè)。數(shù)據(jù)治理相關(guān)概念基礎(chǔ)理論01治理框架02第85頁(yè)，共96頁(yè)。相關(guān)概念基礎(chǔ)理論DAMA理論02ISO38500 IT治理框架01DGI理論03IBM數(shù)據(jù)治理理論04ISACA COBITS05第86頁(yè)，共96頁(yè)。原則范圍實(shí)施;評(píng)估治理框架第87頁(yè)，共96頁(yè)。范圍治理框架戰(zhàn)略;組織數(shù)據(jù)質(zhì)量數(shù)據(jù)生命周期數(shù)據(jù)架構(gòu)數(shù)據(jù)安全服務(wù)創(chuàng)新第88頁(yè)，共96頁(yè)。