1、大數(shù)據(jù)云平臺(tái)基礎(chǔ)架構(gòu)介紹 云計(jì)算與大數(shù)據(jù) 系統(tǒng)架構(gòu) 挑戰(zhàn)Agenda大數(shù)據(jù)解決方案最大、最重要的決定是平臺(tái)的選擇Hadoop、Spark、Hbase、Storm實(shí)際需求實(shí)時(shí)處理 、離線處理、 結(jié)構(gòu)化數(shù)據(jù) 、非結(jié)構(gòu)化數(shù)據(jù)、 CRUD 、事務(wù)性、 數(shù)據(jù)量大小平臺(tái)的能力能滿足實(shí)際需求的平臺(tái)才是好平臺(tái)業(yè)務(wù)的不確定性Relative scale, not absolute scale The world is changing fast!云計(jì)算與大數(shù)據(jù)Big Data Requires Elastic, Flexible Infrastructure自動(dòng)化運(yùn)維一鍵部署 | API 調(diào)用 | 定時(shí)器 |

2、Auto Scaling彈性、敏捷、靈活縱向、橫向伸縮 | 分鐘級(jí)別穩(wěn)定、高性能與安全系統(tǒng)優(yōu)化，平臺(tái)配置優(yōu)化私有網(wǎng)絡(luò)，防火墻高度自動(dòng)化是一個(gè)漸進(jìn)的過(guò)程云計(jì)算與大數(shù)據(jù)Dont try to do it yourself. Let us handle it.完整穩(wěn)定安全高性能實(shí)時(shí)按需開(kāi)放易用系統(tǒng)架構(gòu)AlluxioBatch ProcessingReal Time ProcessingCassandra, MongoDB, Redis, MySQL, ElasticSearchReporting, VisualizationStormSpark StreamingCustomProcess Engi

3、neSparkMapReduceHDFS / Hbase / Object StorageIaaSMonitoring Alarm Metering Security Governance (ZooKeeper)Logs Metrics Social Data Sensor Data MessagesKafka/FlumeBig SQLSparkSQLKylinPhoenixHiveGreenPlum HashData 數(shù)據(jù)倉(cāng)庫(kù)是酷克數(shù)據(jù)在青云QingCloud 上面提供的 SQL-on-Cloud解決方案，一個(gè)高性能、 完全托管的PB級(jí)云端 數(shù)據(jù)倉(cāng)庫(kù)。源于PostgreSQL 和Greenplum Database, HashData數(shù)據(jù)倉(cāng)庫(kù)讓你能夠利用標(biāo)準(zhǔn)SQL客戶端和BI工具輕松分析海量數(shù)據(jù)。SQL on Cloud默認(rèn)3個(gè)副本因子云上真的需要3個(gè)嗎？怎么做最優(yōu)？Hadoop on Cloud穩(wěn)定性性能網(wǎng)絡(luò) IO SDN 2.0 (點(diǎn)到點(diǎn)網(wǎng)狀結(jié)構(gòu))硬盤(pán) IO 容器，Unikern