2018360大數(shù)據(jù)中心平臺演進(jìn)與實踐2018360大數(shù)據(jù)中心平臺演進(jìn)與實踐1目錄01業(yè)務(wù)介紹02演進(jìn)過程03實踐案例04未來規(guī)劃目錄01業(yè)務(wù)介紹02演進(jìn)過程03實踐案例04未來規(guī)劃2業(yè)務(wù)介紹最全的樣本行為庫-總?cè)罩緮?shù)十萬億條-每天新增數(shù)百億條全球域名信息庫-數(shù)十億DNS解析記錄-每天約新增上百萬條-13年+Whois信息存儲網(wǎng)址庫每天查詢數(shù)百億條每天處理上百億條每天攔截訪問釣魚數(shù)超過1.4億URL全球文件樣本庫-每天新增數(shù)百萬樣本-總樣本數(shù)上百億-20億+黑名單-1億+白名單數(shù)據(jù)來源：全球5.09億PC安全客戶端，7.44億移動端安全客戶端；360瀏覽器、搜索終端應(yīng)等數(shù)據(jù)來源：互聯(lián)網(wǎng)基礎(chǔ)設(shè)施DNS，獵網(wǎng)、補(bǔ)天等各類舉報與響應(yīng)平臺，以及

100+第三方數(shù)據(jù)源大數(shù)據(jù)服務(wù)器規(guī)模超過40000臺，總存儲數(shù)據(jù)量接近1.6EB，每天新增超過1PB每天各種數(shù)據(jù)計算任務(wù)10萬個，每天處理數(shù)據(jù)量10PB漏洞信息社會工程釣魚網(wǎng)址惡意樣本互聯(lián)網(wǎng)痕跡大數(shù)據(jù)攻擊武器大數(shù)據(jù)主機(jī)信息移動信息主動防御網(wǎng)址訪問域名解析業(yè)務(wù)介紹最全的樣本行為庫全球域名信息庫網(wǎng)址庫全球文件樣本庫數(shù)資產(chǎn)搜索IoT個人安全視頻信息流游戲應(yīng)用產(chǎn)品搜索游戲網(wǎng)址導(dǎo)航手機(jī)助手相機(jī)清理大師瀏覽器分身大師wifiPC衛(wèi)士加固寶手機(jī)衛(wèi)士網(wǎng)盾360OS花椒信息流奶糖影視基本屬性消費(fèi)能力上網(wǎng)行為興趣偏好人流遷徙統(tǒng)計分析……活躍產(chǎn)品70+表1000+字段30000+業(yè)務(wù)介紹業(yè)務(wù)介紹資產(chǎn)搜索IoT個人安全游戲應(yīng)用產(chǎn)品搜索游戲網(wǎng)址導(dǎo)航手機(jī)助4業(yè)務(wù)介紹010203數(shù)據(jù)加工處理千億級網(wǎng)頁庫數(shù)據(jù)網(wǎng)頁/鏈接

分析熱點數(shù)據(jù)獲取、推薦海量數(shù)據(jù)檢索全球最大病毒庫全球最大的安全漏洞數(shù)據(jù)產(chǎn)品數(shù)據(jù)分析產(chǎn)品分析、統(tǒng)計報告業(yè)務(wù)介紹010203數(shù)據(jù)加工處理海量數(shù)據(jù)檢索產(chǎn)品數(shù)據(jù)分析演進(jìn)過程統(tǒng)一的數(shù)據(jù)統(tǒng)計、報表工具以產(chǎn)品為單位的數(shù)據(jù)處理工具一站式的數(shù)據(jù)治理、加工及挖掘平臺演進(jìn)過程統(tǒng)一的數(shù)據(jù)統(tǒng)計、報表工具以產(chǎn)品為單位的數(shù)據(jù)處理工具一演進(jìn)過程第一個MR程序上線2010.10老版本數(shù)據(jù)處理程序全面下線2011.10移動端SDK發(fā)布報表工具發(fā)布2015.06數(shù)據(jù)處理平臺發(fā)布，支持離線處理、在線查詢2015.07數(shù)據(jù)處理平臺發(fā)布實時計算功能2016.06大數(shù)據(jù)平臺第一版發(fā)布2017.12發(fā)展里程碑演進(jìn)過程第一個MR程序上線2010.10老版本數(shù)據(jù)處理程序全7演進(jìn)過程QDAS+：一站式的數(shù)據(jù)治理、加工及挖掘平臺基礎(chǔ)平臺HadoopPaaSCache應(yīng)用平臺ESSparkFLink報表組件任務(wù)調(diào)度數(shù)據(jù)資產(chǎn)數(shù)據(jù)存儲規(guī)則引擎算子組件數(shù)據(jù)采集數(shù)據(jù)集成……MQMricoService業(yè)務(wù)打點數(shù)據(jù)接入數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)實體數(shù)據(jù)應(yīng)用層數(shù)據(jù)外部數(shù)據(jù)權(quán)限管理服務(wù)產(chǎn)品&工具數(shù)據(jù)采集服務(wù)用戶畫像分析數(shù)據(jù)展現(xiàn)服務(wù)數(shù)據(jù)管理服務(wù)任務(wù)調(diào)度服務(wù)數(shù)據(jù)集成服務(wù)OLAP分析服務(wù)數(shù)據(jù)分析服務(wù)DAU

預(yù)測Query詞分類用戶畫像用戶生命周期管理渠道優(yōu)化KPI異動分析TitanQReportQNote……安全數(shù)據(jù)數(shù)據(jù)查詢服務(wù)演進(jìn)過程QDAS+：一站式的數(shù)據(jù)治理、加工及挖掘平臺基礎(chǔ)平臺演進(jìn)過程RDBNoSQLLogStreamTITAN數(shù)據(jù)接入數(shù)據(jù)處理QMiner深度學(xué)習(xí)算法模型特征工程模型評估規(guī)則引擎調(diào)度管理服務(wù)化框架QReport自助分析自助報表QDAM原始明細(xì)匯聚應(yīng)用數(shù) 數(shù) 數(shù)據(jù) 據(jù) 據(jù)質(zhì) 安 資量 全 產(chǎn)QProfile標(biāo)簽管理模型管理實體管理QNote在線查詢在線分析QOPS資 服 預(yù)源 務(wù) 警管 監(jiān) 管理 控 理數(shù)據(jù)開放服務(wù)基礎(chǔ)平臺演進(jìn)過程RDBNoSQLLogStreamTITAN數(shù)據(jù)接入9演進(jìn)過程用戶畫像數(shù)據(jù)服務(wù)數(shù)據(jù)平臺數(shù)據(jù)資產(chǎn)全域產(chǎn)品數(shù)據(jù)分層、歸一化跨業(yè)務(wù)的數(shù)據(jù)價值評估體系統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和安全體系統(tǒng)一的用戶賬號體系自助式創(chuàng)建用戶標(biāo)簽跨引擎的計算平臺圖元化的任務(wù)配置多數(shù)據(jù)源任務(wù)處理基于場景化的服務(wù)主要改進(jìn)點演進(jìn)過程用戶畫像數(shù)據(jù)服務(wù)數(shù)據(jù)平臺數(shù)據(jù)資產(chǎn)全域產(chǎn)品數(shù)據(jù)分層、歸電腦軟件手機(jī)軟件視頻智能硬件游戲金融理財數(shù)據(jù)關(guān)聯(lián)度低：海量業(yè)務(wù)數(shù)據(jù)孤立存放，無統(tǒng)一ID體系12數(shù)據(jù)缺乏維護(hù)：部分?jǐn)?shù)據(jù)含義不清晰，命名不規(guī)范，相同業(yè)務(wù)語義數(shù)據(jù)有多種表現(xiàn)形式3價值體現(xiàn)不足：本產(chǎn)品數(shù)據(jù)只在產(chǎn)品內(nèi)使用，對于維度缺失數(shù)據(jù)補(bǔ)齊難度較大實踐案例數(shù)據(jù)治理-用戶數(shù)據(jù)歸一化電腦軟件手機(jī)軟件視頻智能硬件游戲金融理財數(shù)據(jù)關(guān)聯(lián)度低：海量業(yè)11實踐案例Step2：虛擬自然人維度建立MIDM1M2M1M2QID數(shù)據(jù)治理-用戶數(shù)據(jù)歸一化Step1：業(yè)務(wù)行為數(shù)據(jù)關(guān)系提取業(yè)務(wù)1 業(yè)務(wù)2 業(yè)務(wù)3業(yè)務(wù)線25+表600+字段20000+數(shù)據(jù)模型整理連通區(qū)域的id聚類創(chuàng)建孤島id關(guān)系對虛擬自然人用戶ID實踐案例Step2：虛擬自然人維度建立MIDM1M2M1M2實踐案例數(shù)據(jù)治理-用戶數(shù)據(jù)歸一化實踐案例13實踐案例數(shù)據(jù)處理-演進(jìn)過程Stage1：分布式數(shù)據(jù)處理工具Stage2：數(shù)據(jù)處理平臺化（Titan）從傳統(tǒng)的數(shù)據(jù)處理到分布式數(shù)據(jù)計算從計算規(guī)則重復(fù)編寫到規(guī)則模板化從單一的數(shù)據(jù)源到支持多種數(shù)據(jù)源支持多種計算引擎從單一的數(shù)據(jù)輸出到增加報表、查詢等模塊系統(tǒng)功能按照模塊化構(gòu)建單一計算引擎模板庫自定義腳本數(shù)據(jù)輸出報表數(shù)據(jù)源HDFSHIVEMySQL計算引擎SparkMR模板庫Spark模板MR模板Hive模板自定義模板報表在線查詢經(jīng)營分析調(diào)度權(quán)限數(shù)據(jù)輸出Now：高性能、高可靠、低門檻實踐案例數(shù)據(jù)處理-演進(jìn)過程Stage1：分布式數(shù)據(jù)處理工具S1數(shù)據(jù)源類型2場景支持度3資源管控4使用門檻面臨的問題1234數(shù)據(jù)處理類型單一，場景模板無法自定義；任務(wù)調(diào)度類型支持較少；計算資源分配策略單一，資源利用率不高；數(shù)據(jù)資源的管控粒度較粗，數(shù)據(jù)價值無法最大化；數(shù)據(jù)處理邏輯基于表單式配置，用戶體驗較差；任務(wù)以列表方式展現(xiàn)，任務(wù)在可視化展現(xiàn)方面較弱；僅支持HDFS、HIVE、MySQL，支持類型少；僅支持單一數(shù)據(jù)源接入；實踐案例數(shù)據(jù)處理-問題和挑戰(zhàn)1234面臨的問題1234數(shù)據(jù)處理類型單一，場景模板無法自定15實踐案例數(shù)據(jù)處理-系統(tǒng)架構(gòu)HDFSHBaseHIVEMongoDBKafkaMySQLQBusAPISparkFLinkYARNRuntime組件庫規(guī)則引擎模板庫/API圖元接入API接入調(diào)度監(jiān)控權(quán)限管理1覆蓋業(yè)界主流數(shù)據(jù)源類型，支持混合數(shù)據(jù)源接入2計算邏輯和計算流程分離，支持不同的場景3基于第三代計算引擎的分布式處理4提供多種調(diào)度規(guī)則，支持不同類型的任務(wù)5基于圖元拖拽式的交互，任務(wù)配置無碼化數(shù)據(jù)計算組件應(yīng)用實踐案例數(shù)據(jù)處理-系統(tǒng)架構(gòu)HDFSHBaseHIVEMong實踐案例總數(shù)據(jù)量50+TB日新增數(shù)據(jù)8000+日運(yùn)行任務(wù)數(shù)數(shù)據(jù)處理-當(dāng)前現(xiàn)狀35+ 5PB接入業(yè)務(wù)線200并發(fā)任務(wù)數(shù)實踐案例總數(shù)據(jù)量50+TB日新增數(shù)據(jù)8000+日運(yùn)行任務(wù)數(shù)數(shù)實踐案例數(shù)據(jù)處理-任務(wù)管理任務(wù)調(diào)試場景優(yōu)化異常處理策略配置默認(rèn)值補(bǔ)齊防數(shù)據(jù)傾斜性能&可靠性數(shù)據(jù)緩存小文件合并實踐案例數(shù)據(jù)處理-任務(wù)管理任務(wù)調(diào)試異常處理策略配置默認(rèn)值補(bǔ)齊18實踐案例在線查詢-整體介紹設(shè)計目標(biāo)一次性數(shù)據(jù)分析工具數(shù)據(jù)集成和報表工具一種補(bǔ)充主要特性用戶人群功能定位數(shù)據(jù)分析人員具有一定數(shù)據(jù)分析能力的產(chǎn)品人員支持多種數(shù)據(jù)源查詢查詢語言統(tǒng)一化結(jié)果集二次查詢多數(shù)據(jù)源混合查詢實踐案例在線查詢-整體介紹設(shè)計目標(biāo)一次性數(shù)據(jù)分析工具主要特性實踐案例在線查詢-架構(gòu)設(shè)計多語言執(zhí)行環(huán)境節(jié)點管理多語言執(zhí)行平臺資源管理會話管理SQL解析SQL解析引擎適配器元數(shù)據(jù)查詢服務(wù)上下文監(jiān)控1支持多種數(shù)據(jù)源的查詢和數(shù)據(jù)源的混合查詢2查詢統(tǒng)一SQL輸入，屏蔽底層數(shù)據(jù)源的類型3添加查詢會話管理，查詢資源統(tǒng)一管控4查詢結(jié)果的二次分析處理實踐案例在線查詢-架構(gòu)設(shè)計多語言執(zhí)行環(huán)境節(jié)點管理多語言執(zhí)行平實踐案例100GB10TB10min1.3h在線查詢-當(dāng)前現(xiàn)狀查詢性能提升100%20min2.5h查詢時延90%

<=2S查詢資源可重復(fù)使用執(zhí)行器水平擴(kuò)展資源申請資源擴(kuò)容用戶體驗優(yōu)化批量執(zhí)行 二次分析 用戶筆記實踐案例100GB10TB10min1.3h在線查詢-當(dāng)前現(xiàn)21實踐案例未來規(guī)劃數(shù)據(jù)處理生命周期的運(yùn)維基于產(chǎn)品場景的解決方案實踐案例未來規(guī)劃數(shù)據(jù)處理生命周期的運(yùn)維2018THANKYOU

!2018THANKYOU!232018360大數(shù)據(jù)中心平臺演進(jìn)與實踐2018360大數(shù)據(jù)中心平臺演進(jìn)與實踐24目錄01業(yè)務(wù)介紹02演進(jìn)過程03實踐案例04未來規(guī)劃目錄01業(yè)務(wù)介紹02演進(jìn)過程03實踐案例04未來規(guī)劃25業(yè)務(wù)介紹最全的樣本行為庫-總?cè)罩緮?shù)十萬億條-每天新增數(shù)百億條全球域名信息庫-數(shù)十億DNS解析記錄-每天約新增上百萬條-13年+Whois信息存儲網(wǎng)址庫每天查詢數(shù)百億條每天處理上百億條每天攔截訪問釣魚數(shù)超過1.4億URL全球文件樣本庫-每天新增數(shù)百萬樣本-總樣本數(shù)上百億-20億+黑名單-1億+白名單數(shù)據(jù)來源：全球5.09億PC安全客戶端，7.44億移動端安全客戶端；360瀏覽器、搜索終端應(yīng)等數(shù)據(jù)來源：互聯(lián)網(wǎng)基礎(chǔ)設(shè)施DNS，獵網(wǎng)、補(bǔ)天等各類舉報與響應(yīng)平臺，以及

100+第三方數(shù)據(jù)源大數(shù)據(jù)服務(wù)器規(guī)模超過40000臺，總存儲數(shù)據(jù)量接近1.6EB，每天新增超過1PB每天各種數(shù)據(jù)計算任務(wù)10萬個，每天處理數(shù)據(jù)量10PB漏洞信息社會工程釣魚網(wǎng)址惡意樣本互聯(lián)網(wǎng)痕跡大數(shù)據(jù)攻擊武器大數(shù)據(jù)主機(jī)信息移動信息主動防御網(wǎng)址訪問域名解析業(yè)務(wù)介紹最全的樣本行為庫全球域名信息庫網(wǎng)址庫全球文件樣本庫數(shù)資產(chǎn)搜索IoT個人安全視頻信息流游戲應(yīng)用產(chǎn)品搜索游戲網(wǎng)址導(dǎo)航手機(jī)助手相機(jī)清理大師瀏覽器分身大師wifiPC衛(wèi)士加固寶手機(jī)衛(wèi)士網(wǎng)盾360OS花椒信息流奶糖影視基本屬性消費(fèi)能力上網(wǎng)行為興趣偏好人流遷徙統(tǒng)計分析……活躍產(chǎn)品70+表1000+字段30000+業(yè)務(wù)介紹業(yè)務(wù)介紹資產(chǎn)搜索IoT個人安全游戲應(yīng)用產(chǎn)品搜索游戲網(wǎng)址導(dǎo)航手機(jī)助27業(yè)務(wù)介紹010203數(shù)據(jù)加工處理千億級網(wǎng)頁庫數(shù)據(jù)網(wǎng)頁/鏈接

分析熱點數(shù)據(jù)獲取、推薦海量數(shù)據(jù)檢索全球最大病毒庫全球最大的安全漏洞數(shù)據(jù)產(chǎn)品數(shù)據(jù)分析產(chǎn)品分析、統(tǒng)計報告業(yè)務(wù)介紹010203數(shù)據(jù)加工處理海量數(shù)據(jù)檢索產(chǎn)品數(shù)據(jù)分析演進(jìn)過程統(tǒng)一的數(shù)據(jù)統(tǒng)計、報表工具以產(chǎn)品為單位的數(shù)據(jù)處理工具一站式的數(shù)據(jù)治理、加工及挖掘平臺演進(jìn)過程統(tǒng)一的數(shù)據(jù)統(tǒng)計、報表工具以產(chǎn)品為單位的數(shù)據(jù)處理工具一演進(jìn)過程第一個MR程序上線2010.10老版本數(shù)據(jù)處理程序全面下線2011.10移動端SDK發(fā)布報表工具發(fā)布2015.06數(shù)據(jù)處理平臺發(fā)布，支持離線處理、在線查詢2015.07數(shù)據(jù)處理平臺發(fā)布實時計算功能2016.06大數(shù)據(jù)平臺第一版發(fā)布2017.12發(fā)展里程碑演進(jìn)過程第一個MR程序上線2010.10老版本數(shù)據(jù)處理程序全30演進(jìn)過程QDAS+：一站式的數(shù)據(jù)治理、加工及挖掘平臺基礎(chǔ)平臺HadoopPaaSCache應(yīng)用平臺ESSparkFLink報表組件任務(wù)調(diào)度數(shù)據(jù)資產(chǎn)數(shù)據(jù)存儲規(guī)則引擎算子組件數(shù)據(jù)采集數(shù)據(jù)集成……MQMricoService業(yè)務(wù)打點數(shù)據(jù)接入數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)實體數(shù)據(jù)應(yīng)用層數(shù)據(jù)外部數(shù)據(jù)權(quán)限管理服務(wù)產(chǎn)品&工具數(shù)據(jù)采集服務(wù)用戶畫像分析數(shù)據(jù)展現(xiàn)服務(wù)數(shù)據(jù)管理服務(wù)任務(wù)調(diào)度服務(wù)數(shù)據(jù)集成服務(wù)OLAP分析服務(wù)數(shù)據(jù)分析服務(wù)DAU

預(yù)測Query詞分類用戶畫像用戶生命周期管理渠道優(yōu)化KPI異動分析TitanQReportQNote……安全數(shù)據(jù)數(shù)據(jù)查詢服務(wù)演進(jìn)過程QDAS+：一站式的數(shù)據(jù)治理、加工及挖掘平臺基礎(chǔ)平臺演進(jìn)過程RDBNoSQLLogStreamTITAN數(shù)據(jù)接入數(shù)據(jù)處理QMiner深度學(xué)習(xí)算法模型特征工程模型評估規(guī)則引擎調(diào)度管理服務(wù)化框架QReport自助分析自助報表QDAM原始明細(xì)匯聚應(yīng)用數(shù) 數(shù) 數(shù)據(jù) 據(jù) 據(jù)質(zhì) 安 資量 全 產(chǎn)QProfile標(biāo)簽管理模型管理實體管理QNote在線查詢在線分析QOPS資 服 預(yù)源 務(wù) 警管 監(jiān) 管理 控 理數(shù)據(jù)開放服務(wù)基礎(chǔ)平臺演進(jìn)過程RDBNoSQLLogStreamTITAN數(shù)據(jù)接入32演進(jìn)過程用戶畫像數(shù)據(jù)服務(wù)數(shù)據(jù)平臺數(shù)據(jù)資產(chǎn)全域產(chǎn)品數(shù)據(jù)分層、歸一化跨業(yè)務(wù)的數(shù)據(jù)價值評估體系統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和安全體系統(tǒng)一的用戶賬號體系自助式創(chuàng)建用戶標(biāo)簽跨引擎的計算平臺圖元化的任務(wù)配置多數(shù)據(jù)源任務(wù)處理基于場景化的服務(wù)主要改進(jìn)點演進(jìn)過程用戶畫像數(shù)據(jù)服務(wù)數(shù)據(jù)平臺數(shù)據(jù)資產(chǎn)全域產(chǎn)品數(shù)據(jù)分層、歸電腦軟件手機(jī)軟件視頻智能硬件游戲金融理財數(shù)據(jù)關(guān)聯(lián)度低：海量業(yè)務(wù)數(shù)據(jù)孤立存放，無統(tǒng)一ID體系12數(shù)據(jù)缺乏維護(hù)：部分?jǐn)?shù)據(jù)含義不清晰，命名不規(guī)范，相同業(yè)務(wù)語義數(shù)據(jù)有多種表現(xiàn)形式3價值體現(xiàn)不足：本產(chǎn)品數(shù)據(jù)只在產(chǎn)品內(nèi)使用，對于維度缺失數(shù)據(jù)補(bǔ)齊難度較大實踐案例數(shù)據(jù)治理-用戶數(shù)據(jù)歸一化電腦軟件手機(jī)軟件視頻智能硬件游戲金融理財數(shù)據(jù)關(guān)聯(lián)度低：海量業(yè)34實踐案例Step2：虛擬自然人維度建立MIDM1M2M1M2QID數(shù)據(jù)治理-用戶數(shù)據(jù)歸一化Step1：業(yè)務(wù)行為數(shù)據(jù)關(guān)系提取業(yè)務(wù)1 業(yè)務(wù)2 業(yè)務(wù)3業(yè)務(wù)線25+表600+字段20000+數(shù)據(jù)模型整理連通區(qū)域的id聚類創(chuàng)建孤島id關(guān)系對虛擬自然人用戶ID實踐案例Step2：虛擬自然人維度建立MIDM1M2M1M2實踐案例數(shù)據(jù)治理-用戶數(shù)據(jù)歸一化實踐案例36實踐案例數(shù)據(jù)處理-演進(jìn)過程Stage1：分布式數(shù)據(jù)處理工具Stage2：數(shù)據(jù)處理平臺化（Titan）從傳統(tǒng)的數(shù)據(jù)處理到分布式數(shù)據(jù)計算從計算規(guī)則重復(fù)編寫到規(guī)則模板化從單一的數(shù)據(jù)源到支持多種數(shù)據(jù)源支持多種計算引擎從單一的數(shù)據(jù)輸出到增加報表、查詢等模塊系統(tǒng)功能按照模塊化構(gòu)建單一計算引擎模板庫自定義腳本數(shù)據(jù)輸出報表數(shù)據(jù)源HDFSHIVEMySQL計算引擎SparkMR模板庫Spark模板MR模板Hive模板自定義模板報表在線查詢經(jīng)營分析調(diào)度權(quán)限數(shù)據(jù)輸出Now：高性能、高可靠、低門檻實踐案例數(shù)據(jù)處理-演進(jìn)過程Stage1：分布式數(shù)據(jù)處理工具S1數(shù)據(jù)源類型2場景支持度3資源管控4使用門檻面臨的問題1234數(shù)據(jù)處理類型單一，場景模板無法自定義；任務(wù)調(diào)度類型支持較少；計算資源分配策略單一，資源利用率不高；數(shù)據(jù)資源的管控粒度較粗，數(shù)據(jù)價值無法最大化；數(shù)據(jù)處理邏輯基于表單式配置，用戶體驗較差；任務(wù)以列表方式展現(xiàn)，任務(wù)在可視化展現(xiàn)方面較弱；僅支持HDFS、HIVE、MySQL，支持類型少；僅支持單一數(shù)據(jù)源接入；實踐案例數(shù)據(jù)處理-問題和挑戰(zhàn)1234面臨的問題1234數(shù)據(jù)處理類型單一，場景模板無法自定38實踐案例數(shù)據(jù)處理-系統(tǒng)架構(gòu)HDFSHBaseHIVEMongoDBKafkaMySQLQBusAPISparkFLinkYARNRuntime組件庫規(guī)則引擎模板庫/API圖元接入API接入調(diào)度監(jiān)控權(quán)限管理1覆蓋業(yè)界主流數(shù)據(jù)源類型，支持混合數(shù)據(jù)源接入2計算邏輯和計算流程分離，支持不同的場景3基于第三代計算引擎的分布式處理4提供多種調(diào)度規(guī)則，支持不同類型的任務(wù)5基于圖元拖拽式的交互，任務(wù)配置無碼化數(shù)據(jù)計算組件