打造數據中央廚房助力大數據創(chuàng)業(yè)引言大數據為新財富，價值堪比石油——世界經濟論壇報告數據列入企業(yè)資產負債表只是時間問題——維克托一個組織如果沒有認識到管理數據和信息如同管理有形資產一樣極其重要，那么他在新經濟時代將無法生存——湯姆.彼得斯數據創(chuàng)業(yè)維艱：從零到一創(chuàng)業(yè)公司往往面臨著招人難、融資難、推廣難等等各種困境。在瞬息萬變的移動互聯(lián)網領域，創(chuàng)業(yè)公司要想在巨頭的夾縫中求生存，高效的產品研發(fā)能力和快速更新迭代，才是生存與發(fā)展的關鍵。聚焦產品創(chuàng)新企業(yè)可以聚焦在專業(yè)領域，把數據獲取和清洗環(huán)節(jié)作為產品的外延服務據統(tǒng)計：一個數據分析項目中，數據獲取，數據清洗等準備工作占據了將近70%的時間。數據準備環(huán)節(jié)：70%其他工作環(huán)節(jié)：30%數據準備包括：數據獲取、數據清洗、存儲歸檔等其他工作包括：數據觀察、數據建模、數據挖掘等數據AI生態(tài)圈長江眾創(chuàng)打造數據協(xié)同工作平臺，提供“數據中央廚房”服務，整合多方資源，孵化各類垂直場景金融數據及人工智能企業(yè)建設AI生態(tài)圈工商數據財務數據投融數據其他數據法院執(zhí)行企業(yè)辦公企業(yè)設備員工行為數據AI企業(yè)數據AI企業(yè)數據AI企業(yè)數據AI企業(yè)行業(yè)客戶行業(yè)客戶行業(yè)客戶行業(yè)客戶行業(yè)客戶數據采集、清洗、存儲、管理一體化數據協(xié)同工作平臺數據集成開發(fā)流程編碼和調試接口高層次需求高層次設計定義數據需求定義數據源定義清洗流程定義轉換和映射定義數據校對編碼和測試定義數據服務接口數據集成開發(fā)遵循完整的軟件項目開發(fā)流程數據源和目標概要分析數據協(xié)同工作平臺一覽數據集成面臨的挑戰(zhàn)多源異構數據源的接口復雜性多樣的應用數據庫不同外部數據供應商的接入協(xié)議（通信、數據格式、認證、加密、字典）多種類型的數據類型：結構化、半結構化、非結構化語義歧義同一概念在不同數據源的涵義不同不同概念在不同數據源的涵義相似實例歧義數據記錄唯一標示關聯(lián)數據識別數據標準和質量不規(guī)范格式、編碼、度量單位、缺值、多值等指標、統(tǒng)計口徑不一致多源數據的更新頻率/方式不一致數據管理架構應對復雜的數據集成數據服務數據質量管理數據生命周期管理數據交換數據分布和存儲數據模型主數據參考數據事務數據元數據管理概念模型邏輯模型物理模型技術元數據業(yè)務元數據數據標準指標元數據操作元數據數據安全數據協(xié)同工作平臺四大特點支持多源異構數據源快速接入元數據配置驅動的采集和智能清洗流程基于容器的微服務架構支持高并發(fā)及海量數據存儲數據全生命周期管理與溯源數據集成框架數據源運營管理數據采集數據源管理采集任務調度管理采集監(jiān)控RawData數據預處理清洗流程管理智能數據清洗數據質量控制FactData數據集市數據模型管理數據服務接口管理數據同步管理AppData元數據管理權限管理用戶管理數據管理運行監(jiān)控資源調度日志管理多租戶管理行業(yè)應用數據協(xié)同工作平臺關鍵技術指標存儲量千億量級數據PB級空間容量吞吐量日均億級數據處理秒級單次采集及清洗可靠性所有數據保留三份全量副本動態(tài)資源調度應對高峰壓力技術架構數據采集服務數據預處理服務數據集市采集任務調度采集服務-1采集服務-2采集服務-n..分布式消息服務Kafka節(jié)點分布式計算服務Spark節(jié)點分布式日志服務Elastic

Search節(jié)點清洗流程調度清洗服務-1清洗服務-2清洗服務-n..分布式HBase存儲數據切片MySQL存儲數據切片MySQL存儲Docker容器集群管理（SWARM）資源調度|運行監(jiān)控|自動部署|負載均衡數據同步調度同步服務-1同步服務-2同步服務-n..采集API服務清洗API服務數據接口服務統(tǒng)一認證服務認證服務節(jié)點分布式緩存服務Redis節(jié)點發(fā)展理念打造數據中央廚房，助力數據企業(yè)孵化秉承MOM理

念，共建AI產業(yè)生態(tài)圈產品與服務社群服務數據服務咨詢顧問創(chuàng)投孵化數據愛好者社群服務數據咨詢師社群服務企業(yè)家社群服務為傳統(tǒng)行業(yè)中的企業(yè)提供大數據+相關咨詢顧問關聯(lián)數據公司及AI職能

的孵化和投資場景金融數據服務數據“中央廚房”公司形成以數據服務為核心以咨詢顧問、社群服務、投資孵化服務為支撐相互協(xié)同的業(yè)務格局數創(chuàng)空間站長江眾創(chuàng)積極響應國家“大眾創(chuàng)業(yè)，萬眾創(chuàng)新”的號召在上海、北京、寧波等地建立數創(chuàng)客空間（DatakerStation）,助力大數據&人工智能產業(yè)創(chuàng)新升級其中上海的空間站為浦東新區(qū)創(chuàng)新型孵化器數創(chuàng)空間站為大數據及人工智能創(chuàng)新企業(yè)提供辦公空間與人才聚集平臺,大數據技術支持的多樣化全流程服務體系同時為各階段創(chuàng)業(yè)者提供投融資對接服務，釋放入孵企業(yè)發(fā)展?jié)撃?加速入孵企業(yè)成長,幫助創(chuàng)業(yè)者走好每一步聯(lián)合辦公數據中央廚房共享知識管理平臺創(chuàng)業(yè)導師指導數據人才保障投融資對接數創(chuàng)空間站目前，數創(chuàng)空間站已經孵化了公司內外數個大數據創(chuàng)新項目，助力大數據產業(yè)創(chuàng)新升級。致力于成為中國領先的泛娛樂大數據服務商致力于成為最IN的數據客在線社群致力于成為公信力卓越的數據驅動型征信服務平臺致力于成為中國一流的獨立基金信息