/口J.或平臺(tái)解決方數(shù)據(jù)治理平臺(tái)Dstream?兼收并蓄各類(lèi)數(shù)據(jù)來(lái)源，豐富數(shù)據(jù)資產(chǎn)，實(shí)現(xiàn)優(yōu)

勢(shì)互補(bǔ)，打通數(shù)據(jù)流向。?通過(guò)多源融合、多路擇優(yōu)、自主計(jì)算、網(wǎng)絡(luò)爬蟲(chóng)等技術(shù)手段，大幅提升資訊數(shù)據(jù)及時(shí)性、準(zhǔn)確性、

全面性。?構(gòu)建靈活多樣的數(shù)據(jù)服務(wù)體系，滿足下游系統(tǒng)多種數(shù)據(jù)需求，支持不同業(yè)務(wù)場(chǎng)景。數(shù)據(jù)生態(tài)?針對(duì)共性需求、熱點(diǎn)需求，打造資訊業(yè)務(wù)專(zhuān)題，

使資訊觸手可及數(shù)據(jù)治理核心需求數(shù)據(jù)服務(wù)數(shù)據(jù)資產(chǎn)數(shù)據(jù)質(zhì)量打造自主品牌的資訊終端豐富

數(shù)據(jù)服務(wù)形式與能力提升

數(shù)據(jù)質(zhì)量監(jiān)控與擇優(yōu)降低

對(duì)單一數(shù)據(jù)源的依賴打通

內(nèi)外部各系統(tǒng)數(shù)據(jù)流統(tǒng)一

資訊數(shù)據(jù)模型與標(biāo)準(zhǔn)避免

重復(fù)的數(shù)據(jù)資源投入節(jié)約20%以上資源重復(fù)投入主動(dòng)發(fā)現(xiàn)和優(yōu)化數(shù)據(jù)錯(cuò)誤有效解決資訊數(shù)據(jù)繁雜難用充分融合和挖掘數(shù)據(jù)價(jià)值全面支持各類(lèi)業(yè)務(wù)系統(tǒng)需求避免因數(shù)據(jù)源變化影響業(yè)務(wù)建立可持續(xù)的資訊數(shù)據(jù)資產(chǎn)】數(shù)據(jù)治理實(shí)現(xiàn)目標(biāo)第三代數(shù)據(jù)中心平臺(tái)FinDigI最聞數(shù)據(jù)治理發(fā)展(

2

010

年

)

第

二

代

數(shù)

據(jù)

中

心

平

臺(tái)(

2

0

07

年

)

第

一

代

數(shù)

據(jù)

中

心

庫(kù)(

2

018

年

)

最

聞

科

技2007年之前數(shù)據(jù)應(yīng)用：建立靈活高效的數(shù)據(jù)發(fā)布服務(wù)管理系統(tǒng)，打造自主品牌和高可控的資訊數(shù)據(jù)服務(wù)終端平臺(tái)。數(shù)據(jù)融合:采集和融合各種渠道和形態(tài)的數(shù)據(jù)來(lái)源，打造統(tǒng)一模型標(biāo)準(zhǔn)和質(zhì)量監(jiān)控機(jī)制的數(shù)據(jù)倉(cāng)庫(kù)體系。最聞數(shù)據(jù)治理平臺(tái)解決方案I最聞數(shù)據(jù)治理方案數(shù)據(jù)源支持廣泛完整的產(chǎn)品體系數(shù)據(jù)處理流式化數(shù)據(jù)加工套件庫(kù)分布式調(diào)度平臺(tái)增加大數(shù)據(jù)特性融合大數(shù)據(jù)平臺(tái)數(shù)據(jù)治理平臺(tái)(Dstream)??真正的分布式調(diào)度集群架構(gòu)實(shí)現(xiàn)服務(wù)集群和任務(wù)分片2層維度分解?支持對(duì)作業(yè)進(jìn)行CPU\內(nèi)存資源細(xì)粒度控制,確保高效穩(wěn)定??支持批量數(shù)據(jù)定時(shí)處理支持增量數(shù)據(jù)實(shí)時(shí)跟蹤處理?通過(guò)CDC技術(shù)實(shí)現(xiàn)數(shù)據(jù)源變動(dòng)的零延時(shí)監(jiān)控??結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)、廠商數(shù)據(jù)和自產(chǎn)數(shù)據(jù)、傳統(tǒng)關(guān)系型數(shù)據(jù)、海量大數(shù)據(jù)多種形式數(shù)據(jù)處理?網(wǎng)站、郵件、文件(PDF)、圖片、終端、接口智能化采集處理能力

上海最聞信息科技有限公司數(shù)據(jù)庫(kù)跟蹤、服務(wù)器狀態(tài)、作業(yè)運(yùn)行與負(fù)載壓力監(jiān)控?cái)?shù)據(jù)質(zhì)量跟蹤校驗(yàn)預(yù)警監(jiān)控多源融合比對(duì)擇優(yōu)異常提醒與運(yùn)維監(jiān)控I

最聞數(shù)據(jù)治理平臺(tái)優(yōu)勢(shì)結(jié)構(gòu)化\非結(jié)構(gòu)化批流一體模式分布式集群架構(gòu)數(shù)據(jù)庫(kù)\作業(yè)\血緣高可用多形式全監(jiān)控高時(shí)效????金融資訊數(shù)據(jù)有二進(jìn)制文件、文本等大字段，這

些大字段不適合推送到Kafka等消息總線?金融資訊數(shù)據(jù)的處理經(jīng)常需要用到關(guān)聯(lián)查詢，如果采用純流式，每條數(shù)據(jù)在處理時(shí)需要單獨(dú)去查詢，這樣效率非常低。?

同樣，數(shù)據(jù)處理完成后需要寫(xiě)入到數(shù)據(jù)庫(kù)時(shí)，也

需要批量插入這樣效率最高?

資訊數(shù)據(jù)模型眾多，數(shù)據(jù)清洗邏輯復(fù)雜，運(yùn)維易操作要求高，大量硬編碼模式，可操作性低?數(shù)據(jù)的批\流處理能力?具備實(shí)時(shí)窗口統(tǒng)計(jì)能力?

F

link?

Beam高可用集群體系架構(gòu)大數(shù)據(jù)集群框架金融資訊數(shù)據(jù)不適合于類(lèi)似框架框架主要能力?JobSchduler?JobExecutor于

h

開(kāi)源框架Apac

e?

Mesos?

ElasticJob?

Mesos-master?

Mesos-slaveI

高可用集群體系架構(gòu)分布式彈性資源管理分布式作業(yè)調(diào)度管理基ElasticJob

分布式作業(yè)調(diào)度框架I

高可用集群體系架構(gòu)Mesos:分布式資源管理框架作業(yè)資源按需配置作業(yè)失敗自動(dòng)重試集群資源彈性擴(kuò)容作業(yè)服務(wù)器動(dòng)態(tài)分配I

作業(yè)分布式集群運(yùn)行充分利用集群資源大幅提升處理效率業(yè)務(wù)數(shù)據(jù)順序保證多分片高并發(fā)模式I

作業(yè)分片高并發(fā)運(yùn)行Dstream產(chǎn)品集群架構(gòu)1

、CDC服務(wù)監(jiān)聽(tīng)數(shù)據(jù)源變動(dòng)2

、變動(dòng)數(shù)據(jù)推入kafka對(duì)應(yīng)topic3

、轉(zhuǎn)換作業(yè)監(jiān)聽(tīng)kafka對(duì)應(yīng)Topic變動(dòng)數(shù)據(jù)記錄4

、轉(zhuǎn)換作業(yè)執(zhí)行數(shù)據(jù)清洗邏輯5

、轉(zhuǎn)換作業(yè)推送每條數(shù)據(jù)成功/失敗狀態(tài)到Kafka6

、數(shù)據(jù)處理結(jié)果回寫(xiě)到Mysql數(shù)據(jù)庫(kù),提供管理支持

ETL?每一行記錄的處理都是并行的，不是串行

的，不需要等待?一行記錄處理完成，會(huì)通過(guò)putRow方法，直接送到下一個(gè)處理組件?整個(gè)處理過(guò)程中，不需要序列化，不需要

內(nèi)存復(fù)制，沒(méi)有效率損失?所有執(zhí)行過(guò)程是可重復(fù)執(zhí)行?資訊數(shù)據(jù)除了新增,還有大量更新和刪除操

作?同一張表同一條記錄的多次變動(dòng)，處理過(guò)

程要保持順序。?多次執(zhí)行，結(jié)果冥等(多次執(zhí)行結(jié)果一致)基于并行架構(gòu)的ETL技術(shù)實(shí)現(xiàn)資訊

據(jù)金融

數(shù)

特點(diǎn)并行處理的批模式?DSTREAM基于KETTLE的組件模式

，

定制開(kāi)發(fā)適用于金融數(shù)據(jù)處理的組件

。提供了提高處理效率的組件。?DSTREAM還優(yōu)化

了部分KETTLE原生組件。?

金融資訊數(shù)據(jù)轉(zhuǎn)換過(guò)程中，業(yè)務(wù)邏輯復(fù)雜，如果純編碼方式進(jìn)行處理

，開(kāi)發(fā)效率低

，測(cè)試周期長(zhǎng)

，成本高

。需要圖形化工具來(lái)設(shè)計(jì)轉(zhuǎn)換業(yè)務(wù)邏輯。?

對(duì)于ETL任務(wù)

的運(yùn)行

，

DSTREAM平

臺(tái)使用

了

KETTLE的組件模

型

，但是接管

了任務(wù)所有其它工作。DSTREAM提供

了大量

ETL組件ETL業(yè)務(wù)邏輯的圖形化設(shè)計(jì)工具一個(gè)ETL任務(wù)數(shù)據(jù)流程模式的應(yīng)用kettle在Dstream中的應(yīng)用?1000萬(wàn)條數(shù)據(jù)初始化完成清洗轉(zhuǎn)換8分鐘完成?單個(gè)作業(yè)平均數(shù)據(jù)吞吐量可以達(dá)到120萬(wàn)條/分鐘高效數(shù)據(jù)處理能力—初始化100萬(wàn)增量數(shù)據(jù)變動(dòng)-10個(gè)分片并發(fā),每秒處理1500~2000條數(shù)據(jù)-10分鐘左右完成整個(gè)數(shù)據(jù)清洗處理高效數(shù)據(jù)處理能力一增量變動(dòng)制定中長(zhǎng)期方向明確中短期目標(biāo)資訊數(shù)據(jù)中心技術(shù)平臺(tái)建立數(shù)據(jù)源梳理?廠商數(shù)據(jù)庫(kù)?內(nèi)部業(yè)務(wù)庫(kù)?行業(yè)網(wǎng)站?文件文檔?電子郵件?數(shù)據(jù)終端?插件終端ETL設(shè)計(jì)與運(yùn)行?設(shè)計(jì)工具?源數(shù)據(jù)跟蹤?作業(yè)調(diào)度?數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)模型設(shè)計(jì)?業(yè)務(wù)分類(lèi)?數(shù)據(jù)編碼?邏輯關(guān)聯(lián)?數(shù)據(jù)冗余?數(shù)據(jù)擴(kuò)展數(shù)據(jù)校驗(yàn)比對(duì)?數(shù)據(jù)校驗(yàn)?多源比對(duì)?異常預(yù)警?運(yùn)維管理運(yùn)營(yíng)分析?流量分析?業(yè)務(wù)分類(lèi)?多維統(tǒng)計(jì)應(yīng)用服務(wù)?搜索引擎?專(zhuān)題服務(wù)?指標(biāo)服務(wù)?文件服務(wù)?數(shù)據(jù)推送I

金融資訊數(shù)據(jù)治理方法論啟動(dòng)數(shù)據(jù)源清洗轉(zhuǎn)換開(kāi)發(fā)實(shí)施啟動(dòng)多源數(shù)據(jù)比對(duì)策略配置發(fā)布數(shù)據(jù)庫(kù)表同步推送數(shù)據(jù)接口

數(shù)據(jù)應(yīng)用分析

金融數(shù)據(jù)模型設(shè)計(jì)金融資訊數(shù)據(jù)中心篩選和確定數(shù)據(jù)源數(shù)據(jù)源內(nèi)部數(shù)據(jù)外部數(shù)據(jù)集

成OCR識(shí)別數(shù)據(jù)清洗系統(tǒng)某券商數(shù)據(jù)治理應(yīng)用平臺(tái)架構(gòu)圖數(shù)據(jù)校驗(yàn)App移動(dòng)端

數(shù)據(jù)接口服務(wù)數(shù)據(jù)訂閱推送服務(wù)數(shù)據(jù)靜態(tài)化中心庫(kù)采集服務(wù)數(shù)據(jù)表同步服務(wù)PC終端小程序業(yè)務(wù)審計(jì)平臺(tái)系統(tǒng)資管風(fēng)控系統(tǒng)固定收益系統(tǒng)投顧平臺(tái)系統(tǒng)大投行系統(tǒng)優(yōu)理寶App信用評(píng)級(jí)系統(tǒng)財(cái)務(wù)核算系統(tǒng)基金評(píng)價(jià)系統(tǒng)服務(wù)產(chǎn)品中心非結(jié)構(gòu)化數(shù)據(jù)解析交易所網(wǎng)站分布式存儲(chǔ)產(chǎn)品中心巨潮數(shù)據(jù)天天基金基金發(fā)行研究報(bào)告聚源數(shù)據(jù)港澳短信萬(wàn)得數(shù)據(jù)支持各種資訊源接入兼容銀行文件接口規(guī)范支持多應(yīng)用靈活接入高效穩(wěn)定的技術(shù)平臺(tái)I某銀行金融數(shù)據(jù)治理平臺(tái)應(yīng)用察例治理平臺(tái)服務(wù)數(shù)據(jù)采集融合--高質(zhì)量模型化數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)數(shù)據(jù)行情數(shù)據(jù)資訊公司數(shù)據(jù)宏觀行業(yè)新三板證券分類(lèi)金融機(jī)構(gòu)國(guó)內(nèi)港股美股新聞公告研究報(bào)告輿情基本資料股東和管理層財(cái)務(wù)數(shù)據(jù)宏觀經(jīng)濟(jì)行業(yè)數(shù)據(jù)行情財(cái)務(wù)股票基金債券理財(cái)產(chǎn)品銀行證券公募保險(xiǎn)Level2資金流向高頻數(shù)據(jù)新聞分類(lèi)公告類(lèi)別盈利預(yù)測(cè)標(biāo)簽正負(fù)面信息變更記錄行業(yè)與板塊股本與限售財(cái)務(wù)附注I領(lǐng)城數(shù)據(jù)模型產(chǎn)業(yè)上下游I領(lǐng)城數(shù)據(jù)模型?

oracle?

ms

SQL

server?

mysql?

postressql?關(guān)系型數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)?

greenplum...?

oracle?ms

SQL

server?

mysql?postressql?greenplum

??網(wǎng)站服務(wù)接口?excel插件/

終端接

口等?

xml/

json/

文本?pdf/word/圖片?

hadoop/

hdfs/

mongo/

redis/

kafaka?各種應(yīng)用服務(wù)接口大數(shù)據(jù)平臺(tái)文件類(lèi)各種數(shù)據(jù)庫(kù)多樣化數(shù)據(jù)源......數(shù)據(jù)binlog方式數(shù)據(jù)庫(kù)CDC方式數(shù)據(jù)庫(kù)自有日志跟蹤表掃描方式?

。。。?

各類(lèi)型數(shù)據(jù)庫(kù)】

數(shù)據(jù)庫(kù)數(shù)據(jù)采集?

oracle?

mssql

server?

。。。?

萬(wàn)得金融數(shù)據(jù)庫(kù)?

聚源金融數(shù)據(jù)庫(kù)?

mysqlBloomberg數(shù)據(jù)采集Excel插件數(shù)據(jù)采集I

網(wǎng)絡(luò)網(wǎng)站一爬蟲(chóng)采集lI

文件文檔—內(nèi)容采集a

數(shù)據(jù)清洗轉(zhuǎn)換(ETL)圖形化拖拽式設(shè)計(jì)系統(tǒng)網(wǎng)絡(luò)爬蟲(chóng)組件自然語(yǔ)言組件OCR組件大數(shù)據(jù)處理組件滿足行業(yè)數(shù)據(jù)處理的定制化組件I數(shù)據(jù)治理平臺(tái)一數(shù)據(jù)清洗融合ETLlI

最聞ETL特色功能I

主體/常量編碼轉(zhuǎn)換Redis緩存編碼對(duì)照轉(zhuǎn)換數(shù)據(jù)庫(kù)加速編碼對(duì)照轉(zhuǎn)換自然語(yǔ)言分析(NLP)一應(yīng)用轉(zhuǎn)換I

網(wǎng)頁(yè)驗(yàn)證碼自動(dòng)識(shí)別抓取驗(yàn)證碼識(shí)別驗(yàn)證碼AI應(yīng)用組件I

大數(shù)據(jù)平臺(tái)交互能力?

單源數(shù)據(jù)量校驗(yàn)?

雙源數(shù)據(jù)量校驗(yàn)?

單源數(shù)據(jù)內(nèi)容校驗(yàn)?

多源數(shù)據(jù)內(nèi)容校驗(yàn)?

單源數(shù)據(jù)驗(yàn)證?

多源交叉驗(yàn)證?

黃金拷貝I

數(shù)據(jù)校驗(yàn)系統(tǒng)事后校驗(yàn)事前校驗(yàn)I

數(shù)據(jù)驗(yàn)支持多種校驗(yàn)類(lèi)型數(shù)據(jù)校驗(yàn)任務(wù)可以的配置豐富?

校驗(yàn)周期?

校驗(yàn)后控制?

資源配置?

檢驗(yàn)?zāi)繕?biāo)?

檢驗(yàn)規(guī)則數(shù)據(jù)校驗(yàn)功能全面I數(shù)據(jù)校驗(yàn)系統(tǒng)—校驗(yàn)結(jié)果I數(shù)據(jù)驗(yàn)系統(tǒng)—校驗(yàn)結(jié)果—檢驗(yàn)結(jié)果詳細(xì)信息I數(shù)據(jù)比對(duì)泵統(tǒng)多源鏈路比對(duì)規(guī)則支持入庫(kù)優(yōu)先級(jí)策略

支持整表單一來(lái)源策略支持?jǐn)?shù)據(jù)值浮動(dòng)偏差策略

支持字段單一來(lái)源策略支持?jǐn)?shù)據(jù)源權(quán)重策略支持?jǐn)?shù)據(jù)選舉算法策略支持人工運(yùn)營(yíng)處理支持差異高亮提醒支持一鍵切換來(lái)源支持手工修改數(shù)據(jù)所有操作留痕可追溯I

數(shù)據(jù)比x對(duì)處理數(shù)據(jù)比對(duì)運(yùn)營(yíng)處理I

新增多源比對(duì)作業(yè)I

設(shè)置多源比對(duì)第略I

運(yùn)營(yíng)監(jiān)空比對(duì)結(jié)果I

處理數(shù)據(jù)比對(duì)結(jié)果數(shù)據(jù)服務(wù)應(yīng)用--平臺(tái)化響應(yīng)式數(shù)據(jù)服務(wù)體系o數(shù)據(jù)管理系統(tǒng)(DMS)中心庫(kù)模型對(duì)象的建立與管理數(shù)據(jù)分類(lèi)數(shù)據(jù)展示的定義與管理指標(biāo)與統(tǒng)計(jì)報(bào)表管理系統(tǒng)各種常量的管理系統(tǒng)應(yīng)用服務(wù)的管理I數(shù)據(jù)治理平臺(tái)功能一數(shù)據(jù)管理系統(tǒng)最聞數(shù)據(jù)治理平臺(tái)功能—數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)接口服務(wù)?

高效的數(shù)據(jù)模型設(shè)計(jì)工具

，

無(wú)需編碼,快速實(shí)現(xiàn)接口的開(kāi)發(fā)和上線發(fā)布?

基于微服務(wù)架構(gòu)體系

，支持彈性擴(kuò)展

，隨時(shí)調(diào)整服務(wù)承載能力?兩級(jí)數(shù)據(jù)加速設(shè)計(jì)，大幅提高數(shù)據(jù)服務(wù)效率，減小對(duì)數(shù)據(jù)存儲(chǔ)層的壓力?全面賬戶管理中心體系，從業(yè)務(wù)和功能接口實(shí)現(xiàn)分級(jí)和隔離?內(nèi)置全文搜索引擎功能服務(wù)，快速提供全文搜索服務(wù)能力數(shù)據(jù)服務(wù)數(shù)據(jù)中心庫(kù)數(shù)據(jù)治理工具ESHTTPSOCKETRedis賬戶中心應(yīng)用庫(kù)BAS

JOB(

基礎(chǔ)數(shù)據(jù)服務(wù)

)數(shù)據(jù)源、專(zhuān)題、資訊、檢索令牌驗(yàn)證RedisA

t

C

t用戶、產(chǎn)品、權(quán)限、支付ccounenerMO

N

G

OSCANI數(shù)據(jù)接口服務(wù)AP說(shuō)明采用瀏覽器風(fēng)格，用戶體驗(yàn)更好采用QT/

C++開(kāi)發(fā)，性能更好大數(shù)據(jù)、人工智能新技

術(shù)支持特色和獨(dú)家的數(shù)據(jù)開(kāi)放式終端客戶定制終端

Q

數(shù)據(jù)服務(wù)應(yīng)用OracleMysqlDStream數(shù)據(jù)庫(kù)同步程序MssqlPostgres?支持基于CDC實(shí)時(shí)跟蹤來(lái)源數(shù)據(jù)庫(kù)增量變化?實(shí)時(shí)跟蹤數(shù)據(jù)插入、更新、刪除?實(shí)時(shí)跟蹤數(shù)據(jù)庫(kù)表結(jié)構(gòu)變動(dòng)?

支持異構(gòu)數(shù)據(jù)庫(kù)同步(Oracle、Mysql、Mssql、

Postgres)?支持1對(duì)多個(gè)目標(biāo)庫(kù)的數(shù)據(jù)并發(fā)同步?支持不同目標(biāo)庫(kù)，同步不同表?支持異常自動(dòng)提醒和故障恢復(fù)能力?無(wú)人值守、故障自動(dòng)恢復(fù)?斷點(diǎn)續(xù)傳?使用配置簡(jiǎn)單方便，資源占用少數(shù)據(jù)庫(kù)同步系統(tǒng)來(lái)源庫(kù)?支實(shí)時(shí)的數(shù)據(jù)分發(fā)功能，數(shù)據(jù)量多新頻率為每分鐘。?

支持各種流行的數(shù)據(jù)庫(kù)

：oracle,sqlserver,postgressql,mysql等?支持歷史數(shù)據(jù)修補(bǔ)，保證數(shù)據(jù)完整性?數(shù)據(jù)采用二進(jìn)制的壓縮方式傳輸，效率高，節(jié)省帶寬

上海最聞信息科技有限公司互聯(lián)網(wǎng)數(shù)據(jù)分發(fā)系統(tǒng)數(shù)據(jù)還原ISAPI通訊服務(wù)客戶端通訊程

序