Informati

ca替換案例實(shí)踐分享——從

ETL到數(shù)據(jù)集成治理，

國(guó)產(chǎn)化升級(jí)解析22

目錄

CONTENT02

FineDataLink核心優(yōu)勢(shì)04

制造

、金融行業(yè)應(yīng)用案例01

行業(yè)趨勢(shì)和客戶痛點(diǎn)03歷史任務(wù)遷移方案01行業(yè)趨勢(shì)和客戶痛點(diǎn)Why

Change參考信息?國(guó)務(wù)院《“十四五

”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》?

國(guó)資委2022年9月下發(fā)《79號(hào)文件》帆軟

|

FDL國(guó)產(chǎn)化替換方案

第

4

頁?企業(yè)內(nèi)業(yè)務(wù)系統(tǒng)，

未來會(huì)更換為國(guó)產(chǎn)化數(shù)據(jù)庫

、

中間件和操作系統(tǒng)，

所以企業(yè)需要數(shù)據(jù)集成軟件支持信創(chuàng)環(huán)境

，對(duì)接國(guó)產(chǎn)化數(shù)據(jù)庫（達(dá)夢(mèng)

、人大金倉(cāng)）

、國(guó)產(chǎn)化大數(shù)據(jù)平臺(tái)（

Vertica

、星環(huán)ArgoDB）；?傳統(tǒng)國(guó)外ETL工具Informati

ca

、IBM

DataStage

、

SSIS

、Talend無法響應(yīng)。?推動(dòng)軟件國(guó)產(chǎn)化，包括企業(yè)內(nèi)基礎(chǔ)類軟件（數(shù)據(jù)庫

、中間件

、操作系統(tǒng)）和應(yīng)用類軟件（辦公軟件

、業(yè)務(wù)管理軟件

、數(shù)據(jù)分析軟件

、數(shù)據(jù)集成軟件）；?到2027年，在國(guó)資央企尤其是制造領(lǐng)域，應(yīng)做到能替就替

，完成信創(chuàng)要求；?逐步建立自有知識(shí)產(chǎn)權(quán)的IT架構(gòu)和標(biāo)準(zhǔn)。國(guó)產(chǎn)化適配政策解讀

FineDataLink

國(guó)產(chǎn)化政策驅(qū)動(dòng)不適配ELT模式-某銀行客戶銀行客戶的數(shù)據(jù)量達(dá)到TB級(jí)別，

會(huì)

開始應(yīng)用ELT模式

，

數(shù)據(jù)集成工具

負(fù)責(zé)調(diào)度管理

、

大數(shù)據(jù)平臺(tái)負(fù)責(zé)加工計(jì)算；

Informatica

PowerCenter核心支持ETL模式，

ELT模式較弱

，

不支持復(fù)雜SQL開發(fā)。治理能力缺失-某銀行客戶ETL工具深度使用客戶，

ETL任務(wù)多

、數(shù)倉(cāng)鏈路長(zhǎng)，

當(dāng)ETL任務(wù)報(bào)錯(cuò)后，

需要層層追溯會(huì)對(duì)哪些下游表

產(chǎn)生影響；

還需要關(guān)注數(shù)據(jù)準(zhǔn)確性，

對(duì)數(shù)據(jù)定期開展檢測(cè)

、治理。運(yùn)維成本高-某銀行客戶Informatica

PowerCenter是C/S架構(gòu)，任務(wù)開發(fā)-編排-調(diào)度-運(yùn)維是多個(gè)窗口

，任務(wù)上線后遇到報(bào)錯(cuò)，

需要切換多個(gè)

窗口運(yùn)維；

由于業(yè)務(wù)系統(tǒng)頻繁DDL

，

導(dǎo)致經(jīng)常需要手動(dòng)調(diào)整目標(biāo)表結(jié)構(gòu)

，

運(yùn)維成本很高。實(shí)時(shí)能力缺失-某制造行業(yè)客戶制造行業(yè)生產(chǎn)車間看板

、

IOT設(shè)備數(shù)

據(jù)監(jiān)控等高時(shí)效場(chǎng)景，

都依賴數(shù)據(jù)集

成平臺(tái)的實(shí)時(shí)計(jì)算能力，

海外ETL工

具歷史版本不支持CDC能力，

也不支

持MQTT協(xié)議，

無法支撐場(chǎng)景。產(chǎn)品使用成本高-某消費(fèi)客戶海外ETL工具產(chǎn)品界面的交互體驗(yàn)一般，

畫布中的組件

、連線經(jīng)?？D，無法操作。產(chǎn)品涉及的技術(shù)名詞眾多，

ETL新人需要很高的學(xué)習(xí)成本。部署成本高-某保險(xiǎn)客戶海外ETL工具產(chǎn)品部署過程中需要安裝多個(gè)JDBC驅(qū)動(dòng)

、

指定多個(gè)配置數(shù)據(jù)庫，

某保險(xiǎn)行業(yè)客戶第一次部署耗時(shí)30h，

完全熟悉產(chǎn)品后部署也需要5

～8h。帆軟

|

FDL國(guó)產(chǎn)化替換方案

第

5

頁

產(chǎn)品應(yīng)用與體驗(yàn)瓶頸

FineDataLink產(chǎn)品功能產(chǎn)品體驗(yàn)產(chǎn)品服務(wù)?

Informatica

、IBM

DataStage原廠退出中國(guó)市場(chǎng)，

當(dāng)前國(guó)內(nèi)是代理商服務(wù)

，存在斷供風(fēng)險(xiǎn)；經(jīng)常出現(xiàn)遇到問題到不到人，即使找到人問題解決效率也很慢的問題；?

Informatica產(chǎn)品中文文檔缺失

，導(dǎo)致故障排查耗時(shí)翻倍。?

服務(wù)響應(yīng)慢

、資料不完善

，影響服務(wù)體驗(yàn)。帆軟

|

FDL國(guó)產(chǎn)化替換方案

第

6

頁

FineDataLink

服務(wù)困境02FineDataLink核心優(yōu)勢(shì)Why

Us數(shù)據(jù)管理治理庫表管理數(shù)據(jù)血緣數(shù)據(jù)檢測(cè)清洗規(guī)則任務(wù)和系統(tǒng)管理任務(wù)調(diào)度任務(wù)運(yùn)維權(quán)限管理版本管理消息預(yù)警數(shù)據(jù)應(yīng)用數(shù)據(jù)服務(wù)數(shù)據(jù)開發(fā)數(shù)據(jù)管道數(shù)據(jù)源關(guān)系型數(shù)據(jù)庫

非關(guān)系型數(shù)據(jù)庫接口類型數(shù)據(jù)文件數(shù)據(jù)簡(jiǎn)道云國(guó)產(chǎn)化數(shù)據(jù)庫大數(shù)據(jù)消息隊(duì)列第三方系統(tǒng)

生態(tài)上下游數(shù)據(jù)服務(wù)數(shù)據(jù)發(fā)布

數(shù)據(jù)接收黑白名單

鑒權(quán)認(rèn)證批量同步實(shí)時(shí)同步應(yīng)用連接器開箱即用斷點(diǎn)續(xù)傳進(jìn)度監(jiān)控資質(zhì)免申隔周迭代定時(shí)計(jì)算引擎定時(shí)同步

可視開發(fā)批量計(jì)算

Spark引擎實(shí)時(shí)計(jì)算引擎實(shí)時(shí)來源

可視開發(fā)流式計(jì)算

F

link引擎PowerCenter

、DataEngineering

Integration功能3（升級(jí)能力+新增能力+基建能力）1（統(tǒng)一平臺(tái)，統(tǒng)一底座，統(tǒng)一管理）FineReport

FineBI

簡(jiǎn)道云

FVS應(yīng)用系統(tǒng)FineDataLink新增功能實(shí)時(shí)管道

定時(shí)管道

FineDataLink

產(chǎn)品對(duì)比架構(gòu)帆軟

|

FDL國(guó)產(chǎn)化替換方案第

8頁After

FDL全面適配信創(chuàng)環(huán)境?FineDataLink產(chǎn)品全面支持國(guó)產(chǎn)化數(shù)據(jù)庫

，根據(jù)市場(chǎng)需求變化趨勢(shì)，每周發(fā)布新支持?jǐn)?shù)據(jù)源類型。?FineDataLink信創(chuàng)版全面適配信創(chuàng)環(huán)境部署

，包括信創(chuàng)芯片

、系統(tǒng)

、

中間件和配置數(shù)據(jù)庫

，滿足信創(chuàng)軟著。Before

海外ETL工具不適配信創(chuàng)?企業(yè)完成基礎(chǔ)類軟硬件（數(shù)據(jù)庫

、中間件

、操作系統(tǒng)）

改造后

，應(yīng)用

類軟件需要支持在以上環(huán)境中運(yùn)行；?業(yè)務(wù)系統(tǒng)存儲(chǔ)在切換國(guó)產(chǎn)化數(shù)據(jù)庫時(shí)，

需要數(shù)據(jù)集成平臺(tái)支撐新舊系

統(tǒng)的數(shù)據(jù)遷移工作。?

數(shù)據(jù)庫

：達(dá)夢(mèng)

、人大金倉(cāng)

、OceanBase等幾十余種?

大數(shù)據(jù)平臺(tái)

：GaussDB200

、阿里云MaxCompute

、Ti

DB

、HPVertica等幾十余種?

數(shù)據(jù)庫

：達(dá)夢(mèng)

、人大金倉(cāng)

、OceanBase等幾十余種?

大數(shù)據(jù)平臺(tái)

：GaussDB200

、阿里云MaxCompute

、Ti

DB

、HPVertica等幾十余種?芯片

：鯤鵬

、海光

、兆芯等；?

系統(tǒng)：銀河麒麟

、統(tǒng)信等；?中間件

：東方通

、寶藍(lán)德

、金蝶天燕等?

除普通版支持內(nèi)容外

，還支持達(dá)夢(mèng)

、人大金倉(cāng)

、南大通用Gbase8A等國(guó)產(chǎn)化數(shù)據(jù)庫?MySQL

、Oracle

、DB2?

SQLServer

、PostgreSQL等數(shù)據(jù)庫FDL普通版FDL信創(chuàng)版帆軟

|

FDL國(guó)產(chǎn)化替換方案

第

9

頁?

系統(tǒng)：

Linux?

芯片

、中間件沒有額外要求基礎(chǔ)軟硬件（芯片、系統(tǒng)、

中間件）平臺(tái)外接數(shù)據(jù)庫

數(shù)據(jù)集成支持?jǐn)?shù)據(jù)庫 升級(jí)能力-信創(chuàng)支持

FineDataLink

升級(jí)能力

新增能力

基建能力

帆軟

|

FDL國(guó)產(chǎn)化替換方案第

10

頁7類數(shù)據(jù)源任意終端到任意終端3種數(shù)據(jù)結(jié)構(gòu)任意結(jié)構(gòu)轉(zhuǎn)換為任意結(jié)構(gòu)60+種數(shù)據(jù)類型每周發(fā)布新支持?jǐn)?shù)據(jù)源類型After

FDL全面適配信創(chuàng)環(huán)境?FineDataLink產(chǎn)品全面支持國(guó)產(chǎn)化數(shù)據(jù)庫

，根據(jù)市場(chǎng)需求變化趨勢(shì)，每周發(fā)布新支持?jǐn)?shù)據(jù)源類型。?FineDataLink信創(chuàng)版全面適配信創(chuàng)環(huán)境部署

，包括信創(chuàng)芯片

、系統(tǒng)

、

中間件和配置數(shù)據(jù)庫

，滿足信創(chuàng)軟著。Before

海外ETL工具不適配信創(chuàng)?企業(yè)完成基礎(chǔ)類軟硬件（數(shù)據(jù)庫

、中間件

、操作系統(tǒng)）

改造后

，應(yīng)用

類軟件需要支持在以上環(huán)境中運(yùn)行；?業(yè)務(wù)系統(tǒng)存儲(chǔ)在切換國(guó)產(chǎn)化數(shù)據(jù)庫時(shí)，

需要數(shù)據(jù)集成平臺(tái)支撐新舊系

統(tǒng)的數(shù)據(jù)遷移工作。 升級(jí)能力-數(shù)據(jù)源支持

FineDataLink

升級(jí)能力

新增能力

基建能力

After

一鍵部署，

開箱即用?平臺(tái)支持環(huán)境直接部署和FineOps運(yùn)維平臺(tái)容器化部署；可視化啟動(dòng)

、

停止

、重啟

、備份

、升級(jí)工程，

降低運(yùn)維門檻；?FineOps運(yùn)維平臺(tái)支持服務(wù)器級(jí)/應(yīng)用級(jí)負(fù)載監(jiān)控和并發(fā)監(jiān)控

，及時(shí)告

警通知，

同時(shí)留存告警記錄

，讓告警復(fù)盤有跡可循。Before

部署成本居高不下?Informati

ca等海外ETL工具部署過程中需要安裝多個(gè)JDBC驅(qū)動(dòng)

、指定多個(gè)配置數(shù)據(jù)庫

，不熟悉工具客戶部署需要幾天時(shí)間

，熟悉產(chǎn)品客

戶也需要5

～8h。帆軟

|

FDL國(guó)產(chǎn)化替換方案第

11

頁 升級(jí)能力-產(chǎn)品部署

FineDataLink

升級(jí)能力

新增能力

基建能力

Before

適配場(chǎng)景存在局限?Informatica

PowerCenter核心推廣ETL開發(fā)模式，

引導(dǎo)客戶使用工具

內(nèi)可視化組件進(jìn)行數(shù)據(jù)開發(fā)，

當(dāng)企業(yè)數(shù)據(jù)量龐大時(shí)，

需要應(yīng)用ELT模式

，應(yīng)用大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)計(jì)算時(shí)

，適配程度弱

，不支持復(fù)雜SQL

開發(fā)。帆軟

|

FDL國(guó)產(chǎn)化替換方案第

12

頁After

雙核引擎，

應(yīng)對(duì)多種場(chǎng)景?ETL模式

：平臺(tái)內(nèi)可視化開發(fā)組件

，轉(zhuǎn)化為SparkSql交給內(nèi)置引擎進(jìn)行計(jì)算，開發(fā)路徑敏捷

，適合數(shù)據(jù)處理邏輯復(fù)雜的場(chǎng)景；?ELT模式：

FDL將生產(chǎn)系統(tǒng)數(shù)據(jù)采集至大數(shù)據(jù)平臺(tái)

，大數(shù)據(jù)平臺(tái)承接計(jì)算

、

FDL負(fù)責(zé)任務(wù)調(diào)度管理

，適合大數(shù)據(jù)量計(jì)算場(chǎng)景。

ETL

模式

數(shù)據(jù)關(guān)聯(lián)FineReport數(shù)據(jù)清洗FineBI數(shù)據(jù)轉(zhuǎn)換

ELT

模式

FineReport數(shù)據(jù)清洗據(jù)平臺(tái)數(shù)據(jù)轉(zhuǎn)換 升級(jí)能力-任務(wù)開發(fā)

FineDataLink

升級(jí)能力

新增能力

基建能力

數(shù)據(jù)結(jié)果表

數(shù)據(jù)結(jié)果表數(shù)據(jù)采集FineBI高性能數(shù)數(shù)據(jù)源A數(shù)據(jù)源A數(shù)據(jù)源B數(shù)據(jù)源BAfter

上手門檻低，

能力上限高?FDL的設(shè)計(jì)理念是用C端產(chǎn)品的體驗(yàn)設(shè)計(jì)B端的產(chǎn)品

，所以產(chǎn)品功能基于命

名即可清楚應(yīng)用場(chǎng)景

，會(huì)寫SQL的用戶就可開發(fā)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫。?畫布流程支持自動(dòng)布局

，節(jié)點(diǎn)之間支持自動(dòng)吸附

，開發(fā)流程縱享絲滑。Before

學(xué)習(xí)成本高，

難以上手?在開發(fā)Inforam

tica數(shù)據(jù)流時(shí)，配置項(xiàng)眾多，Mapplets

、

Transforamations等概念難理解

、易混淆

，初學(xué)者需要經(jīng)過專門的培訓(xùn)和訓(xùn)練才能使用。?海外ETL工具的交互設(shè)計(jì)偏向傳統(tǒng)

，畫布中的組件

、連線拖拉經(jīng)?？D，不夠絲滑

，影響任務(wù)開發(fā)效率。帆軟

|

FDL國(guó)產(chǎn)化替換方案第

13

頁 升級(jí)能力-任務(wù)開發(fā)

FineDataLink

升級(jí)能力

新增能力

基建能力

After

基于場(chǎng)景切換合適調(diào)度模式?

一站式

：任務(wù)開發(fā)-編排-調(diào)度-運(yùn)維在平臺(tái)內(nèi)一站式完成

，各環(huán)節(jié)之間自由切換

與跳轉(zhuǎn)

，用戶不再需要多窗口之間來回切換。?定時(shí)調(diào)度

：支持按時(shí)間周期

、自定義日歷

、corn表達(dá)式設(shè)置調(diào)度。?

事件調(diào)度：

為數(shù)倉(cāng)下游任務(wù)設(shè)置上游依賴任務(wù)

，可實(shí)現(xiàn)上游任務(wù)更新結(jié)束后自動(dòng)觸發(fā)下游

，避免下游對(duì)上游不相關(guān)任務(wù)的無效等待。?

批量調(diào)度：

多個(gè)任務(wù)均是一致的調(diào)度周期

，可將多個(gè)任務(wù)設(shè)置為批量調(diào)度

，一個(gè)調(diào)度即可管理多個(gè)任務(wù)

，節(jié)省配置成本。Before

多窗口切換，

操作繁瑣?任務(wù)開發(fā)完成后，

需要將任務(wù)從開發(fā)階段發(fā)布為生產(chǎn)階段，

同時(shí)設(shè)置

任務(wù)運(yùn)行周期

，滿足企業(yè)的數(shù)據(jù)更新需求。?Informati

ca

PowerCenter是C/S架構(gòu)

，任務(wù)開發(fā)-編排-調(diào)度-運(yùn)維是多個(gè)窗口

，為完成一個(gè)流程需要多個(gè)窗口切換

，操作繁瑣。帆軟

|

FDL國(guó)產(chǎn)化替換方案第

14

頁 升級(jí)能力-任務(wù)調(diào)度

FineDataLink

升級(jí)能力

新增能力

基建能力

帆軟

|

FDL國(guó)產(chǎn)化替換方案第

15

頁After

高效運(yùn)維?數(shù)據(jù)變更監(jiān)控

、DDL監(jiān)控：

平臺(tái)利用數(shù)據(jù)庫日志監(jiān)聽技術(shù)，

自動(dòng)識(shí)別來源表數(shù)據(jù)和字段變化

，實(shí)時(shí)將數(shù)據(jù)和字段變化同步到目標(biāo)地。?自動(dòng)重跑

、消息預(yù)警

、版本管理：

當(dāng)平臺(tái)內(nèi)任務(wù)運(yùn)行報(bào)錯(cuò)后

，會(huì)自動(dòng)重跑嘗試恢復(fù)；

若重跑后仍無法恢復(fù)可通過企業(yè)微信/釘釘/等通訊軟件進(jìn)行實(shí)時(shí)消息預(yù)警；使用版本管理能力進(jìn)行任務(wù)版本回滾。Before

運(yùn)維困境?來源表數(shù)據(jù)量較大時(shí)，

為提升同步效率會(huì)使用基于時(shí)間戳的增量更新

同步方式；

業(yè)務(wù)系統(tǒng)會(huì)存在手動(dòng)改數(shù)場(chǎng)景

，但是時(shí)間戳不會(huì)變化，

導(dǎo)

致數(shù)倉(cāng)會(huì)出現(xiàn)丟數(shù)漏數(shù)問題；?業(yè)務(wù)系統(tǒng)還存在字段新增和修改場(chǎng)景（

DDL變更），

導(dǎo)致任務(wù)運(yùn)行報(bào)

錯(cuò)

、

目標(biāo)表需要手動(dòng)維護(hù)表結(jié)構(gòu)

，運(yùn)維成本很高。 升級(jí)能力-任務(wù)運(yùn)維

FineDataLink

升級(jí)能力

新增能力

基建能力

After

實(shí)時(shí)同步與計(jì)算?實(shí)時(shí)數(shù)據(jù)同步：

通過實(shí)時(shí)數(shù)據(jù)監(jiān)聽技術(shù)，

可進(jìn)行多庫多表批量實(shí)時(shí)采集

，快速完成業(yè)務(wù)系統(tǒng)數(shù)據(jù)讀寫分離

、數(shù)據(jù)倉(cāng)庫ODS層構(gòu)建。?實(shí)時(shí)數(shù)據(jù)計(jì)算

：通過實(shí)時(shí)可視化開發(fā)能力

，完成多表實(shí)時(shí)Join和實(shí)時(shí)計(jì)算

，處理后數(shù)據(jù)還可實(shí)時(shí)發(fā)布到數(shù)據(jù)分析平臺(tái)FineBI和數(shù)據(jù)大屏平臺(tái)Fi

neVis

中。Before

實(shí)時(shí)能力缺失?企業(yè)內(nèi)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫需要進(jìn)行讀寫分離

，實(shí)時(shí)構(gòu)建備份庫；?制造行業(yè)生產(chǎn)車間看板

、IOT設(shè)備數(shù)據(jù)監(jiān)控；消費(fèi)行業(yè)促銷活動(dòng)銷售大屏等高時(shí)效場(chǎng)景，

需要依賴平臺(tái)的實(shí)時(shí)能力，

Informati

ca數(shù)據(jù)集成平臺(tái)不支持CDC能力

，不支持MQTT協(xié)議

，無法落地以上場(chǎng)景。帆軟

|

FDL國(guó)產(chǎn)化替換方案第

16

頁 新增能力-實(shí)時(shí)能力

FineDataLink

升級(jí)能力

新增能力

基建能力

After

數(shù)據(jù)查詢和接收API發(fā)布?數(shù)據(jù)發(fā)布與接收API：

FineDataLink支持將各類數(shù)據(jù)源的數(shù)據(jù)

，發(fā)布為API

，供第三方平臺(tái)調(diào)用；

最新版本FDL支持發(fā)布API接口，

實(shí)時(shí)接收外部系統(tǒng)推送數(shù)據(jù)

，將數(shù)據(jù)落庫。?API全生命周期管理

：開發(fā)完成API支持設(shè)置黑白名單

，支持根據(jù)不同數(shù)據(jù)安全要求，

自定義認(rèn)證方式。Before

API數(shù)據(jù)服務(wù)能力缺失?業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)交互

、企業(yè)上下游伙伴的數(shù)據(jù)共享，

為了保證數(shù)

據(jù)安全性

、傳輸穩(wěn)定性

，通過需要API接口方式進(jìn)行，

Informati

ca

數(shù)

據(jù)集成平臺(tái)缺乏API接口開發(fā)能力。帆軟

|

FDL國(guó)產(chǎn)化替換方案第

17

頁 新增能力-API數(shù)據(jù)服務(wù)能力生成接口

文檔調(diào)用API

返回結(jié)果可視化配置接口信息

FineDataLink申請(qǐng)權(quán)限

調(diào)用監(jiān)控應(yīng)用

升級(jí)能力

新增能力

基建能力

數(shù)據(jù)倉(cāng)庫設(shè)置安全策略按權(quán)限查看開發(fā)者調(diào)用者API綁定創(chuàng)建查詢After

數(shù)據(jù)治理管理能力升級(jí)?問題發(fā)現(xiàn)?問題定位?問題解決Before

數(shù)據(jù)治理能力缺失?ETL工具深度使用客戶，

ETL任務(wù)多

、數(shù)倉(cāng)鏈路長(zhǎng)，

當(dāng)ETL任務(wù)報(bào)錯(cuò)后，需要層層追溯會(huì)對(duì)哪些下游表產(chǎn)生影響；?隨著業(yè)務(wù)系統(tǒng)增加

、同一指標(biāo)在不同系統(tǒng)出現(xiàn)多個(gè)口徑；

由于業(yè)務(wù)系統(tǒng)錄入數(shù)據(jù)不符合規(guī)范

，導(dǎo)致員工信息表中郵箱

、手機(jī)號(hào)等數(shù)據(jù)不可用

，需要進(jìn)行識(shí)別與治理。質(zhì)量規(guī)則庫質(zhì)量任務(wù)管理確定檢測(cè)對(duì)象檢測(cè)任務(wù)創(chuàng)建定時(shí)調(diào)度依賴調(diào)度運(yùn)行維護(hù)與管理質(zhì)量問題分析單任務(wù)檢測(cè)報(bào)告（通過情況

、異常明細(xì)）數(shù)據(jù)血緣質(zhì)量問題庫質(zhì)量規(guī)則管理通用

非通用標(biāo)標(biāo)準(zhǔn)準(zhǔn)內(nèi)置

全局規(guī)則規(guī)則質(zhì)量問題發(fā)現(xiàn)

質(zhì)量問題定位

質(zhì)量問題解決帆軟

|

FDL國(guó)產(chǎn)化替換方案第

18

頁 新增能力-數(shù)據(jù)管理與治理問題上報(bào)問題分配問題督辦問題解決數(shù)據(jù)處理數(shù)據(jù)質(zhì)量報(bào)告質(zhì)量問題發(fā)現(xiàn)報(bào)告質(zhì)量問題解決報(bào)告

FineDataLink

升級(jí)能力

新增能力

基建能力

自動(dòng)登記手動(dòng)登記任務(wù)規(guī)則質(zhì)量問題管理指標(biāo)應(yīng)用業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)據(jù)同步（Debedium

）數(shù)據(jù)架構(gòu)&構(gòu)建方法ADS(應(yīng)用層)DWS(公共匯總)DWD(公共明細(xì))ODS(操作數(shù)據(jù))日志采集技術(shù)Nacos注冊(cè)配置中心GRPC通信框架部署運(yùn)維大運(yùn)維平臺(tái)(FineOps)進(jìn)程管理Docker容器配置存儲(chǔ)FTP對(duì)象存儲(chǔ)（MinlO

）FineDBPolars公式輸入離線數(shù)據(jù)同步離線采集技術(shù)

自研抽數(shù)引擎理數(shù)據(jù)采集和計(jì)算集帆軟

|

FDL國(guó)產(chǎn)化替換方案第

19

頁MysqlGreenPlumFTPKafkaHTTPMQTTSAPSaaS輸出Flink計(jì)算引擎輸入

FineDataLink

產(chǎn)品技術(shù)架構(gòu)Doris

Stream

Load輸出集群管理Redis狀態(tài)管理用數(shù)據(jù)應(yīng)用RDBMS（公共數(shù)據(jù)）json/xml數(shù)據(jù)解析引擎Spark計(jì)算引擎Binlog

CDC對(duì)平臺(tái)/系統(tǒng)/應(yīng)用消息隊(duì)列：KafkaLogMinerDIM維度表GPLoad離線鏈路實(shí)時(shí)鏈路存資產(chǎn)中心數(shù)據(jù)編排數(shù)據(jù)服務(wù)FR/BIXstream對(duì)外對(duì)內(nèi)穩(wěn)定性保障?

環(huán)境穩(wěn)定性?集群部署：集群部署支持高可用能力

，可實(shí)現(xiàn)工程節(jié)點(diǎn)的高可用；

同時(shí)支持高并發(fā)能力

，通過集群提高平臺(tái)任務(wù)并發(fā)上限；?內(nèi)存預(yù)警

：平臺(tái)內(nèi)存

、CPU持續(xù)壓力較高

，資源占用持續(xù)較高時(shí)

，系統(tǒng)存在宕機(jī)風(fēng)險(xiǎn)，

即刻進(jìn)行消息告警；?

任務(wù)穩(wěn)定性?自動(dòng)重跑

：定時(shí)任務(wù)執(zhí)行失敗后

，支持自動(dòng)重跑

，數(shù)據(jù)庫波動(dòng)等臨時(shí)問題不影響任務(wù)正式運(yùn)行；?內(nèi)存分配

：平臺(tái)內(nèi)功能模塊較多

，各模塊對(duì)于資源占用程度不同

，可按照功能模塊使用深度

，為模塊自定義設(shè)定資源占用區(qū)間，

內(nèi)存

、并發(fā)數(shù)均可設(shè)定。帆軟

|

FDL國(guó)產(chǎn)化替換方案

頁 基建能力-穩(wěn)定性保障

FineDataLink新增能力基建能力升級(jí)能力FineDataLink性能保障?并行讀寫：

FDL數(shù)據(jù)同步任務(wù)支持多線程并發(fā)執(zhí)行，

大幅提升數(shù)據(jù)

同步效率；?高速裝載：

充分利用大數(shù)據(jù)平臺(tái)特性進(jìn)行數(shù)據(jù)高速寫入

，

比如

Greenplum并行裝載和COPY裝載模式

、GaussDBCOPY裝載模式

、

DorisStream

Load裝載模式等。安全性保障?HSTS設(shè)置：

平臺(tái)開啟

HSTS后，瀏覽器自動(dòng)采用

HTTPS

訪問平臺(tái)，保障用戶始終訪問平臺(tái)的加密鏈接

，保護(hù)數(shù)據(jù)傳輸安全。?SQL防注入：

平臺(tái)支持用戶自定義添加特殊關(guān)鍵字SQL語法

，若數(shù)據(jù)服務(wù)API的參數(shù)包括特殊關(guān)鍵字

，平臺(tái)自動(dòng)攔截。；?SSL/TLS：

通過SSL/TLS協(xié)議的加密通信通道

，確保數(shù)據(jù)從來源到目標(biāo)地之間傳輸?shù)陌踩裕?/p>

防止信息被竊取或篡改。帆軟

|

FDL國(guó)產(chǎn)化替換方案第

21

頁 基建能力-安全性和性能保障

FineDataLink

升級(jí)能力

新增能力

基建能力

After

體系化服務(wù)與運(yùn)營(yíng)?常規(guī)技術(shù)支持服務(wù)

：5*8工單自助查詢

，城市課堂線下培訓(xùn)；?高級(jí)技術(shù)支持服務(wù)：7*24專人專線

、年度巡檢4次；?客戶成功顧問服務(wù)

：基于客戶產(chǎn)品采購(gòu)預(yù)期

，梳理客戶產(chǎn)品使用規(guī)劃

，提供

同行業(yè)標(biāo)桿客戶產(chǎn)品應(yīng)用場(chǎng)景參考

，給出客戶針對(duì)性業(yè)務(wù)場(chǎng)景解決方案。Before

缺乏原廠服務(wù)與支撐?Informati

ca原廠退出中國(guó)市場(chǎng)，

當(dāng)前國(guó)內(nèi)僅有代理商服務(wù)

，存在斷供風(fēng)險(xiǎn)；

經(jīng)常出現(xiàn)遇到問題到不到人，

即使找到人問題解決效率也很慢

的問題；?Informatica產(chǎn)品中文文檔缺失

，導(dǎo)致故障排查耗時(shí)翻倍。?

服務(wù)響應(yīng)慢

、資料不完善

，影響服務(wù)體驗(yàn)。帆軟

|

FDL國(guó)產(chǎn)化替換方案第

22

頁 基建能力-服務(wù)保障

FineDataLink

升級(jí)能力

新增能力

基建能力

海外ETL工具部署架構(gòu)復(fù)雜，依賴多種環(huán)境組件，且僅支持手動(dòng)部署，第一次部署需要幾天時(shí)間

。平臺(tái)支持環(huán)境直接部署和FineOps運(yùn)維平臺(tái)容器化部署；

可視化啟動(dòng)

、重啟

、升級(jí)工程

，2h完成平臺(tái)部署官方中文文檔簡(jiǎn)略，產(chǎn)品風(fēng)格接近傳統(tǒng)代碼開發(fā)工具，初期使用

上手時(shí)間超過2周；具備完善的官方使用教程

，畫布式拖拉拽開發(fā)

，更優(yōu)的交互邏輯，

1天即可上手開發(fā)；當(dāng)業(yè)務(wù)系統(tǒng)還存在字段新增和修改場(chǎng)景，導(dǎo)致任務(wù)運(yùn)行報(bào)錯(cuò)

、目標(biāo)表需要手動(dòng)維護(hù)表結(jié)構(gòu)，運(yùn)維成本很高

。來源表DDL自動(dòng)同步，支持靈活便捷的調(diào)度配置管理；全局任務(wù)整體監(jiān)控

，異常任務(wù)預(yù)警

。離線模式進(jìn)行數(shù)據(jù)加工，僅支持T+1數(shù)據(jù)更新，無法滿足高時(shí)效

性場(chǎng)景基于日志監(jiān)控技術(shù)，可實(shí)現(xiàn)數(shù)據(jù)庫實(shí)時(shí)同步

、實(shí)時(shí)數(shù)據(jù)計(jì)算場(chǎng)景傳統(tǒng)ETL架構(gòu)，核心支持定時(shí)ETL模塊

，不支持API數(shù)據(jù)服務(wù)

、數(shù)據(jù)治理管理等場(chǎng)景基于數(shù)據(jù)全鏈路建設(shè)平臺(tái)能力，數(shù)據(jù)集成-開發(fā)-服務(wù)-治理一體化設(shè)計(jì)，滿足企業(yè)數(shù)據(jù)全生命周期應(yīng)用訴求數(shù)據(jù)倉(cāng)庫構(gòu)建場(chǎng)

景

中

，

F

i

n

e

D

at

a

L

i

n

k

平

均

可

節(jié)

約

4

0

%

學(xué)

習(xí)

和

開

發(fā)

時(shí)

間

。Informati

ca等傳統(tǒng)海外ETL產(chǎn)品FineDataLink7

×

24小時(shí)官方服務(wù)

，完善的服務(wù)機(jī)制，保障問題解決；兩周一次版本更新

，業(yè)務(wù)需求快速響應(yīng)和解決原廠服務(wù)團(tuán)隊(duì)退出中國(guó)，產(chǎn)品使用存在異常時(shí)，

問題解決效率低，造成數(shù)據(jù)穩(wěn)定性風(fēng)險(xiǎn)

。國(guó)資央企客戶響應(yīng)國(guó)產(chǎn)化訴求，海外ETL工具不滿足信創(chuàng)要求，同時(shí)不適配國(guó)產(chǎn)化數(shù)據(jù)庫

。帆軟

|

FDL國(guó)產(chǎn)化替換方案第

23

頁信創(chuàng)軟著，滿足信創(chuàng)訴求，

同時(shí)適配幾十余種國(guó)產(chǎn)化OLTP

、OLAP數(shù)據(jù)源

。

FineDataLink

升級(jí)能力總結(jié)國(guó)產(chǎn)化政策學(xué)習(xí)成本任務(wù)運(yùn)維數(shù)據(jù)時(shí)效性增量能力產(chǎn)品部署服務(wù)與維護(hù)03歷史任務(wù)遷移方案How

to

Migrate

客戶希望將Informatica任務(wù)遷移到新平臺(tái)FineDataLink中，但是擔(dān)心Informatica任務(wù)在FDL中需要全部重新開發(fā)，是巨大工作量的付出

。帆軟

|

FDL國(guó)產(chǎn)化替換方案第

25

頁

歷史任務(wù)遷移解決方案

FineDataLink

客戶希望將Informatica任務(wù)遷移到新平臺(tái)FineDataLink中，但是擔(dān)心Informatica任務(wù)在FDL中需要全部重新開發(fā)，是巨大工作量的付出

。數(shù)據(jù)管道任務(wù)Informatica任務(wù)遷移工具1

、數(shù)據(jù)管道任務(wù)：操作簡(jiǎn)便，一次性可以直接利用FDL數(shù)據(jù)管道生成多個(gè)表的數(shù)據(jù)同步任務(wù)

。適合那些結(jié)構(gòu)較簡(jiǎn)單且無需復(fù)雜邏輯處理的任務(wù)

。開發(fā)人員可以快速生成多個(gè)數(shù)據(jù)任務(wù)，提高開發(fā)速度和靈活性

。2

、Informatica任務(wù)遷移工具：

FDL平臺(tái)提供Informatica遷移插件

，Inf中SQL腳本

、調(diào)用存儲(chǔ)過程等任務(wù)

，平臺(tái)可解析元數(shù)據(jù)自動(dòng)生成任務(wù)

。遷移過程高效，適合大規(guī)模遷移任務(wù)；帆軟

|

FDL國(guó)產(chǎn)化替換方案第

26

頁

歷史任務(wù)遷移解決方案

FineDataLink帆軟

|

FDL國(guó)產(chǎn)化替換方案第

27

頁

客戶希望將Informatica任務(wù)遷移到新平臺(tái)FineDataLink中，但是擔(dān)心Informatica任務(wù)在FDL中需要全部重新開發(fā)，是巨大工作量的付出

。3

、元數(shù)據(jù)自動(dòng)生成任務(wù)工具：

ETL任務(wù)自動(dòng)創(chuàng)建插件，用戶將歷史工具的ETL任務(wù)配置信息維護(hù)至

Excel文檔中，如：來源表名

、目標(biāo)表名

、sql語句等；文檔上傳平臺(tái)后

，F(xiàn)DL自動(dòng)創(chuàng)建ETL任務(wù)

，大幅降低用戶任務(wù)遷移成本；4

、自定義開發(fā)：適用于復(fù)雜任務(wù)的遷移

，能夠?qū)⒃械腗apping轉(zhuǎn)換為數(shù)據(jù)轉(zhuǎn)

換任務(wù)，確保在遷移完成后不再依賴歷史平臺(tái)

。開發(fā)者可對(duì)任務(wù)完全控制，適合特殊需求或業(yè)務(wù)邏輯復(fù)雜的任務(wù)

。

歷史任務(wù)遷移解決方案任務(wù)元數(shù)據(jù)維護(hù)文檔自定義開發(fā)

FineDataLink元數(shù)據(jù)自動(dòng)生成任務(wù)工具04客戶案例與效果驗(yàn)證Proof

of

Success2

2

年

正

式

發(fā)

布

至

今

，

1

2

0

0

+

客

戶

認(rèn)

可

，

預(yù)

計(jì)

2

5

年

底

突

破

1

5

0

0

家帆軟

|

FDL國(guó)產(chǎn)化替換方案第

29

頁 FineDataLink合作客戶墻

FineDataLinkxx車身（Informatica）xx

日化（Informatica）xx新能安（Talend）xx新能源（Talend）xx電器（Informatica）xx醫(yī)學(xué)院附屬醫(yī)院（Informatica）xx財(cái)經(jīng)高等職業(yè)技術(shù)學(xué)校（Oracle

ODI）2

2

年

正

式

發(fā)布

至

今，

I

n

f

o

r

m

ati

c

a、

T

a

l

e

n

d、

SS

IS、

O

D

I

等

海外

ET

L產(chǎn)

品

的

替

換

客

戶

幾

十余

家xx化工股份有限公司華北分公司xx工業(yè)技術(shù)股份有限公司

（SSIS）帆軟

|

FDL國(guó)產(chǎn)化替換方案第

30

頁

Informati

ca等海外產(chǎn)品替換客戶墻xx基金（Informatica）xx證券（Informatica）

FineDataLink（Informatica）能力升級(jí)?

平臺(tái)任務(wù)開發(fā)難度大，產(chǎn)品學(xué)習(xí)成本高，特招聘原Informatica顧問進(jìn)行任務(wù)開發(fā)，其他同事并不熟悉，知識(shí)轉(zhuǎn)移難度高；?

任務(wù)同步效率需要提升，企業(yè)內(nèi)數(shù)據(jù)量越來越大，但是Informatica不適配國(guó)內(nèi)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)源特性，無法使用高速裝載等能力

。政策驅(qū)動(dòng)?2027年年底，公司需要完成信創(chuàng)要求，包括基礎(chǔ)類軟件

、應(yīng)用層軟件；?

現(xiàn)有工具不支持信創(chuàng)環(huán)境

，即使升級(jí)也無法滿足對(duì)接國(guó)產(chǎn)數(shù)據(jù)庫

、中間件和操作系統(tǒng)的適配；?由于Informatica廠商是美國(guó)公司，受到外部因素影響，

已退出中國(guó)，無法提供原廠服務(wù)，有斷供風(fēng)險(xiǎn)

。能力不足?Informatica僅能滿足定時(shí)從數(shù)據(jù)源端抽取相關(guān)數(shù)據(jù)進(jìn)入數(shù)據(jù)平臺(tái)工作，無法滿足數(shù)據(jù)底層未來擴(kuò)展需求；?車身數(shù)據(jù)

，需要與第三方應(yīng)用和生態(tài)上下游進(jìn)行對(duì)接

，平臺(tái)

不支持API發(fā)布能力；?平臺(tái)無法與BI平臺(tái)進(jìn)行集合

，需要定制開發(fā)，增加額外成本

。?Informatica產(chǎn)品按照軟件+配置+使用量計(jì)費(fèi)，年費(fèi)投入較高，若進(jìn)行功能補(bǔ)充，年度費(fèi)用達(dá)到60萬/年

，需要考慮進(jìn)行降本增效

。帆軟

|

FDL國(guó)產(chǎn)化替換方案第

31

頁費(fèi)用投入

某車身公司數(shù)據(jù)建設(shè)背景

FineDataLink數(shù)據(jù)應(yīng)用FineReportHadoopHive企業(yè)數(shù)字大屏FlinkSparkClick

House其他數(shù)據(jù)大數(shù)據(jù)計(jì)算+存儲(chǔ)引擎FineDataLink平臺(tái)基于日志的異構(gòu)數(shù)據(jù)源

整庫實(shí)時(shí)增量同步低代碼

、高性能

、易操

作ETL/ELT數(shù)據(jù)開發(fā)數(shù)據(jù)管理（數(shù)據(jù)資源

、標(biāo)準(zhǔn)

、血緣分析

、數(shù)據(jù)質(zhì)量

、數(shù)據(jù)安全）WEB數(shù)據(jù)FR填報(bào)數(shù)據(jù)SaaS平臺(tái)服

務(wù)帆軟

|

FDL國(guó)產(chǎn)化替換方案第

32

頁數(shù)據(jù)服務(wù)&應(yīng)用

某車身公司整體數(shù)據(jù)架構(gòu)

FineDataLink數(shù)據(jù)集成處理數(shù)據(jù)源SAP其他業(yè)務(wù)系統(tǒng)…

…數(shù)據(jù)倉(cāng)庫Mysql數(shù)據(jù)平臺(tái)FineMobile主題數(shù)據(jù)集市指標(biāo)數(shù)據(jù)集API數(shù)據(jù)FineBI主數(shù)據(jù)AI…

…背景：

歷史Informatica開發(fā)了幾百個(gè)腳本任務(wù)，

由于Informatica的調(diào)度能力有限，

使用windows系統(tǒng)應(yīng)用命令行工具pmcmd，

使用pwc命令來調(diào)度Informatica任務(wù)，

由于運(yùn)行不穩(wěn)定，

導(dǎo)致Informatica中的Hive數(shù)倉(cāng)任務(wù)更新經(jīng)常失敗，Hive數(shù)據(jù)存在不準(zhǔn)確的問題

。方案：

通過使用FineDataLink的調(diào)度平臺(tái)，

定時(shí)調(diào)度和事件調(diào)度兩種能力，

不僅可以滿足客戶的調(diào)度需求，

同時(shí)還可壓縮數(shù)倉(cāng)的更新時(shí)間，

解決了數(shù)據(jù)不準(zhǔn)確的問題

?？蛻粼u(píng)價(jià)：

FDL上手難度低

，流批一體，

效率高很多

。

目前還沒有性能瓶頸，

能滿足未來幾年的信息化要求

。帆軟

|

FDL國(guó)產(chǎn)化替換方案第

33

頁

某車身公司應(yīng)用效果

FineDataLinkTalend替換常規(guī)的技術(shù)支持服務(wù)缺乏，

出現(xiàn)問題時(shí)無法及時(shí)響應(yīng)軟件版本更新慢，新需求也無法得到滿足使用方式類似于傳統(tǒng)代碼開發(fā)軟件，使用要求高，

新人IT上手很困難

大批量數(shù)據(jù)處理 電池的生產(chǎn)數(shù)據(jù)量非常龐大且復(fù)雜，每天要新增的數(shù)據(jù)就有20GB以上，要處理的數(shù)據(jù)更是超過200GB交叉維護(hù)數(shù)據(jù)流任務(wù)，容易出現(xiàn)錯(cuò)誤

，需要及時(shí)回退到之前的任務(wù)版本因網(wǎng)絡(luò)等不確定因素容易導(dǎo)致任務(wù)失敗

，需要回滾，避免臟數(shù)據(jù)寫入作為帆軟FineBI的用戶，使用非常的深，建設(shè)了12000+的自助分析模板

，月度訪問量

：30000+，

已經(jīng)深入到每一個(gè)業(yè)務(wù)職能中

。隨著BI的使用和推廣

，需要自動(dòng)化手段來實(shí)現(xiàn)自動(dòng)更新多個(gè)廠區(qū)，每個(gè)廠區(qū)負(fù)責(zé)不同的業(yè)務(wù)，這些業(yè)務(wù)數(shù)據(jù)都需要傳遞到總部來實(shí)現(xiàn)數(shù)據(jù)匯集，數(shù)據(jù)量非常之龐大BI自助更新帆軟

|

FDL國(guó)產(chǎn)化替換方案第

34

頁任務(wù)管理和回滾

某新能源公司數(shù)據(jù)建設(shè)背景

FineDataLink帆軟

|

FDL國(guó)產(chǎn)化替換方案第

35

頁共計(jì)有20+業(yè)務(wù)系統(tǒng)，

且隨著業(yè)務(wù)發(fā)展還在逐年增加包含關(guān)系型數(shù)據(jù)庫

、Mpp架構(gòu)數(shù)據(jù)庫

、時(shí)序數(shù)據(jù)庫等多種類型BSS業(yè)務(wù)系統(tǒng)情況

某新能源公司業(yè)務(wù)系統(tǒng)&數(shù)據(jù)庫情況DB數(shù)據(jù)庫情況PLMSAP

HANA......WMSSQL

ServerTDengine......數(shù)倉(cāng)存量900TBERP-SAPSRM僅ERP月增50+GBOracleYMatrixMES-達(dá)索*

N年增量300TB

FineDataLinkDV數(shù)據(jù)量數(shù)據(jù)量很龐大背景：歷史通過Talend構(gòu)建了5000+腳本任務(wù)，產(chǎn)品訂閱即將到達(dá)有效期，需要快速將任務(wù)遷移到FineDataLink上，保障數(shù)據(jù)的可用性，

同時(shí)希望盡可能減少人工的重復(fù)操作，提高效率。方案：通過使用FineDataLink的批量遷移插件，只需要填寫對(duì)應(yīng)的Excel信息，即可快速生成任務(wù)，價(jià)值：通過此方式，花費(fèi)2周時(shí)間，生成了3000+的數(shù)據(jù)同步/處理任務(wù)并進(jìn)行了調(diào)試，實(shí)現(xiàn)了任務(wù)的快速批量遷移。

（圖片為部分測(cè)試數(shù)據(jù)）帆軟

|

FDL國(guó)產(chǎn)化替換方案