ApacheDoris在哪吒港航智慧科技數(shù)據(jù)智能中的應(yīng)用與實(shí)踐目錄哪吒科技業(yè)務(wù)介紹哪吒數(shù)據(jù)智能架構(gòu)演進(jìn)實(shí)踐場(chǎng)景收益與展望01哪吒港航智慧科技業(yè)務(wù)介紹1-1公司業(yè)務(wù)介紹哪吒科技作為港航供應(yīng)鏈數(shù)字化轉(zhuǎn)型全解決方案供應(yīng)商，致力于

等領(lǐng)域數(shù)字化轉(zhuǎn)型，產(chǎn)品落地眾多海內(nèi)外重要港口，全球范圍內(nèi)合作碼頭超

60

家，在船舶周轉(zhuǎn)、庫(kù)場(chǎng)管理等港航業(yè)務(wù)供應(yīng)鏈持續(xù)提效。1-2公司核心產(chǎn)品1-3產(chǎn)品服務(wù)/智慧港口全解決方案02哪吒數(shù)據(jù)智能架構(gòu)演進(jìn)2-1數(shù)據(jù)智能項(xiàng)目背景問(wèn)題傳統(tǒng)碼頭人力成本上升、船舶大型化、全球化、信息化的挑戰(zhàn)技術(shù)通過(guò)大數(shù)據(jù)、人工智能、區(qū)塊鏈等技術(shù)對(duì)碼頭進(jìn)行數(shù)字化、自動(dòng)化、智能化改造挑戰(zhàn)方式目標(biāo)達(dá)成提高碼頭作業(yè)效率、降低人力成本、節(jié)能減排，致力于打造世界一流的智慧港口集成數(shù)據(jù)集成通過(guò)離線、實(shí)時(shí)采集多渠道的數(shù)據(jù)，為數(shù)據(jù)分析提供原始數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)應(yīng)用數(shù)據(jù)應(yīng)用升級(jí)數(shù)據(jù)存儲(chǔ)、計(jì)算及調(diào)度技術(shù)，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存儲(chǔ)、精準(zhǔn)高效建模提供高質(zhì)量的數(shù)據(jù)，保障數(shù)據(jù)安全，提高數(shù)據(jù)可用性，優(yōu)化數(shù)據(jù)管理流程，推動(dòng)業(yè)務(wù)創(chuàng)新為報(bào)表、數(shù)據(jù)看板、算法及數(shù)字孿生提供數(shù)據(jù)支撐，賦能業(yè)務(wù)體系數(shù)據(jù)體系2-2解決方案2-3數(shù)據(jù)智能架構(gòu)1.02-4

1.0架構(gòu)痛點(diǎn)與需求架構(gòu)痛點(diǎn)Hadoop體系架構(gòu)繁重，運(yùn)維成本高數(shù)據(jù)時(shí)效性低，不能滿足數(shù)據(jù)近實(shí)時(shí)/實(shí)時(shí)分析需求離線任務(wù)調(diào)度周期較長(zhǎng)，任務(wù)數(shù)據(jù)回溯成本較高研發(fā)學(xué)習(xí)成本高目標(biāo)需求架構(gòu)簡(jiǎn)單，低運(yùn)維成本實(shí)時(shí)高效，支持實(shí)時(shí)數(shù)據(jù)采集、分析、查詢提升離線任務(wù)執(zhí)行效率，降低數(shù)據(jù)回溯成本簡(jiǎn)化開(kāi)發(fā)流程，降低研發(fā)學(xué)習(xí)成本2-5選型因素關(guān)鍵指標(biāo)Apache

Doris性能在數(shù)據(jù)處理和查詢上，可以達(dá)到10億級(jí)高并發(fā)點(diǎn)查毫秒級(jí)響應(yīng)、億級(jí)多表關(guān)聯(lián)查詢秒級(jí)響應(yīng)，查詢性能大幅提升數(shù)據(jù)導(dǎo)入方式支持Stream

Load、BockerLoad、RoutineLoad

等多種數(shù)據(jù)導(dǎo)入方式，滿足不同業(yè)務(wù)需求場(chǎng)景運(yùn)維部署不依賴第三方組件，F(xiàn)E/BE擴(kuò)縮容簡(jiǎn)單，支持?jǐn)?shù)據(jù)自動(dòng)平衡，數(shù)據(jù)遷移簡(jiǎn)單成本兼容MySQL

協(xié)議，入手Doris

時(shí)的學(xué)習(xí)成本相對(duì)較低，對(duì)開(kāi)發(fā)同事十分友好，客觀上降低了人力成本2-6數(shù)據(jù)智能架構(gòu)2.02-7集群規(guī)模10+100+1億+

100TB+當(dāng)前總集群數(shù)總節(jié)點(diǎn)數(shù)平均每日查詢總數(shù)據(jù)量最大集群

存儲(chǔ)數(shù)據(jù)總量03實(shí)踐場(chǎng)景3-1數(shù)據(jù)導(dǎo)入場(chǎng)景實(shí)時(shí)導(dǎo)入業(yè)務(wù)庫(kù)Binlog服務(wù)日志等離線導(dǎo)入船舶作業(yè)數(shù)據(jù)碼頭作業(yè)數(shù)據(jù)等HTTP寫入后端接口數(shù)據(jù)Flink

Doris

Connectorsink.enable.batch-mode=true借助Uniq模型做到冪等，不依賴于Flink

ck性能TPS

100w+JDBC

Catalog多表多并發(fā)導(dǎo)入性能達(dá)到TPS

500w+Stream

Load通過(guò)HTTP協(xié)議寫入數(shù)據(jù)多線程寫入性能TPS

30w+3-2數(shù)據(jù)導(dǎo)入：?jiǎn)栴}and經(jīng)驗(yàn)分享（一）問(wèn)題：Doris-StreamLoad

json格式數(shù)據(jù)寫入部分?jǐn)?shù)據(jù)丟失?，F(xiàn)象：后端調(diào)用StreamLoad接口，寫入json數(shù)據(jù)，到所有字段為key列的unique的表中，發(fā)現(xiàn)StreamLoad任務(wù)成功，且上游日志顯示寫入成功，doris表中部分?jǐn)?shù)據(jù)缺失。如：同一個(gè)taskid，有3次put請(qǐng)求，執(zhí)行3次StreamLoad事務(wù)成功，返回success信息，但表中僅1條數(shù)據(jù)vertical

compaction分組的邏輯在只有key列，沒(méi)有value列的時(shí)候有問(wèn)題，會(huì)導(dǎo)致key

column

group的最后?列不是deletesign?，F(xiàn)在的代碼邏輯，認(rèn)為key

group的最后?列是delete

sign，這導(dǎo)致了vertical

compaction的時(shí)候，錯(cuò)誤地刪除了數(shù)據(jù)。方案1：調(diào)整表模型，避免使用全字段為key列，從而避免版本bug。方案2：版本升級(jí)至Doris-2.0.8。問(wèn)題現(xiàn)象原因解決方案3-3數(shù)據(jù)導(dǎo)入：?jiǎn)栴}and經(jīng)驗(yàn)分享（二）問(wèn)題：通過(guò)JDBC

Catalog導(dǎo)入doris數(shù)據(jù)，oracle-catalog創(chuàng)建success，select查不到表現(xiàn)象：#出現(xiàn)以下報(bào)錯(cuò)：找不到表select

*

from

oracle-catalog.dnname.bas_checkpoint

limit

10;部署Doris時(shí)，設(shè)置了大小寫不敏感，即FE參數(shù)的lower_case_table_names設(shè)置為1或2時(shí)，導(dǎo)致在查詢doris上游數(shù)據(jù)表時(shí)，

select表名全部被轉(zhuǎn)化為小寫，而doris同步的上游元數(shù)據(jù)，為大寫表名，造成無(wú)法查到上游oracle原始大寫表的情況。創(chuàng)建catalog時(shí)，加入?yún)?shù)："lower_case_table_names"="true"在Doris

2.0.3之前的版本，僅對(duì)Oracle數(shù)據(jù)庫(kù)有效，在查詢時(shí)，會(huì)將所有的庫(kù)名和表名轉(zhuǎn)換為大寫，再去查詢Oracle。問(wèn)題現(xiàn)象原因解決方案問(wèn)題：Flink任務(wù)寫入Doris，間接性出現(xiàn)tablet異常，version版本缺失，導(dǎo)致tablet無(wú)法正常compaction?，F(xiàn)象：?jiǎn)栴}現(xiàn)象原因解決方案BE做高可用測(cè)試，導(dǎo)致集群有大量的tablet需要修復(fù)，副本修復(fù)和副本均衡任務(wù)在同時(shí)進(jìn)行，導(dǎo)致副本節(jié)點(diǎn)直接做遷移和合并的時(shí)候，出現(xiàn)異常。Doris已在2.0.3版本解決。3-4高可用測(cè)試：?jiǎn)栴}and經(jīng)驗(yàn)分享問(wèn)題：Doris函數(shù)substr()引起B(yǎng)E宕機(jī)，版本Doris-2.0.5。現(xiàn)象：Doris-1.2.4升級(jí)到2.0.5后執(zhí)行相同SQL，BE發(fā)生宕機(jī)，并穩(wěn)定復(fù)現(xiàn)。substr(VARCHAR

content,

INT

start,

INT

length)求子字符串，返回第一個(gè)參數(shù)描述的字符串中從start開(kāi)始長(zhǎng)度為len的部分字符串。首字母的下標(biāo)為1。

SQL中使用了substr函數(shù)，當(dāng)參數(shù)3的value值為負(fù)值，會(huì)觸發(fā)Doris-2.0.5中的bug，導(dǎo)致BE宕機(jī)。

SQL：select

substring(‘1aa’,1,-1);升級(jí)版本至Doris-2.0.6：/apache/doris/pull/31316問(wèn)題現(xiàn)象原因解決方案3-5數(shù)據(jù)處理：?jiǎn)栴}and經(jīng)驗(yàn)分享對(duì)進(jìn)出港口的車輛實(shí)時(shí)監(jiān)控，記錄車流信息，進(jìn)出港口的車輛信息、車輛行為路徑分析、貨物目標(biāo)溯源。數(shù)據(jù)鏈路長(zhǎng)，百億級(jí)的數(shù)據(jù)量，多表關(guān)聯(lián)分析，實(shí)時(shí)性要求高。采用Flink實(shí)時(shí)采集車輛數(shù)據(jù)，存儲(chǔ)到Doris進(jìn)行指標(biāo)計(jì)算，針對(duì)大數(shù)據(jù)量慢SQL查詢的問(wèn)題，將磁盤

Raid5替換成裸存儲(chǔ)優(yōu)化寫入及查詢性能。解決方案3-6-1道口車輛實(shí)時(shí)監(jiān)控場(chǎng)景業(yè)務(wù)場(chǎng)景遇到的挑戰(zhàn)3-6-2道口車輛實(shí)時(shí)監(jiān)控場(chǎng)景架構(gòu)方案收益經(jīng)過(guò)壓測(cè)裸存儲(chǔ)相對(duì)于Raid5，磁盤IO有三倍的性能提升，解決了大表Join性能及慢查詢的問(wèn)題，查詢延遲在秒級(jí)別，滿足車輛自動(dòng)化實(shí)時(shí)監(jiān)控需求。3-6-3

DataX導(dǎo)入Doris壓測(cè)腳本示例"job":

{"content":

[{"reader":

{"name":

"xxx","parameter":

{"column":

["xxx_fgid","xxx_insertdt","xxx_insertuser","xxx_lstupddt","xxx_lstupuser","xxx_dngapply","xxx_preapplytm","xxx_dngremark"],"splitPk":

"xxx","connection":

[{"jdbcUrl":

["jdbc:oracle:thin:@//*****:****/xxx"],"table":

["xxx"]}],}.....3-6-4

Doris導(dǎo)入壓測(cè)結(jié)果3-6-5

Doris查詢壓測(cè)腳本示例select

xxx,xxx,xxx,xxx,xxx,xxx,xxx,xxx,xxx,xxx,xxx,xxx,xxx,xxxfrom

xxx

MORinner

join

xxx

IYC

on

MOR.xxx

=

IYC.xxxinner

join

[broadcast]

xxx

PCSon

IYC.xxx

=

PCS.xxx

...3-6-6

Doris查詢壓測(cè)結(jié)果04收益與展望推動(dòng)業(yè)務(wù)創(chuàng)新提高碼頭作業(yè)效率，優(yōu)化碼頭運(yùn)營(yíng)，助推港航業(yè)務(wù)全鏈條整體數(shù)智化升級(jí)提升容錯(cuò)能力數(shù)據(jù)寫入支持事務(wù)，確保數(shù)據(jù)操作的原子性、一致性、隔離性和持久性，支持復(fù)雜的數(shù)據(jù)操作，提高了系統(tǒng)的容錯(cuò)能力，數(shù)據(jù)的高并發(fā)多用戶訪問(wèn)，容錯(cuò)能力提升50%。4-1收益總結(jié)性能提升