大數(shù)據(jù)平臺(tái)用戶手冊(cè)修訂記錄版本號(hào)修訂人修訂日期說明V1.0包含系統(tǒng)管理、數(shù)據(jù)開發(fā)中心、運(yùn)維監(jiān)控中心、數(shù)據(jù)資產(chǎn)中心使用說明V1.1增加數(shù)據(jù)服務(wù)中心、算法平臺(tái)中心使用說明V1.2修改細(xì)化描述目錄TOC\o"1-5"\h\z\o"CurrentDocument"前言 1\o"CurrentDocument"系統(tǒng)介紹 1\o"CurrentDocument"目標(biāo)用戶 1\o"CurrentDocument"運(yùn)行環(huán)境 1\o"CurrentDocument"現(xiàn)有服務(wù)器及配置 1\o"CurrentDocument"生產(chǎn)環(huán)境部署 2\o"CurrentDocument"生產(chǎn)環(huán)境服務(wù)器及配置 2\o"CurrentDocument"私有環(huán)境部署 3\o"CurrentDocument"私有環(huán)境服務(wù)器及配置 3\o"CurrentDocument"系統(tǒng)功能 4\o"CurrentDocument"平臺(tái)管理中心 4\o"CurrentDocument"平臺(tái)總覽 4\o"CurrentDocument"資源管理 4\o"CurrentDocument"數(shù)據(jù)連接管理 8\o"CurrentDocument"數(shù)據(jù)開發(fā)中心 9項(xiàng)目列表 9\o"CurrentDocument"離線同步中心 12\o"CurrentDocument"離線開發(fā)中心 15\o"CurrentDocument"實(shí)時(shí)同步中心 19實(shí)時(shí)開發(fā)中心 21\o"CurrentDocument"運(yùn)維監(jiān)控中心 24\o"CurrentDocument"概述 24離線運(yùn)維中心 24\o"CurrentDocument"實(shí)時(shí)運(yùn)維中心 27\o"CurrentDocument"數(shù)據(jù)資產(chǎn)中心 29\o"CurrentDocument"概述 29數(shù)據(jù)資產(chǎn)概覽 29\o"CurrentDocument"元數(shù)據(jù)管理 30\o"CurrentDocument"元數(shù)據(jù)檢索 32\o"CurrentDocument"數(shù)據(jù)服務(wù)中心 34概述 34\o"CurrentDocument"數(shù)據(jù)服務(wù)開發(fā) 34\o"CurrentDocument"數(shù)據(jù)服務(wù)管理 36\o"CurrentDocument"應(yīng)用管理 38算法平臺(tái)中心 40概述 40\o"CurrentDocument"功能操作 40\o"CurrentDocument"注意事項(xiàng) 41前言系統(tǒng)介紹大數(shù)據(jù)平臺(tái)是自主研發(fā)的企業(yè)級(jí)大數(shù)據(jù)中臺(tái)產(chǎn)品，旨在幫助用戶快速收集數(shù)據(jù)、快速整理數(shù)據(jù)、快速構(gòu)建數(shù)倉(cāng)、數(shù)據(jù)服務(wù)管理以及數(shù)據(jù)資產(chǎn)管理。通過平臺(tái)可構(gòu)建PB級(jí)別數(shù)據(jù)倉(cāng)庫(kù)及進(jìn)行數(shù)據(jù)價(jià)值的深度挖掘，實(shí)現(xiàn)超規(guī)模數(shù)據(jù)的資產(chǎn)化。自主研發(fā)的全鏈條、一體化、輕量級(jí)、開放式的通用大數(shù)據(jù)平臺(tái)，平臺(tái)通過對(duì)海量歷史與實(shí)時(shí)數(shù)據(jù)的采集、計(jì)算、存儲(chǔ)、分析、挖掘、推薦，極大提升數(shù)據(jù)開發(fā)和應(yīng)用的效率。目標(biāo)用戶項(xiàng)目管理員，項(xiàng)目開發(fā)人員，項(xiàng)目運(yùn)維人員，安全管理員，業(yè)務(wù)人員。運(yùn)行環(huán)境現(xiàn)有服務(wù)器及配置序號(hào)用途配置IP描述1公共服務(wù)centos78核32G內(nèi)存200G+硬盤內(nèi)：58安裝Jenkins、gitLab、nexus、sonar、elk等2開發(fā)環(huán)境centos74核8G內(nèi)存200G硬盤內(nèi)：59安裝docker、mysql、redis等，部署可視化、TBD項(xiàng)目開發(fā)聯(lián)調(diào)環(huán)境3測(cè)試環(huán)境centos74核8G內(nèi)存200G硬盤內(nèi)：60安裝docker、mysql、redis等，部署可視化、TBD項(xiàng)目測(cè)試環(huán)境4預(yù)生產(chǎn)環(huán)境centos74核8G內(nèi)存200G硬盤內(nèi)：61安裝docker、mysql、redis等，部署可視化、TBD項(xiàng)目預(yù)生產(chǎn)環(huán)境5大數(shù)據(jù)集8核32G內(nèi)：安裝部署hadoop集群

群開發(fā)測(cè)試環(huán)境centos7內(nèi)存500G硬盤62環(huán)境6大數(shù)據(jù)集群開發(fā)測(cè)試環(huán)境centos78核32G內(nèi)存500G硬盤內(nèi)：63安裝部署hadoop集群環(huán)境7大數(shù)據(jù)集群開發(fā)測(cè)試環(huán)境centos78核32G內(nèi)存500G硬盤內(nèi)：64安裝部署hadoop集群環(huán)境2.2.生產(chǎn)環(huán)境部署耳尸公網(wǎng)膽尋正耳尸公網(wǎng)膽尋正(ngins)2.3.生產(chǎn)環(huán)境服務(wù)器及配置序號(hào)用途配置描述1公網(wǎng)服務(wù)器Centos74核8G內(nèi)存200G硬盤需公網(wǎng)ip映射80端口，安裝nginx做反向代理及網(wǎng)站靜態(tài)資源服務(wù)器2公共服務(wù)centos78核32G內(nèi)存500G硬盤安裝部署運(yùn)維監(jiān)控相關(guān)軟件，包括cat、elk、zabbix等3應(yīng)用服務(wù)器Centos78核16G內(nèi)存500G硬盤安裝docker，部署athena和achilles4數(shù)據(jù)庫(kù)緩存服務(wù)器4核16G內(nèi)存500G硬盤安裝mysql、redis

Centos75大數(shù)據(jù)集群環(huán)境centos716核64G內(nèi)存2T硬盤安裝hadoop集群6大數(shù)據(jù)集群環(huán)境centos716核64G內(nèi)存2T硬盤安裝hadoop集群7大數(shù)據(jù)集群環(huán)境centos716核64G內(nèi)存2T硬盤安裝hadoop集群2.4.私有環(huán)境部署2.5.私有環(huán)境服務(wù)器及配置序號(hào)用途配置描述應(yīng)用服務(wù)器Centos78核16G內(nèi)存500G硬盤安裝docker，部署athena和achilles數(shù)據(jù)庫(kù)緩存服務(wù)器Centos74核16G內(nèi)存500G硬盤安裝mysql、redis大數(shù)據(jù)集群環(huán)境centos78核32G內(nèi)存1T硬盤安裝hadoop集群大數(shù)據(jù)集群環(huán)境centos78核32G內(nèi)存1T硬盤安裝hadoop集群大數(shù)據(jù)集群環(huán)境centos78核32G內(nèi)存1T硬盤安裝hadoop集群系統(tǒng)功能平臺(tái)管理中心平臺(tái)總覽功能描述＞總體展示平臺(tái)的總體功能模塊，點(diǎn)擊選擇功能模塊快速進(jìn)入對(duì)應(yīng)頁(yè)面。資源管理功能描述資源管理對(duì)平臺(tái)產(chǎn)品用到的資源和服務(wù)統(tǒng)一管理。一個(gè)資源組由一個(gè)或多個(gè)服務(wù)器組成，在服務(wù)器上部署了數(shù)據(jù)源服務(wù)或數(shù)據(jù)開發(fā)服務(wù)。平臺(tái)通過為項(xiàng)目的環(huán)境配置計(jì)算引擎Hadoop，為該環(huán)境提供相應(yīng)的數(shù)據(jù)開發(fā)能力。rflxMi*a"*?￡WfJlt19MrflxMi*a"*?￡WfJlt19M醇UG毗JiiEf,KH3.AK^iiLrStrlfcwH■■_■iIRH*MJNfj-hIK^.Ixnj'vEEjfridwWi!： bflC^WAK-.4>M.n一餐3電*JEAVI9功能描述包含用戶管理、角色管理和組織管理，實(shí)現(xiàn)對(duì)系統(tǒng)的功能權(quán)限控制，如圖:fl*HWt■工■<r=N?w?n■心?小鼻呷W*WPBAJ*WTF王?CIMI>"JmionW>MGHUsvnwxwRCFltovxW.Savx注ITEFTW1G*5MF4€i?Kfl*HWt■工■<r=N?w?n■心?小鼻呷W*WPBAJ*WTF王?CIMI>"JmionW>MGHUsvnwxwRCFltovxW.Savx注ITEFTW1G*5MF4€i?KsM.yMFA用戶管理驟 JMiA-WO 玲 u 1 .UM*]目—!修演、*4 N .修―> 5"嫉 電 ?把否? 加上3 2曰的iwWWSw" T maa 厘點(diǎn) WT^L 'Ik.Ite W3 ?*.-?.= OXSft 7-pa?~^ ￡■ ，X2K WAS mSqL mf*?iJ |■■!1riJ *!! HW3U tUffa. ￡Xfa. -MU a EEh-U ?. HIOU *■『.￥. EIUCJL 正?* 口IIW UBEAhf^h rv Haw wm ±>v1UMI；*. 111nBM n9 土如 RVJ.S rnikwira MMita aE 二2妣 niz- 8tfA rn>111LF gAfl 四E. ￡■ □&tGna>仆晨,夏ita￡ E管理用戶以實(shí)現(xiàn)用戶的角色和組織控制。用戶列表展示當(dāng)前組紈下所有用戶的基本信息，包括：組織、編碼、權(quán)限等信息。添加：點(diǎn)擊添加用戶，輸入用戶名、昵稱、手機(jī)號(hào)、郵箱并選擇所屬組織，即可添加用戶，默認(rèn)運(yùn)維人員；狀態(tài)：下拉選擇用戶狀態(tài)，選擇正常用戶啟用，選擇禁用則用戶停止使用；重置：點(diǎn)擊重置按鈕，則用戶密碼重置為123456。角色管理統(tǒng)一管理角色授權(quán)給用戶以控制用戶權(quán)限。角色列表展示所有角色，默認(rèn)六種角色,用戶可自行創(chuàng)建角色。添加：輸入名稱和描述添加角色；編輯：可編輯用戶基本信息和功能權(quán)限，選擇對(duì)應(yīng)的功能點(diǎn)擊正常使用，則該角色具有當(dāng)前權(quán)限，隱藏的功能模塊則不再展示。.組織管理統(tǒng)一管理組織真實(shí)組織架構(gòu)功能。組織列表展示當(dāng)前組織下的組織，包括：編碼和所屬組織等信息。添加：在組織中點(diǎn)擊添加子組織按鈕，并輸入名稱和描述創(chuàng)建該組織下的子組織；編輯：點(diǎn)擊編輯按鈕可以修改組織名稱和描述并配置當(dāng)前組織的管理員。

數(shù)據(jù)連接管理功能描述數(shù)據(jù)源管理模塊，支持MySQL、Oracle、SqlServer、Hive、Hbase、PostgreSQL、MongoDB、TDengine、OpenTSDB、Log_Flume、MySQLBinlog、kafka和對(duì)象存儲(chǔ)服務(wù)器OBS。如圖:添加：點(diǎn)擊添加數(shù)據(jù)連接按鈕，在彈出的頁(yè)面中選擇你所要添加的數(shù)據(jù)源類型，如下圖所示，再輸入數(shù)據(jù)源的名稱、地址、數(shù)據(jù)庫(kù)、用戶名和密碼等信息添加成功。授權(quán)：在列表中點(diǎn)擊授權(quán)按鈕，在彈出頁(yè)面中勾選授權(quán)組織點(diǎn)擊授權(quán)，授權(quán)后當(dāng)前組織才可以使用，如圖：

產(chǎn)品應(yīng)充COWBG(XI10RS5p2i2u2hiC01QRGC04口陶■p=hu=hiCCEHG巳掛灰匐過*用也MM產(chǎn)品應(yīng)充COWBG(XI10RS5p2i2u2hiC01QRGC04口陶■p=hu=hiCCEHG巳掛灰匐過*用也MM數(shù)據(jù)開發(fā)中心本模塊包含了五個(gè)功能菜單，分為：項(xiàng)目列表，離線同步中心，離線開發(fā)中心，實(shí)時(shí)同步中心，實(shí)時(shí)開發(fā)中心。項(xiàng)目列表概述提供所有項(xiàng)目的管理功能，包括：項(xiàng)目配置，同步，開發(fā)，運(yùn)維快捷進(jìn)入等功能功能描述＞項(xiàng)目列表項(xiàng)目列表展示當(dāng)前當(dāng)前組織下用戶所參與的所有項(xiàng)目。

＞項(xiàng)目增刪改添加：點(diǎn)擊添加項(xiàng)目按鈕，輸入名稱描述并選擇類型再點(diǎn)擊確定按鈕，添加成功。刪除：在項(xiàng)目卡片中點(diǎn)擊刪除按鈕，彈出提示框點(diǎn)擊確定，刪除成功。編輯：在項(xiàng)目卡片中點(diǎn)擊編輯按鈕，可以編輯項(xiàng)目名稱和描述。＞項(xiàng)目配置項(xiàng)目配置：項(xiàng)目卡片中點(diǎn)擊項(xiàng)目配置按鈕進(jìn)入配置頁(yè)面，在配置頁(yè)面中點(diǎn)擊立刻添加按鈕，在彈出框中輸入環(huán)境名稱、選擇資源組、輸入調(diào)度隊(duì)列再點(diǎn)擊確定按鈕，項(xiàng)目配置完成。

＞項(xiàng)目成員管理成員列表：成員管理展示當(dāng)前項(xiàng)目的參與成員信息，參與該項(xiàng)目的成員才具有當(dāng)前項(xiàng)目的開發(fā)權(quán)限。添加成員：點(diǎn)擊添加成員按鈕，選擇當(dāng)前組織下的成員，則添加成功。＞資源組管理展示當(dāng)前項(xiàng)目使用資源組的詳細(xì)信息，包括：hive、yarn、kafka等地址信息。

＞項(xiàng)目數(shù)據(jù)連接管理項(xiàng)目的數(shù)據(jù)連接管理中展示的當(dāng)前組織下的所有數(shù)據(jù)源，當(dāng)我們將數(shù)據(jù)源授權(quán)給當(dāng)前項(xiàng)目時(shí)該項(xiàng)目就能使用此數(shù)據(jù)源了。授權(quán)：點(diǎn)擊要授權(quán)數(shù)據(jù)源對(duì)應(yīng)的授權(quán)按鈕，授權(quán)成功；或者左側(cè)多選數(shù)據(jù)源再點(diǎn)擊批量授權(quán)按鈕，則批量授權(quán)成功?？偳?KBfiSt OHM12JM*nC-我中切中1T35所 iftKHWWeim-IFIW5&O引射強(qiáng)時(shí)*■￥. .Q*■5REfilCM割如FtffW"mt陽莊<aF?■癥Gtwir^R34?-2iE3imiHhMffEfcHE?ib^PH-ZSIUUC1M?dmT3Z7BGFWiJB-gtj-AiU-SW?hGiia^093-04-29MJUA2UO-N-33IUUI用SttfcfW.r?flE￡C15E炳0171g跪1必列1例力riEmE*2B相13助字融:L幗1TlH?■父-31Klli_lhU_KtiC■nk卻2m44口川打工IwfEEIVLGJWIME上㈤印舊涇時(shí)昌1a141LU1.LO^/ujNEi7.ii￡iiMr?B■MHah*制1由1%1J1如劉珈后2”露1+54iQ￡Xfl?i*tfwlb/m-l4yi4l>34tS23.2.2.離線同步中心.概述支持多種數(shù)據(jù)源的數(shù)據(jù)同步，基于簡(jiǎn)單可視化的方式，快速完成同步作業(yè)的配置，

并提供運(yùn)行時(shí)監(jiān)控運(yùn)維，隨時(shí)關(guān)注數(shù)據(jù)同步過程。.功能描述＞離線作業(yè)首頁(yè)首頁(yè)展示選中項(xiàng)目的目錄結(jié)構(gòu)、同步作業(yè)運(yùn)行結(jié)果結(jié)果概覽和同步作業(yè)狀態(tài)概覽，方便用戶觀察當(dāng)前作業(yè)運(yùn)行狀態(tài)和歷史運(yùn)行記錄統(tǒng)計(jì)。＞批量新增同步作業(yè)點(diǎn)擊批量新增同步按鈕，在彈出框中輸入目錄名稱描述、選擇數(shù)據(jù)連接類型、數(shù)據(jù)連接和數(shù)據(jù)表，點(diǎn)擊確定，系統(tǒng)自動(dòng)生成對(duì)應(yīng)的同步作業(yè)。＞新增作業(yè)點(diǎn)擊新增同步作業(yè)按鈕，在彈出框中輸入名稱描述、選擇目錄，點(diǎn)擊確定，系統(tǒng)自動(dòng)生成對(duì)應(yīng)的同步作業(yè)。＞同步作業(yè)配置選擇數(shù)據(jù)連接：首先選擇源表并輸入過濾條件，用戶可以點(diǎn)擊數(shù)據(jù)預(yù)覽按鈕，初步查看源表數(shù)據(jù)，然后選擇目標(biāo)數(shù)據(jù)類型、數(shù)據(jù)連接和數(shù)據(jù)表，若沒有相應(yīng)的數(shù)據(jù)表用戶可以點(diǎn)擊新建表按鈕新建，輸入建表語句后點(diǎn)擊執(zhí)行，表新建成功后點(diǎn)擊刷新數(shù)據(jù)表按鈕刷新列表，再選中對(duì)應(yīng)數(shù)據(jù)表，數(shù)據(jù)連接配置完成；字段映射：用戶可點(diǎn)擊按名稱映射則自動(dòng)按照相同名稱生成映射關(guān)系，點(diǎn)擊按順序映射自動(dòng)生成順序映射關(guān)系，用戶也可以點(diǎn)擊不映射通過手工拖拽關(guān)聯(lián)的方式靈活配置映射關(guān)系；配置分區(qū)信息：如果選擇靜態(tài)分區(qū)需要輸入對(duì)應(yīng)分區(qū)信息，如果選擇動(dòng)態(tài)分區(qū)則選擇分區(qū)字段；規(guī)則配置：配置全量同步或者增量同步，增量同步需要再配置增量字段和值。調(diào)度配置：開啟調(diào)度，選擇按天、周、月的某個(gè)時(shí)間點(diǎn)去調(diào)度，調(diào)度配置好后點(diǎn)擊啟用調(diào)度按鈕，則在調(diào)度配置時(shí)間節(jié)點(diǎn)會(huì)自動(dòng)執(zhí)行當(dāng)前數(shù)據(jù)同步作業(yè)。

＞同步作業(yè)運(yùn)行點(diǎn)擊運(yùn)行后，頁(yè)面展示相關(guān)運(yùn)行信息，包括運(yùn)行的時(shí)間、進(jìn)度、運(yùn)行狀態(tài)，拖拽下面的運(yùn)行日志展示按鈕，展示作業(yè)運(yùn)行相關(guān)的日志信息。離線開發(fā)中心概述支持用戶在數(shù)倉(cāng)當(dāng)中進(jìn)行離線數(shù)據(jù)的開發(fā)與計(jì)算。

功能描述＞新增開發(fā)作業(yè)點(diǎn)擊新增離線作業(yè)按鈕，輸入作業(yè)名稱描述，選擇工作流、作業(yè)類型和開發(fā)者，點(diǎn)擊確定按鈕，新增成功。＞離線開發(fā)離線作業(yè)hive、ddl、sparksql支持hive、ddl和sparksql三種離線作業(yè)，其中ddl作業(yè)僅支持表的新增。＞離線開發(fā)作業(yè)運(yùn)行完成對(duì)應(yīng)的sql語句編寫后，用戶點(diǎn)擊保存、運(yùn)行，作業(yè)開始運(yùn)行，在彈出的運(yùn)行日志窗口中用戶可以查看當(dāng)前作業(yè)運(yùn)行信息，運(yùn)行完成后用戶可以在運(yùn)行結(jié)果頁(yè)

簽中查看sql語句執(zhí)行的結(jié)果。＞臨時(shí)作業(yè)編寫臨時(shí)作業(yè)的功能和離線作業(yè)基本相同，只是不能運(yùn)行在工作流當(dāng)中。＞表管理表管理展示了當(dāng)前hive庫(kù)中的表列表。字段視圖：點(diǎn)擊對(duì)應(yīng)表，展示表的字段視圖，用戶點(diǎn)擊字段信息可以查看表的字段信息，點(diǎn)擊分區(qū)信息可以查看表的分區(qū)字段類型和級(jí)別；數(shù)據(jù)預(yù)覽：點(diǎn)擊數(shù)據(jù)預(yù)覽，用戶可以查看前10條數(shù)據(jù)。

＞工作流系統(tǒng)會(huì)自動(dòng)生成兩個(gè)工作流，用戶也可以手動(dòng)新建工作流，工作流能將離線開發(fā)作業(yè)按照順序執(zhí)行，并實(shí)現(xiàn)整體調(diào)度。配置：拖拽離線作業(yè)到工作流面板中，連線，連線順序即為離線作業(yè)的執(zhí)行順序；調(diào)度：同離線作業(yè)調(diào)度。＞工作流運(yùn)行運(yùn)行：點(diǎn)擊運(yùn)行按鈕，工作流進(jìn)入運(yùn)行狀態(tài)，根據(jù)連線的順序執(zhí)行離線作業(yè)，藍(lán)色為運(yùn)行中，黃色為待運(yùn)行，紅色為運(yùn)行失敗，綠色為運(yùn)行成功。

停止：點(diǎn)擊停止按鈕，工作流停止；工作流實(shí)例：點(diǎn)擊工作流實(shí)例彈出當(dāng)前工作流運(yùn)行實(shí)例列表，用戶可以查看當(dāng)前和歷史運(yùn)行實(shí)例結(jié)果狀態(tài)；工作流作業(yè)實(shí)例：點(diǎn)擊工作流作業(yè)實(shí)例彈出當(dāng)前工作流作業(yè)的運(yùn)行實(shí)例列表，用戶可以?？串?dāng)前和歷史運(yùn)行實(shí)例結(jié)果狀態(tài)。星lltlfl工41341星lltlfl工41341也看七工舞黑3?|寄?實(shí)時(shí)同步中心概述支持多種數(shù)據(jù)源的數(shù)據(jù)同步，支持?jǐn)?shù)據(jù)清洗、脫敏等，基于拖拽式的拓?fù)淞髋渲梅绞?，快速靈活地完成作業(yè)配置。功能描述＞實(shí)時(shí)同步作業(yè)支持多種數(shù)據(jù)源的數(shù)據(jù)同步，支持?jǐn)?shù)據(jù)清洗、脫敏等，基于拖拽式的拓?fù)淞髋渲梅绞?，快速靈活地完成作業(yè)配置。

＞同步作業(yè)配置在節(jié)點(diǎn)庫(kù)中將對(duì)應(yīng)節(jié)點(diǎn)拖入面板中，連線，連線即為數(shù)據(jù)的處理順序；Source：數(shù)據(jù)來源節(jié)點(diǎn)，選擇數(shù)據(jù)連接并配置輸出字段；Transform：數(shù)據(jù)處理節(jié)點(diǎn)，配置數(shù)據(jù)處理的方法；Sink：數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，配置處理完的數(shù)據(jù)存放的位置；保存提交：點(diǎn)擊保存后節(jié)點(diǎn)信息保存到業(yè)務(wù)庫(kù)中，點(diǎn)擊提交后當(dāng)前作業(yè)生成任務(wù)提交到y(tǒng)arn上。＞同步作業(yè)運(yùn)行運(yùn)行：點(diǎn)擊運(yùn)行按鈕，作業(yè)進(jìn)入運(yùn)行狀態(tài)；基本信息：基本信息中展示了作業(yè)的基本信息和運(yùn)行信息；運(yùn)行信息：展示數(shù)據(jù)處理流程圖。VXUJTTPOfa尸14.wn—teKtVMM-i■事才*--■VH口理冏押啊.，VXUJTTPOfa尸14.wn—teKtVMM-i■事才*--■VH口理冏押啊.，實(shí)時(shí)開發(fā)中心概述支持用戶對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理并存儲(chǔ)。功能描述A實(shí)時(shí)拓?fù)溟_發(fā)已可視化的方式方便用戶對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行處理，通過拖拽和連線完成配置。

＞拓?fù)渥鳂I(yè)配置、運(yùn)行配置：拖拽離線作業(yè)到工作流面板中，連線，連線順序即為離線作業(yè)的執(zhí)行順序；運(yùn)行：保存提交配置好的作業(yè)點(diǎn)擊運(yùn)行按鈕后進(jìn)入運(yùn)行狀態(tài)，開始處理數(shù)據(jù)；停止：停止數(shù)據(jù)處理。4^ 3＞自定義函數(shù)開發(fā)開發(fā)pyflink函數(shù)，該函數(shù)可以引入到sql開發(fā)當(dāng)中以實(shí)現(xiàn)數(shù)據(jù)處理的封裝。

OTJFU?|Jt'ItITUp?TL討士工a^ccZicaTj7ca341!聞，］Huani,工11JQS.U*“.3UBfMiC皿OTJFU?|Jt'ItITUp?TL討士工a^ccZicaTj7ca341!聞，］Huani,工11JQS.U*“.3UBfMiC皿jh.pV?s^f^arn“?r.jg".Xk-.lli^ia'： .匚二中口=?ii?：E??mST??■uLTywra.UKV>SQL開發(fā)不采用可視化的方式，讓專業(yè)的用戶自己編寫sql靈活實(shí)現(xiàn)數(shù)據(jù)處理。OTJFU?|itIfitl-n:Fs^sJ-akpllHE-K，*>Jar開發(fā)通過上傳jar包的方式，運(yùn)行編寫好的jar包來實(shí)現(xiàn)數(shù)據(jù)處理FV■bhbefr,.>作業(yè)FV■bhbefr,.>作業(yè)ik口■MR'l|>*KLVMh-^運(yùn)維監(jiān)控中心概述運(yùn)維中心包含離線運(yùn)維和實(shí)時(shí)運(yùn)維，離線運(yùn)維中可以對(duì)離線開發(fā)中的工作流、進(jìn)行監(jiān)控維護(hù)，實(shí)時(shí)運(yùn)維中可以對(duì)實(shí)時(shí)開發(fā)作業(yè)進(jìn)行監(jiān)控維護(hù)。離線運(yùn)維中心概述支持離線作業(yè)、工作流和實(shí)時(shí)同步作業(yè)監(jiān)控及統(tǒng)計(jì)等信息展示。功能描述＞離線運(yùn)維中心概覽工作流：展示工作流及其實(shí)例數(shù)量以及運(yùn)行狀態(tài)。離線作業(yè)：展示工作流及其實(shí)例數(shù)量以及運(yùn)行狀態(tài)。

＞運(yùn)維工作流模板：點(diǎn)擊工作流面板中展示工作流的模板信息；查看代碼：在節(jié)點(diǎn)中點(diǎn)擊查看代碼，彈出框中展示該節(jié)點(diǎn)的code。＞工作流實(shí)例實(shí)例：點(diǎn)擊工作流，面板展示工作流的運(yùn)行信息；查看結(jié)果：在節(jié)點(diǎn)中點(diǎn)擊查看結(jié)果，彈出框中展示該節(jié)點(diǎn)的運(yùn)行結(jié)果信息。

＞離線運(yùn)維離線作業(yè)查看代碼：在節(jié)點(diǎn)中點(diǎn)擊查看代碼，彈出框中展示該節(jié)點(diǎn)的code。＞離線運(yùn)維離線作業(yè)實(shí)例實(shí)例：點(diǎn)擊離線作業(yè)，面板展示離線作業(yè)的運(yùn)行信息；查看結(jié)果：在節(jié)點(diǎn)中點(diǎn)擊查看結(jié)果，彈出框中展示該離線作業(yè)的運(yùn)行結(jié)果信息實(shí)時(shí)運(yùn)維中心概述支持用戶進(jìn)行實(shí)時(shí)開發(fā)作業(yè)狀態(tài)的監(jiān)控和數(shù)據(jù)的統(tǒng)計(jì)。功能操作＞運(yùn)維總覽實(shí)時(shí)作業(yè)運(yùn)行情況概覽：展示選中項(xiàng)目的實(shí)時(shí)作業(yè)當(dāng)前運(yùn)行情況；近七日實(shí)時(shí)作業(yè)運(yùn)行情況概覽：展示選中項(xiàng)目的實(shí)時(shí)作業(yè)近期運(yùn)行狀態(tài)。

＞實(shí)時(shí)作業(yè)監(jiān)控作業(yè)列表：用戶可根據(jù)作業(yè)狀態(tài)、開發(fā)者、名稱進(jìn)行篩選，展示當(dāng)前項(xiàng)目作業(yè)列表基本信息：展示選中作業(yè)的名稱、狀態(tài)、運(yùn)行時(shí)長(zhǎng)等信息，用戶可以編輯作業(yè)狀態(tài)以啟動(dòng)或停止作業(yè)運(yùn)行。監(jiān)控?cái)?shù)據(jù)：展示當(dāng)前作業(yè)的輸入、輸出等數(shù)據(jù)量。數(shù)據(jù)資產(chǎn)中心概述數(shù)據(jù)資產(chǎn)概覽為采集的各種元數(shù)據(jù)信息圖形化展示頁(yè)面。數(shù)據(jù)資產(chǎn)概覽＞數(shù)據(jù)資產(chǎn)概覽數(shù)目展示：展示當(dāng)前所有已采集元數(shù)據(jù)包含的數(shù)據(jù)庫(kù)數(shù)目、表數(shù)目和總存儲(chǔ)量；占比展示：展示當(dāng)前采集元數(shù)據(jù)中各類型數(shù)據(jù)庫(kù)所占數(shù)目的比重和各類表所占總數(shù)目的比重；分布：展示每種數(shù)據(jù)存儲(chǔ)量占比和近七日各類型數(shù)據(jù)存儲(chǔ)量的變化；Top：展示當(dāng)前采集元數(shù)據(jù)中前十存儲(chǔ)量的表和數(shù)據(jù)庫(kù)。

元數(shù)據(jù)管理＞元數(shù)據(jù)采集概覽狀態(tài)概覽：采集作業(yè)運(yùn)行狀態(tài)統(tǒng)計(jì)和運(yùn)行數(shù)量概覽；元數(shù)據(jù)采集作業(yè)列表：用戶可根據(jù)名稱搜索并點(diǎn)擊操作按鈕打開相應(yīng)的采集作業(yè)。＞元數(shù)據(jù)采集作業(yè)新建新增：填寫作業(yè)名稱和描述后點(diǎn)擊確認(rèn)按鈕新增成功。＞元數(shù)據(jù)采集作業(yè)配置配置：點(diǎn)擊配置按鈕，選擇數(shù)據(jù)連接存儲(chǔ)類型，再選中數(shù)據(jù)連接后點(diǎn)擊確認(rèn)按鈕

后配置完成。＞元數(shù)據(jù)采集作業(yè)運(yùn)行后配置完成。運(yùn)行：點(diǎn)擊運(yùn)行按鈕，當(dāng)前頁(yè)面展示運(yùn)行狀態(tài)和運(yùn)行信息，運(yùn)行完成后提示完成。+-Q0 或1 BarMn?*gjahAi.&褚 4g*\\- 七受內(nèi)取41H 中i31T＞元數(shù)據(jù)采集作業(yè)詳情查看：列表中點(diǎn)擊打開按鈕可打開當(dāng)前采集元數(shù)據(jù)詳細(xì)信息；庫(kù)詳情：展示采集當(dāng)前庫(kù)的基本信息,包括：類型、大小、版本等信息和當(dāng)前庫(kù)中的表列表；表詳情：展示采集當(dāng)前表的基本信息，包括：類型、大小等信息和當(dāng)前表中的字段列表；

字段詳情：展示采集當(dāng)前字段的基本信息，包括：類型、長(zhǎng)度等信息。元數(shù)據(jù)檢索＞元數(shù)據(jù)檢索檢索：輸入關(guān)鍵字后點(diǎn)擊搜索按鈕，全局搜索，展示所有包含當(dāng)前關(guān)鍵字的數(shù)據(jù)。＞元數(shù)據(jù)高級(jí)檢索高級(jí)檢索：輸入關(guān)鍵字后用戶還可以輸入元數(shù)據(jù)類型等信息來進(jìn)一步篩選，展示結(jié)果同檢索。

＞元數(shù)據(jù)檢索收藏收藏：高級(jí)檢索中點(diǎn)擊收藏本次檢索條件按鈕，當(dāng)前檢索條件會(huì)加入到收藏列表中。收藏列表：點(diǎn)擊展示收藏列表，用戶可快捷點(diǎn)擊檢索按鈕，按照當(dāng)前條件實(shí)現(xiàn)快捷檢索而不用再次輸入條件。＞元數(shù)據(jù)檢索詳情元數(shù)據(jù)檢索點(diǎn)擊打開的詳情同元數(shù)據(jù)采集詳情。數(shù)據(jù)服務(wù)中心概述數(shù)據(jù)服務(wù)中心包含數(shù)據(jù)服務(wù)開發(fā)、數(shù)據(jù)服務(wù)管理和應(yīng)用管理。數(shù)據(jù)服務(wù)旨在為企業(yè)搭建統(tǒng)一的數(shù)據(jù)服務(wù)總線，幫助企業(yè)統(tǒng)一管理對(duì)內(nèi)對(duì)外的API服務(wù)。數(shù)據(jù)服務(wù)為您提供快速將數(shù)據(jù)表生成數(shù)據(jù)API的能力，同時(shí)支持您快速注冊(cè)現(xiàn)有的API至數(shù)據(jù)服務(wù)平臺(tái)，進(jìn)行統(tǒng)一的管理和發(fā)布服務(wù)開發(fā)為api開發(fā)模塊，開發(fā)的api發(fā)布后會(huì)進(jìn)入服務(wù)管理模塊管理，通過應(yīng)用管理的授權(quán)后，用戶就可以訪問對(duì)應(yīng)的api。數(shù)據(jù)服務(wù)開發(fā)>生成api添加：輸入名稱描述、選擇目錄、輸入api路徑、選擇協(xié)議類型請(qǐng)求方式和模式后點(diǎn)擊確認(rèn)按鈕，api新增成功。

￡ERM-*H■?￡ERM-*H■?叵B＞配置api選擇表：選擇數(shù)據(jù)連接類型后再選擇數(shù)據(jù)連接的名稱，再選擇對(duì)應(yīng)的表。選擇參數(shù)：勾選請(qǐng)求參數(shù)和返回參數(shù)；請(qǐng)求參數(shù)配置：點(diǎn)擊請(qǐng)求參數(shù)按鈕，輸入相關(guān)信息，配置請(qǐng)求參數(shù)；返回參數(shù)配置：點(diǎn)擊返回參數(shù)按鈕，輸入相關(guān)信息，配置返回參數(shù)。＞測(cè)試api測(cè)試：輸入請(qǐng)求參數(shù)后點(diǎn)擊開始測(cè)試按鈕，則自動(dòng)生成請(qǐng)求詳情和返回信息；自動(dòng)保存：用戶在測(cè)試當(dāng)中如果勾選了自動(dòng)保存，則當(dāng)前測(cè)試實(shí)例會(huì)保存在詳情信息中。

>發(fā)布api發(fā)布：點(diǎn)擊發(fā)布按鈕，當(dāng)前api進(jìn)入服務(wù)管理列表中，如要再次修改只能下線;下線：點(diǎn)擊下線按鈕，當(dāng)前api從服務(wù)管理列表中移除，并可繼續(xù)修改。數(shù)據(jù)服務(wù)管理>api詳情詳情：詳情展示api的基本信息、連接信息等;參數(shù)：請(qǐng)求參數(shù)和返回參數(shù)展示在當(dāng)前頁(yè)；示例：測(cè)試時(shí)的示例展示在當(dāng)前頁(yè)面中。

>api測(cè)試測(cè)試：輸入請(qǐng)求參數(shù)后點(diǎn)擊開始測(cè)試按鈕，則自動(dòng)生成請(qǐng)求詳情和返回信息。>api授權(quán)查看授權(quán)