版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
以大數(shù)據(jù)計(jì)算平臺為例,主要使用用戶為數(shù)據(jù)技術(shù)和分析師,主要目標(biāo)是為業(yè)務(wù)提供數(shù)據(jù)統(tǒng)計(jì)服務(wù)數(shù)據(jù)同步(表A數(shù)據(jù)移動(dòng)到表B)數(shù)據(jù)計(jì)算(多個(gè)表結(jié)果存入表C)數(shù)據(jù)同步節(jié)點(diǎn)的基本樣式源現(xiàn)延遲,用戶團(tuán)隊(duì)會(huì)逐步放棄維護(hù)字段更新,最終大數(shù)據(jù)平臺的版本與線上版本會(huì)出現(xiàn)明顯的不一致,隨著時(shí)間推移,表格使用者的溝通范圍會(huì)擴(kuò)大,數(shù)據(jù)統(tǒng)計(jì)溝通2、需要手動(dòng)更新表字段信息3、部分節(jié)點(diǎn)數(shù)據(jù)傾斜影響整體調(diào)度時(shí)間4、頻繁的連接業(yè)務(wù)數(shù)據(jù)庫(后續(xù)改binlog方案可以避免)5、計(jì)算資源浪費(fèi)、計(jì)算成本高版本更新后的字段同步業(yè)務(wù)系統(tǒng)侵入性低不占用或者少占用線上資源周期性的將多個(gè)表由目標(biāo)數(shù)據(jù)庫以高同步率,高效率,低成本,對業(yè)務(wù)數(shù)據(jù)庫侵入性低的方法遷移到大數(shù)據(jù)計(jì)算平臺系統(tǒng)操作邏輯下一步設(shè)計(jì):如何實(shí)現(xiàn)數(shù)據(jù)平臺剝離同步節(jié)點(diǎn)數(shù)據(jù)質(zhì)量檢測需求:檢查數(shù)據(jù)質(zhì)量,輸出質(zhì)量檢測報(bào)告重新梳理需求重新理解需求場景3:同一id的基于時(shí)間序的上下文校驗(yàn)需求規(guī)模上下游需求與價(jià)值創(chuàng)造無關(guān)的操作減少頻繁發(fā)布,方便規(guī)則的及時(shí)變更減少頻繁發(fā)布,方便規(guī)則的及時(shí)變更重復(fù)的集合差集代碼由系統(tǒng)自動(dòng)生成固定邏輯,只需要設(shè)置回溯條數(shù)和校驗(yàn)字段邏輯依據(jù)場景配置,自動(dòng)生成數(shù)據(jù)質(zhì)量報(bào)告依據(jù)場景配置,自動(dòng)生成數(shù)據(jù)質(zhì)量報(bào)告大多數(shù)數(shù)據(jù)產(chǎn)品是通過提高用戶的效率來實(shí)現(xiàn)客戶效率的提升,用戶和客戶需求都要滿足,但建議以客戶需求報(bào)數(shù)報(bào)表指標(biāo)搜索,查詢指標(biāo)定義和指標(biāo)相關(guān)的應(yīng)用周報(bào)下載功能&OLAP
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 養(yǎng)老院家屬探訪制度
- 企業(yè)內(nèi)部控制與合規(guī)制度
- 公共交通服務(wù)設(shè)施維護(hù)制度
- 2026年藝術(shù)鑒賞理論經(jīng)典畫作解析測驗(yàn)題
- 2026年數(shù)據(jù)安全技術(shù)與方法安全管理員專業(yè)知識測試題
- 2026年城市智能交通系統(tǒng)建設(shè)方案模擬題
- 2026年建筑工程設(shè)計(jì)高級工程師評審資料及題庫詳解
- 2026年醫(yī)學(xué)基礎(chǔ)人體解剖學(xué)知識點(diǎn)測試
- 2026年甲醛治理效果保證合同
- 2026年急救技能培訓(xùn)合同
- 北京市順義區(qū)2025-2026學(xué)年八年級上學(xué)期期末考試英語試題(原卷版+解析版)
- 中學(xué)生冬季防溺水主題安全教育宣傳活動(dòng)
- 2026年藥廠安全生產(chǎn)知識培訓(xùn)試題(達(dá)標(biāo)題)
- 初中九年級上一元二次方程計(jì)算練習(xí)題及答案詳解B2
- 冷庫防護(hù)制度規(guī)范
- 2026年生產(chǎn)管理崗入職性格測試題及答案
- 廣東省廣州市番禺區(qū)2026屆高一數(shù)學(xué)第一學(xué)期期末聯(lián)考試題含解析
- 2026年廣東省佛山市高三語文聯(lián)合診斷性考試作文題及3篇范文:可以“重讀”甚至“重構(gòu)”這些過往
- 2025年汽車駕駛員技師考試試題及答案含答案
- 觀看煤礦警示教育片寫心得體會(huì)
- 2025年國際中文教師證書考試真題附答案
評論
0/150
提交評論