提供技術(shù)解決方案和項(xiàng)目實(shí)施方案的建議書及我們使您的愿景變成現(xiàn)實(shí)的能力，為貴公司IT建設(shè)增添倉(cāng)庫(kù)及集團(tuán)特色系統(tǒng)、并且需考慮到貴公司未來(lái)將作，由于業(yè)務(wù)口徑的不一致性、數(shù)據(jù)質(zhì)量低本次數(shù)據(jù)報(bào)表平臺(tái)項(xiàng)目承擔(dān)了集團(tuán)主要業(yè)務(wù)能。通過(guò)數(shù)據(jù)平臺(tái)的建設(shè)，將為零售、公司、同業(yè)提供統(tǒng)一準(zhǔn)確的數(shù)據(jù)支持，是貴公司業(yè)務(wù)精細(xì)化管平臺(tái)從中遠(yuǎn)期角度來(lái)看，將成為貴公司管理層/經(jīng)營(yíng)層洞察經(jīng)營(yíng)全貌、優(yōu)化經(jīng)營(yíng)管控水平、推進(jìn)戰(zhàn)略決策效能、支撐綜合運(yùn)營(yíng)分析的化、標(biāo)準(zhǔn)化管理，實(shí)現(xiàn)集團(tuán)數(shù)據(jù)的信息共享分析。建立基礎(chǔ)數(shù)據(jù)模型、ETL平臺(tái)、據(jù)平臺(tái)建設(shè)應(yīng)參考以下架構(gòu)原則，指導(dǎo)和規(guī)范未來(lái)理，根據(jù)實(shí)際業(yè)務(wù)需求，合理分配資源，確減低集團(tuán)級(jí)數(shù)據(jù)的冗余度，降低數(shù)據(jù)對(duì)存儲(chǔ)資合、數(shù)據(jù)交換以及數(shù)據(jù)服務(wù)的重任，通過(guò)數(shù)據(jù)產(chǎn)切實(shí)、有效的管理起來(lái)，形成企業(yè)統(tǒng)一信息本項(xiàng)目的源系統(tǒng)范圍包括目前貴公司的主要基礎(chǔ)數(shù)據(jù)平臺(tái)ETL監(jiān)控、調(diào)度功能，完成從原數(shù)據(jù)ETL子系統(tǒng)實(shí)現(xiàn)將各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取至數(shù)據(jù)平臺(tái)，并進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)化、加載等操作，形成數(shù)據(jù)分析、決策所需形成各種報(bào)表、查詢以及KPI指標(biāo)。ETL子系統(tǒng)實(shí)現(xiàn)自動(dòng)載、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)卸載、自動(dòng)化數(shù)據(jù)重新提供數(shù)據(jù)補(bǔ)錄平臺(tái)功能，包括補(bǔ)錄流程管理規(guī)則主要包括：完整性、唯一性、合法性、借鑒與參考總行統(tǒng)一報(bào)表指標(biāo)體系成果，在此擴(kuò)展集團(tuán)指標(biāo)；滿足業(yè)務(wù)日常固定報(bào)表使用的括表格展現(xiàn)，各類圖形展現(xiàn)；要求界面友好，定制、管理、維護(hù)功能；構(gòu)建集團(tuán)用戶及權(quán)用需求。能夠快速響應(yīng)各級(jí)業(yè)務(wù)應(yīng)用人員的過(guò)程，其伴隨著應(yīng)用系統(tǒng)的發(fā)展而發(fā)展。根據(jù)在貴公司數(shù)據(jù)平臺(tái)建設(shè)方面依據(jù)可重用性、安全性性、高性能的設(shè)計(jì)原則采取總體規(guī)劃，分層實(shí)現(xiàn)的公司數(shù)據(jù)平臺(tái)的架構(gòu)由邏輯（應(yīng)用）架構(gòu)、數(shù)據(jù)架次組成，每個(gè)層次內(nèi)部又根據(jù)設(shè)計(jì)需要進(jìn)行抽象分邏輯（應(yīng)用）架構(gòu)是貴公司數(shù)據(jù)平臺(tái)項(xiàng)目承載的應(yīng)技術(shù)架構(gòu)是用于支撐貴公司數(shù)據(jù)平臺(tái)的數(shù)據(jù)作為最底層的物理架構(gòu)，是對(duì)貴公司數(shù)據(jù)平通過(guò)有效地利用硬件和網(wǎng)絡(luò)，并能夠添加硬件根據(jù)貴公司數(shù)據(jù)平臺(tái)提出的系統(tǒng)建議的總體原據(jù)平臺(tái)經(jīng)驗(yàn)，貴公司數(shù)據(jù)平臺(tái)的設(shè)計(jì)原則體現(xiàn)如建立標(biāo)準(zhǔn)的ETL開(kāi)發(fā)流程，制定符合貴公司數(shù)據(jù)平臺(tái)的代碼標(biāo)型之上的未來(lái)建設(shè)的應(yīng)用系統(tǒng)的模型標(biāo)準(zhǔn)。建立數(shù)ETL處理：將ETL處理程序分類化，整理規(guī)范出各種ETL處理策略。確保ETL開(kāi)ETL處理：ETL程序處理邏輯規(guī)則模塊化，應(yīng)對(duì)日益更新的技術(shù)發(fā)展相關(guān)產(chǎn)品：項(xiàng)目開(kāi)發(fā)過(guò)程中使用的宇信易誠(chéng)工技人員能夠獨(dú)立的進(jìn)行ETL程序的開(kāi)發(fā)、報(bào)表開(kāi)發(fā)、數(shù)據(jù)分發(fā)的設(shè)置、數(shù)據(jù)源配源系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)，還應(yīng)該盡可能滿足即將要上線要制定一套合理的模型設(shè)計(jì)規(guī)范，使得新上線的業(yè)ETL處理：需要考慮兩個(gè)方面的擴(kuò)展性，增加新的ETL任務(wù)處理以及原有任務(wù)所服務(wù)器：平臺(tái)中的每一種服務(wù)器都使用集群擴(kuò)ETL處理：在進(jìn)行ETL設(shè)計(jì)時(shí)，需要考慮大數(shù)據(jù)量條件下的處理效率，確保在規(guī)這里所說(shuō)的可管理性主要是指系統(tǒng)運(yùn)維的可統(tǒng)能很方便地對(duì)系統(tǒng)的運(yùn)行狀態(tài)進(jìn)行監(jiān)控，能及時(shí)收到消息通知，并有一套完善的流程清楚了解系統(tǒng)每一個(gè)應(yīng)用的轉(zhuǎn)換邏輯和數(shù)據(jù)含ETL處理的可用性：應(yīng)充分考慮各源系統(tǒng)的時(shí)間窗口可能存在不一致的情況，避免出現(xiàn)一個(gè)系統(tǒng)的數(shù)據(jù)時(shí)間窗口沒(méi)有滿足條件，影響到其它所有系被惡意修改和盜??；二是防止數(shù)據(jù)在傳輸過(guò)程），對(duì)于數(shù)據(jù)范圍方面的安全控制要求，在梳理出貴公權(quán)限關(guān)系之后，通過(guò)在程序中對(duì)數(shù)據(jù)進(jìn)行過(guò)濾，用據(jù)，以確保數(shù)據(jù)范圍的安全。數(shù)據(jù)過(guò)濾程序可抽象對(duì)于第二個(gè)層面的安全性，主要依賴于文件傳輸過(guò)此外，系統(tǒng)在進(jìn)行網(wǎng)絡(luò)規(guī)劃時(shí)，對(duì)系統(tǒng)的安物理設(shè)備、系統(tǒng)軟件、框架組件、規(guī)范方法以ETL功能組件：在設(shè)計(jì)ETL任務(wù)處理流程時(shí)，要分析ETL任務(wù)的各個(gè)環(huán)節(jié)，盡可能找出一些公用的ETL組件，進(jìn)行必要的封裝，便于在模硬件部署：在進(jìn)行硬件部署的規(guī)劃時(shí)，應(yīng)充分存儲(chǔ)整合企業(yè)所有源系統(tǒng)的業(yè)務(wù)數(shù)據(jù)；共性加工層性數(shù)據(jù)指標(biāo)，為各應(yīng)用系統(tǒng)提供共同的基礎(chǔ)數(shù)據(jù)預(yù)文件到達(dá)監(jiān)控，ETL集群部署與集群調(diào)度以管理、報(bào)表展現(xiàn)（業(yè)務(wù)報(bào)表需求）、BI工具集成，報(bào)表目錄與分類最方便、最直觀的方式提供給報(bào)表的使用者。在本機(jī)構(gòu)撤并ETL處理流程檢核處理不能對(duì)ETL處理有較大性能上的生產(chǎn)數(shù)據(jù)同步到數(shù)據(jù)采集區(qū)。這種模式常用于基本上能按需要來(lái)定制開(kāi)發(fā)數(shù)據(jù)采集程序，靈成增量比對(duì)、亂碼校驗(yàn)及修正、壓縮打包、拆是否考慮了增量備份的需求；不幸的是，大多數(shù)情不采用先全量下載的方式，然后傳送到數(shù)據(jù)采集區(qū)對(duì)比。在這種模式下，全量數(shù)據(jù)的傳輸無(wú)疑又是一數(shù)據(jù)采集區(qū)。這種模式常用于核心系統(tǒng)以外其他源系統(tǒng)的數(shù)據(jù)采集量不大，而且各源系采集區(qū)的數(shù)據(jù)以文件的方式保存，不用加載到數(shù)據(jù)模板錄入以及數(shù)據(jù)入庫(kù)的審批流程。支持對(duì)錄入數(shù)檢核規(guī)則有兩種類型：存儲(chǔ)過(guò)程、正則表達(dá)式而定義的規(guī)則。存儲(chǔ)過(guò)程類型的檢核規(guī)則必表、操作控制信息、使用的檢核規(guī)則、批量錄入模檢核規(guī)則：用于對(duì)錄入數(shù)據(jù)進(jìn)行檢核，可設(shè)數(shù)據(jù)平臺(tái)數(shù)據(jù)架構(gòu)上可分為以下層次：◆源系統(tǒng)數(shù)據(jù)落區(qū)◆基礎(chǔ)整合層(FDM)期的形式存儲(chǔ)在特定的文件目錄內(nèi)，之后由數(shù)據(jù)平◆基于集團(tuán)特色業(yè)務(wù)系統(tǒng)的整理和分析，按照業(yè)務(wù)流程◆可按照需要進(jìn)行必要的裁剪，但不作轉(zhuǎn)換和聚合處◆緩沖數(shù)據(jù)層的數(shù)據(jù)是經(jīng)過(guò)標(biāo)準(zhǔn)化的，在該入庫(kù)過(guò)程進(jìn)◆緩沖層的存儲(chǔ)周期一般僅作為緩沖處理，保留周期為基礎(chǔ)數(shù)據(jù)層還存儲(chǔ)通過(guò)集團(tuán)平臺(tái)應(yīng)用補(bǔ)錄的匯共性加工層的數(shù)據(jù)因?yàn)橐呀?jīng)按照一定粒度進(jìn)行匯總據(jù)集市建設(shè)面向具體的業(yè)務(wù)應(yīng)用，數(shù)據(jù)集市的數(shù)據(jù)3.3.2數(shù)據(jù)模型設(shè)計(jì)使用檢核規(guī)則實(shí)現(xiàn)對(duì)錄入數(shù)據(jù)的事件處理，根據(jù)在數(shù)據(jù)集市應(yīng)用的經(jīng)驗(yàn)和對(duì)貴公司各類業(yè)加工指標(biāo)類需求：主要是匯總類的指標(biāo)數(shù)據(jù)。報(bào)表/圖