TDM系統(tǒng)中數據導入功能的設計和實現_第1頁
TDM系統(tǒng)中數據導入功能的設計和實現_第2頁
TDM系統(tǒng)中數據導入功能的設計和實現_第3頁
全文預覽已結束

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

TDM系統(tǒng)中數據導入功能的設計和實現

摘要:TDM系統(tǒng)的數據導入功能需要采用三層結構以適應保密需求;數據導入性能是關鍵指標，而Oracle數據庫系統(tǒng)的外部表特性可以大大提高數據導入性能。

關鍵詞:試驗數據管理;TDM;數據導入;ETL

1背景

進入到21世紀以來，我國的TDM(試驗數據管理)技術領域展現出蓬勃的生機，越來越多的行業(yè)和單位開始關注該技術和相關的解決方案，如航空、航天、兵器、船舶、汽車等。TDM系統(tǒng)正在成為企業(yè)提高試驗管理水平、縮短科研周期、降低科研經費的重要手段。

作為一個綜合數字化管理平臺，TDM系統(tǒng)涉及很多復雜的功能和技術，而數據導入功能就是其中之一。

試驗數據導入功能就是從各種格式的海量試驗數據文件中快速提取目標數據、再轉換清洗后裝載到數據庫中。

目前試驗數據管理的需求狀況決定了數據導入功能的重要性。

(1)試驗數據格式多變

目前國際和國內的試驗數據采集設備多種多樣，并且還沒有形成統(tǒng)一的標準，而且許多客戶單位也大量采用非標設備，于是采集的試驗數據格式也就多種多樣。這對TDM系統(tǒng)的導入功能帶來了很多的挑戰(zhàn)。

(2)試驗數據量很大

試驗作為產品研發(fā)生命周期的重要工作，其地位日漸增強，試驗產生的數據量也呈幾何數量級增長。TDM系統(tǒng)的導入性能也就成為一個關鍵指標。

2數據導入功能特點

同許多ETL工具一樣，TDM系統(tǒng)的導入功能包括extract(抽取)、transfer(轉換)、clean(清洗)和load(裝載)等幾個步驟。

但是，試驗數據管理的特殊需求決定了它又具有自身的特點。除了前面提到的數據格式多樣、數據量大之外，單位保密要求對于產品架構設計產生了很大的影響。

許多單位，尤其是國防單位，都有嚴格的保密制度。在信息化系統(tǒng)的部署方面，普通用戶計算機一般是不允許直接訪問數據庫的，只有指定的服務器才有權限直接訪問數據庫。這就決定了傳統(tǒng)的C/S兩層結構不能適應客戶需求，B/S三層結構則成為必須的選擇。

3三層結構解決方案

我們把系統(tǒng)分為三層結構:用戶層、應用層和數據層，如圖1所示。其中用戶層為數據導入客戶端工具;應用層為基于J2EE平臺的應用服務器和FTP服務器，J2EE服務器提供WebService，包括WebService和JavaBeans等J2EE組件;FTP服務器提供對上傳文件的管理功能，并提供多線程的文件

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論