TDM系統(tǒng)中數(shù)據(jù)導(dǎo)入功能的設(shè)計和實現(xiàn)

摘要:TDM系統(tǒng)的數(shù)據(jù)導(dǎo)入功能需要采用三層結(jié)構(gòu)以適應(yīng)保密需求;數(shù)據(jù)導(dǎo)入性能是關(guān)鍵指標(biāo)，而Oracle數(shù)據(jù)庫系統(tǒng)的外部表特性可以大大提高數(shù)據(jù)導(dǎo)入性能。

關(guān)鍵詞:試驗數(shù)據(jù)管理;TDM;數(shù)據(jù)導(dǎo)入;ETL

1背景

進入到21世紀(jì)以來，我國的TDM(試驗數(shù)據(jù)管理)技術(shù)領(lǐng)域展現(xiàn)出蓬勃的生機，越來越多的行業(yè)和單位開始關(guān)注該技術(shù)和相關(guān)的解決方案，如航空、航天、兵器、船舶、汽車等。TDM系統(tǒng)正在成為企業(yè)提高試驗管理水平、縮短科研周期、降低科研經(jīng)費的重要手段。

作為一個綜合數(shù)字化管理平臺，TDM系統(tǒng)涉及很多復(fù)雜的功能和技術(shù)，而數(shù)據(jù)導(dǎo)入功能就是其中之一。

試驗數(shù)據(jù)導(dǎo)入功能就是從各種格式的海量試驗數(shù)據(jù)文件中快速提取目標(biāo)數(shù)據(jù)、再轉(zhuǎn)換清洗后裝載到數(shù)據(jù)庫中。

目前試驗數(shù)據(jù)管理的需求狀況決定了數(shù)據(jù)導(dǎo)入功能的重要性。

(1)試驗數(shù)據(jù)格式多變

目前國際和國內(nèi)的試驗數(shù)據(jù)采集設(shè)備多種多樣，并且還沒有形成統(tǒng)一的標(biāo)準(zhǔn)，而且許多客戶單位也大量采用非標(biāo)設(shè)備，于是采集的試驗數(shù)據(jù)格式也就多種多樣。這對TDM系統(tǒng)的導(dǎo)入功能帶來了很多的挑戰(zhàn)。

(2)試驗數(shù)據(jù)量很大

試驗作為產(chǎn)品研發(fā)生命周期的重要工作，其地位日漸增強，試驗產(chǎn)生的數(shù)據(jù)量也呈幾何數(shù)量級增長。TDM系統(tǒng)的導(dǎo)入性能也就成為一個關(guān)鍵指標(biāo)。

2數(shù)據(jù)導(dǎo)入功能特點

同許多ETL工具一樣，TDM系統(tǒng)的導(dǎo)入功能包括extract(抽取)、transfer(轉(zhuǎn)換)、clean(清洗)和load(裝載)等幾個步驟。

但是，試驗數(shù)據(jù)管理的特殊需求決定了它又具有自身的特點。除了前面提到的數(shù)據(jù)格式多樣、數(shù)據(jù)量大之外，單位保密要求對于產(chǎn)品架構(gòu)設(shè)計產(chǎn)生了很大的影響。

許多單位，尤其是國防單位，都有嚴(yán)格的保密制度。在信息化系統(tǒng)的部署方面，普通用戶計算機一般是不允許直接訪問數(shù)據(jù)庫的，只有指定的服務(wù)器才有權(quán)限直接訪問數(shù)據(jù)庫。這就決定了傳統(tǒng)的C/S兩層結(jié)構(gòu)不能適應(yīng)客戶需求，B/S三層結(jié)構(gòu)則成為必須的選擇。

3三層結(jié)構(gòu)解決方案

我們把系統(tǒng)分為三層結(jié)構(gòu):用戶層、應(yīng)用層和數(shù)據(jù)層，如圖1所示。其中用戶層為數(shù)據(jù)導(dǎo)入客戶端工具;應(yīng)用層為基于J2EE平臺的應(yīng)用服務(wù)器和FTP服務(wù)器，J2EE服務(wù)器提供WebService，包括WebService和JavaBeans等J2EE組件;FTP服務(wù)器提供對上傳文件的管理功能，并提供多線程的文件