1、1可視化關系數(shù)據(jù)庫管理發(fā)布系統(tǒng)VisualDB中科院計算機網(wǎng)絡信息中心 科學數(shù)據(jù)中心 2報告提綱nVisualDB概述nVisualDB功能介紹nVisualDB應用現(xiàn)狀與展望3VisualDB概述n開發(fā)背景n設計目標n版本開發(fā)歷史4開發(fā)背景n來源于科學數(shù)據(jù)庫csdb項目n2002年，建庫任務的提出n納米科技基礎數(shù)據(jù)庫（10個子庫）n中國納米專利公開庫n中國納米專利授權庫n國外納米專利數(shù)據(jù)庫n納米成果數(shù)據(jù)庫n納米課題數(shù)據(jù)庫n納米專家數(shù)據(jù)庫n納米測試技術數(shù)據(jù)庫n納米材料性能數(shù)據(jù)庫n納米文獻摘要數(shù)據(jù)庫n納米器件數(shù)據(jù)庫5開發(fā)背景n功能需求：n增、刪、改、查（2）；n概覽、細覽；n數(shù)據(jù)之間存在關聯(lián)；n

2、數(shù)據(jù)類型的多樣性：n文件、字典、日期、鏈接、圖片、音頻、視頻、HTML數(shù)據(jù)錄入數(shù)據(jù)錄入數(shù)據(jù)更新數(shù)據(jù)更新數(shù)據(jù)檢索、瀏覽數(shù)據(jù)檢索、瀏覽6開發(fā)背景專利數(shù)據(jù)庫增加刪除查詢修改瀏覽查看專家數(shù)據(jù)庫增加刪除查詢修改瀏覽查看成果數(shù)據(jù)庫增加刪除查詢修改瀏覽查看n如果面對每個子庫進行開發(fā)：n10 * (4 * 2 2) = 100頁面n數(shù)據(jù)訪問邏輯7開發(fā)背景專利數(shù)據(jù)庫增加刪除查詢修改瀏覽查看專家數(shù)據(jù)庫增加刪除查詢修改瀏覽查看成果數(shù)據(jù)庫增加刪除查詢修改瀏覽查看XX數(shù)據(jù)庫增加刪除查詢修改瀏覽查看配置專利數(shù)據(jù)庫專家數(shù)據(jù)庫成果數(shù)據(jù)庫VisualDB 8VisualDB面對的問題n大量的、異構的關系型數(shù)據(jù)庫需要發(fā)布；n不要

3、依賴于某種特定的操作系統(tǒng)以及關系型數(shù)據(jù)庫管理系統(tǒng)； 普適性n如何解決圖片、視頻、圖文混排等非格式化數(shù)據(jù)的存儲與顯示？ 不要依賴于物理模型n需要區(qū)分數(shù)據(jù)管理員與數(shù)據(jù)用戶的權限； 用戶訪問控制n需要滿足數(shù)據(jù)的瀏覽、檢索功能需求； 數(shù)據(jù)的錄入與發(fā)布n支持多個子庫，并需要提供為子庫進行配置的界面； 目錄n方案要足夠簡單、足夠笨； 自動化、半自動化9更多的需求n不要讓每個子庫的顯示界面一模一樣！定制化n需要開發(fā)其它的功能（如：統(tǒng)計）怎么辦？能基于VisualDB嗎？二次開發(fā)接口n數(shù)據(jù)類型不夠用怎么辦？類型庫及其接口n需要在遠程訪問VisualDB數(shù)據(jù)，可以嗎？遠程訪問接口10VisualDB的設計目標n

4、總體目標：n屏蔽差異性：數(shù)據(jù)庫產品差異、存儲位置的差異、結構的差異n讓數(shù)據(jù)的訪問更加安全n讓數(shù)據(jù)的情況一目了然n讓數(shù)據(jù)對象在網(wǎng)絡中自由傳輸交換11VisualDB的設計目標nVisualDB=DB+?DB訪問記帳庫數(shù)據(jù)量（質量）統(tǒng)計庫記錄索引庫WebUIWeb ServicesTools文檔資源庫用戶訪問控制庫VisualDB+12VisualDB的設計目標n為建庫人員：n針對關系型數(shù)據(jù)庫n可視化的、可配置的n數(shù)據(jù)錄入、更新、發(fā)布n無需編寫代碼，即可完成對數(shù)據(jù)庫的內容發(fā)布，提供數(shù)據(jù)的檢索和瀏覽服務n為數(shù)據(jù)應用開發(fā)人員：n模塊接口便于擴展（認證、授權模塊）n為二次開發(fā)提供數(shù)據(jù)訪問接口（API&服

5、務）n每個頁面可以靈活定制，并且能夠方便的引用到數(shù)據(jù)13需求分析，概念建模需求分析，概念建模邏輯建模邏輯建模應用開發(fā)，數(shù)據(jù)著錄應用開發(fā)，數(shù)據(jù)著錄應用開發(fā)，數(shù)據(jù)發(fā)布應用開發(fā)，數(shù)據(jù)發(fā)布應用開發(fā)，數(shù)據(jù)統(tǒng)計分析應用開發(fā)，數(shù)據(jù)統(tǒng)計分析抽取物理模型抽取物理模型自動生成自動生成數(shù)據(jù)管理界面數(shù)據(jù)管理界面自動生成自動生成數(shù)據(jù)發(fā)布界面數(shù)據(jù)發(fā)布界面自動進行自動進行數(shù)據(jù)統(tǒng)計分析數(shù)據(jù)統(tǒng)計分析物理建模物理建模配置數(shù)據(jù)目錄配置數(shù)據(jù)目錄傳統(tǒng)傳統(tǒng)應用應用開發(fā)開發(fā)流程流程VDB環(huán)境環(huán)境對應用開發(fā)流程的影響14原型系統(tǒng)csdb數(shù)據(jù)訪問層WEB-UDB1.0UDB-HOSTINGWEB-UDB1.220022002年年吳開超、何洪波

6、、吳開超、何洪波、沈志宏沈志宏20032003年年吳開超、沈志宏、吳開超、沈志宏、昝振宇昝振宇20042004年年沈志宏、昝振宇、沈志宏、昝振宇、查新征查新征20052005年年沈志宏沈志宏20062006年年沈志宏、昝振宇、沈志宏、昝振宇、楊新梅楊新梅VisualDB1.0發(fā)布版本20082008年年沈志宏、王丙林沈志宏、王丙林重構重構虛擬主機虛擬主機頁面定制頁面定制穩(wěn)定版本穩(wěn)定版本合并合并正式發(fā)布正式發(fā)布VisualDB1.2發(fā)布版本版本歷史重構重構20082008年年沈志宏沈志宏VisualDB1.3發(fā)布版本重構重構20092009年年沈志宏沈志宏15nVisualDB功能介紹n軟件模塊

7、n功能模塊組成n使用流程n各模塊功能介紹n總體特性16Visual DB 軟件模塊工具接口數(shù)據(jù)訪問核心模塊csdb-commons-dbcp/csdb-commons-orm/csdb-jdbcxspring/struts/velocity/taglib/jQuery/ajax/json/EHCache/hessianvdb-ormjdbcxvdb-daovdb-cachevdb-catalogtypelibToTvdb-templatesvdbsecurityvdbaccoutingvdb-service(ws)jsoQuery(json)vdb catalogbuildervdb edit

8、or(DataForge?)vdb publisher(mydb)vdbexplorervdb datasetregistryvalidationrules engineadaptersimport/exportvdbstat.vdb-dbcpREST interfacehessian17模塊組成MyDB ：網(wǎng)站前臺提供數(shù)據(jù)的檢索和瀏覽界面DataForge：數(shù)據(jù)管理提供數(shù)據(jù)的錄入界面CatalogBuilder：目錄管理提供目錄的配置管理SecurityCenter：安全中心提供數(shù)據(jù)的安全策略vReports：統(tǒng)計分析對數(shù)據(jù)、數(shù)據(jù)訪問進行統(tǒng)計18使用流程19操作步驟nStep1. 安裝Vis

9、ualDB20操作步驟nStep2. 系統(tǒng)管理員完成目錄的配置 21操作步驟nStep3.系統(tǒng)管理員為用戶分配權限22操作步驟nStep4.數(shù)據(jù)管理員進行數(shù)據(jù)錄入23操作步驟nStep5.數(shù)據(jù)用戶進行數(shù)據(jù)檢索24各模塊功能介紹nCatalogBuildern目錄是VDB的核心所在，系統(tǒng)管理員的大部分工作都在使用CatalogBuildern本地域屬性n設置網(wǎng)站的基本屬性和框架結構n設置數(shù)據(jù)集的發(fā)布風格n數(shù)據(jù)集模型n支持一個域多個數(shù)據(jù)集n設置數(shù)據(jù)集的邏輯模型（實體、關系、查詢）25CatalogBuildern本地域屬性設置基本屬性基本屬性設置設置顯示風格顯示風格設置設置網(wǎng)站發(fā)布網(wǎng)站發(fā)布26Ca

10、talogBuildern數(shù)據(jù)集維護數(shù)據(jù)集列表，數(shù)據(jù)集列表，可進行添加可進行添加和刪除和刪除27CatalogBuildern數(shù)據(jù)集屬性設置數(shù)據(jù)集基本數(shù)據(jù)集基本屬性的設置屬性的設置數(shù)據(jù)集連接數(shù)據(jù)集連接屬性的設置屬性的設置28CatalogBuildern實體設置實體基本屬實體基本屬性的設置性的設置實體主鍵實體主鍵的設置的設置29CatalogBuildern實體包含屬性設置實體的屬性實體的屬性列表：可進列表：可進行修改、刪行修改、刪除、新增等除、新增等操作操作實體某個屬實體某個屬性的設置性的設置30CatalogBuildern查詢設置查詢列表的維護，查詢列表的維護，可對查詢進行修改、可對查詢

11、進行修改、刪除、新增等刪除、新增等某個查詢某個查詢基本屬性基本屬性的設置的設置31CatalogBuildern關系設置一對多關一對多關系的設置系的設置多對多關多對多關系的設置系的設置關系列表的維關系列表的維護：新增、修護：新增、修改、刪除改、刪除32CatalogBuildern視圖設置視圖的設置視圖的設置33VDB 自定義數(shù)據(jù)類型34數(shù)據(jù)庫各模塊功能介紹nMyDBn瀏覽：支持分頁、排序、多種顯示風格n查看：支持多表關聯(lián)n檢索：針對所有可檢索字段進行組合查詢35MyDB不同的瀏覽風格顯示哪些顯示哪些字段由目字段由目錄指定錄指定36MyDB分頁 和排序支持排序支持排序支持分頁支持分頁37MyD

12、B實體顯示實體顯示38虛擬實體虛擬實體顯示顯示MyDB39MyDB詳細信息顯示字詳細信息顯示字段可配置段可配置40MyDB關聯(lián)信息關聯(lián)信息顯示顯示41MyDB查詢查詢42MyDB配置索引配置索引跨庫檢索跨庫檢索43各模塊功能介紹nDataForgen增加、刪除、修改、審批n瀏覽與檢索n數(shù)據(jù)校驗n數(shù)據(jù)導入導出n日志查看數(shù)據(jù)庫44DataForge多行文本框多行文本框日期控件日期控件文件控件文件控件彈出窗口彈出窗口不同的編輯風格如何顯示編如何顯示編輯控件由目輯控件由目錄指定錄指定下拉控件下拉控件45DataForge不同的編輯風格本地文件類型本地文件類型46DataForge不同的編輯風格本地文件

13、顯本地文件顯示方式：支示方式：支持下載持下載47DataForge基本信息基本信息關聯(lián)信息關聯(lián)信息基本信息與關聯(lián)信息的錄入哪些信息哪些信息需關聯(lián)由需關聯(lián)由目錄指定目錄指定標題編輯方式標題編輯方式表格編輯方式表格編輯方式48DataForge客戶端校驗客戶端校驗客戶端校驗客戶端校驗如何校驗由如何校驗由目錄指定目錄指定對數(shù)據(jù)的校驗49DataForge新增記錄成功新增記錄成功新增記錄50DataForge查詢框查詢框記錄瀏覽記錄瀏覽點擊按字段點擊按字段排序排序記錄的瀏覽、檢索默認排序默認排序方式由目方式由目錄指定錄指定51DataForge數(shù)據(jù)導入數(shù)據(jù)導入記錄的導入導出指定字段指定字段數(shù)據(jù)導出數(shù)據(jù)

14、導出指定方式指定方式52DataForge記錄的刪除級聯(lián)刪除一級聯(lián)刪除一對多記錄對多記錄刪除多對多刪除多對多關系關系刪除主記錄刪除主記錄53DataForge數(shù)據(jù)訪問日志數(shù)據(jù)訪問日志查看日志數(shù)據(jù)修改日志數(shù)據(jù)修改日志54各模塊功能介紹nSecurityCentern增加、修改、刪除用戶組信息、管理組內用戶、用戶組授權n增加、修改、刪除用戶信息、設置用戶組、用戶授權55SecurityCenter56SecurityCenter資源過濾器描述系統(tǒng)資源過濾器所有數(shù)據(jù)表中所有數(shù)據(jù)本組數(shù)據(jù)表中本組用戶錄入的數(shù)據(jù)個人數(shù)據(jù)表中個人錄入數(shù)據(jù)自定義資源過濾器自定義可以任意對數(shù)據(jù)表中記錄進行分類比如 select

15、 id from tablename where column100等等57SecurityCenter自定義資源過濾器自定義資源過濾器58SecurityCenter用戶管理用戶管理用戶組列表用戶組列表用戶組授權用戶組授權59SecurityCenter用戶組管理用戶組管理用戶列表用戶列表用戶授權用戶授權60SecurityCenter權限不足提示權限不足提示沒權限針對表進沒權限針對表進行修改行修改記錄的審核、修改、記錄的審核、修改、刪除都做了權限控制刪除都做了權限控制61各模塊功能介紹nvReportsn統(tǒng)計分析是VDB的主要功能模塊之一；n數(shù)據(jù)質量指標統(tǒng)計n數(shù)據(jù)集數(shù)據(jù)量大小，數(shù)據(jù)實體數(shù)據(jù)

16、量大小，記錄條數(shù)，字段在關系數(shù)據(jù)庫中的空間利用率等 n數(shù)據(jù)訪問統(tǒng)計n數(shù)據(jù)集訪問統(tǒng)計n當日分時段，分訪問來源，分日期區(qū)間，訪問關鍵字統(tǒng)計，分實體統(tǒng)計，分操作統(tǒng)計，高頻訪問IP統(tǒng)計等 n數(shù)據(jù)實體訪問統(tǒng)計n當日分時段，分訪問來源，分日期區(qū)間，訪問關鍵字統(tǒng)計，分操作統(tǒng)計，高頻訪問IP統(tǒng)計等 62vReports數(shù)據(jù)質量指標表格顯示表格顯示利用率細覽利用率細覽總空間大小總空間大小數(shù)據(jù)集文件數(shù)量數(shù)據(jù)集文件數(shù)量數(shù)據(jù)集大小數(shù)據(jù)集大小最后更新時間最后更新時間63vReports數(shù)據(jù)質量指標歷史對比歷史對比圖表顯示圖表顯示64vReports數(shù)據(jù)訪問統(tǒng)計24小時實時統(tǒng)計小時實時統(tǒng)計增刪改查情況增刪改查情況日期時間

17、段訪問情況日期時間段訪問情況65vReports數(shù)據(jù)訪問統(tǒng)計訪問來源統(tǒng)計訪問來源統(tǒng)計增刪改查情況增刪改查情況其它主要統(tǒng)計報表其它主要統(tǒng)計報表66總體特性n普適性n采用java平臺無關性語言開發(fā)，可在Windows/Linux等操作環(huán)境下安裝運行nVisualDB支持流行的RDBMS（關系型數(shù)據(jù)庫），并有效屏蔽底層數(shù)據(jù)庫的異構性。支持的RDBMS包括：Oracle、SQLServer、MySQL、Access、PostgreSQL、HSQL、SQLite、derby等，此外，VisualDB還支持ODBC數(shù)據(jù)源。67總體特性n普適性n提供多種主題供用戶選擇68總體特性n易用性nVisualDB基

18、于流行的B/S結構開發(fā)，最終用戶只需要IE瀏覽器即可進行數(shù)據(jù)的管理和訪問n實現(xiàn)零開發(fā)，用戶通過簡單的配置即可以實現(xiàn)數(shù)據(jù)的編輯和顯示、檢索、以及字段排序等功能，無需編寫一行代碼69總體特性n易用性n完全可視化，高度可配置性，用戶基本可以脫離后臺數(shù)據(jù)庫系統(tǒng)體驗數(shù)據(jù)庫的建設，無需專業(yè)的RDBMS背景70總體特性n易用性n輕松實現(xiàn)跨庫索引71總體特性n易用性n數(shù)據(jù)導入導出，輕松自如72總體特性n安全性n通過對用戶訪問控制的增強，提供用戶授權機制，更有力的保護數(shù)據(jù)73總體特性n性能n快速的響應速度，支持每秒至少50+的并發(fā)請求處理。74總體特性n可擴展性nRDBMS驅動ntypelib數(shù)據(jù)類型、編輯器、

19、顯示風格n訪問控制模型n如何獲取可擴展性？n軟件升級n二次開發(fā)75總體特性n對二次開發(fā)的支持n提供服務器端的模板語言，允許開發(fā)者使用VTL（Velocity Template Language）定制頁面和typelibn提供瀏覽器端的javascript對象模型，允許開發(fā)者在瀏覽器通過js腳本獲取數(shù)據(jù)n開放的數(shù)據(jù)集模型，能夠導出XML格式，達到與其它應用之間的模型通訊76總體特性n其他特性n脫離物理模型，面向對象建模，更加直觀77總體特性n其他特性n記錄數(shù)據(jù)的增、刪、改、查、審所有操作，讓數(shù)據(jù)擁有者對數(shù)據(jù)的使用情況更加放心78總體特性n其他特性n提供數(shù)據(jù)集的數(shù)據(jù)量、記錄數(shù)、字段利用率等信息，數(shù)據(jù)質量盡在掌握79總體特性n其他特性n通過cache、ORM機制，提供高效的數(shù)據(jù)對象操作接口 80nVisualDB應用現(xiàn)狀與展望nVisualDB應用案例n版本更新計劃81應用案例VisualDB納米科技基礎數(shù)據(jù)庫中草藥庫化學物質毒性數(shù)據(jù)庫高級專家數(shù)據(jù)庫西北人文數(shù)據(jù)庫Brainbank數(shù)據(jù)庫核化生爆數(shù)據(jù)庫數(shù)據(jù)鏡像元數(shù)據(jù)庫政府間關系數(shù)據(jù)整合分析系統(tǒng)庫化學譜圖整合數(shù)據(jù)庫II型糖尿病專家?guī)鞈?zhàn)略規(guī)劃信息庫82應用案例n科學數(shù)據(jù)庫項目n納米科技基礎數(shù)據(jù)庫（國家納米中心）n中草藥庫http:/（中科