1、空間科學(xué)主題數(shù)據(jù)庫功能設(shè)計構(gòu)想,單位：中國科學(xué)院北京空間中心 數(shù)據(jù)網(wǎng)絡(luò)中心 報告人：傅衍杰 報告時間：2009-08-18,功能設(shè)計,空間科學(xué)數(shù)據(jù)庫主題庫,數(shù)據(jù)資源的 發(fā)現(xiàn)和檢索,描述信息 的收割和 同步,數(shù)據(jù)資 源的維護 更新,數(shù)據(jù)資源 的發(fā)布,數(shù)據(jù)資源 的刪除,數(shù)據(jù)資 源的發(fā) 布撤銷,一站式的 登錄,用戶認證 和授權(quán),面向數(shù)據(jù),面向檢索,面向用戶,面向知識發(fā)現(xiàn),空間頻繁 事件序列,空間事件 噪音,空間事件 相關(guān)性,支持上層功能的公共數(shù)據(jù)模型,從用戶角度看功能需求,非注冊用戶,用 戶 注 冊,數(shù) 據(jù) 資 源 的 列 表,獲得 最新 發(fā)布 的數(shù) 據(jù)資 源信 息,數(shù)據(jù) 資源 搜索,注冊用戶,用

2、戶 登 錄,數(shù) 據(jù) 發(fā) 布,數(shù)據(jù) 資源 發(fā)布 撤銷,數(shù)據(jù) 的維 護和 更新,管理員,用戶管理,數(shù)據(jù) 資源 發(fā)布 審核,用 戶 注 冊,用戶修改,用戶刪除,基于 空間 事件 的 知識 發(fā)現(xiàn),數(shù)據(jù) 資源 的 刪除,從拓撲的角度看,中心節(jié)點(Agent),數(shù)據(jù)節(jié)點 (科技大學(xué)),數(shù)據(jù)節(jié)點 (北京空間中心),數(shù)據(jù)節(jié)點 (國家天文臺),數(shù)據(jù)節(jié)點 (地質(zhì)地球所),元數(shù)據(jù),物理數(shù) 據(jù)實體,元數(shù)據(jù),物理數(shù) 據(jù)實體,元數(shù)據(jù),物理數(shù) 據(jù)實體,元數(shù)據(jù),物理數(shù) 據(jù)實體,1 描述信息的收割和同步 2 數(shù)據(jù)資源的檢索定位,描述信息的保存地，對全局資源分布了如指掌,從數(shù)據(jù)角度,日地空間物理 數(shù)據(jù)實體,基于SPASE 標(biāo)準(zhǔn)的

3、元數(shù)據(jù),行星科學(xué) 物理數(shù)據(jù)實體,基于PDS 標(biāo)準(zhǔn)的元數(shù)據(jù),索引庫,(1)基于屬性值的精確檢索(2)數(shù)據(jù)發(fā)布的撤銷（3）數(shù)據(jù)的刪除（4）物理數(shù)據(jù)的描述信息的收割和同步,（1）基于語義的模糊檢索（2）數(shù)據(jù)的維護更新 （3）數(shù)據(jù)發(fā)布的撤銷（4）數(shù)據(jù)的刪除（4）物理數(shù)據(jù)的描述信息的收割和同步,（1）數(shù)據(jù)下載（2）數(shù)據(jù)刪除,事件邏輯庫,xx邏輯庫,基于空間科學(xué)事件的知識發(fā)現(xiàn)和挖掘,一，數(shù)據(jù)資源發(fā)布,1. 數(shù)據(jù)資源的發(fā)布應(yīng)該包含6個要點 數(shù)據(jù)資源發(fā)布的發(fā)起者是注冊用戶； 允許注冊用戶在任何一個數(shù)據(jù)節(jié)點登錄并發(fā)布數(shù)據(jù)，所發(fā)布數(shù)據(jù)最終的物理分布對于注冊用戶是透明的； 用戶發(fā)布的數(shù)據(jù)應(yīng)該包含：物理數(shù)據(jù)+元數(shù)據(jù)+

4、索引數(shù)據(jù)；所有數(shù)據(jù)以文件的形式存在； 用戶發(fā)布的數(shù)據(jù)屬于哪個類別，由用戶先行確定，再提交給管理員審核修正后通過，類別+用戶單位將決定數(shù)據(jù)物理存儲位置。 用戶發(fā)布的數(shù)據(jù)是否合法由管理員審核檢查后判斷是否同意發(fā)布，并將審核結(jié)果返回給用戶； 經(jīng)過管理員同意用戶提請的數(shù)據(jù)發(fā)布后，數(shù)據(jù)將會被發(fā)布到系統(tǒng)上，每一個數(shù)據(jù)節(jié)點+每一個用戶都會獲知新數(shù)據(jù)發(fā)布的消息；,2. 數(shù)據(jù)資源發(fā)布過程設(shè)計,用戶登 錄某一數(shù) 據(jù)節(jié)點,用戶數(shù)據(jù)被復(fù)制到 本地數(shù)據(jù)節(jié)點的“待發(fā) 布數(shù)據(jù)暫存區(qū)”,圖形化在 線編輯 數(shù)據(jù),數(shù)據(jù)標(biāo)準(zhǔn)檢查,申請發(fā)布數(shù)據(jù)資源,成為管理員的待審核 的數(shù)據(jù)資源任務(wù)列 表中的一個任務(wù),管理員審核,發(fā)布位于暫存 區(qū)的

5、數(shù)據(jù)資源,在任何數(shù)據(jù)節(jié)點都可登錄和發(fā)布,編輯時可以進行數(shù)據(jù)標(biāo)準(zhǔn)自檢,1 自動審查和人公審查的結(jié)合； 2 同意，則發(fā)布；駁回，則反饋修正意見,（存儲）移動暫存區(qū)的數(shù)據(jù)到目標(biāo)節(jié)點； （通訊）通告用戶和節(jié)點新數(shù)據(jù)發(fā)布； （索引）在索引樹中添加新數(shù)據(jù)資源；,注冊用戶,管理員,命令中介節(jié)點 收割和同步 新數(shù)據(jù)變化,二，數(shù)據(jù)資源的維護更新,1 數(shù)據(jù)資源的維護更新應(yīng)主要包含5個要點 修改的執(zhí)行者是注冊用戶，而不是普通的非注冊用戶； 注冊用戶只能修改自己發(fā)布的數(shù)據(jù)，而不能僭越修改他人的數(shù)據(jù)； 可在任何一個數(shù)據(jù)節(jié)點登陸，并修改自己發(fā)布的數(shù)據(jù)，哪怕從數(shù)據(jù)分布的角度看，自己發(fā)布的數(shù)據(jù)并不一定就在當(dāng)前所登錄的數(shù)據(jù)節(jié)點

6、上； 用戶修改數(shù)據(jù)資源后，“數(shù)據(jù)變動的最小覆蓋” 需要和中介節(jié)點進行同步，因而它將會被移入“待同步的變動數(shù)據(jù)緩沖區(qū)”。 用戶修改數(shù)據(jù)資源，必然導(dǎo)致數(shù)據(jù)的變動，因而，需要用戶主動觸發(fā)“同步程序”，使得中介節(jié)點同步數(shù)據(jù)資源修改后的描述信息；,2 數(shù)據(jù)資源的維護更新過程設(shè)計,登錄某數(shù)據(jù) 節(jié)點，選擇 自己發(fā)布的數(shù)據(jù) 資源，進行修改,用戶,在線編 輯修改,保存修改,數(shù)據(jù)變動的最小覆蓋” 被移入“待同步的變動 數(shù)據(jù)緩沖區(qū)”,用戶主動 請求同步,系統(tǒng)從“待同步的變 動數(shù)據(jù)緩沖區(qū)” 刪除該變動數(shù)據(jù),同步成功,三，數(shù)據(jù)資源的刪除,數(shù)據(jù)資源的刪除應(yīng)包含5個要點 刪除應(yīng)該完備的包含2個動作： 刪除數(shù)據(jù)在中介節(jié)點的對

7、應(yīng)的元數(shù)據(jù)和索引數(shù)據(jù)； 刪除在數(shù)據(jù)節(jié)點上的數(shù)據(jù)； 刪除的執(zhí)行者是注冊用戶，而不是普通的非注冊用戶； 注冊用戶只能刪除自己發(fā)布的數(shù)據(jù)，而不能僭越刪除他人的數(shù)據(jù)； 用戶可以在任何一個數(shù)據(jù)節(jié)點登陸，并刪除自己發(fā)布的數(shù)據(jù)，哪怕從數(shù)據(jù)分布的角度看，自己發(fā)布的數(shù)據(jù)并不一定就在當(dāng)前所登錄的數(shù)據(jù)節(jié)點上； 用戶刪除數(shù)據(jù)資源，必然導(dǎo)致數(shù)據(jù)的變動，因而應(yīng)主動觸發(fā)“同步程序”，使得中介節(jié)點也刪除用戶所刪除的那個數(shù)據(jù)資源，使得無法檢索到。,四，數(shù)據(jù)資源的發(fā)布撤銷,數(shù)據(jù)資源的發(fā)布撤銷應(yīng)包含5個要點 撤銷發(fā)布的執(zhí)行者是注冊用戶，而不是普通的非注冊用戶； 注冊用戶只能撤銷自己發(fā)布的數(shù)據(jù)，而不能僭越撤銷他人發(fā)布的數(shù)據(jù)； 用戶可

8、以在任何一個數(shù)據(jù)節(jié)點登陸，并撤銷自己發(fā)布的數(shù)據(jù) 數(shù)據(jù)被撤銷發(fā)布后，用戶仍然可見到可管理它； 撤銷發(fā)布的實質(zhì)是刪除在中介節(jié)點的描述信息，使得他人無法檢索和使用。,1，收割同步的必要性 中介節(jié)點和所有的數(shù)據(jù)節(jié)點實現(xiàn)同步 保證中介節(jié)點的描述信息=系統(tǒng)各個數(shù)據(jù)節(jié)點的數(shù)據(jù)資源描述信息的綜合 確保系統(tǒng)通過中介節(jié)點搜索定位的資源是準(zhǔn)確符合數(shù)據(jù)資源在的分布狀況的 2，收割同步的實現(xiàn)（主動和被動的結(jié)合） 主動同步 當(dāng)用戶導(dǎo)致數(shù)據(jù)發(fā)生變動的時候， “數(shù)據(jù)變動的最小覆蓋”的集合被緩存在該數(shù)據(jù)節(jié)點的“待同步的變動數(shù)據(jù)緩沖區(qū)“ 數(shù)據(jù)節(jié)點和中介節(jié)點的同步 成功后，在原數(shù)據(jù)節(jié)點的“待同步的變動數(shù)據(jù)緩沖區(qū)”中刪除該“數(shù)據(jù)變動

9、的最小覆蓋 被動同步 中介節(jié)點定時的去檢查系統(tǒng)中的各個“數(shù)據(jù)節(jié)點”的“待同步的變動數(shù)據(jù)緩沖區(qū)”， 看是否還存在沒有同步的變動數(shù)據(jù)，如果存在則，自動進行同步。,五，數(shù)據(jù)描述信息的收割和同步,中心節(jié)點,中科大 數(shù)據(jù)節(jié)點,數(shù)據(jù)集,待同步 變動數(shù)據(jù) 緩沖區(qū),變動數(shù)據(jù),空 間 中 心,地 質(zhì) 地 球 所,待同步 變動數(shù)據(jù) 緩沖區(qū),待同步 變動數(shù)據(jù) 緩沖區(qū),變動數(shù)據(jù),待同步 變動數(shù)據(jù) 緩沖區(qū),主動同步,被動同步,有新變 動尚未 同步么？,變動數(shù)據(jù),六，數(shù)據(jù)資源的發(fā)現(xiàn)（檢索）,1 數(shù)據(jù)資源的發(fā)現(xiàn)應(yīng)包括6個要點 系統(tǒng)用一個中介節(jié)點來維護所有在線數(shù)據(jù)節(jié)點的共享數(shù)據(jù)索引。某一個數(shù)據(jù)節(jié)點上提交的查詢，都將會被提交到中介節(jié)點，中節(jié)點處理后，把查找結(jié)果返回給查詢節(jié)點。最后查詢節(jié)點和要查詢文件所在的節(jié)點建立連接，下載查找到的文件。 從任何一個數(shù)據(jù)節(jié)點都能檢索到全局或局部的數(shù)據(jù)資源 面向文字，能夠基于語義進行模糊匹配 面向數(shù)字，能夠基于屬性值來進行精確匹配 能夠?qū)z索返回的多結(jié)果進行排序，使得最符合用戶需求的排在最前 應(yīng)允許用戶基于個人需求進行搜索過濾 2 精確搜索的實現(xiàn)（基于一個或多個精確屬性值的聯(lián)合查詢） 通過數(shù)據(jù)庫的SQL語句 3 模糊搜索的實現(xiàn)（基于語義） 基于搜索企業(yè)內(nèi)部級別的小型搜索引擎機制：去無用詞-分詞-索引