“CALIS

高校學(xué)位論文數(shù)據(jù)庫(kù)”可行性研究報(bào)告

CALIS工程中心2004.4.27匯報(bào)內(nèi)容一、立項(xiàng)背景和需求二、總體目標(biāo)三、主要建設(shè)內(nèi)容四、實(shí)施方案(組織管理、總體框架、技術(shù)路線等)五、實(shí)施進(jìn)度立項(xiàng)背景和需求

背景

近年來(lái)，國(guó)際范圍內(nèi)學(xué)位論文的網(wǎng)上利用已成趨勢(shì)，可歸納為兩種模式：美國(guó)UMI公司的商業(yè)性數(shù)據(jù)庫(kù)PQDD

采用集中建庫(kù)、分級(jí)服務(wù)的模式；由于UMI較為公平地處理學(xué)位論文的知識(shí)產(chǎn)權(quán)。該數(shù)據(jù)庫(kù)在全球范圍內(nèi)的到公認(rèn)和廣泛應(yīng)用；國(guó)內(nèi)同方光盤(pán)公司出版發(fā)行的《中國(guó)優(yōu)秀博碩士學(xué)位論文全文數(shù)據(jù)庫(kù)》采用了類(lèi)同PQDD的集中建庫(kù)模式。

需求

博碩士學(xué)位論文集中反映了學(xué)校的教學(xué)、科研成果，是廣大師生十分重視的一種學(xué)術(shù)文獻(xiàn)。近十幾年來(lái)，絕大部分學(xué)位論文都采用了計(jì)算機(jī)錄入、排版和打印，由此產(chǎn)生了大量的“原生”的電子文本。在沒(méi)有建立起電子版學(xué)位論文（ETD）收藏機(jī)制之前，每年大量的電子文本隨畢業(yè)生的離校而流失，這對(duì)學(xué)位論文的電子化利用是非常遺憾的事情。清華大學(xué)自2000年6月開(kāi)始進(jìn)行ETD全文的收集工作，目前已積累四年(8批)電子版博碩士學(xué)位論文1萬(wàn)余篇。立項(xiàng)背景和需求（續(xù)）

2001年以來(lái)，北京大學(xué)、北京農(nóng)業(yè)大學(xué)、武漢大學(xué)、吉林大學(xué)、廈門(mén)大學(xué)、西安交通大學(xué)、東南大學(xué)等10余所學(xué)校也陸續(xù)建立了本校的學(xué)位論文提交和發(fā)布服務(wù)系統(tǒng)，反映了高校普遍希望改變傳統(tǒng)紙本學(xué)位論文收藏和服務(wù)方式的需求。

在數(shù)字圖書(shū)館建設(shè)的浪潮下，國(guó)內(nèi)圖書(shū)館都在尋找自己的切入點(diǎn)，想做一些數(shù)字資源建設(shè)方面的事情。而電子版學(xué)位論文（ETD）正是各學(xué)校源源不斷“自產(chǎn)”的，最有條件、有能力收集全、利用好的“原生”數(shù)字資源。立項(xiàng)背景和需求（續(xù)）

在“九五”期間建設(shè)的博碩士學(xué)位論文文摘數(shù)據(jù)庫(kù)基礎(chǔ)上，建設(shè)一個(gè)提供集中式檢索（含前16頁(yè)全文瀏覽）、分布式全文獲取服務(wù)的CALIS高校博碩士學(xué)位論文數(shù)據(jù)庫(kù)。為高校范圍內(nèi)的讀者通過(guò)網(wǎng)絡(luò)共享學(xué)位論文信息提供途徑和保障，促進(jìn)高校教學(xué)、科研水平的交流與提高。總體目標(biāo)1.分布建立本地學(xué)位論文網(wǎng)上提交與發(fā)布系統(tǒng)

借鑒國(guó)際上學(xué)位論文網(wǎng)上提交和利用的經(jīng)驗(yàn)，綜合國(guó)內(nèi)高校的實(shí)際需求，接洽軟件開(kāi)發(fā)商開(kāi)發(fā)“學(xué)位論文網(wǎng)上提交與發(fā)布系統(tǒng)”，推薦參建學(xué)校使用。從本地系統(tǒng)應(yīng)用出發(fā)，促進(jìn)高校范圍內(nèi)普遍建立起：

①新型的學(xué)位論文網(wǎng)上提交與管理機(jī)制；②本地學(xué)位論文全文網(wǎng)上檢索服務(wù)系統(tǒng)。打破高校多年來(lái)以收藏紙本學(xué)位論文為主，學(xué)位論文文獻(xiàn)未能得以充分利用的局面。

主要建設(shè)內(nèi)容（續(xù)）2.增加CALIS高校學(xué)位論文庫(kù)數(shù)據(jù)量

“九五”期間，高校學(xué)位論文文摘庫(kù)的數(shù)據(jù)量約10萬(wàn)條。“十五”新增數(shù)據(jù)量10萬(wàn)條，新增數(shù)據(jù)中可提供論文前16頁(yè)瀏覽的比例不低于80%,可提供全文服務(wù)（包括直接下載或文獻(xiàn)傳遞）的比例不低于70%?！熬盼濉逼陂g完成的10萬(wàn)條數(shù)據(jù)經(jīng)轉(zhuǎn)換后與“十五”期間新增的10萬(wàn)條數(shù)據(jù)歸并在同一數(shù)據(jù)庫(kù)結(jié)構(gòu)中提供服務(wù)。在“十五”經(jīng)費(fèi)支持下，CALIS學(xué)位論文庫(kù)的總數(shù)據(jù)量達(dá)20萬(wàn)條。

主要建設(shè)內(nèi)容（續(xù)）3.建立學(xué)位論文集中檢索服務(wù)平臺(tái)和共享機(jī)制①采用“OAI-PMH”和“METS”機(jī)制自動(dòng)收集分布在參建單位的元數(shù)據(jù)和前16頁(yè)全文；②集中檢索CALIS學(xué)位論文庫(kù)的元數(shù)據(jù)；③提供獲取論文全文的鏈接調(diào)度功能；④數(shù)據(jù)庫(kù)訪問(wèn)、全文獲取、用戶(hù)登錄等統(tǒng)計(jì)功能；⑤個(gè)性化定制推送服務(wù)；⑥建立遵循知識(shí)產(chǎn)權(quán)公平利用學(xué)位論文的網(wǎng)上共享機(jī)制。主要建設(shè)內(nèi)容（續(xù)）包括六部分：1.現(xiàn)有基礎(chǔ)5.技術(shù)路線2.組織管理6.技術(shù)難點(diǎn)3.建設(shè)方式7.互操作4.總體框架和功能實(shí)施方案（續(xù)）

現(xiàn)有基礎(chǔ)“九五”期間，“CALIS高校學(xué)位論文文摘庫(kù)”數(shù)據(jù)超出10萬(wàn)條，參建學(xué)校近百所?！熬盼濉逼陂g，先后組織了三次全國(guó)性的建庫(kù)人員培訓(xùn)和研討會(huì)，培訓(xùn)骨干人員150多人次。在項(xiàng)目組織和實(shí)施中，清華圖書(shū)館與參建單位形成了良好的合作關(guān)系，積累了項(xiàng)目組織和協(xié)作經(jīng)驗(yàn)。清華圖書(shū)館參與了科技部《我國(guó)數(shù)字圖書(shū)館標(biāo)準(zhǔn)規(guī)范建設(shè)》項(xiàng)目，側(cè)重“專(zhuān)門(mén)元數(shù)據(jù)”子項(xiàng)目中“學(xué)位論文元數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范”的研究和制定。實(shí)施方案（續(xù)）

組織管理在“CALIS工程中心管委會(huì)”領(lǐng)導(dǎo)下，成立由項(xiàng)目牽頭單位、項(xiàng)目參建單位代表組成的“項(xiàng)目管理小組”，負(fù)責(zé)整個(gè)項(xiàng)目的組織、協(xié)調(diào)等工作。項(xiàng)目管理小組由8所學(xué)校圖書(shū)館的代表組成：北京大學(xué)、中國(guó)農(nóng)業(yè)大學(xué)、吉林大學(xué)、上海交通大學(xué)、武漢大學(xué)、中山大學(xué)、西安交通大學(xué)、清華大學(xué)清華大學(xué)圖書(shū)館任組長(zhǎng)單位并成立項(xiàng)目實(shí)施小組。實(shí)施方案（續(xù)）

建設(shè)方式

“CALIS學(xué)位論文全文數(shù)據(jù)庫(kù)”采用元數(shù)據(jù)集中建庫(kù)、論文全文分散建庫(kù)的兩級(jí)保障模式。項(xiàng)目主持單位（清華圖書(shū)館）負(fù)責(zé)元數(shù)據(jù)建庫(kù)并提供集中檢索和服務(wù)。各參建單位在本地建立起本校的“學(xué)位論文網(wǎng)上提交系統(tǒng)”和“學(xué)位論文全文檢索系統(tǒng)”；遵循本項(xiàng)目制定的學(xué)位論文元數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范提交統(tǒng)一格式的元數(shù)據(jù)，論文全文的訪問(wèn)權(quán)限（知識(shí)產(chǎn)權(quán)）由各學(xué)校自主控制。實(shí)施方案（續(xù)）

總體框架

方案設(shè)計(jì)盡量與國(guó)際接軌，采用開(kāi)放、先進(jìn)的主流技術(shù)。

針對(duì)分布環(huán)境下的元數(shù)據(jù)收集，采用遵循“OAI-PMH”機(jī)制的自動(dòng)收割技術(shù)。

各參建單位作為OAI協(xié)議的數(shù)據(jù)提供方，負(fù)責(zé)建立本地的學(xué)位論文提交和發(fā)布系統(tǒng)。清華圖書(shū)館作為服務(wù)提供方，向分布在各參建單位的數(shù)據(jù)庫(kù)(數(shù)據(jù)提供方)發(fā)出請(qǐng)求，抓取元數(shù)據(jù)。前16頁(yè)全文的收集采用METS機(jī)制（類(lèi)似OAI自動(dòng)收集）。

用戶(hù)通過(guò)集中的元數(shù)據(jù)庫(kù)檢索到論文信息后，通過(guò)OPENURL和CALIS-OID技術(shù)鏈接到分布在各學(xué)校的論文全文。實(shí)施方案（續(xù)）元數(shù)據(jù)收割器TPI論文提交發(fā)布系統(tǒng)方正論文提交發(fā)布系統(tǒng)北大數(shù)圖所論文提交發(fā)布系統(tǒng)其它平臺(tái)TRS論文提交發(fā)布系統(tǒng)OAIDataProvider全文鏈接（OpenURL）索引用戶(hù)界面統(tǒng)計(jì)與評(píng)估模塊資源調(diào)度模塊與CALIS大系統(tǒng)接口結(jié)算模塊學(xué)位論文元數(shù)據(jù)庫(kù)OAIServiceProvider收割進(jìn)度設(shè)置模塊收割管理模塊OAIHarvesterServer數(shù)據(jù)提供方注冊(cè)管理OAI-PMHCALIS學(xué)位論文全文數(shù)據(jù)庫(kù)總體框架

OAIServiceProvider：“CALIS學(xué)位論文元數(shù)據(jù)庫(kù)”作為OAI服務(wù)提供方，存放從各參建單位收割來(lái)的元數(shù)據(jù)，通過(guò)集中檢索服務(wù)平臺(tái)，對(duì)參建單位范圍內(nèi)的用戶(hù)提供免費(fèi)元數(shù)據(jù)檢索服務(wù)，對(duì)參建單位外的用戶(hù)提供收費(fèi)檢索服務(wù)。該系統(tǒng)支持按學(xué)科分類(lèi)瀏覽、查詢(xún)（簡(jiǎn)單檢索、復(fù)雜檢索）等功能。提供通過(guò)OPENURL技術(shù)鏈接到分散在各參建單位的全文；提供統(tǒng)計(jì)與評(píng)估接口；提供與CALIS總體平臺(tái)的接口（認(rèn)證接口、日志訪問(wèn)接口、統(tǒng)計(jì)接口、結(jié)算接口、資源調(diào)度接口等）。實(shí)施方案（續(xù)）審核和編目學(xué)生審核員編目員發(fā)布服務(wù)不合格合格論文編目檢索提交模塊文檔標(biāo)準(zhǔn)化（全文）原有論文數(shù)據(jù)遷移論文審核論文發(fā)布提交表單統(tǒng)計(jì)與評(píng)估結(jié)算模塊OAI接口本地學(xué)位論文提交和發(fā)布系統(tǒng)結(jié)構(gòu)流程

本地學(xué)位論文提交和發(fā)布系統(tǒng)功能論文提交模塊:

研究生通過(guò)網(wǎng)絡(luò)提交元數(shù)據(jù)信息并上載論文全文，可以網(wǎng)上修改已提交的論文信息，網(wǎng)上查詢(xún)論文是否審核通過(guò)。管理員審核模塊:

圖書(shū)館員從格式的正確性、內(nèi)容的完整性等方面審核驗(yàn)收論文全文，也包括審核對(duì)應(yīng)的元數(shù)據(jù)信息。編目模塊:

圖書(shū)館員對(duì)記錄做編目處理，加入一些必須的館藏信息、權(quán)限控制信息等。文檔標(biāo)準(zhǔn)化:

將word格式的文件批量轉(zhuǎn)換成PDF等格式的文件，包括對(duì)使用權(quán)限的處理。發(fā)布服務(wù)和檢索模塊:實(shí)現(xiàn)全文檢索、學(xué)科分類(lèi)瀏覽以及論文全文瀏覽等功能。提供認(rèn)證、結(jié)算、統(tǒng)計(jì)與評(píng)估模塊的接口以及OAI數(shù)據(jù)提供接口。實(shí)施方案（續(xù)）

技術(shù)難點(diǎn)

1）論文全文（PDF格式）的權(quán)限控制；2）論文題目、文摘中特殊字符、各類(lèi)公式的錄入和展示；3）基于OAI協(xié)議收割數(shù)據(jù)的質(zhì)量控制；4）兩級(jí)系統(tǒng)（分布、集中）中的認(rèn)證和結(jié)算功能等。擬采用的解決途徑：

采用(嵌入)CALIS管理中心已經(jīng)開(kāi)發(fā)的模塊;

開(kāi)展更廣泛的調(diào)研，挖掘出已有的成熟技術(shù)；在招標(biāo)中提出需求，由軟件開(kāi)發(fā)商解決；設(shè)立項(xiàng)目子課題，邀請(qǐng)或者聯(lián)合有研究基礎(chǔ)的單位攻關(guān)。實(shí)施方案（續(xù)）

互操作

本項(xiàng)目系統(tǒng)接口涉及到三部分：①學(xué)位論文集中檢索服務(wù)系統(tǒng)與CALIS整體平臺(tái)之間；②各校學(xué)位論文提交和發(fā)布系統(tǒng)與CALIS整體平臺(tái)之間；③學(xué)位論文集中檢索服務(wù)系統(tǒng)與各校學(xué)位論文提交和發(fā)布系統(tǒng)之間。它們之間的關(guān)系如表1所示。

實(shí)施方案（續(xù)）第二階段啟動(dòng)實(shí)施階段（2003年4月2004年6月）

起草“學(xué)位論文元數(shù)據(jù)標(biāo)準(zhǔn)方案”，確定核心表單數(shù)據(jù)項(xiàng)；分批召開(kāi)項(xiàng)目啟動(dòng)、培訓(xùn)會(huì)議，幫助參建單位簽定“學(xué)位論文提交與發(fā)布系統(tǒng)”的購(gòu)買(mǎi)協(xié)議，落實(shí)系統(tǒng)安裝和開(kāi)通運(yùn)行；參建單位安裝運(yùn)行學(xué)位論文提交與發(fā)布系統(tǒng)，開(kāi)始本校的學(xué)位論文網(wǎng)上提交工作;項(xiàng)目實(shí)施組提出CALIS學(xué)位論文集中檢索服務(wù)平臺(tái)的功能需求，完成項(xiàng)目招標(biāo)或邀標(biāo)工作。實(shí)施進(jìn)度（續(xù)）第三階段滾動(dòng)發(fā)展階段（2004