1、大型復雜文物信息留取與虛擬修復匯 報 提 綱一、研究背景二、關鍵技術前期積累三、示范應用工程四、未來的研究重點一. 研究背景一. 研究背景“文化遺產(chǎn)不可再生，也不能永生”汶川地震：包括都江堰古建筑群在內(nèi)的大量文化遺產(chǎn)遭受重創(chuàng), 修復資金需60多億，至少需要5年時間全球基金會：00-09年挖掘的400處遺址已有142處破壞或消失第三次全國文物普查初步結果：3 萬多處在冊文物消失存在問題： 自然災害、環(huán)境變化、人為破壞加速文化遺產(chǎn)的消亡 許多文化遺產(chǎn)實物保護的速度遠遠趕不上損壞的速度 城市化發(fā)展很快，造成保護與發(fā)展的矛盾越來越尖銳一. 研究背景 文物保護是國家重大戰(zhàn)略需求功在當代、利在千秋讓歷史說

2、話、讓文物說話以古人之規(guī)矩，開自己之生面大型復雜文物的信息留取與保護修復是測繪和文物保護共同面對的科技難題精準表達困難科學修復依據(jù)缺乏體量大，結構復雜不可再生一. 項目研究背景2014年大型復雜文物特點主要難點一. 研究背景1、如何保證原始文物信息的亞毫米級高保真留??？2、如何為文物保護提供全景、多層次專業(yè)圖件？3、如何為文物修復提供量化依據(jù)？ 針對小體量文物研究較多而對大型復雜文物相關研究尚有不足8一. 研究背景體量大、結構復雜真實性留取不可再生、唯一性最小干預多學科交叉規(guī)范化表達特征信息提取的虛擬修復長距多站的精細化重構文物信息的描述與制圖亟需建立大型復雜文物信息留取及虛擬修復技術體系文物

3、保護特點文物保護要求測繪難題9主要研究內(nèi)容研發(fā)控制裝置與數(shù)據(jù)處理系統(tǒng)建立表達體系研究虛擬修復理論與方法大型復雜文物信息留取表達與描述虛擬修復高保真:體量大、結構復雜，真實性留取困難精準表達:表達方式單一，缺乏規(guī)范化表達科學修復：虛擬修復方法欠缺建立大型復雜文物信息留取與虛擬修復技術體系一. 研究背景二. 關鍵技術前期積累二. 關鍵技術前期積累二. 關鍵技術前期積累從2004年開始與故宮博物院合作研究激光雷達古建筑數(shù)字化技術，是國內(nèi)最早開始這項研究的單位。先后對故宮三大殿、慈寧宮、乾隆花園等9處100多座古建筑進行了數(shù)字化二. 關鍵技術前期積累2.1. 形成的技術體系和方法研發(fā)了一整套激光雷達古

4、建筑數(shù)字化的技術體系，現(xiàn)在全國文化遺產(chǎn)數(shù)字化都采用這一套技術體系和方法。考古測量三維激光掃描機載激光測繪無人機航拍全景相機拍攝多視點攝影測量高分辨率光譜儀掃描二. 關鍵技術前期積累2.1 形成的技術體系和方法b 高精、短程c 超高精度、超短程遺址、古城、古村落等大型文物古建、石刻、石碑等中小型文物器件、字畫等小型可移動文物a 低精、中程 三維激光掃描技術二. 關鍵技術前期積累2.1 形成的技術體系和方法 多視點攝影測量技術古建、石刻、石碑等中小型文物器件、字畫等小型可移動文物a 高精、短程b 超高精、超短程二. 關鍵技術前期積累2.1 形成的技術體系和方法 規(guī)范化數(shù)據(jù)處理流程外業(yè)數(shù)據(jù)采集點云數(shù)

5、據(jù)紋理數(shù)據(jù)點云預處理三維精細建模彩色正射影像白模正射影像圖件制作工程應用數(shù)據(jù)成果存檔外業(yè)工作二. 關鍵技術前期積累2.1 形成的技術體系和方法 規(guī)范化數(shù)據(jù)處理流程二. 關鍵技術前期積累2.1 形成的技術體系和方法（4） 首次提出文物修復保護設計方案（五圖一表）修復前虛擬修復XY方向XZ方向YZ方向施工圖線劃圖剖面圖三維顯示圖修復前后效果對比圖現(xiàn)場反饋表五圖一表二. 關鍵技術前期積累2.1 形成的技術體系和方法（5）文物鑒別分析及數(shù)字水印技術鑒別對比度操作痕跡多視角隱寫分析系統(tǒng)基本的圖像處理操作和拼接取證檢測結果可靠的圖像內(nèi)容拼接檢測大容量的數(shù)字水印系統(tǒng)二. 關鍵技術前期積累2.1 形成的技術體

6、系和方法（6）首次將高光譜技術用于文物鑒別source 匹配1 匹配2 匹配3 印章赭粉赭粉紅鋅礦紙骨膠枝黃水銨長石邊框藤黃枝黃金紅石字體方解石云白鋰云母二. 關鍵技術前期積累2.2. 承擔國家級研究項目項目名稱項目編號項目來源復雜幾何對象高精度數(shù)字化重建理論2012CB725301國家重點基礎研究發(fā)展計劃（973）傳統(tǒng)民居聚落基礎設施綜合信息管理與旅游自助服務技術研究2012BAJ14B03十二五科技支撐計劃基于地面影像測量的古建筑三維結構提取研究40771178國家自然科學基金面上項目基于QTM的海平面上升影響范圍分析與模擬41171304基于點云數(shù)據(jù)的建筑物特征挖掘技術研究4087119

7、6球面四元三角網(wǎng)的拓撲關系描述、計算和應用關鍵問題研究40701152國家自然科學基金青年基金項目地面激光雷達與設計數(shù)據(jù)正逆向結合的建筑物三維重建技術41501495類平面文物對象地面激光雷達與近景光學影像非同源異質(zhì)數(shù)據(jù)自動穩(wěn)健無縫配準41401536面向海量精細點圖像和散亂點云的多級混合空間索引機制41301429基于深度圖像的地面激光雷達數(shù)據(jù)組織與管理研究40801159創(chuàng)新點2 精細化信息留取創(chuàng)新點1 定量化虛擬修復創(chuàng)新點3 多元化數(shù)字表達透視圖特征線劃圖剖分圖等值線圖骨架線圖展開圖白膜圖正射影像圖三維模型二. 關鍵技術前期積累2.3. 主要技術創(chuàng)新創(chuàng)新點1：定量化虛擬修復解決了修復效果

8、科學控制的難題提出大型復雜文物空間特征提取算法，建立復原預測模型，實現(xiàn)修復參數(shù)定量化。開發(fā)了虛擬修復展示系統(tǒng)，并制定技術規(guī)程虛擬修復前虛擬修復后傳統(tǒng)修復方法空間特征提取復原預測模型虛擬修復效果文物空間特征劃分骨架線 專家知識修復參數(shù)量化骨架線參量化 空間特征劃分三角網(wǎng)格幾何收縮骨架線生成拓撲約束微調(diào) 提出顧及拓撲約束的三角網(wǎng)格模型骨架線提取算法創(chuàng)新點1：定量化虛擬修復解決了長度、彎曲度等文物空間特征量化的問題論 文： Hou M.L., et al. Dyna , 2015. Hou M.L., et al. Journal of Digital Information Management,

9、 2015.著作權：三維模型骨架線提取軟件V1.0, 2014SR142180. 點云類圓柱自動識別系統(tǒng)V1.0, 2015SR161311. 石質(zhì)文物病害檢測系統(tǒng)V1.0, 2014SR017992. 建立大型復雜文物缺損部位復原預測模型預測模型工程應用數(shù)據(jù)采集異常點檢測模型擬合模型檢驗實際驗證模型驗證虛擬修復前虛擬修復后定量分析修復后修復前創(chuàng)新點1：定量化虛擬修復解決了文物缺損部位形態(tài)及尺寸精確預測的問題論文： Hou M.L., et al. ISPRS International Journal of Geo-Information, 2016. Hou M.L., et al. Te

10、hnicki-Vjesnik, 2015專利： 張向前等.一種修復佛像頭部發(fā)髻的方法, ZL20110095767.3. 侯妙樂, 吳育華等.一種文物破損面積的測定方法, ZL20121 0280993.3. 黃明等.一種三維CSG-BRep模型的拓撲元素的訪問方法, CN201510196806.7. 黃明等.一種基于三維點云數(shù)據(jù)的旋轉體擬合方法及裝置, CN105469404A.信息循證效果表達 施工圖 線劃圖 五圖一表模型圖 三維模型圖 剖面圖 效果對比圖 線劃圖 施工圖剖面圖專家反饋表 對比圖線劃圖制定基于信息循證和三維模型的文物虛擬修復工作規(guī)程創(chuàng)新點1：定量化虛擬修復提高了文物修復設

11、計的科學性特征信息提取專家知識整理修復建模定型建模檢測在實質(zhì)文物保護中普遍使用創(chuàng)新點2：精細化信息留取解決了大型復雜文物點云數(shù)據(jù)整體拼接誤差偏大的難題研制精準控制定位裝置，實現(xiàn)大型復雜文物亞毫米級信息留取，并制定技術規(guī)程已有方法誤差大增加精密控制設備數(shù)據(jù)融合處理創(chuàng)新點2：精細化信息留取研制了一種基于精準控制的復合標靶基座裝置特點：制作簡易；放置無約束；不受儀器限制；解決了多種三維激光掃描儀與高精度點位測量設備關聯(lián)的問題論文： Wu Y.H., et al. 2011 侯妙樂等,文物保護與考古科學, 2014. 侯妙樂等, 系統(tǒng)仿真學報, 2009.專利： 胡云崗.一種基于高精度點位測量的三維激

12、光掃描數(shù)據(jù)坐標轉換工具及方法, 201610348310.1.靶球間空間關系創(chuàng)新點2：精細化信息留取提出了基于精準控制的三維點云數(shù)據(jù)整體拼接方法滿足了狹長區(qū)域多站點云數(shù)據(jù)整體拼接亞毫米級精度的要求專 利： 胡云崗. 一種基于高精度點位測量的三維激光掃描數(shù)據(jù)坐標轉換工具及方法, 201610348310.1. 黃明. 一種基于三維點云數(shù)據(jù)的旋轉體擬合方法及裝置，CN105469404A.著作權：建筑點云數(shù)據(jù)輔助處理軟件, 2010SR022233. 古建筑點云數(shù)據(jù)處理原型系統(tǒng), 2012SR097730. 三維激光點云數(shù)據(jù)建模軟件, 2012SR073604. 地面激光雷達數(shù)據(jù)紋理映射軟件, 2

13、011SR074741. 建立了一整套從文物三維數(shù)據(jù)獲取、處理到成果應用的工作規(guī)程規(guī)范了文物精細化信息留取的操作與流程創(chuàng)新點2：精細化信息留取試驗實施 制定方案 確定精度與密度設備比選信息采集點云及照片處理點云及照片模型成果預處理模型構建模型處理整合選取三維模型基礎圖件模型裁剪信息提取圖件繪制制圖文物三維信息留取技術規(guī)范信息采集建模處理基礎制圖創(chuàng)新點3：多元化數(shù)字表達構建了基于高精度三維模型的文物多元化數(shù)字表達體系，提出文物重要特征圖件的自動生成算法。實現(xiàn)文物信息的全景、層次化表達照片記錄手繪傳統(tǒng)表達模型多元化表達正射影像圖線劃圖等值線圖剖面圖展開圖白膜圖解決了傳統(tǒng)文物信息描述與表達方法單一和

14、抽象的問題 構建了多層次衍生關系的九類文物特征圖表達體系透視圖特征線劃圖剖分圖等值線圖骨架線圖展開圖白膜圖正射影像圖三維模型基礎模型專題表達基本描述滿足了文物空間信息多元化表達的需求論文： Hou M.L., et al, 2011. 侯妙樂等, 系統(tǒng)仿真學報, 2011. 黃明, 測繪通報, 2007. 創(chuàng)新點3：多元化數(shù)字表達 提出基于空間結構特征基準面的文物正射影像圖生成算法正面俯視側面?zhèn)让娼鉀Q了文物多基準面描述與表達的問題創(chuàng)新點3：多元化數(shù)字表達空間結構特征提取與擬合模型外包圍框水平面對稱軸輪廓線專 利：趙江洪等.一種建筑物激光掃描點云數(shù)據(jù)的聚類方法，CN104573705A. 胡春梅

15、等.一種基于中心投影的地面激光雷達反射強度圖像的生成方法, CN104007444A. 趙江洪等.一種古建筑散亂點云空間索引的方法, CN103544249A.著作權：地面激光雷達數(shù)據(jù)與序列近景影像紋理重建軟件V1.0, 2014SR148071. 三維激光點云數(shù)據(jù)精簡系統(tǒng)V1.0, 2015SR158322. 多源數(shù)據(jù)融合三維交互可視化引擎系統(tǒng)V1.0, 2015SR161293. 大足石刻大佛灣石質(zhì)文物三維數(shù)據(jù)管理信息系統(tǒng)V1.0, 2015SR143586. 古建筑數(shù)據(jù)庫管理系統(tǒng)軟件V1.0, 2015SR0697381.多基準正射影像圖生成算法創(chuàng)新點3：多元化數(shù)字表達三. 示范應用工程

16、三. 示范應用工程三. 示范應用工程示范應用工程：故宮三大殿故宮乾隆花園故宮云龍大石雕故宮慈寧宮北海公園假山疊石中國歷史博物館后母毋鼎首都博物館書畫鑒定焦莊戶地道遺址重慶大足石刻千手觀音陜西潼南大佛大同云岡石窟應縣木塔西藏白居寺呼和浩特大召寺已經(jīng)建成300余個古建筑及代表性建筑數(shù)據(jù)庫三. 示范應用工程3.1 大足石刻千手觀音三維信息留取與虛擬修復該項目是國家文物局石質(zhì)文物保護1號工程，相關成果被央視和20余家主流媒體報道。千手觀音虛擬修復2目 錄千手觀音造像三維信息留取1手印繪制及歸類4三維貼圖和展示3一、千手觀音造像三維信息留存外業(yè)數(shù)據(jù)采集共分8次，時間總計約18個月（2011年3月-8月、

17、2011年11月-12月、2012年3月-5月、2012年8月、2013年5月-6月、2013年11月，2014年4月-5月，2015年1月），利用多種先進三維激光掃描儀完成了對千手觀音造像原始及不同修復階段的三維形態(tài)及紋理的信息采集工作，總共獲取了約1TB（ 983G B）的海量數(shù)據(jù)。 整龕數(shù)據(jù)采集：運用萊卡及Faro三維激光掃描儀完成千手觀音整龕數(shù)據(jù)采集，作為整龕模型及精細數(shù)據(jù)模型構建的控制基準；手及法器數(shù)據(jù)采集：運用高精度掃描儀Cimcore和Romer逐只掃描；紋理信息采集：尼康D4，D810等對千手觀音各只手及法器進行采集。外業(yè)數(shù)據(jù)采集外業(yè)工作現(xiàn)場 FARO CIMCORE ROME

18、R一、千手觀音造像三維信息留存采集時間采集內(nèi)容備注點云紋理2011年3-8月、11-12月412GB高精度關節(jié)臂采集7200張，約155GB整龕手采集，優(yōu)先修復區(qū)域手采集，主尊、底層、脅侍采集2012年3-5月、8月21.65GB 整體Faro采集249張，約16.7GB整龕手采集2013年5-6月、11月16.5GB精細關節(jié)臂采集1019張，約31.2GB最下層和修復的30只手、夾層、象頭脅侍、2014年4-5月117.7GB精細關節(jié)臂采集977張，約70.2GB頂層修復后掃描和拍照，所有手印照片采集2015年1-3月170.6G精細關節(jié)臂采集1200張，約9G，其余正在采集中三維數(shù)據(jù)采集1

19、-2層紋理采集整龕合計727.2GB265.5GB一、千手觀音造像三維信息留存千手觀音手數(shù)據(jù)采集情況統(tǒng)計內(nèi)業(yè)數(shù)據(jù)處理一、千手觀音造像三維信息留存整龕注冊基準精細點云按5mm采樣采樣后拼接為一體拼接標準以faro掃描整龕為檢查標準3人7個工作日完成精細點云注冊拼接精細點云分區(qū)域拼接單區(qū)域與基準注冊拼接6人10個工作日完成點云數(shù)據(jù)分塊每塊36只手每塊約30005000萬點共分169塊2人10天完成分塊建模去噪、采樣、封裝、網(wǎng)格、手動補洞質(zhì)檢、提交并截圖單塊建模一人5天完成共7人130個工作日完成分區(qū)域合并精細模型簡化，單只手約10w三角面按區(qū)域多人進行模型聯(lián)合5人12個工作日完成整龕模型合并830

20、只手、四尊脅侍、主尊、底座完成整體合并數(shù)據(jù)量約1億三角形，簡化為8000萬三角面并聯(lián)合2人3個工作日完成總計830只手，至2014年全部完成建模。2011年掃描采用兩款高精度關節(jié)臂掃描儀，主要面向單只手虛擬修復需求；2012年掃描主要采用Faro進行整龕掃描，用于構建整龕拼接注冊基準；2013年完成50%手建模和殘損手（61只）虛擬修復；2014年完成全部手建模，并重新掃描上層貼金后手共計230只手并完成建模。一、千手觀音造像三維信息留存整龕模型精細建模工作流程可見光照片點云模型三維模型真三維模型可見光照片點云模型三維模型真三維模型9-7-S48-6-S4一、千手觀音造像三維信息留存按照設計的

21、文件目錄結構存儲千手觀音多源海量數(shù)據(jù)一、千手觀音造像三維信息留存一、千手觀音造像三維信息留存基于文件目錄結構設計開發(fā)了文件數(shù)據(jù)庫管理查詢系統(tǒng)千手觀音整龕精細點云模型（約4500萬點）一、千手觀音造像三維信息留存一、千手觀音造像三維信息留存千手觀音整龕精細三維模型頂層原始三維模型（2011年3-8月掃描）頂層揭金箔后三維模型（2014年5月掃描）一、千手觀音造像三維信息留存一、千手觀音造像三維信息留存2012年9月千手觀音上層正射圖補型后、髹漆、貼金前2013年10月千手觀音上層正射圖補型后、髹漆、貼金三種狀態(tài)對比2014年5月千手觀音上層正射圖貼金后，彩繪前一、千手觀音造像三維信息留存2011

22、年5月2014年4月象頭脅侍一、千手觀音造像三維信息留存主尊腹內(nèi)石碑2014年5月發(fā)掘千手觀音主尊腹內(nèi)石碑，完成信息留存?？v剖圖在整龕三維模型基礎上，截取主尊及各肋侍縱剖線。一、千手觀音造像三維信息留存一、千手觀音造像三維信息留存千手觀音軟弱夾層正射圖一、千手觀音造像三維信息留存主尊精確量算圖千手觀音虛擬修復2目 錄千手觀音造像三維信息留取1手印繪制及歸類4三維貼圖和展示3 文物虛擬修復意義（1）避免在文物本體上進行直接的修復實驗（2）為現(xiàn)場提供多種修復方案的虛擬效果及整體評估（3）為現(xiàn)場提供實施修復的各種圖件及尺寸量算二、千手觀音虛擬修復二、千手觀音虛擬修復千手觀音造像區(qū)空間特點千手觀音造像

23、區(qū)空間幾何關系二、千手觀音虛擬修復千手觀音手印走勢規(guī)律分區(qū)二、千手觀音虛擬修復千手觀音造像對稱手對應關系虛擬修復的技術思路二、千手觀音虛擬修復整體概況9-7-S3形態(tài)虛擬修復-殘損現(xiàn)狀介紹二、千手觀音虛擬修復9-7-S3殘損三維形態(tài)描述9-7-S3形態(tài)虛擬修復-殘損現(xiàn)狀介紹二、千手觀音虛擬修復9-7-S3殘損描述類別近節(jié)中節(jié)遠節(jié)朝向大拇指近節(jié)殘存1/2完全缺失完全缺失與水平面夾角約30食指近節(jié)保存基本完整中節(jié)殘存約2/3完全缺失與水平面夾角約30中指近節(jié)保存基本完整完全缺失完全缺失與水平面夾角約30無名指近節(jié)保存基本完整完全缺失完全缺失與水平面夾角約30小拇指基本完整基本完整基本完整與水平面夾

24、角約30，指尖略向外彎曲法器手握法器中間部分缺失，法器上部、下部保存較完整9-7-S3手指情況9-7-S3形態(tài)虛擬修復-殘損現(xiàn)狀介紹二、千手觀音虛擬修復2、對稱相似手確定流程二、千手觀音虛擬修復 9-7-S3的對稱相似手為9-5-S7，大拇指、中指、無名指呈向內(nèi)彎曲，環(huán)握法器，食指豎直向上，依附法器邊緣，小拇指呈直立狀態(tài)，指尖略向內(nèi)彎曲。從可見光照片、三維模型數(shù)據(jù)可看出，9-5-S7及手握法器現(xiàn)存完整性較好，五個手指沒有明顯缺失，存在少量金箔起翹。 3、對稱相似手完整性描述二、千手觀音虛擬修復4、根據(jù)對稱相似手指尺寸預測殘損手指長度尺寸 9-7-S3現(xiàn)存指長手指寬度近節(jié)中節(jié)遠節(jié)大拇指（缺失）6

25、671 食指（缺失）106中指（缺失）38無名指（缺失）9752小拇指1524941389-5-S7現(xiàn)存指長手指寬度近節(jié)中節(jié)遠節(jié)大拇指138695036食指1805248中指1424740無名指165494438小拇指158484136二、千手觀音虛擬修復回歸模型殘差基本符合正態(tài)分布Y=0.828x+54.819 7.2mm5、根據(jù)統(tǒng)計完好手指尺寸，構建手指長度回歸模型二、千手觀音虛擬修復類別食指（預測）中指（預測）無名指（預測）小拇指（完好）一元回歸長度173204181152修復依據(jù)推算長度180192165152差值（回歸-推算）+7-12-13/綜合：自身完好手指長度，對稱相似手指長度

26、，一元回歸模型計算長度等因素，確定 9-7-S3 殘損手指的長度。見下表（mm）二、千手觀音虛擬修復6、相似手篩查千手觀音整龕共有830只手，除了對稱相似性手之外，其中還存在不對稱，但手形態(tài)之間特別相似的手，稱為相似手。篩查出這些相似手，對殘損手的修復有一定的參考價值。8-5-S7三維模型9-7-S1三維模型二、千手觀音虛擬修復對稱相似手法器確認共同特征：金剛杵上端粗，下端尖，末端帶底座。金剛杵手印特征分析手印確認7、虛擬修復依據(jù)綜合循證二、千手觀音虛擬修復類別9-7-S3待修復手9-5-S7對稱相似手待修復手形態(tài)確認大拇指大拇指殘缺嚴重，近節(jié)殘存1/2，遠節(jié)完全缺失大拇指近節(jié)彎曲，指尖內(nèi)側靠

27、近法器大拇指呈彎曲狀、指尖內(nèi)側緊靠法器食指遠節(jié)完全缺損，中節(jié)大約缺損1/3，近節(jié)保存較完整食指豎直向上食指呈豎直向上狀中指遠節(jié)、中節(jié)完全缺失，近節(jié)保存基本完整向內(nèi)彎曲，環(huán)握法器，依附法器邊緣略向內(nèi)彎曲，指尖內(nèi)側靠近法器無名指遠節(jié)、中節(jié)完全缺失，近節(jié)保存基本完整向內(nèi)彎曲，環(huán)握法器，依附法器邊緣依中指方向，略向內(nèi)彎曲，指尖右側靠近法器小拇指基本完整、指尖略向外彎曲呈直立狀，指尖略向內(nèi)彎曲呈直立狀、指尖略向外彎曲法器手握法器中間部分缺失，法器上部、下部保存較完整法器保存完整法器形態(tài)與對稱相似手保持一致8、虛擬修復綜合循證結論9-7-S3形態(tài)確認初步補形效果圖二、千手觀音虛擬修復9、實施修復及其效果二、千手觀音虛擬修復10、為現(xiàn)場提供五圖一表二、千手觀音虛擬修復補形施工圖修復前虛擬修復XY方向XZ方向YZ方向三維展示圖線劃圖剖面圖二、千手觀音虛擬修復五圖一表修復前虛擬修復三維模型效果對比圖二、千手觀音虛擬修復 現(xiàn)場修復反饋表 二、千手觀音虛擬修復二、千手觀音虛擬修復主尊四種虛擬修復效果二、千手觀音虛擬修復花冠及面部虛擬修復虛擬修復前虛擬修復后二、千手觀音虛擬修復主尊視線與豎直方向的角度圖在主尊正射影像圖基礎上，進行角度分析，以確定跪拜最佳位置