第5章跨媒介信息檢索數字素養(yǎng)與技能導論科技改變未來尋圖5.25.1識曲5.3找視頻5.1.1?巧搜相似圖當前的圖像檢索技術主要基于兩種方法：基于文本的圖像檢索始于20世紀70年代，它的核心思路是，使用手動或自動標注的方式添加主題、內容、來源、作者等描述字段，用戶根據自身需求輸入關鍵詞查詢，系統(tǒng)進行關鍵詞匹配并將標注有關鍵詞的圖像返回給用戶。基于文本的圖像檢索（Text-basedImageRetrieval，TBIR）01基于文本的圖像檢索存在的缺陷十分顯著。例如，文字和圖像包含的信息量差距極大，不同人對同一圖像的理解存在差異，字段標注所需的人力、時間、經濟成本極高等?；趦热莸膱D像檢索（Content-basedImageRetrieval，CBIR）025.1.1?巧搜相似圖1992年，加藤俊和提出了“基于內容的圖像檢索”的概念，它使用圖像的顏色、形狀等信息作為特征構建索引以實現(xiàn)圖像檢索，即我們通常所說的“以圖搜圖”。區(qū)別于TBIR對圖像進行字段標注的做法，CBIR自動提取每幅圖像的視覺內容特征作為其索引。第二，開展特征匹配，將用戶的檢索提問與特征索引庫中的索引進行匹配計算，返回檢索結果。第一，分析圖像內容，提取其中的顏色、形狀、紋理，以及對象空間關系等信息，建立圖像的特征索引庫；5.1.1?巧搜相似圖01首個基于內容的商業(yè)化圖像檢索系統(tǒng)：QBIC按圖片內容查詢（QueryByImageContent，QBIC）

是IBM愛曼登研究中心（AlmadenResearchCenter）20世紀90年代開發(fā)的第一個基于內容的商業(yè)化圖像檢索系統(tǒng)，主要為IBM的DB2大型數據庫提供圖像檢索功能，并支持基于Web的圖像檢索服務。它提供了對靜止圖像及視頻信息基于內容的檢索手段，是標準的基于內容特征檢索圖像的工具。03局部圖像搜索：PinterestLensPinterest是以DIY、工藝、美容和食譜創(chuàng)意等為核心的圖片社交平臺。2017年，Pinterest開創(chuàng)性地推出了局部圖像搜索功能Lens。Lens則利用數十億個物體的語料庫，結合實時物體檢測器，得以在更細粒度的層面理解圖像，允許用戶精確定位和單獨檢索圖像中的某些部分，如餐桌上的某樣食物、模特身上的某件衣服或配飾等，并提供相應商品的購買鏈接。如圖所示。02使用廣泛的反向圖像搜索引擎：TinEyeTinEye是加拿大Idée公司于2008年開發(fā)的一款反向圖像搜索引擎，已被數百萬用戶使用，提供了數億次圖像搜索服務。TinEye較早在網絡上采用圖像識別技術，通過提取圖像的特征進行檢索，而非基于圖像的關鍵詞、元數據或水印特征。TinEye具備圖像內容識別、欺詐檢測、標簽匹配、圖像跟蹤、顏色搜索等系列功能，用戶只需提交一張圖片，就可以了解圖片的來源、在哪些地方被使用、有沒有更改過的或清晰度更高的版本。04人臉識別搜索引擎：FaceCheck.IDFaceCheck.ID是利用人臉識別AI技術的反向圖像搜索引擎，可以在不同的照明條件下從不同角度識別和匹配具有各種表情，甚至是被胡須、太陽鏡、帽子等遮擋的面孔。2024年，F(xiàn)aceCheck.ID付費專家在內部競爭分析測試中評估了檢索有效性，發(fā)現(xiàn)系統(tǒng)在低分辨率與低質量照片尋人、戴面具尋人、使用年輕照片尋找老人等方面表現(xiàn)優(yōu)異。5.1.1?巧搜相似圖5.1.2?遍尋高質圖要評價一張圖像的質量是好是壞，有很多種標準，以至于在國際標準化領域十分重要的國際標準化組織（InternationalOrganizationforStandardization，ISO）專門設立了ISOTC42WG18工作小組，負責制定、發(fā)布與數字靜態(tài)攝影相關的標準，包括ISO12233、ISO12232、ISO15739、ISO17850、ISO17957、ISO18844、ISO19084、ISO19567等，就分辨率、空間頻率、ISO感光度、曝光指數、噪聲、色調曲線、幾何變形、均勻性、雜散光、色移、紋理再現(xiàn)等諸多圖像質量評價維度設置了全面、客觀的標準。在我國，2018年發(fā)布、2019年實施的北京地方標準《圖像信息管理系統(tǒng)技術規(guī)范

第5部分：圖像質量要求與評價方法》提出的數字圖像質量主觀評價指標包括馬賽克效應、邊緣處理、顏色平滑度、畫面還原清晰度、快速運動圖像處理、復雜運動圖像處理、低照度環(huán)境圖像處理、畫面連續(xù)性等。然而，缺乏專業(yè)知識的普通民眾難以綜合使用復雜的評價標準查找和篩選圖像。5.1.2?遍尋高質圖圖像是由一個一個“像素”（pixel）組成的，我們把圖像放大到一定的程度，此時看到的一個個小方塊就是像素。像素越多，圖像就越清晰；像素越少，顯示的圖像就越模糊?！胺直媛省保╮esolution），指的是在圖像長和寬兩個方向上擁有的像素個數，單位通常是像素/英寸，分辨率越高，圖像包含的像素越多?！案咔濉保℉ighDefinition，HD）一般指的是圖像分辨率為1280×720，再往上，還有1080P（1920×1080）、2K（2048×1080）、4K（3840×2160）、8K（7680×4320）等常見的清晰度。高清圖像的特點是細節(jié)豐富、清晰度高，適合大屏幕顯示和高質量打印。高清圖像庫：Unsplash01Gallerix繪畫藝術圖庫從2009年開始運營，是全球最大的虛擬繪畫博物館之一，包含經典繪畫和當代藝術家作品，多以西方油畫為主。網站提供免費高清圖片下載，且無須注冊登錄。集成大師名作：Gallerix繪畫藝術圖庫025.1.2?遍尋高質圖Openverse是一個允許用戶發(fā)現(xiàn)和使用開放許可與公共領域圖像作品的搜索工具。它將跨多個公共存儲庫的結果聚合到一個目錄中，并通過機器生成標記和一鍵歸因等功能促進重用，數據來源包括圖片分享網站Flickr、美國的研究與教育機構史密森尼學會、圖像及媒體文件儲存庫“維基共享資源”（WikimediaCommons）、歐洲數字圖書館（Europeana）等。Openverse的特色在于極為重視圖像許可，允許根據多種知識共享許可證類型篩選檢索結果，幫助用戶避免版權問題，如圖所示。這些許可證有7類：開放許可圖像專門搜索引擎：Openverse03CC0CCBYCCBY-SACCBY-NCCCBY-NC-SACCBY-NDCCBY-NC-ND5.1.3?深挖特色圖高質量歷史圖像：紐約公共圖書館數字館藏圖書館、博物館、文化館等公共文化機構在歷史文化資源的長期保存方面做出了巨大的努力。我國故宮博物院“數字文物庫”、歐盟主持的數字文化遺產平臺“歐洲數字圖書館”等都保存了海量的歷史影像資料。以紐約公共圖書館（NewYorkPublicLibrary，NYPL）為例，該圖書館建立于1895年，館藏大量古老的文獻。神奇生物在哪里：中國生物志庫中國生物志庫是我國首個權威發(fā)布且具有完整知識產權的中國生物物種全信息數據庫，由科學出版社搭建。該數據庫現(xiàn)已收錄我國近10萬種現(xiàn)生生物物種信息，包括所有的植物類群、動物類群、藻類、菌物及海洋生物。數據庫提供了生物物種的權威名稱、分類地位、形態(tài)特征、分布、功用、理論知識等生物學信息，大部分物種配有彩色照片或者手繪線描圖。數據庫中每一條物種信息、每一張圖片、每一個理論知識均經過學術專家的科研論證與權威鑒定，并已在正式出版物中發(fā)布。01025.1.3?深挖特色圖“二次元”圖像專門搜索引擎：SauceNAOSauceNAO是知名的圖片逆向搜索引擎，網站名稱源于俚語“現(xiàn)在就需要知道這個的來源！”（NeedtoknowthesourceofthisNow!），其主要搜索功能于2008年10月首次公開，目前能夠提供超過10億張來自網絡服務、動漫、電影、電視節(jié)目和各種其他來源的圖片。SauceNAO的特色在于動畫、漫畫、插畫作品、二次元圖片等資源的識圖效果十分突出，擁有pixiv、Yande.re、Anime、MangaDex、Twitter等38個數據源。用戶上傳圖片即可獲得圖片來源和作者主頁的鏈接。035.1.4?巧解圖中意人工智能識圖是一種基于深度學習、計算機視覺和自然語言處理等技術的高效圖像識別和分析方法。人工智能識圖能夠實現(xiàn)對圖像的自動分類、識別、分割和信息提取，將圖像轉化為文本——這無疑大大降低了普通人獲取、分析、評價、鑒賞圖像的專業(yè)門檻。目前，以識圖為特色功能的AI工具蓬勃發(fā)展，多以API的形式推出，而且更多地面向付費的企業(yè)用戶。例如，百度AI開放平臺的“圖像識別”服務能夠精準識別超過十萬種物體和場景，包含10余項高精度的識圖能力，推薦的應用場景包括內容及廣告推薦、圖片內容檢索、拍照識圖、相冊分類、手機游戲等。面向普通公眾的AI識圖工具雖涌現(xiàn)，但市場遠未成熟，極具代表性的工具不多。例如，“圖像描述者”（ImageDescriber）、計算機視覺AI（ComputerVisionAI）等工具均提供圖像內容識別及文本描述功能。尋圖5.2識曲5.3找視頻5.15.2.1?聽音秒識曲音頻信息的檢索可通過同音比較、聽覺或知覺特征的提取、個人語言的主觀特征描述和擬聲法這4種方式來實現(xiàn)。基于內容的音頻檢索主要選取音頻的響度、音調、音強、帶寬、音長和音色等特征予以量化，利用分析技術將大量的聲音數據減少為一小組變量，將音頻信息的N個特征表示為N維向量，并將聽覺屬性對應到不同的向量空間，而后再計算并存儲每個屬性在不同向量空間中的均值、方差、自相關度和音長，完成對音頻信息的識別、分類和檢索。5.2.1?聽音秒識曲音樂識別移動應用程序SoundHound（前身為Midomi）是語音AI和語音識別公司SoundHoundAI旗下的產品之一，其識別率高、識別速度很快，特別是在古典樂識別方面的效果十分突出。以古典樂識別為特色的音樂識別軟件：SoundHound01Shazam是全球備受贊譽和推崇的音樂識別軟件，在全世界擁有數億用戶。Shazam公司成立于1999年，并于2002年推出了第一個音樂識別服務，用戶撥打服務熱線，并將手機放在揚聲器上30秒，就能很快收到一條帶有歌曲名稱和藝術家信息的短信。2017年，Shazam被蘋果公司收購。Shazam的顯著特點是適用范圍廣：從識別內容上看，Shazam不僅能夠識別音樂，還能識別電影、廣告和電視節(jié)目；從服務渠道上看，用戶能夠通過智能手機應用、智能手表應用，以及瀏覽器擴展程序等渠道獲取服務。適用范圍極廣的音樂識別軟件：Shazam025.2.1?聽音秒識曲AHAMusic是一款可以識別當前瀏覽器正在播放的歌曲的插件，適用于Chrome、Edge等瀏覽器。AHAMusic采用了世界領先的內容自動識別技術云服務平臺ACRCloud作為曲庫提供方，能夠為用戶提供歌曲標題、藝術家、專輯等信息，以及相應的Spotify、YouTube等流媒體服務鏈接。值得一提的是，曲庫提供方ACRCloud維護并更新包含全球6800萬首音樂的指紋特征庫，這使AHAMusic能夠識別的曲目基本覆蓋了所有時下流行歌曲。覆蓋流行歌曲：AHAMusic035.2.2?暢享好音樂01翔實專業(yè)的音樂數據庫AllMusicAllMusic是目前仍活躍著的、十分古老的音樂元數據數據庫，項目于1991年啟動，甚至早于1994年中國全功能接入國際互聯(lián)網的時間，現(xiàn)已編目超過300萬張專輯和3000萬首曲目，以及包含音樂家和樂隊的信息。AllMusic的一大特色在于專業(yè)團隊和高質量內容。AllMusic雇傭大量專業(yè)作者、樂評人鑒賞音樂作品，并撰寫介紹與評論文案，普通用戶無法直接添加條目。AllMusic通過建立專業(yè)編輯團隊，設立嚴謹的數據治理流程，有效降低了內容錯漏的概率、保障了內容質量與平臺專業(yè)性。02音樂信息開源百科全書MusicBrainzMusicBrainz是一個由社區(qū)維護的音樂信息開源百科全書，受到全球音樂愛好者的關注。作為“百科全書式”的數據庫，MusicBrainz海納百川，不歧視或偏愛任何一種類型的音樂，平臺收集的音樂品類極為豐富。數據庫建立在PostgreSQL關系數據庫引擎之上，包含藝術家、作曲家、發(fā)行作品等完善的音樂元數據，其中，核心元數據有地區(qū)、藝術家、事件、流派、樂器、標簽、介質、地點、錄音、發(fā)布、系列、作品、關系和網址、CD存根。值得注意的是，MusicBrainz僅存儲音樂信息，而并不存儲或支持訪問音樂記錄，對用戶而言更多地起到導覽和科普作用。5.2.2?暢享好音樂03以社群交流為亮點的音樂數據庫RateYourMusic早在2000年，以社群交流為亮點的音樂數據庫“為你的音樂評分”（RateYourMusic，RYM）就已經建立。RYM允許用戶將專輯、EP（ExtendedPlay，迷你專輯）、單曲、混音帶、DJ（DiscJockey）混音等多種類型的音樂版本添加到數據庫，進行從半星到五星的等級評分，發(fā)表文字評論，創(chuàng)建主題歌單。截至2024年，RYM已有上億次用戶打分、300余萬用戶評價、76萬份用戶推薦清單，在幫助音樂愛好者尋找“同好”、發(fā)現(xiàn)音樂、分享心得方面極具價值，特別是在挖掘冷門或新人藝術家與專輯方面效果顯著，有樂隊曾坦言“我們在RYM上的受歡迎程度100%有助于職業(yè)發(fā)展”。5.2.3?“小眾”音頻全網羅“庫客數字音樂圖書館”是國內首家專注于非流行音樂發(fā)展的數字音樂圖書館，收錄唱片、視頻、劇院有聲讀物、樂譜等合集。該音樂圖書館于2007年11月正式上線發(fā)布，面向國內800余家院校、公共圖書館等機構用戶。其特色在于包含了眾多全球古典音樂，以及獨具特色的民族風情音樂。國內首家聚焦非流行音樂的“庫客數字音樂圖書館”01Discogs是一個專門收集黑膠唱片，并在數據庫基礎上發(fā)展黑膠唱片新品與藏品售賣活動的資源眾包數據庫。自2000年以來，有超過90萬名用戶參與社區(qū)活動，超過1600萬張專輯、800萬位藝術家被編目。專注黑膠唱片的數據庫Discogs02“國

際

樂

譜

典

藏

計

劃”（InternationalMusicScoreLibraryProject/PetrucciMusicLibrary）多被簡稱為IMSLP，或被稱為“佩特魯奇音樂圖書館”，于2006年啟動，旨在保存公共領域舊的音樂版本掃描件，同時兼顧保存當代作曲成果。每個音樂作品都可以對應多個歷史版本，并附有音調、創(chuàng)作年份、首次演出年份、樂曲組成部分及樂器等基本信息。國際樂譜IMSLP035.2.4?特殊音效輕松尋FindSounds是專門搜索聲音文件的免費搜索引擎，可以按照關鍵詞搜索波形音效文件，而且可以指定搜索的文件類型、通道數、采樣率、量化精度、文件容量。平臺提供多種音效和場合的聲音，包羅萬象、應有盡有。例如，動物的叫聲，大自然的聲音，節(jié)日、辦公室、運動會、集市等場景中的聲音。用戶可以在搜索結果界面直接看到波形、文件名、采樣率、量化精度、長度、文件容量等信息并預聽聲音文件。iBeat是一個免費音效素材數據庫，數據內容包括音樂片段、節(jié)拍、間奏、循環(huán)和片段等，用戶可以免注冊、免費獲取素材。需要注意的是，不同音效素材的知識共享許可限制不同，在重復使用時需采取注明來源、僅在非商業(yè)用途使用等不同的措施。（1）特殊音效檢索：FindSounds（2）開放獲取的制作音樂庫：iBeat尋圖5.25.3識曲5.1找視頻5.3.1?不知片名也可搜基于內容的視頻信息檢索通過對非結構化的視頻數據進行結構化分析和處理，采用視頻分割技術，將連續(xù)的視頻流劃分為具有特定語義的視頻片段作為檢索的基本單元。在此基礎上進行代表幀和動態(tài)特征的提取，形成描述片段的特征索引，而后依據片段組織和特征索引，采用視頻聚類等方法研究鏡頭之間的關系，把內容相近的鏡頭組合起來，逐步縮小檢索范圍，直至查詢到所需的視頻數據?；趦热莸囊曨l信息檢索通常有基于屬性和基于對象兩種方法，可以通過顏色、紋理、形狀、空間聯(lián)系、原始語義、顯示、客觀屬性、主觀屬性、動作、文本和領域等概念來表示視頻信息。檢索過程分為數據庫建立和視頻檢索兩個階段，前一階段的任務主要是偵測視頻片段邊界、選擇關鍵屬性和提取諸如顏色、紋理、形狀等低級別的空間特征，后一階段則致力于通過顏色、形狀或顏色與其他類目的組合來進行用戶需求向量與已有資源向量的相似度匹配。5.3.1?不知片名也可搜Shutterstock是全球領先的創(chuàng)意平臺，為客戶提供高質量的授權照片、矢量圖、插圖、視頻、3D模型和音樂。2016年，平臺推出反向圖像搜索功能2019年，平臺在此技術基礎上分析視頻片段，又推出視頻的反向搜索功能。用戶可以通過Shutterstock檢索高達4500多萬部免版稅視頻，清晰度可達4K、HD和SD（StandardDefinition，標清）。01追求“視覺一致性”的反向視頻搜索引擎：Shutterstock有很多動漫截圖或GIF圖在互聯(lián)網上傳播，但其中一些沒有引用來源，在遇到感興趣的動漫截圖時，難以順藤摸瓜尋找原視頻。WAIT是一個免費的動漫場景搜索引擎，通過比較圖像的顏色和圖案，在約30000小時的動漫視頻中搜索并找到最佳匹配場景，幫助用戶通過屏幕截圖索引以TV/Web/DVD/Bluray等形式正式發(fā)布的動漫，并提供動漫名稱及其簡介、場景出現(xiàn)的劇集和確切時間、幾秒鐘的原始劇情預覽等信息。02動漫截圖專門搜索引擎：WAIT（WhatAnimeIsThis?）5.3.2?電影大片一站搜“互聯(lián)網電影數據庫”（InternetMovieDatabase）是于1990年推出的電影評論網站，它還有一個更被人熟知的名字——IMDb。IMDb十分龐大、全面，涵蓋了各個時期的海量影視作品信息。IMDb以其優(yōu)秀、獨特的觀眾評分機制著稱。評分旨在代表普通用戶的觀點，不受專業(yè)評論家等其他外部因素干擾。評分公式為：WeightedRank（WR）=[v÷（v+m）]×R+[m÷（v+m）]×C其中各項含義如下：（1）以獨特用戶評分系統(tǒng)著稱的世界級影視評論網站IMDbR——電影平均分；v——電影票數；m——進入IMDb前250電影榜單所需要的最低票數；C——整個排名的平均票數。5.3.2?電影大片一站搜“爛番茄”（RottenTomatoes）是加州大學伯克利分校的3名亞裔美國學生于1998年建立的網站，初衷是收集成龍電影的舊評論，現(xiàn)在已成為全球知名的電影與電視節(jié)目評論網站。網站匯聚不同平臺的專業(yè)評論家的意見，進行綜合評估后得到“Tomatometer分數”，即對給定電影或電視節(jié)目持積極態(tài)度的評論家百分比。（2）聚合全網專家評價的影視評價網站“爛番茄”當影視作品至少有60%的評論是正面的，則顯示“新鮮”紅色番茄；當影視作品少于60%的評論是正面的，則顯示“腐爛”的綠色飛濺圖標；當影視作品至少有60%的評論是正面的，則顯示“新鮮”紅色番茄；當影視作品至少有60%的評論是正面的，則顯示“新鮮”紅色番茄；5.3.2?電影大片一站搜只

有

影

視

評

價

質

量

高、

經