音樂(lè)推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)摘要現(xiàn)代社會(huì)中數(shù)據(jù)資源無(wú)時(shí)無(wú)刻不在產(chǎn)出且規(guī)模龐大。僅在音樂(lè)方面，海量的資源給了普通用戶(hù)海量的選擇，也就使得用戶(hù)獲取到自己想要的信息所需付出的精力大大提升。音樂(lè)推薦技術(shù)旨在根據(jù)音樂(lè)的內(nèi)容特征和用戶(hù)的收聽(tīng)行為，提供符合用戶(hù)興趣愛(ài)好的歌曲，為用戶(hù)提供音樂(lè)方面更良好的體驗(yàn)。同時(shí)在提供服務(wù)的公司層面上，推薦系統(tǒng)可以有效提升用戶(hù)粘性，從而獲得更大利益。本文將介紹此次項(xiàng)目涉及到的一些相關(guān)技術(shù)與算法，對(duì)系統(tǒng)進(jìn)行詳細(xì)分析，最后展示結(jié)果并分析不足之處。設(shè)計(jì)主要完成從相關(guān)網(wǎng)站爬取數(shù)據(jù)，經(jīng)清洗后保存到數(shù)據(jù)庫(kù)后，采用基于用戶(hù)的協(xié)同過(guò)濾算法找到與當(dāng)前用戶(hù)愛(ài)好相似的臨近用戶(hù)再將推薦臨近用戶(hù)的喜好音樂(lè)作為結(jié)果渲染到頁(yè)面中。項(xiàng)目使用ssm框架，功能主要是用戶(hù)管理、音樂(lè)推薦、音樂(lè)搜索等功能。關(guān)鍵詞：音樂(lè)；協(xié)同過(guò)濾；推薦系統(tǒng)；目錄摘要 IAbstract II目錄 III第一章. 引言 11.1研究背景與意義 11.2音樂(lè)推薦的起源與發(fā)展 11.3大數(shù)據(jù)發(fā)展 21.4本文結(jié)構(gòu)安排 3第二章. 相關(guān)技術(shù)與算法 42.1大數(shù)據(jù)分析流程 42.1.1數(shù)據(jù)收集 42.1.2數(shù)據(jù)預(yù)處理 42.1.3數(shù)據(jù)分析 42.1.4數(shù)據(jù)可視化與應(yīng)用環(huán)節(jié) 42.2推薦算法 52.2.1基于內(nèi)容的推薦算法 52.2.2基于協(xié)同過(guò)濾的推薦算法 52.2.3基于網(wǎng)絡(luò)結(jié)構(gòu)的推薦算法 72.2.4混合推薦算法 82.3開(kāi)發(fā)環(huán)境與編程語(yǔ)言 9第三章. 系統(tǒng)設(shè)計(jì)與分析 103.1系統(tǒng)架構(gòu) 103.2功能模塊 113.2.1用戶(hù)賬戶(hù)功能 113.2.2搜索功能 123.2.3推薦功能 123.2.4管理功能 13第四章. 功能實(shí)現(xiàn)與界面展示 144.1數(shù)據(jù)采集 144.2推薦功能實(shí)現(xiàn) 154.3界面展示 16第五章. 總結(jié)與展望 215.1開(kāi)發(fā)過(guò)程遇到的問(wèn)題和總結(jié) 215.1.1相似度計(jì)算 215.1.2資源無(wú)法找到 225.2下一步研究計(jì)劃 22結(jié)束語(yǔ) 23參考文獻(xiàn) 24引言在當(dāng)今世界，音樂(lè)無(wú)處不在，近年來(lái)，網(wǎng)絡(luò)音樂(lè)越來(lái)越流行。隨著音樂(lè)與信息技術(shù)的飛速發(fā)展，出現(xiàn)了各種音樂(lè)服務(wù)軟件。隨著網(wǎng)絡(luò)的發(fā)展和生活節(jié)奏的加快，人們可以隨時(shí)接收和收聽(tīng)自己感興趣或喜愛(ài)的音樂(lè)。龐大的數(shù)據(jù)資源造成資源過(guò)載，由此誕生出推薦系統(tǒng)。系統(tǒng)的主要功能是向用戶(hù)推薦與用戶(hù)喜好相似的音樂(lè)，功能包括用戶(hù)管理、音樂(lè)推薦、音樂(lè)搜索。研究背景與意義據(jù)《第47次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》可知，截至2020年12月，我國(guó)網(wǎng)民規(guī)模達(dá)到9.89億。網(wǎng)民人數(shù)較2020年3月增加8540萬(wàn)，互聯(lián)網(wǎng)普及率達(dá)到70.4%，較2020年3月提高5.9個(gè)百分點(diǎn)。這無(wú)疑是證明現(xiàn)代社會(huì)早已進(jìn)入高度信息化時(shí)代，網(wǎng)民數(shù)量的日益增長(zhǎng)，隨之產(chǎn)生的便是龐大的網(wǎng)絡(luò)數(shù)據(jù)。用戶(hù)對(duì)于所需信息的獲取需要付出巨大的時(shí)間與精力成本，導(dǎo)致“信息過(guò)載”問(wèn)題的出現(xiàn)，也致使信息的利用率大大降低[1]。信息過(guò)載是信息時(shí)代信息過(guò)于豐富的負(fù)面影響之一，指的是社會(huì)信息超過(guò)了個(gè)人或系統(tǒng)所能接受、處理或有效利用的范圍，并導(dǎo)致故障的狀況[2]。僅在音樂(lè)方面，海量的資源給了普通用戶(hù)海量的選擇，在巨大的信息量面前，挑選出確切的符合自己心意的信息也就給用戶(hù)帶來(lái)一定的難度，使得用戶(hù)獲取到自己想要的信息所需付出的精力大大提升。在此背景下，各種個(gè)性化推薦系統(tǒng)應(yīng)運(yùn)而生，個(gè)性化推薦系統(tǒng)充分利用用戶(hù)過(guò)去的行為和興趣特征來(lái)推薦用戶(hù)可能感興趣的信息。推薦的系統(tǒng)設(shè)計(jì)目標(biāo)是：當(dāng)用戶(hù)遇到缺乏相關(guān)領(lǐng)域經(jīng)驗(yàn)或無(wú)法處理大量數(shù)據(jù)的情況時(shí)為用戶(hù)提供一種高效智能信息過(guò)濾技術(shù)。各式各樣的基于不同算法滿(mǎn)足各種相關(guān)需求的推薦系統(tǒng)就在這種背景下誕生。當(dāng)推薦系統(tǒng)應(yīng)用于音樂(lè)領(lǐng)域時(shí)也成為了音樂(lè)推薦系統(tǒng)?，F(xiàn)今的數(shù)字化音樂(lè)讓每個(gè)人只需要一臺(tái)設(shè)備就可以獲取與享受，但海量的音樂(lè)反而成了桎梏，讓用戶(hù)無(wú)法從中選擇。音樂(lè)推薦技術(shù)是根據(jù)音樂(lè)的內(nèi)容特征和用戶(hù)的收聽(tīng)行為，為用戶(hù)提供適合其興趣愛(ài)好的歌曲，讓用戶(hù)有更良好的體驗(yàn)。網(wǎng)易云音樂(lè)發(fā)布的音樂(lè)大數(shù)據(jù)報(bào)告[3]，通過(guò)對(duì)2億用戶(hù)的音樂(lè)選擇行為和2萬(wàn)名音樂(lè)家在該平臺(tái)上的活躍行為的分析，可以看出當(dāng)前的音樂(lè)市場(chǎng)和用戶(hù)對(duì)音樂(lè)的選擇行為正在發(fā)生遷移，用戶(hù)對(duì)推薦系統(tǒng)的依賴(lài)性也在逐漸增強(qiáng)。在提供服務(wù)的公司層面上，推薦系統(tǒng)可以有效增強(qiáng)用戶(hù)對(duì)品牌或產(chǎn)品的忠誠(chéng)度、信任度和積極體驗(yàn)的組合所形成的依賴(lài)和再消費(fèi)期望，從而獲得更大利益。音樂(lè)推薦的起源與發(fā)展歷史上第一個(gè)音樂(lè)推薦系統(tǒng)Ringo[4]于1995年被開(kāi)發(fā)。系統(tǒng)根據(jù)用戶(hù)預(yù)先給出的評(píng)分計(jì)算用戶(hù)之間的相似度，將用戶(hù)分組，同一組用戶(hù)相互推薦音樂(lè)，并預(yù)測(cè)用戶(hù)對(duì)某些音樂(lè)的評(píng)分。長(zhǎng)期以來(lái)，音樂(lè)推薦都是根據(jù)作曲家、歌手、歌曲風(fēng)格等基本音樂(lè)信息生成的，推薦結(jié)果都是一樣的，機(jī)械上很?chē)?yán)格，沒(méi)有變化，缺乏相關(guān)性。目前國(guó)內(nèi)外音樂(lè)推薦都在發(fā)展，各個(gè)音樂(lè)服務(wù)網(wǎng)站的推薦模式大同小異，用戶(hù)根據(jù)自己的興趣、訪問(wèn)者行為、收藏等，推薦適合自己興趣的音樂(lè)。Pandora和last.fm是國(guó)外知名的音樂(lè)平臺(tái)，也是音樂(lè)推薦創(chuàng)始人的代表，Pandora獨(dú)特的音樂(lè)基因組計(jì)劃堪稱(chēng)音樂(lè)基因組計(jì)劃。音樂(lè)基因組計(jì)劃是一個(gè)始于1999年的項(xiàng)目，是潘多拉在線音樂(lè)網(wǎng)站的前身。與人類(lèi)基因組計(jì)劃類(lèi)似，音樂(lè)基因組計(jì)劃是測(cè)試音樂(lè)的基因。正如人類(lèi)基因比人類(lèi)表面特征復(fù)雜無(wú)數(shù)倍一樣，音樂(lè)基因也比音樂(lè)標(biāo)簽復(fù)雜許多倍。根據(jù)音樂(lè)基因組計(jì)劃的官方網(wǎng)站，它提供450多個(gè)標(biāo)簽來(lái)區(qū)分不同的音樂(lè)。這些標(biāo)簽可以細(xì)分為歌曲是否有吉他彈奏、是否有架子鼓、主唱的年齡等。當(dāng)然，音樂(lè)基因組計(jì)劃有一群專(zhuān)門(mén)研究音樂(lè)分類(lèi)的科學(xué)家，因?yàn)檫@些標(biāo)簽必須手動(dòng)排序。據(jù)官方介紹，音樂(lè)基因組科學(xué)家不僅有知識(shí)背景，還要經(jīng)過(guò)多輪測(cè)試和培訓(xùn)，才能正式參與音樂(lè)基因組的工作。每首歌曲的處理時(shí)間為20-30分鐘，對(duì)于部分歌曲，引入了第二人復(fù)核。在經(jīng)典的基于內(nèi)容的推薦方法中，“內(nèi)容”是指以音樂(lè)為代表的內(nèi)容，而不是表面的流派、歌手和年齡信息。所有Pandora電臺(tái)都根據(jù)歌曲或歌手設(shè)置，并可以根據(jù)下一首歌曲的“喜歡”或“不喜歡”推薦符合您口味的歌曲。這種基于人工內(nèi)容篩選的推薦，不是機(jī)器可比的，但缺點(diǎn)是你聽(tīng)的歌曲風(fēng)格基本相似?？紤]到這一點(diǎn)，Pandora允許創(chuàng)建不同的電臺(tái)，甚至可以混合其他電臺(tái)的歌曲。Last.fm的“Audioscrobb”（同步錄音）基本上是“懶人尋找新音樂(lè)”的方式。你不需要做任何事情。您需要做的就是在您的計(jì)算機(jī)上安裝客戶(hù)端軟件。當(dāng)您在iPod或iTunes上播放音樂(lè)時(shí)，該軟件會(huì)忠實(shí)地記錄和分析播放次數(shù)最多的歌曲，然后自動(dòng)將元數(shù)據(jù)添加到Lastfm的個(gè)人音樂(lè)主頁(yè)并推薦新歌曲。喜歡音樂(lè)。您可以隨意收聽(tīng)，也可以進(jìn)行簡(jiǎn)單的操作以表明您喜歡這種音樂(lè)、跳過(guò)它或禁止它。這個(gè)私人電臺(tái)也深入您的音樂(lè)生活，將您與喜歡這些音樂(lè)的人聯(lián)系起來(lái)，創(chuàng)建音樂(lè)團(tuán)體，并相互分享和推薦好音樂(lè)。這就像和朋友比較一組專(zhuān)輯，因?yàn)樗麄兊钠肺断嗨?，所以似乎有我喜歡但我從未聽(tīng)說(shuō)過(guò)的音樂(lè)?！拔覀兒蚉andora最明顯的區(qū)別是，我們圍繞音樂(lè)建立了一個(gè)龐大的社區(qū)，這有助于我們‘塑造推薦’。”我們推薦的音樂(lè)有超過(guò)2000萬(wàn)人，它是從真實(shí)的聆聽(tīng)習(xí)慣中提取的。因此，隨著音樂(lè)播放次數(shù)的增加，Lastfm用戶(hù)的數(shù)量增加，推薦結(jié)果變得更加準(zhǔn)確”以及比“音樂(lè)基因工程”更好地發(fā)現(xiàn)音樂(lè)和音樂(lè)之間的意外關(guān)聯(lián)。當(dāng)我聽(tīng)到有人戀愛(ài)的消息時(shí)，我感到很反感，所以我查看了我前任在最后一個(gè)fm上聽(tīng)的歌曲，并猜測(cè)了他們此時(shí)的心情。“做lastfm最有趣的事情就是觀察人們聽(tīng)的音樂(lè)。這個(gè)數(shù)據(jù)很有趣。我們的‘音樂(lè)圖表’（HypeChart）顯示了什么樣的音樂(lè)進(jìn)入公眾視野。你可以直觀地查看：你可以準(zhǔn)確預(yù)測(cè)哪個(gè)樂(lè)隊(duì)會(huì)受到大眾的歡迎。這表明lastfm正在對(duì)主流音樂(lè)界產(chǎn)生影響，因?yàn)樗且粋€(gè)真正的輿論，與其說(shuō)是唱片銷(xiāo)售，不如說(shuō)是一種音樂(lè)潮流。你買(mǎi)一張CD，也許只聽(tīng)了一次，銷(xiāo)售結(jié)果不能反應(yīng)這一點(diǎn)，但在Last·fm上可以[5]?！眹?guó)內(nèi)著名的音樂(lè)軟件像酷狗音樂(lè)、QQ音樂(lè)、網(wǎng)易云音樂(lè)等，保持市場(chǎng)上的領(lǐng)頭地位現(xiàn)今主要是靠巨量的音樂(lè)資源與某些歌手、歌曲的獨(dú)家版權(quán)。以網(wǎng)易云為例，在初期就是以賦予用戶(hù)以一種潮流文藝的體驗(yàn)感逐漸增加用戶(hù)粘性后做大，關(guān)鍵是個(gè)性化推薦頁(yè)面的內(nèi)容不僅內(nèi)容豐富，它類(lèi)似于“個(gè)性化定制”。比如個(gè)人FM、每日歌曲推薦、精選播放列表是使用推薦算法基于用戶(hù)的音樂(lè)標(biāo)簽和收聽(tīng)習(xí)慣的個(gè)性化推薦。如果用戶(hù)對(duì)其推薦自己喜歡的內(nèi)容感興趣，就會(huì)希望獲得更多關(guān)于該內(nèi)容的信息，以獲得更好的用戶(hù)體驗(yàn)。網(wǎng)易云音樂(lè)的歌曲收藏分享方式采用“歌單”的形式。歌單不僅是收藏和分享的單位，也是在APP上促進(jìn)用戶(hù)活躍度的載體，是網(wǎng)易云音樂(lè)中的一個(gè)重要功能概念，也是網(wǎng)易云音樂(lè)的一大特色。用戶(hù)有機(jī)會(huì)創(chuàng)建、維護(hù)自己的播放列表，在應(yīng)用中獲得推薦，讓其他用戶(hù)收聽(tīng)他們的播放列表，并從收藏夾、評(píng)論、粉絲等處獲得反饋。滿(mǎn)足用戶(hù)展現(xiàn)音樂(lè)品味的需求。它可以增加用戶(hù)的持久性和活躍度。此外，播放列表通常包含多首歌曲，不僅可以節(jié)省用戶(hù)管理成本，而且在連續(xù)收聽(tīng)時(shí)也能提供良好的體驗(yàn)。作為韓國(guó)第一款以“歌單”為核心架構(gòu)的音樂(lè)APP，強(qiáng)化了“歌單”的概念，讓用戶(hù)更容易批量搜索好音樂(lè)，弱化“單曲”的概念。它涵蓋了很多不同的內(nèi)容和類(lèi)型，整體體驗(yàn)也非常好。播放列表頁(yè)面還展示了各種優(yōu)質(zhì)優(yōu)質(zhì)的內(nèi)容，更能滿(mǎn)足用戶(hù)的需求，提升體驗(yàn)。.大數(shù)據(jù)發(fā)展18世紀(jì)的80年代末到90年代初可以找到大數(shù)據(jù)的蹤跡。當(dāng)時(shí)著名的統(tǒng)計(jì)學(xué)家赫爾曼做出了一臺(tái)電動(dòng)設(shè)備來(lái)統(tǒng)計(jì)的美國(guó)本土的人口普查數(shù)據(jù)，這臺(tái)機(jī)器將人口普查工作的效率整整提高8倍節(jié)約了7年的時(shí)間。這項(xiàng)發(fā)明引起了全球性的轟動(dòng)，讓人們都關(guān)注到了數(shù)據(jù)處理的重大意義，也由此揭開(kāi)了數(shù)據(jù)處理的新時(shí)代到了1997年，作為美國(guó)計(jì)算機(jī)學(xué)會(huì)的數(shù)字圖書(shū)館的第1篇有“大數(shù)據(jù)”字樣的術(shù)語(yǔ)的論文正式出現(xiàn)在了第8屆IEEE關(guān)于可視化的會(huì)議論文集中。隨后幾年，相關(guān)研究機(jī)構(gòu)開(kāi)始了對(duì)大數(shù)據(jù)模型和平臺(tái)的研究。首先，作為在信息技術(shù)研究領(lǐng)域有權(quán)威代表性的美國(guó)的Gartner公司在2001年推出了一個(gè)大數(shù)據(jù)模型。同年，分析師萊尼提出了3D數(shù)據(jù)管理的概念，這是3V的特點(diǎn)，作為信息技術(shù)研究領(lǐng)域的重要代表，十年后被廣泛應(yīng)用于大數(shù)據(jù)技術(shù)與應(yīng)用的研究與反思。未來(lái)十年，一方面，技術(shù)平臺(tái)和相應(yīng)的大數(shù)據(jù)技術(shù)不斷發(fā)展壯大，另一方面，世界各國(guó)及其組織對(duì)大數(shù)據(jù)的關(guān)注度也越來(lái)越高。首先在2008年美國(guó)計(jì)算機(jī)聯(lián)盟組織發(fā)布了一份名為《大數(shù)據(jù)計(jì)算：在商務(wù)、科學(xué)和社會(huì)領(lǐng)域創(chuàng)建革命性突破》的白皮書(shū)，這是第一個(gè)提出了大數(shù)據(jù)概念的機(jī)構(gòu)。同年，美國(guó)的自然雜志出版的一期專(zhuān)刊中第一次提出了大數(shù)據(jù)——BigData的概念[6]。到目前為止，大數(shù)據(jù)已經(jīng)成為全球互聯(lián)網(wǎng)技術(shù)的熱點(diǎn)。從發(fā)達(dá)國(guó)家到發(fā)展中國(guó)家，從國(guó)際官方組織到非政府組織，從信息技術(shù)公司到非典型信息公司，都開(kāi)始并繼續(xù)推進(jìn)大數(shù)據(jù)的應(yīng)用和研究，在國(guó)內(nèi)，阿里巴巴最早提出了在企業(yè)中應(yīng)用大數(shù)據(jù)思維將企業(yè)進(jìn)行數(shù)據(jù)化改革。自2012年以來(lái)，為了更好地實(shí)施大數(shù)據(jù)戰(zhàn)略思維——數(shù)據(jù)交換平臺(tái)戰(zhàn)略，并在自己的平臺(tái)上為客戶(hù)提供數(shù)據(jù)云服務(wù)，設(shè)立了一個(gè)名為首席數(shù)據(jù)官的職位。同年，中國(guó)計(jì)算機(jī)學(xué)會(huì)成立了中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專(zhuān)家委員會(huì)，并于2013年發(fā)表了《中國(guó)大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書(shū)》，體現(xiàn)了中國(guó)產(chǎn)業(yè)對(duì)大數(shù)據(jù)技術(shù)的重要性。此后，中國(guó)先后參與了國(guó)家863計(jì)劃、973計(jì)劃、國(guó)家自然科學(xué)基金等科研項(xiàng)目，國(guó)家實(shí)驗(yàn)室、清華信息大學(xué)等頂尖研究中心也相繼成立了新的數(shù)據(jù)科學(xué)研究院。2013年是大數(shù)據(jù)誕生的第一年。今年上半年，大數(shù)據(jù)文獻(xiàn)幾乎達(dá)到往年水平；經(jīng)過(guò)長(zhǎng)達(dá)15年的學(xué)術(shù)關(guān)注，如今用戶(hù)的關(guān)注度急劇上升；相應(yīng)的媒體和政府都對(duì)大數(shù)據(jù)采取了很大比重的積極的關(guān)注[7]。目前主流技術(shù)的架構(gòu)是基于Hadoop技術(shù)，而不僅僅是基于大數(shù)據(jù)平臺(tái)，在大數(shù)據(jù)分析、互聯(lián)網(wǎng)搜索等其他技術(shù)領(lǐng)域，Hadoop（由Apache軟件基金會(huì)開(kāi)發(fā)）已經(jīng)成為主流技術(shù)流，利用了適合于非結(jié)構(gòu)化數(shù)據(jù)處理、使用方便、大規(guī)模并行處理等優(yōu)點(diǎn)。與Hadoop同樣成為主流技術(shù)的是，擁有同樣優(yōu)勢(shì)，作為非關(guān)系型數(shù)據(jù)分析技術(shù)代表之一的MapReduce,它是Google公司在2004年提出的一個(gè)處理非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)的模型。在這兩大主流技術(shù)的基礎(chǔ)上，分別發(fā)展出了一系列的擴(kuò)展系統(tǒng)。MapReduce得益于該并行處理大數(shù)據(jù)模型的簡(jiǎn)單易用性，很多大公司在此基礎(chǔ)上開(kāi)發(fā)出了處理大數(shù)據(jù)的高級(jí)查詢(xún)語(yǔ)言。這其中，有來(lái)自Google的Sawzall的查詢(xún)語(yǔ)言，F(xiàn)acebook公司的Hive查詢(xún)語(yǔ)言還有yahoo公司的Pig查詢(xún)語(yǔ)言。雖然MapReduce在離線計(jì)算時(shí)的成績(jī)斐然，但是在需要進(jìn)行非離線實(shí)時(shí)計(jì)算時(shí)，它不能滿(mǎn)足這種需求。解決在線模式時(shí)對(duì)大數(shù)據(jù)進(jìn)行處理的數(shù)據(jù)庫(kù)主要有2種，其中1種是由通過(guò)基于關(guān)系型數(shù)據(jù)庫(kù)并提高其擴(kuò)展性能、提高其查詢(xún)能力、豐富查詢(xún)功能；另1種是通過(guò)基于NoSQL數(shù)據(jù)庫(kù)并增強(qiáng)其查詢(xún)通量，基于NoSQL的數(shù)據(jù)庫(kù)目前被廣泛應(yīng)用、流行的有MySQLCluster、OracleNoSQLDatabase、MyFox等，而在此基礎(chǔ)上拓展的應(yīng)用有Google的BigTable等系統(tǒng)。MapReduce之后，Hadoop從Apache軟件基礎(chǔ)子項(xiàng)目中分離出來(lái)，現(xiàn)在也作為Apache軟件基礎(chǔ)的主項(xiàng)目存在。自2008年以來(lái)，互聯(lián)網(wǎng)軟件公司或非軟件公司，如雅虎（Yahoo）、Facebook、last.fm和《紐約時(shí)報(bào)》（NewYorkTimes），都將其產(chǎn)品放在搜索引擎或其他應(yīng)用程序上，這些應(yīng)用程序需要云存儲(chǔ)或?qū)贖adoop的集群進(jìn)行大規(guī)模分析。至此，也可以看出，對(duì)于在線數(shù)據(jù)分析處理，大數(shù)據(jù)和云計(jì)算是天然的相輔相成，在2013年公布的對(duì)未來(lái)大數(shù)據(jù)的四大發(fā)展方向預(yù)測(cè)中，其中在趨勢(shì)二中就提到了與云計(jì)算的深度結(jié)合[8]。大數(shù)據(jù)與云處理密不可分。云處理為大數(shù)據(jù)提供了靈活且可擴(kuò)展的基礎(chǔ)架構(gòu)，它是生成大數(shù)據(jù)的平臺(tái)之一。從2013年開(kāi)始，預(yù)計(jì)大數(shù)據(jù)技術(shù)和云處理技術(shù)將緊密相連，并將繼續(xù)培養(yǎng)數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)分析、數(shù)據(jù)集成等數(shù)據(jù)管理技能，實(shí)現(xiàn)新的增長(zhǎng)。本文結(jié)構(gòu)安排論文共分五章，各章的主要內(nèi)容安排如下：第一章，引言。介紹了論文的研究背景與意義，音樂(lè)推薦系統(tǒng)的起源與發(fā)展以及大數(shù)據(jù)的發(fā)展。第二章，相關(guān)技術(shù)與算法。展開(kāi)解釋大數(shù)據(jù)分析流程與當(dāng)前主流的各種推薦算法的原理和它們的優(yōu)勢(shì)與各自存在的缺點(diǎn)。明確開(kāi)發(fā)環(huán)境與編程語(yǔ)言。第三章，系統(tǒng)設(shè)計(jì)與分析。詳細(xì)描述當(dāng)前的系統(tǒng)架構(gòu)與各功能模塊。第四章，功能實(shí)現(xiàn)與界面展示。詳細(xì)展開(kāi)數(shù)據(jù)爬取與推薦功能實(shí)現(xiàn)，以及系統(tǒng)最終呈現(xiàn)的成果。第五章，總結(jié)與展望?？偨Y(jié)、概括本文的研究與實(shí)踐成果，并針對(duì)其中的不足之處，提出后續(xù)的改進(jìn)措施。相關(guān)技術(shù)與算法大數(shù)據(jù)分析流程數(shù)據(jù)收集在數(shù)據(jù)采集過(guò)程中，數(shù)據(jù)源的質(zhì)量直接影響到高質(zhì)量數(shù)據(jù)的可靠性、完整性、一致性、準(zhǔn)確性和安全性。通過(guò)網(wǎng)絡(luò)爬蟲(chóng)收集目標(biāo)資源數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)可以從網(wǎng)站收集并存儲(chǔ)在合并的本地?cái)?shù)據(jù)文件中以結(jié)構(gòu)化方式。數(shù)據(jù)預(yù)處理批量數(shù)據(jù)收集過(guò)程通常具有一個(gè)或多個(gè)數(shù)據(jù)源。這些數(shù)據(jù)源包括同質(zhì)或非同質(zhì)數(shù)據(jù)庫(kù)、文件系統(tǒng)、服務(wù)接口等，容易受到噪聲、數(shù)據(jù)缺失等因素的影響。價(jià)值。因此，需要對(duì)前期收集的大量數(shù)據(jù)進(jìn)行處理，以保證在發(fā)生數(shù)據(jù)沖突時(shí)數(shù)據(jù)分析的準(zhǔn)確性和價(jià)值，并預(yù)測(cè)重要結(jié)果。數(shù)據(jù)預(yù)處理的內(nèi)容主要包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約、數(shù)據(jù)變換4個(gè)功能[9]，可以大大提高大數(shù)據(jù)的總體質(zhì)量，是大數(shù)據(jù)過(guò)程質(zhì)量的體現(xiàn)。數(shù)據(jù)清理技術(shù)包括數(shù)據(jù)不一致性檢測(cè)、噪聲數(shù)據(jù)識(shí)別、數(shù)據(jù)過(guò)濾和校正，有利于提高海量數(shù)據(jù)的一致性、準(zhǔn)確性、真實(shí)性和可用性。數(shù)據(jù)集成是將來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)進(jìn)行集成，形成集中、統(tǒng)一的數(shù)據(jù)庫(kù)，有助于提高大數(shù)據(jù)的完整性、一致性、安全性和可用性。數(shù)據(jù)約簡(jiǎn)是指在不影響分析結(jié)果準(zhǔn)確性的情況下對(duì)數(shù)據(jù)集進(jìn)行減少和簡(jiǎn)化，包括降維、數(shù)據(jù)約簡(jiǎn)、數(shù)據(jù)采樣等技術(shù)。這有助于提高大數(shù)據(jù)的價(jià)值密度，即大數(shù)據(jù)存儲(chǔ)的價(jià)值。數(shù)據(jù)轉(zhuǎn)換包括基于規(guī)則或元數(shù)據(jù)驅(qū)動(dòng)的轉(zhuǎn)換、基于模型的轉(zhuǎn)換和基于學(xué)習(xí)的轉(zhuǎn)換。這個(gè)過(guò)程有助于提高大數(shù)據(jù)的一致性和可用性。換言之，數(shù)據(jù)預(yù)處理環(huán)節(jié)有助于提高大數(shù)據(jù)的一致性、準(zhǔn)確性、可靠性、可用性、完整性、安全性和價(jià)值質(zhì)量，大數(shù)據(jù)預(yù)處理相關(guān)技術(shù)是影響大數(shù)據(jù)處理質(zhì)量的重要因素。數(shù)據(jù)分析大規(guī)模數(shù)據(jù)分析技術(shù)主要包括分布式統(tǒng)計(jì)、傳統(tǒng)數(shù)據(jù)分析和分布式挖掘。可以使用任何數(shù)據(jù)處理技術(shù)完成方差的統(tǒng)計(jì)分析。分布式挖掘和深度學(xué)習(xí)技術(shù)可以在大數(shù)據(jù)分析階段完成，如聚類(lèi)和分類(lèi)、關(guān)聯(lián)分析和深度學(xué)習(xí)。深度學(xué)習(xí)使用大型數(shù)據(jù)集來(lái)創(chuàng)建詳細(xì)的模型或?qū)傩浴?shù)據(jù)分析是大規(guī)模數(shù)據(jù)處理和數(shù)據(jù)集可用性的重要組成部分。大規(guī)模準(zhǔn)確分析和預(yù)測(cè)對(duì)于許多數(shù)據(jù)應(yīng)用和決策需求，我們選擇合適的數(shù)據(jù)分析技術(shù)來(lái)提高大數(shù)據(jù)分析的有用性、價(jià)值和準(zhǔn)確性。數(shù)據(jù)可視化與應(yīng)用環(huán)節(jié)數(shù)據(jù)可視化是指將大數(shù)據(jù)分析和預(yù)測(cè)結(jié)果以計(jì)算機(jī)圖形或圖像的形式展示并與用戶(hù)交互的過(guò)程。數(shù)據(jù)可視化技術(shù)發(fā)現(xiàn)隱藏在各種業(yè)務(wù)數(shù)據(jù)中的規(guī)則信息，支持管理決策。-使。數(shù)據(jù)可視化是決定大數(shù)據(jù)的不穩(wěn)定性和清晰性的關(guān)鍵因素，因?yàn)閿?shù)據(jù)可視化可以直觀地展示大數(shù)據(jù)分析的結(jié)果，便于用戶(hù)理解和使用。大數(shù)據(jù)應(yīng)用是指在對(duì)業(yè)務(wù)決策、戰(zhàn)略規(guī)劃等進(jìn)行分析和處理后，將大數(shù)據(jù)結(jié)果應(yīng)用于業(yè)務(wù)決策的過(guò)程。挖掘大數(shù)據(jù)應(yīng)用過(guò)程直接反映了大數(shù)據(jù)分析處理結(jié)果的價(jià)值和可用性，大數(shù)據(jù)應(yīng)用在大數(shù)據(jù)分析處理中起著主導(dǎo)作用。推薦算法一般來(lái)說(shuō)，根據(jù)推薦模型的特點(diǎn)，個(gè)性化推薦模型主要分為基于內(nèi)容的推薦、協(xié)同過(guò)濾推薦、基于網(wǎng)絡(luò)的推薦和混合推薦?；趦?nèi)容的推薦算法在早期信息過(guò)濾系統(tǒng)中，基于內(nèi)容的過(guò)濾技術(shù)是主要的技術(shù)手段[10]?；趦?nèi)容的推薦方法主要分析項(xiàng)目對(duì)象的內(nèi)容。基本概念是根據(jù)用戶(hù)訪問(wèn)者的內(nèi)容信息來(lái)評(píng)估用戶(hù)潛在的愛(ài)好和愿望。為了計(jì)算用戶(hù)之間的相似度并完成個(gè)性化推薦過(guò)程，推薦的因素通常與用戶(hù)歷史上訪問(wèn)過(guò)期望的因素非常相似?；趦?nèi)容的推薦算法關(guān)鍵部分在于如何獲取信息和對(duì)信息進(jìn)行有效的過(guò)濾[11，12]。一般來(lái)說(shuō)，一個(gè)項(xiàng)目的內(nèi)容可以通過(guò)機(jī)器學(xué)習(xí)來(lái)實(shí)現(xiàn)。在線信息網(wǎng)絡(luò)可以推薦包含信息的文本。對(duì)于內(nèi)容信息難以區(qū)分的電影，可以手動(dòng)從電影中選擇風(fēng)格、主角、上映時(shí)間、照片導(dǎo)演等信息以方便推薦。Syskill[13]、Fab[14]、CiteSeer[15]、UnesetPersonalWebWatcher[16]基于協(xié)同過(guò)濾的推薦算法協(xié)同過(guò)濾（collaborativefiltering)又稱(chēng)為社會(huì)過(guò)濾[17]，是目前技術(shù)開(kāi)發(fā)中最成熟、最廣泛推薦的技術(shù)。協(xié)同過(guò)濾系統(tǒng)誕生于日常生活中。我們通常選擇嘗試大多數(shù)人推薦的活動(dòng)。協(xié)同過(guò)濾系統(tǒng)的目的是評(píng)估用戶(hù)過(guò)去的上網(wǎng)行為歷史和預(yù)測(cè)項(xiàng)目對(duì)象，包括購(gòu)買(mǎi)歷史和網(wǎng)站瀏覽進(jìn)行比較。此外，目標(biāo)受眾喜歡來(lái)自其最近鄰居興趣的項(xiàng)目對(duì)象。通常，協(xié)作過(guò)濾系統(tǒng)使用用戶(hù)評(píng)分作為推薦輸入數(shù)據(jù)，以推薦適合用戶(hù)興趣的新元素或預(yù)測(cè)用戶(hù)未選擇的對(duì)象的評(píng)分情況。為了便于描述，假設(shè)用戶(hù)集為U={u1,u2,…,uh}，，項(xiàng)目的對(duì)象是O={o1,o2,o3,…,of}。對(duì)于任意用戶(hù)ui，與該用戶(hù)的所有項(xiàng)目的評(píng)估相對(duì)應(yīng)的向量稱(chēng)為Oui。若目標(biāo)推薦用戶(hù)為ukU，則協(xié)同過(guò)濾算法可以通過(guò)兩個(gè)步驟實(shí)現(xiàn)完整的推薦：“預(yù)測(cè)”和“推薦列表的生成”。首先，推薦算法預(yù)測(cè)用戶(hù)未為目標(biāo)用戶(hù)uk選擇的項(xiàng)目對(duì)象oj的評(píng)估值,j，該得分值的大小表示該用戶(hù)對(duì)該項(xiàng)目的興趣程度。最后，根據(jù)評(píng)價(jià)值的大小，推薦的算法向用戶(hù)提供前n項(xiàng)。圖2-1是對(duì)推薦的處理的說(shuō)明。圖2-1協(xié)同過(guò)濾推薦過(guò)程描述一般來(lái)說(shuō)，根據(jù)推薦算法的實(shí)現(xiàn)，協(xié)同過(guò)濾推薦算法可以分為兩類(lèi)：基于記憶的推薦算法和基于模型的推薦算法。（1）基于記憶的推薦算法基于記憶的推薦算法以用戶(hù)的物品評(píng)分記錄為數(shù)據(jù)庫(kù)，搜索目標(biāo)用戶(hù)的最近鄰，生成一組最近鄰。對(duì)于目標(biāo)用戶(hù)未選擇的物品，系統(tǒng)自動(dòng)將目標(biāo)用戶(hù)最近鄰集合中物品的用戶(hù)評(píng)分值作為該物品的評(píng)分值。最后，根據(jù)預(yù)測(cè)分?jǐn)?shù)，向目標(biāo)受眾推薦您的目標(biāo)受眾可能喜歡的內(nèi)容。（2）基于模型的推薦算法隨著網(wǎng)絡(luò)中用戶(hù)和產(chǎn)品數(shù)量的快速增長(zhǎng)，經(jīng)典的協(xié)同過(guò)濾系統(tǒng)面臨著用戶(hù)評(píng)分矩陣維數(shù)增加和評(píng)分稀疏等問(wèn)題，顯著降低了推薦質(zhì)量。另外，隨著用戶(hù)數(shù)量的增加，無(wú)法滿(mǎn)足用戶(hù)對(duì)實(shí)時(shí)推薦的要求，相似矩陣更難提前計(jì)算?；诖耍覀兲岢隽艘环N基于模型的推薦算法?；趦?nèi)存和基于內(nèi)存的推薦算法的區(qū)別在于，基于內(nèi)存的推薦算法基于對(duì)用戶(hù)喜歡的對(duì)象的行為進(jìn)行預(yù)測(cè)和推薦。基于模型的方法基于將統(tǒng)計(jì)學(xué)和各種機(jī)器學(xué)習(xí)技術(shù)（貝葉斯網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)、聚類(lèi)技術(shù)等）應(yīng)用于現(xiàn)有數(shù)據(jù)的模型。該算法的具體思想是基于用戶(hù)項(xiàng)目的歷史評(píng)分矩陣構(gòu)建模型，并在目標(biāo)用戶(hù)到達(dá)時(shí)向用戶(hù)推薦該模型。簡(jiǎn)而言之，協(xié)同過(guò)濾推薦系統(tǒng)具有強(qiáng)大的新產(chǎn)品推薦能力，并允許用戶(hù)探索潛在的興趣項(xiàng)目。對(duì)于一些難以提取內(nèi)容特征的項(xiàng)目（電影、音樂(lè)視頻技術(shù)等）也有很好的推薦效果。然而，由于協(xié)同過(guò)濾技術(shù)無(wú)法有效解決用戶(hù)冷啟動(dòng)、稀疏性和算法可擴(kuò)展性等問(wèn)題，許多學(xué)者轉(zhuǎn)向其他推薦算法尋求更好的解決方案?；诰W(wǎng)絡(luò)結(jié)構(gòu)的推薦算法在網(wǎng)絡(luò)結(jié)構(gòu)推薦算法的基礎(chǔ)上，將用戶(hù)和對(duì)象視為抽象節(jié)點(diǎn)，忽略外部特征，利用用戶(hù)和對(duì)象之間的選擇關(guān)系信息實(shí)現(xiàn)推薦算法?；诰W(wǎng)絡(luò)結(jié)構(gòu)的推薦是由復(fù)雜網(wǎng)絡(luò)中的二進(jìn)制網(wǎng)絡(luò)提出的。下面我們介紹一下復(fù)雜網(wǎng)絡(luò)中的二分網(wǎng)絡(luò)以及基于網(wǎng)絡(luò)結(jié)構(gòu)的推薦算法和相關(guān)研究現(xiàn)狀。（1)復(fù)雜網(wǎng)絡(luò)中的二分網(wǎng)絡(luò)在復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)中，二進(jìn)制網(wǎng)絡(luò)是一種特殊的網(wǎng)絡(luò)結(jié)構(gòu)。在現(xiàn)實(shí)生活中，由各種風(fēng)格的歌手組成的音樂(lè)愛(ài)好者網(wǎng)絡(luò)，由各種派系的廚師組成的廚師網(wǎng)絡(luò)，通過(guò)由出版各種論文的學(xué)者等構(gòu)成的學(xué)術(shù)研究合作網(wǎng)絡(luò)等二進(jìn)制網(wǎng)絡(luò)。在二進(jìn)制網(wǎng)絡(luò)中，所有節(jié)點(diǎn)被劃分為兩個(gè)數(shù)據(jù)集X和y，只有不同數(shù)據(jù)集中的節(jié)點(diǎn)相互連接，而同一數(shù)據(jù)集中沒(méi)有節(jié)點(diǎn)相互連接。圖2-2是二進(jìn)制網(wǎng)絡(luò)的投影描述。圖2-2二分網(wǎng)絡(luò)的投影這種二元網(wǎng)絡(luò)投影方法雖然簡(jiǎn)單，但在實(shí)際信息的處理中引入了較大的誤差。例如，兩個(gè)用戶(hù)購(gòu)買(mǎi)了10件不同的商品，但兩個(gè)人重合購(gòu)買(mǎi)的商品只有一件。實(shí)際上，可以確定這兩個(gè)用戶(hù)只對(duì)一件商品有相同的興趣，但是經(jīng)過(guò)單模映射后，兩個(gè)用戶(hù)被分成了同一個(gè)興趣組，導(dǎo)致實(shí)際推薦的誤差較大。由于單模映射丟失了很多原始信息，我們需要對(duì)二部圖上的投影進(jìn)行權(quán)衡，以更好地描述網(wǎng)絡(luò)結(jié)構(gòu)。對(duì)邊加權(quán)的最簡(jiǎn)單、最直接的方法是將節(jié)點(diǎn)之間重疊連接的數(shù)量作為邊權(quán)重。在圖1-2中，子圖用于以這種方式投影X和Y的值。與非加權(quán)網(wǎng)絡(luò)相比，加權(quán)網(wǎng)絡(luò)保存了更豐富的信息。（2）基于網(wǎng)絡(luò)結(jié)構(gòu)的推薦及其研究現(xiàn)狀基于網(wǎng)絡(luò)結(jié)構(gòu)的推薦是一個(gè)新的研究方向。由于這種方法，越來(lái)越多的學(xué)者基于二部圖網(wǎng)絡(luò)進(jìn)行了研究并取得了許多研究成果。在電影推薦系統(tǒng)中，通過(guò)適當(dāng)降低熱門(mén)電影的推薦能力來(lái)提高算法的準(zhǔn)確率。在現(xiàn)有的協(xié)同過(guò)濾推薦算法中，用戶(hù)的相似度表示為等價(jià)系數(shù)。它根據(jù)資源分配原則計(jì)算用戶(hù)之間的相似度，并使用針對(duì)個(gè)人推薦調(diào)整的過(guò)濾算法。為了節(jié)省存儲(chǔ)空間和提高計(jì)算效率，一些研究人員提出了一種基于前n個(gè)用戶(hù)相似度信息的協(xié)同過(guò)濾算法。文獻(xiàn)[18]研究了用戶(hù)偏好對(duì)基于網(wǎng)絡(luò)結(jié)構(gòu)的推薦算法的影響。在你項(xiàng)目的二級(jí)網(wǎng)絡(luò)中，你項(xiàng)目的初步推薦能力將取決于你的項(xiàng)目程度和你的喜好。這種方法可以提高推薦的準(zhǔn)確性，同時(shí)創(chuàng)建與用戶(hù)偏好不同的東西。我們提出了超圖模型的進(jìn)化過(guò)程。用戶(hù)不僅可以為對(duì)象添加標(biāo)簽，還可以通過(guò)標(biāo)簽獲取對(duì)象?；旌贤扑]算法以上幾種推薦算法的描述表明，任何推薦算法都有其自身的缺點(diǎn)。為了更有效地解決信息過(guò)載問(wèn)題，實(shí)際推薦過(guò)程中可以將上述幾種推薦算法組合起來(lái)，形成混合推薦算法，提高推薦系統(tǒng)的性能。通常，基于內(nèi)容的推薦和協(xié)同過(guò)濾推薦相結(jié)合?；旌贤扑]算法可以為每個(gè)算法添加2種推薦算法。例如，您可以在基于內(nèi)容的渲染算法中添加協(xié)同過(guò)濾算法，或者在基于內(nèi)容的渲染算法中添加協(xié)同過(guò)濾算法。當(dāng)然，基于內(nèi)容的算法、協(xié)同過(guò)濾和網(wǎng)絡(luò)結(jié)構(gòu)，推薦算法可以單獨(dú)應(yīng)用并同時(shí)生成推薦。最后，通過(guò)對(duì)多個(gè)系統(tǒng)的推薦結(jié)果進(jìn)行組合線性組合，找到最優(yōu)推薦方案。組合的方式有很多種，可以概括為七種方式[19]-1所示。類(lèi)型混合推薦方法加權(quán)型（Weigt）將多個(gè)推薦算法的結(jié)果進(jìn)行加權(quán)組合推薦；切換型（Switc）混合型（Mixed）為一個(gè)用戶(hù)用幾個(gè)推薦方法同時(shí)產(chǎn)生推薦結(jié)果供其參考；級(jí)聯(lián)型（Casca）將前一個(gè)推薦方法產(chǎn)生的粗糙結(jié)果作為后一個(gè)推薦方法的依據(jù)，進(jìn)一步優(yōu)化最后的推薦結(jié)果；特征組合型（FeatureCombination）幾個(gè)不同推薦數(shù)據(jù)源的特征信息被一個(gè)推薦算法所采用；特征遞增型（FeatureAugmentation）一種推薦技術(shù)產(chǎn)生的附加特征信息整合到另一種推薦技術(shù)的特征輸入中；元層次型（Meta-Level）一種推薦方法產(chǎn)生的模型作為另一個(gè)推薦的輸入。表-1 混合推薦的七種組合方式開(kāi)發(fā)環(huán)境與編程語(yǔ)言硬件環(huán)境IntelCorei5-6200U,RAM8GB開(kāi)發(fā)環(huán)境Windows10,Eclipse,MySQL5.7,JDK1.8,Tomcat7.0編程語(yǔ)言Javapl/pgSqLhtml系統(tǒng)設(shè)計(jì)與分析系統(tǒng)架構(gòu)系統(tǒng)將采用SSM框架模式開(kāi)發(fā)，如圖3-1，以此來(lái)降低應(yīng)用程序的耦合性。DAO層主要負(fù)責(zé)一些與數(shù)據(jù)庫(kù)的聯(lián)絡(luò)，Service層負(fù)責(zé)邏輯應(yīng)用設(shè)計(jì)，Controller層（因?yàn)橥瑸閙vc模塊所以圖中與view層合并）負(fù)責(zé)業(yè)務(wù)模塊流程的控制與頁(yè)面的表示。分層設(shè)計(jì)可以大大降低開(kāi)發(fā)難度，同時(shí)降低維護(hù)成本[20]。數(shù)據(jù)存儲(chǔ)采用MySQL數(shù)據(jù)庫(kù)，MySQL數(shù)據(jù)庫(kù)具有體積小，命令執(zhí)行快、可移植性強(qiáng)、復(fù)雜程度低，易于操作等優(yōu)點(diǎn)。圖3-1系統(tǒng)框架結(jié)構(gòu)持久層：DAO層（屬于mybatis模塊）主要負(fù)責(zé)與數(shù)據(jù)庫(kù)進(jìn)行交互設(shè)計(jì)，用來(lái)處理數(shù)據(jù)的持久化工作。DAO層的設(shè)計(jì)首先是設(shè)計(jì)DAO的接口，也就是項(xiàng)目中看到的Dao包。然后在Spring的xml配置文件中定義此接口的實(shí)現(xiàn)類(lèi)，就可與其他模塊一起調(diào)用這個(gè)接口來(lái)處理數(shù)據(jù)通信，而不用關(guān)心接口的具體實(shí)現(xiàn)類(lèi)是哪個(gè)類(lèi)，這里往往用到的就是反射機(jī)制，DAO層的perties數(shù)據(jù)源配置，以及有關(guān)數(shù)據(jù)庫(kù)連接的參數(shù)都在Spring的配置文件中進(jìn)行配置。業(yè)務(wù)層：Service層（屬于spring模塊）主要負(fù)責(zé)業(yè)務(wù)模塊的邏輯應(yīng)用設(shè)計(jì)。也就是項(xiàng)目中看到的Service包。Service層的設(shè)計(jì)首先是設(shè)計(jì)接口，再設(shè)計(jì)其實(shí)現(xiàn)的類(lèi)。也就是項(xiàng)目中看到的service+impl包。接著再在Spring的xml配置文件中配置其實(shí)現(xiàn)的關(guān)聯(lián)。這樣，可以通過(guò)業(yè)務(wù)處理應(yīng)用程序調(diào)用service接口。最后通過(guò)調(diào)用DAO層已定義的接口，去實(shí)現(xiàn)Service具體的實(shí)現(xiàn)類(lèi)。控制層/表現(xiàn)層：Controller層（屬于springMVC模塊）主要負(fù)責(zé)具體的業(yè)務(wù)模塊流程控制，也就是看到的controller包。Controller層通過(guò)要調(diào)用Service層的接口來(lái)控制業(yè)務(wù)流程，控制的配置也同樣是在Spring的xml配置文件里面，針對(duì)具體的業(yè)務(wù)流程，會(huì)有不同的控制器。View層（屬于springMVC模塊）負(fù)責(zé)展示web的動(dòng)態(tài)網(wǎng)頁(yè)，在項(xiàng)目是webcontent包但與controller同屬mvc模塊。jsp發(fā)送請(qǐng)求，controller接收請(qǐng)求，經(jīng)過(guò)處理后返回jsp顯示數(shù)據(jù)。

圖3-1項(xiàng)目文件結(jié)構(gòu)功能模塊系統(tǒng)提供的功能有：用戶(hù)賬戶(hù)功能、搜索功能、推薦功能、管理功能?？傮w結(jié)構(gòu)圖如下：圖3-2系統(tǒng)總體模塊設(shè)計(jì)圖用戶(hù)賬戶(hù)功能用戶(hù)賬戶(hù)功能是指以賬號(hào)為一個(gè)用戶(hù)的使用單位，通過(guò)登陸/注冊(cè)開(kāi)始在數(shù)據(jù)庫(kù)中使用/建立數(shù)據(jù)，該功能的實(shí)現(xiàn)目的為提升用戶(hù)的使用體驗(yàn)，以賬戶(hù)為單位管理用戶(hù)的行為數(shù)據(jù)如：收藏、播放。圖3-3登陸注冊(cè)模塊圖圖3-4用戶(hù)中心模塊圖搜索功能搜索是系統(tǒng)的基礎(chǔ)功能之一，一般人在想聽(tīng)音樂(lè)時(shí)往往要么帶有只想聽(tīng)單獨(dú)的幾首或者某個(gè)歌手的音樂(lè)要么是不帶有特定性的只是想聽(tīng)音樂(lè)，目標(biāo)不明確。搜索功能就是為了解決明確的需求的。推薦功能推薦功能主要滿(mǎn)足用戶(hù)的非特定需求，給用戶(hù)多種選擇。系統(tǒng)中分為熱門(mén)推薦、新歌上架、個(gè)性化推薦。熱門(mén)推薦是統(tǒng)計(jì)數(shù)據(jù)庫(kù)中所有歌曲根據(jù)不同榜單進(jìn)行的播放的排序，新歌上架是根據(jù)歌曲的上架時(shí)間排序，然后將結(jié)果渲染到頁(yè)面上。個(gè)性化推薦功能是在用戶(hù)有了行為記錄后根據(jù)用戶(hù)的行為對(duì)歌曲進(jìn)行評(píng)分，然后將對(duì)同樣的歌曲評(píng)分類(lèi)似的用戶(hù)所評(píng)分高的歌曲對(duì)當(dāng)前用戶(hù)進(jìn)行推薦。圖3-5推薦模塊圖管理功能管理功能是屬于管理員的權(quán)限，由此管理員可以實(shí)現(xiàn)對(duì)音樂(lè)的上下架與對(duì)普通用戶(hù)和歌曲評(píng)論的刪除。在管理員執(zhí)行一項(xiàng)操作后，后端實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)的增刪。圖3-5管理模塊圖功能實(shí)現(xiàn)與界面展示數(shù)據(jù)采集首先要配置好的cookie請(qǐng)求頭信息，即模擬成電腦瀏覽器正常訪問(wèn)網(wǎng)站。如圖4-1所示為瀏覽器的cookie。從瀏覽器中獲取訪問(wèn)網(wǎng)頁(yè)所用的一些必要信息，并將其寫(xiě)入headers中。配置好的信息如圖4-1所示。圖4-1程序中header內(nèi)的信息在瀏覽器中點(diǎn)擊空白處右擊選擇檢查或者鍵盤(pán)輸入F12，就能看到瀏覽器的審查元素，包括當(dāng)前頁(yè)面所有的信息。在審查表中選擇”“selectanaelementinthepagetoinspectit(Ctrl+Shit+C)”后，將鼠標(biāo)移動(dòng)到華晨宇附近并點(diǎn)擊，元素框中就會(huì)展示出點(diǎn)擊選中的歌手名和歌手在平臺(tái)中的id。要獲取這些數(shù)據(jù)，先要將這個(gè)網(wǎng)頁(yè)使用requests.get獲取網(wǎng)頁(yè)，在使用beautifulsoup對(duì)網(wǎng)頁(yè)進(jìn)行解析，之后再對(duì)其進(jìn)行如圖4-2處理。圖4-2網(wǎng)頁(yè)處理代碼在一個(gè)網(wǎng)頁(yè)中必定不會(huì)只有一個(gè)歌手，在處理了網(wǎng)頁(yè)之后得到的artists必然是多個(gè)歌手?jǐn)?shù)據(jù)的集合，每次取出一位歌手的名字和id。獲取到了歌手名字和id之后，要對(duì)數(shù)據(jù)進(jìn)行保存。使用pymysql連接到數(shù)據(jù)庫(kù)localhost，使用insert語(yǔ)句將其插入到數(shù)據(jù)庫(kù)中。圖4-3網(wǎng)頁(yè)中歌手專(zhuān)輯標(biāo)簽獲取歌手的id和name之后，需要針對(duì)每個(gè)歌手，去獲取對(duì)應(yīng)歌手的專(zhuān)輯信息。如上圖，訪問(wèn)了華晨宇的專(zhuān)輯列表。使用和獲取歌手信息的同樣方式，如圖4-3查看到，需要的信息所對(duì)應(yīng)的表單。已經(jīng)知道歌手對(duì)應(yīng)的id和歌手專(zhuān)輯對(duì)應(yīng)的表單信息，接下來(lái)就可以開(kāi)始爬取了。首先通過(guò)pymysql去獲取之前已經(jīng)保存到的歌手id，根據(jù)歌手id使用requeests.get爬取對(duì)應(yīng)歌手的主頁(yè)里的專(zhuān)輯列表，再使用beautifulsoup對(duì)其進(jìn)行處理。之后，和保存歌手信息做一樣的操作。將獲取的專(zhuān)輯信息保存到數(shù)據(jù)庫(kù)。保存完一個(gè)歌手之后，去訪問(wèn)歌手列表下一條數(shù)據(jù)去訪問(wèn)歌手的專(zhuān)輯信息，執(zhí)行以上操作。獲取了專(zhuān)輯信息之后，依照同樣的方法去獲取每個(gè)專(zhuān)輯內(nèi)的所有歌曲，原理雷同上述。將數(shù)據(jù)保存到本地?cái)?shù)據(jù)庫(kù)。推薦功能實(shí)現(xiàn)經(jīng)過(guò)查閱資料后，決定選擇基于用戶(hù)的協(xié)同過(guò)濾算法，其主要包括兩個(gè)步驟：1.找到和當(dāng)前用戶(hù)興趣相同的用戶(hù)集合。2.找到這個(gè)音樂(lè)集合中當(dāng)前用戶(hù)可能喜歡，但是當(dāng)前用戶(hù)并沒(méi)有聽(tīng)過(guò)的歌曲。音樂(lè)平臺(tái)上一般用戶(hù)的操作分為播放、下載、評(píng)論等。當(dāng)用戶(hù)工作時(shí)，他們會(huì)記錄下來(lái)，并將其作為音樂(lè)用戶(hù)內(nèi)部的得分。在這里，每次用戶(hù)播放音樂(lè)時(shí)點(diǎn)擊，音樂(lè)的分?jǐn)?shù)就會(huì)增加1分；用戶(hù)下載音樂(lè)點(diǎn)擊后，2分會(huì)被添加到音樂(lè)的分?jǐn)?shù)中；如果用戶(hù)收集了這個(gè)音樂(lè)這個(gè)分?jǐn)?shù)會(huì)增加了5分。如果上一權(quán)重的總和超過(guò)十，則將其計(jì)算為10。然后，通過(guò)用戶(hù)的行動(dòng)，可以得到音樂(lè)用戶(hù)的分?jǐn)?shù)。具體算法如下所示，需要計(jì)算用戶(hù)與其他用戶(hù)的興趣相似度，可以采用歐式距離(4-1)算法計(jì)算用戶(hù)之間的相似度。即：?x,y=x1系統(tǒng)采用上述式子，一一計(jì)算當(dāng)前用戶(hù)與其他用戶(hù)之間的相似度，并將計(jì)算出結(jié)果寫(xiě)入到堆中，以便之后計(jì)算出有高于之前的將其替換掉。既然已經(jīng)獲得了與用戶(hù)之間相似度最高的幾位用戶(hù)了，就可以從中得到用戶(hù)沒(méi)有聽(tīng)過(guò)哪些歌曲，并開(kāi)始計(jì)算用戶(hù)與歌曲之間的相似度了。計(jì)算用戶(hù)對(duì)音樂(lè)的相似度，根據(jù)我們已經(jīng)獲得了的評(píng)分音樂(lè)來(lái)計(jì)算相似度。界面展示通過(guò)以上工作，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的音樂(lè)推薦系統(tǒng)，使用和工作流程如下。打開(kāi)進(jìn)入首頁(yè)，如下圖所示：圖6-1首頁(yè) 進(jìn)入首頁(yè)后作為游客可選擇導(dǎo)覽欄的發(fā)現(xiàn)音樂(lè)與排行榜，與在頁(yè)面下方的熱門(mén)推薦與新碟上架，其中發(fā)現(xiàn)音樂(lè)與熱門(mén)推薦是同樣的功能，可以查看到當(dāng)下比較熱門(mén)的一些歌曲。推薦的歌曲取自所有用戶(hù)中播放量最高的歌曲。圖6-2熱門(mén)推薦新碟上架是根據(jù)歌曲的上架時(shí)間選擇最近的。圖6-3新碟上架搜索框中可搜索音樂(lè)。圖6-3搜索結(jié)果我的音樂(lè)與個(gè)性化推薦是針對(duì)單一用戶(hù)的特定服務(wù)，因此需要用戶(hù)登陸后。未注冊(cè)的用戶(hù)可先行注冊(cè)，如果未注冊(cè)直接登陸，或者是密碼錯(cuò)誤則會(huì)提示賬號(hào)或密碼錯(cuò)誤。同時(shí)根據(jù)登陸的用戶(hù)身份分辨是普通用戶(hù)和管理員。圖6-4注冊(cè)頁(yè)

圖6-5登陸頁(yè)當(dāng)普通用戶(hù)登陸后，我的音樂(lè)是用戶(hù)收藏與最近播放的記錄。圖6-6用戶(hù)的收藏列表 圖6-7用戶(hù)的最近播放列表用戶(hù)點(diǎn)擊播放音樂(lè)，可以點(diǎn)擊歌曲名，進(jìn)入歌曲評(píng)論頁(yè)面查看當(dāng)其他用戶(hù)對(duì)當(dāng)前歌曲的評(píng)價(jià)。用戶(hù)也還可以在這個(gè)界面發(fā)表評(píng)論。如圖6-8所示為音樂(lè)詳情界面。圖6-SEQ圖6-\*ARABIC8歌曲詳情想要跳出自己的舒適圈體驗(yàn)新鮮的歌曲可以選擇熱門(mén)推薦與排行榜，體驗(yàn)大部分人都喜歡的歌曲或者選擇個(gè)性化推薦體驗(yàn)系統(tǒng)認(rèn)為自己會(huì)喜歡的歌曲。圖6-9個(gè)性化推薦使用管理員的賬號(hào)登陸后，可以進(jìn)行各種管理操作，管理員管理音樂(lè)的操作包括刪除音樂(lè)和上傳音樂(lè)，音樂(lè)刪除可以多選。圖6-10音樂(lè)管理界面圖6-11添加音樂(lè)評(píng)論管理界面是管理員管理評(píng)論的界面。管理員管理音樂(lè)的操作有刪除評(píng)論，可以多選。圖6-12評(píng)論管理用戶(hù)管理界面是管理員管理用戶(hù)的界面。管理員管理音樂(lè)的操作有刪除用戶(hù)，可以多選。如圖6-17所示。圖6-13用戶(hù)管理總結(jié)與展望開(kāi)發(fā)過(guò)程遇到的問(wèn)題和總結(jié)相似度計(jì)算相似度計(jì)算算法眾多描述的相似方向不一樣，具體選擇就需要對(duì)其有更多了解如:歐氏距離：?x,y余弦相似度[21]：，similarity=cos皮爾遜相關(guān)度[22]：r=i=1n上面的公式差別很大，很難表達(dá)。經(jīng)查閱資料后，算式(5-1)中的歐氏距離測(cè)度受指標(biāo)單位尺度不同的影響，一般應(yīng)先標(biāo)準(zhǔn)化，距離越大，差異越大。算式(5-2)空間向量余弦角相似度的度量不受索引尺度的影響，余弦值落在區(qū)間[-1,1]內(nèi)，值越大越小區(qū)別。歐氏距離可以反映個(gè)體數(shù)值特征的絕對(duì)差異，所以它更多地用于需要從維度的數(shù)值大小反映差異的分析，例如使用用戶(hù)行為指標(biāo)來(lái)分析相似性。用戶(hù)價(jià)值的差異。余弦距離更多地用于區(qū)分方向上的差異，但對(duì)絕對(duì)值不敏感。它更多地用于使用用戶(hù)的內(nèi)容分?jǐn)?shù)來(lái)區(qū)分興趣的相似性和差異，并且還可以校正用戶(hù)之間可能的度量差異。所以最終決定使用歐幾里得距離計(jì)算。資源無(wú)法找到經(jīng)常出現(xiàn)各種404報(bào)錯(cuò)，提示無(wú)法找到資源。每次出現(xiàn)基本上都是配置問(wèn)題。

通常情況下，Spring會(huì)以XML文件格式作為Spring的配置文件，這種配置方式通過(guò)XML文件注冊(cè)并管理Bean之間的依賴(lài)關(guān)系。核心配置文件beanxml用于定義spring容器需要管理的bean。在更改其他文件時(shí)要同時(shí)更改xml文件中的信息。下一步研究計(jì)劃1.構(gòu)建對(duì)于目標(biāo)用戶(hù)的興趣偏好的新表示形式：目標(biāo)用戶(hù)的興趣偏好信息是為目標(biāo)用戶(hù)提供個(gè)性化推薦服務(wù)的理論基礎(chǔ)。只要充分把握目標(biāo)用戶(hù)的興趣偏好，用戶(hù)就可以提供高品質(zhì)且高效的用戶(hù)。目前，協(xié)同過(guò)濾推薦系統(tǒng)主要調(diào)查對(duì)象用戶(hù)的產(chǎn)品評(píng)價(jià)，使用評(píng)價(jià)信息反映對(duì)象用戶(hù)的興趣偏好。然而，由于評(píng)估數(shù)據(jù)中的信息量是有限的，因此難以通過(guò)用戶(hù)的產(chǎn)品評(píng)估向用戶(hù)提供更令人滿(mǎn)意的建議。需要建立新的用戶(hù)嗜好表示，例如，附加目標(biāo)用戶(hù)或產(chǎn)品的時(shí)間維信息，評(píng)價(jià)現(xiàn)有的標(biāo)記技術(shù)（利用產(chǎn)品評(píng)價(jià)信息表現(xiàn)用戶(hù)的喜好）等2.改進(jìn)的對(duì)于推薦結(jié)果的質(zhì)量評(píng)估方法：協(xié)同過(guò)濾推薦算法中的推薦質(zhì)量評(píng)估方法通常分為以下方面：首先將目標(biāo)用戶(hù)的評(píng)分產(chǎn)品分為訓(xùn)練集和測(cè)試集，訓(xùn)練組的數(shù)據(jù)信息用于預(yù)測(cè)測(cè)試組的目標(biāo)用戶(hù)的喜好。然后然后將測(cè)試集中的真實(shí)興趣偏好與預(yù)測(cè)的興趣偏好進(jìn)行比較，從而對(duì)算法的優(yōu)點(diǎn)和缺點(diǎn)進(jìn)行評(píng)估。該方法基于目標(biāo)用戶(hù)的評(píng)估來(lái)評(píng)估算法。這不僅是實(shí)際情況的虛擬評(píng)估信息，也是目標(biāo)用戶(hù)的實(shí)際視圖。因此，可以設(shè)計(jì)一種新的評(píng)估方法。例如，如果您想推薦目標(biāo)用戶(hù)的產(chǎn)品，可以收集目標(biāo)用戶(hù)的反饋，并評(píng)估算法以使其結(jié)果接近目標(biāo)用戶(hù)的可靠性。3.此次主要以搜索功能和受歡迎的列表推薦功能為中心，以便用戶(hù)可以開(kāi)始第一次行動(dòng)以收集用戶(hù)的行為數(shù)據(jù)。但作為冷啟動(dòng)的解決方案還遠(yuǎn)遠(yuǎn)不夠。結(jié)束語(yǔ)遲了一年的畢業(yè)設(shè)計(jì)終于即將結(jié)束?；厥走^(guò)去的五年，因?yàn)橛龅降娜藗儾胚^(guò)的充實(shí)。

在大學(xué)這四年里，遇到了愿意在遇到挫折時(shí)給建議扶一把的好導(dǎo)師，也遇到了愿意在沮喪時(shí)給打氣拉一把的好朋友。不得不承認(rèn)我對(duì)大學(xué)階段獲取到的知識(shí)在應(yīng)用上常常手足無(wú)措，總是知其然卻不知其所以然或是不知如何邁出第一步，焦慮之下只想當(dāng)只把頭埋在沙子里的鴕鳥(niǎo)。本次畢業(yè)設(shè)計(jì)我可以堅(jiān)持到現(xiàn)在都是因?yàn)轳R利民老師認(rèn)真負(fù)責(zé)一直對(duì)我沒(méi)有放棄，拖死狗一樣的將我拖到現(xiàn)在。我的朋友很少，在過(guò)去的一年里有過(guò)聯(lián)系的人寥寥幾個(gè)，其中就有在大學(xué)里生活中結(jié)識(shí)到的朋友，感謝林雨晨陪我說(shuō)說(shuō)笑笑打打鬧鬧，也感謝李豐章在各個(gè)方面都會(huì)給我?guī)椭８兄x學(xué)校各位老師，給開(kāi)闊視野。感謝學(xué)校各位領(lǐng)導(dǎo)，給予幫助和關(guān)懷。感謝北信科也感謝計(jì)算機(jī)學(xué)院，給予我成長(zhǎng)的平臺(tái)。謝謝！

參考文獻(xiàn)[1]許海玲,吳瀟,李曉東,閻保平.互聯(lián)網(wǎng)推薦系統(tǒng)比較研究[J].軟件學(xué)報(bào),2009.20(2):350-262[2]高占林.淺談信息過(guò)載的影響及消除[J].天水行政學(xué)院學(xué)報(bào),2010,(06):63-65.[3]網(wǎng)易云音樂(lè)大數(shù)據(jù)報(bào)告：社交屬性改變音樂(lè)市場(chǎng)[EB/OL]:/16/0823/20/BV6C55C500097U88.html[4]SHARDANAND，MAESP．Socialinformationfiltering：algorithmsforautomating“wordofmouth”[C]//Proc．oftheConf．onHumanFactorsinComputingSystems．NewYork：ACMPress,1995．[5]陳賽.最后一個(gè)音樂(lè)電臺(tái)［J］.三連勝周刊，2007，12：48-49[6]陳穎.大數(shù)據(jù)發(fā)展歷程綜述［J］.當(dāng)代經(jīng)濟(jì)，2015，8：13-15.[7]劉維貴.“大數(shù)據(jù)”研究綜述［J］.辦公自動(dòng)化雜志，2014，269：27-30.[8]開(kāi)創(chuàng)云.大數(shù)據(jù)未來(lái)四大發(fā)展方向./News353/，2013.[9]熊俊.基于云計(jì)算的大數(shù)據(jù)分析流程優(yōu)化路徑研究[J].電腦知識(shí)與技術(shù),2019,15(08):181-182+185.[10] SarwarB,KarypisG,KonstanJ,RiedJ,Item-basedC