基于hive的民宿數(shù)據(jù)分析及可視化_第1頁(yè)
基于hive的民宿數(shù)據(jù)分析及可視化_第2頁(yè)
基于hive的民宿數(shù)據(jù)分析及可視化_第3頁(yè)
基于hive的民宿數(shù)據(jù)分析及可視化_第4頁(yè)
基于hive的民宿數(shù)據(jù)分析及可視化_第5頁(yè)
已閱讀5頁(yè),還剩31頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

重慶理工大學(xué)畢業(yè)論文(題目、小五、宋體)頁(yè)碼居中,以阿拉伯?dāng)?shù)字順序排列目錄TOC\o"1-3"\h\u41671引言 4132141.1課題研究背景 431661.2課題研究目的與意義 435241.3國(guó)內(nèi)外研究現(xiàn)狀 4109681.4論文結(jié)構(gòu) 7254012相關(guān)技術(shù)介紹 7289082.1Hadoop大數(shù)據(jù)平臺(tái) 8128632.2Hive數(shù)據(jù)倉(cāng)庫(kù) 9169482.3Echarts可視化框架 674153系統(tǒng)需求分析 1065173.1可行性分析 10142343.1.1技術(shù)可行性 10134383.1.2經(jīng)濟(jì)可行性 10167113.1.3操作可行性 10133733.2功能需求分析 10256893.3非功能需求分析 11312904系統(tǒng)設(shè)計(jì) 12170034.1系統(tǒng)架構(gòu)設(shè)計(jì) 1259034.2系統(tǒng)整體設(shè)計(jì) 12290374.3系統(tǒng)功能設(shè)計(jì) 13311404.3.1數(shù)據(jù)采集功能設(shè)計(jì) 13313564.3.2數(shù)據(jù)分析功能設(shè)計(jì) 13197594.3.3可視化模功能設(shè)計(jì) 15123765系統(tǒng)實(shí)現(xiàn) 1692865.1系統(tǒng)開(kāi)發(fā)環(huán)境 1688785.2系統(tǒng)功能實(shí)現(xiàn) 16167835.2.1用戶功能 16204375.2.2管理員功能 1872106系統(tǒng)測(cè)試 2148766.1系統(tǒng)測(cè)試原則 2161846.2系統(tǒng)功能測(cè)試 2146696.3系統(tǒng)非功能測(cè)試 21296166.4測(cè)試總結(jié) 2123667總結(jié) 2221518參考文獻(xiàn) 2427806致謝 2626034附錄 271引言1.1課題研究背景自2015年起,國(guó)務(wù)院在《關(guān)于加快生活性服務(wù)業(yè)促進(jìn)消費(fèi)結(jié)構(gòu)升級(jí)的指導(dǎo)意見(jiàn)》中初次提及了民宿產(chǎn)業(yè),為其后續(xù)發(fā)展奠定了政策基礎(chǔ)。三年后,國(guó)務(wù)院再次在《完善促進(jìn)消費(fèi)體制機(jī)制實(shí)施方案》中強(qiáng)調(diào),需積極推動(dòng)民宿及其他短期租賃服務(wù)的發(fā)展,進(jìn)一步激發(fā)了市場(chǎng)的活力。據(jù)統(tǒng)計(jì),自2018年至2021年,民宿數(shù)量實(shí)現(xiàn)連續(xù)三年迅猛增長(zhǎng),有力推動(dòng)了整個(gè)行業(yè)的蓬勃發(fā)展。今年十月,行業(yè)領(lǐng)軍企業(yè)途家發(fā)布了全新的《民宿分級(jí)標(biāo)準(zhǔn)》,標(biāo)志著民宿行業(yè)在規(guī)范化、標(biāo)準(zhǔn)化方面邁出了新的步伐。本次課題研究結(jié)合Hadoop大數(shù)據(jù)平臺(tái)和Hive數(shù)據(jù)倉(cāng)庫(kù),以北京市各地區(qū)的相關(guān)民宿數(shù)據(jù)為基礎(chǔ),進(jìn)行數(shù)據(jù)分析。通過(guò)與ECharts可視化架構(gòu)相結(jié)合的方式,將解析的結(jié)果用直觀的圖形顯示出來(lái)。1.2課題研究目的與意義民宿的質(zhì)量、價(jià)格參差不齊,與實(shí)際甚至不符,在此基礎(chǔ)上,通過(guò)對(duì)民宿的價(jià)格分析預(yù)測(cè),可以進(jìn)一步加深對(duì)民宿的了解,也可以通過(guò)該系統(tǒng)清晰展示價(jià)格對(duì)民宿的影響,更好地讓人們有方向地選擇民宿,也為普通民眾提供更方便的民宿選擇對(duì)比,選擇更合適的民宿出行居住,為民眾提供有利的出行體驗(yàn)。1.3國(guó)內(nèi)外研究現(xiàn)狀國(guó)外的民宿通常以"BedandBreakfast"為典型代表,同時(shí)也有一系列相似的家庭旅館類(lèi)型,如家庭旅館、住宅旅館等。這些家庭旅館業(yè)經(jīng)過(guò)長(zhǎng)時(shí)間的發(fā)展,已經(jīng)相對(duì)成熟。在運(yùn)營(yíng)方面,它們重視人性化和個(gè)性化的管理。此外,旅游休閑活動(dòng)逐漸展現(xiàn)出多元化的特點(diǎn),并融入了民俗、本土化和家族化的元素。一些外國(guó)學(xué)者的研究表明,家庭旅館旅游的特點(diǎn)在于其較高的經(jīng)濟(jì)和文化水平,以及對(duì)“家”氛圍的獨(dú)特感知。例如,JonesD.etal.(2021)針對(duì)旅游者在中國(guó)內(nèi)地家庭旅館的消費(fèi)行為進(jìn)行了調(diào)研,結(jié)果顯示,年輕、中等學(xué)歷和中等收入人群是家庭旅館的主要消費(fèi)群體。在國(guó)際范圍內(nèi),酒店業(yè)采用多種營(yíng)銷(xiāo)手段進(jìn)行市場(chǎng)推廣,其中口碑營(yíng)銷(xiāo)因其廣泛性和有效性而備受推崇。KlineS.F.etal.(2018)對(duì)美國(guó)印第安家庭旅館的評(píng)估顯示,盡管它們?cè)谖Ψ矫姹憩F(xiàn)良好,但在易用性、市場(chǎng)效率和技術(shù)方面仍有待提升。李濤(2021)在《基于Python的租房信息可視化及價(jià)格預(yù)測(cè)》中以都勻市出租房市場(chǎng)為研究對(duì)象,運(yùn)用Python編程語(yǔ)言,對(duì)安居客在線平臺(tái)發(fā)布的房源數(shù)據(jù)進(jìn)行采集。隨后,對(duì)所獲取的數(shù)據(jù)進(jìn)行預(yù)處理和清洗,確保數(shù)據(jù)的準(zhǔn)確性和完整性。在數(shù)據(jù)集中,我們選擇了小區(qū)名稱、戶型結(jié)構(gòu)、房屋朝向、居住面積以及租金價(jià)格等關(guān)鍵特征進(jìn)行深入的數(shù)據(jù)分析,并通過(guò)可視化手段呈現(xiàn)數(shù)據(jù)特征和趨勢(shì)。最后,采用隨機(jī)森林模型對(duì)租金價(jià)格進(jìn)行預(yù)測(cè)分析,以期為都勻市租房市場(chǎng)提供有價(jià)值的參考和決策支持[1]。左銘書(shū)(2021)《基于數(shù)據(jù)挖掘的在線短租房銷(xiāo)量影響因素分析》運(yùn)用數(shù)據(jù)挖掘算法,對(duì)濟(jì)南市在線短租房銷(xiāo)量的影響因素進(jìn)行了深入研究。本研究旨在幫助該地區(qū)在線短租房平臺(tái)及房東識(shí)別關(guān)鍵影響因素,進(jìn)而優(yōu)化服務(wù)、提升銷(xiāo)量,推動(dòng)共享住宿行業(yè)的持續(xù)發(fā)展[2].王福成(2020年)在《基于Hive的合肥市二手房信息爬取與數(shù)據(jù)分析》研究中,我們運(yùn)用了Python編程語(yǔ)言,結(jié)合Scrapy框架,成功開(kāi)發(fā)了一套分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)。該系統(tǒng)針對(duì)合肥市二手房市場(chǎng),有效地抓取了大量房源信息。隨后,我們對(duì)這些原始數(shù)據(jù)進(jìn)行了詳盡的清洗和整理。在數(shù)據(jù)處理階段,我們采用了Hive數(shù)據(jù)倉(cāng)庫(kù)技術(shù),進(jìn)行了深入的數(shù)據(jù)分析和可視化展示,從而實(shí)現(xiàn)了對(duì)合肥市二手房市場(chǎng)的全面、細(xì)致地研究[3]。綜上所述,這些研究為民宿行業(yè)提供了重要的數(shù)據(jù)分析和決策支持,有助于推動(dòng)民宿行業(yè)的發(fā)展。通過(guò)運(yùn)用Hive和機(jī)器學(xué)習(xí)算法,可以有效地分析民宿數(shù)據(jù),挖掘潛在的業(yè)務(wù)機(jī)會(huì),并提供個(gè)性化的推薦服務(wù),從而提高民宿行業(yè)的競(jìng)爭(zhēng)力和用戶體驗(yàn)。1.4論文結(jié)構(gòu)本文包含六章內(nèi)容,結(jié)構(gòu)條理清晰,論述嚴(yán)謹(jǐn)。各章節(jié)主要內(nèi)容概述如下:第一章為引言部分,詳細(xì)闡述了課題的研究背景及目的,并對(duì)國(guó)內(nèi)外的研究現(xiàn)狀進(jìn)行了深入的分析與探討,為后續(xù)研究提供了理論支持。同時(shí),本章還概括了本文的主要研究?jī)?nèi)容,為讀者提供了整體的研究框架。第二章聚焦于相關(guān)技術(shù)介紹,對(duì)系統(tǒng)建設(shè)過(guò)程中所涉及的關(guān)鍵技術(shù)進(jìn)行了詳細(xì)介紹。這些技術(shù)涵蓋了系統(tǒng)開(kāi)發(fā)、數(shù)據(jù)分析、可視化等多個(gè)方面,為后續(xù)的系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)提供了技術(shù)支撐。第三章是系統(tǒng)需求分析章節(jié),從系統(tǒng)可行性、功能需求、非功能需求等多個(gè)角度對(duì)系統(tǒng)進(jìn)行了全面的需求分析。通過(guò)深入剖析用戶需求,確保了系統(tǒng)設(shè)計(jì)的合理性和實(shí)用性。第四章詳細(xì)闡述了系統(tǒng)功能設(shè)計(jì),從系統(tǒng)整體功能和架構(gòu)出發(fā),對(duì)系統(tǒng)進(jìn)行了全面的功能設(shè)計(jì)。設(shè)計(jì)過(guò)程中充分考慮了系統(tǒng)的可擴(kuò)展性、可維護(hù)性和易用性,確保了系統(tǒng)的穩(wěn)定性和高效性。第五章主要介紹了系統(tǒng)的實(shí)現(xiàn)過(guò)程,包括可視化系統(tǒng)的搭建以及各個(gè)分析維度的可視化效果展示。通過(guò)這一章節(jié),讀者可以清晰地了解系統(tǒng)從設(shè)計(jì)到實(shí)現(xiàn)的整個(gè)過(guò)程,以及最終的呈現(xiàn)效果。第六章是系統(tǒng)測(cè)試章節(jié),按照軟件工程和軟件測(cè)試的相關(guān)理論和方法,對(duì)系統(tǒng)進(jìn)行了全面的測(cè)試。測(cè)試過(guò)程中確保了系統(tǒng)的穩(wěn)定性、可靠性和安全性,為系統(tǒng)的上線運(yùn)行提供了有力保障。最后,本文還對(duì)本次課題研究進(jìn)行了總結(jié),并對(duì)未來(lái)發(fā)展趨勢(shì)進(jìn)行了展望。通過(guò)總結(jié)研究成果和經(jīng)驗(yàn)教訓(xùn),為未來(lái)的研究提供了寶貴的參考和借鑒。同時(shí),通過(guò)對(duì)未來(lái)發(fā)展趨勢(shì)的展望,為相關(guān)領(lǐng)域的研究和應(yīng)用提供了新的思路和方向。

2相關(guān)技術(shù)介紹2.1Hadoop大數(shù)據(jù)平臺(tái)Hadoop是一個(gè)開(kāi)源的大數(shù)據(jù)處理平臺(tái),旨在解決處理和存儲(chǔ)大規(guī)模數(shù)據(jù)的問(wèn)題。它提供了分布式計(jì)算和存儲(chǔ)能力,使得處理大數(shù)據(jù)變得更加高效和可靠。Hadoop的核心構(gòu)成包括Hadoop分布式文件系統(tǒng)(HDFS)以及MapReduce計(jì)算框架。HDFS是一種分布式文件系統(tǒng),旨在將大規(guī)模數(shù)據(jù)分散存儲(chǔ)在多個(gè)節(jié)點(diǎn)上,并通過(guò)數(shù)據(jù)的冗余性和容錯(cuò)性來(lái)保障數(shù)據(jù)的可靠性和高可用性。同時(shí),HDFS還支持高吞吐量的數(shù)據(jù)訪問(wèn),使得數(shù)據(jù)可以被快速讀取和寫(xiě)入。在Hadoop環(huán)境中,MapReduce算法運(yùn)用分布式計(jì)算的思想,將單一任務(wù)細(xì)化為多個(gè)子任務(wù),并通過(guò)并行處理的方式由多個(gè)子任務(wù)共同完成。MapReduce算法通過(guò)將計(jì)算任務(wù)分配至存儲(chǔ)數(shù)據(jù)的節(jié)點(diǎn),有效地減少了計(jì)算成本,提高了計(jì)算效率。同時(shí),MapReduce展現(xiàn)了出色的容錯(cuò)性,當(dāng)某個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí),它能夠智能地調(diào)配其他空閑節(jié)點(diǎn)的資源,確保任務(wù)的順利完成。Hadoop平臺(tái)為HDFS和MapReduce開(kāi)發(fā)了許多輔助工具和構(gòu)件,用于數(shù)據(jù)管理、調(diào)度和監(jiān)控等方面。例如,Hadoop提供了YARN(YetAnotherResourceNegotiator)資源管理器,用于管理集群資源的分配和調(diào)度。此外,它也提供了一些諸如Hive、Pig這樣的數(shù)據(jù)檢索和分析的功能。此外,Hadoop還支持HBase、Spark、Sqoop等各種擴(kuò)展組件,用于處理不同類(lèi)型的數(shù)據(jù)和應(yīng)用場(chǎng)景。Hadoop的顯著優(yōu)勢(shì)在于其卓越的可擴(kuò)展性和容錯(cuò)機(jī)制。借助分布式存儲(chǔ)和計(jì)算架構(gòu),Hadoop能夠輕松處理PB甚至EB級(jí)別的海量數(shù)據(jù)。同時(shí),Hadoop還提供了豐富的數(shù)據(jù)備份和容錯(cuò)功能,確保整個(gè)系統(tǒng)的穩(wěn)定運(yùn)行和高度可靠性。此外,Hadoop的開(kāi)源特性也使得用戶能夠根據(jù)自身需求進(jìn)行二次開(kāi)發(fā)和定制。然而,Hadoop在實(shí)際應(yīng)用中也面臨著諸多問(wèn)題和挑戰(zhàn)。首要之務(wù),Hadoop的學(xué)習(xí)曲線較為陡峭,要求使用者具備一定的分布式軟件和程序設(shè)計(jì)知識(shí)。其次,Hadoop在實(shí)時(shí)性方面存在不足,難以適應(yīng)需要快速響應(yīng)的場(chǎng)景。此外,在處理小規(guī)模數(shù)據(jù)時(shí),Hadoop的效率和性能可能并不理想,由于引入了分布式計(jì)算和存儲(chǔ)的開(kāi)銷(xiāo),可能會(huì)導(dǎo)致性能下降。綜上所述,Hadoop是一個(gè)具有高可靠性、分布式存儲(chǔ)與運(yùn)算功能的大型數(shù)據(jù)處理平臺(tái)。它的出現(xiàn)極大地推動(dòng)了大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用,但同時(shí)也需要用戶在使用過(guò)程中充分考慮其特點(diǎn)和限制,選擇合適的應(yīng)用場(chǎng)景和解決方案。2.2Hive數(shù)據(jù)倉(cāng)庫(kù)Hive是一種基于Hadoop平臺(tái)的開(kāi)放源代碼數(shù)據(jù)倉(cāng)庫(kù)架構(gòu),旨在處理和分析大規(guī)模數(shù)據(jù)集。該架構(gòu)充分利用了Hadoop的分布式存儲(chǔ)和計(jì)算能力,通過(guò)提供類(lèi)似SQL的查詢語(yǔ)言,使用戶能夠輕松地檢索和分析數(shù)據(jù)。Hive還具備強(qiáng)大的數(shù)據(jù)分析功能,為用戶提供高效、可靠的數(shù)據(jù)處理和分析體驗(yàn)。Hive的核心組件包括HiveQL、HiveMetastore和Hive執(zhí)行引擎。HiveQL,作為Hive公司精心研發(fā)的查詢語(yǔ)言,其功能與SQL有著諸多相似之處,皆在支持?jǐn)?shù)據(jù)的檢索與深度解析。而其獨(dú)特的文法設(shè)計(jì),更為使用者提供了便捷與高效的操作體驗(yàn)。與此同時(shí),Hive公司還推出了HiveMetastore這一元數(shù)據(jù)存儲(chǔ)與管理模塊,其新型的設(shè)計(jì)思路旨在存儲(chǔ)多種類(lèi)型的元數(shù)據(jù),包括但不限于表結(jié)構(gòu)、分區(qū)信息、位置信息等,以此實(shí)現(xiàn)數(shù)據(jù)的高效存取與有序管理。至于Hive的運(yùn)行引擎,其主要任務(wù)是將HiveQL的聲明轉(zhuǎn)化為底層的運(yùn)算架構(gòu),如MapReduce或Tez,進(jìn)而在集群中順利執(zhí)行。Hive的工作流程通常包括數(shù)據(jù)導(dǎo)入、數(shù)據(jù)定義和數(shù)據(jù)查詢?nèi)齻€(gè)步驟。首先,用戶可以通過(guò)Hive將數(shù)據(jù)從外部系統(tǒng)(如關(guān)系數(shù)據(jù)庫(kù)、HDFS等)導(dǎo)入到Hive中,以便后續(xù)的處理和分析。其次,用戶可以使用Hive的DDL(數(shù)據(jù)定義語(yǔ)言)語(yǔ)句創(chuàng)建表、定義表結(jié)構(gòu)和分區(qū)等。通過(guò)這些定義,Hive能夠充分利用這些元數(shù)據(jù),確保數(shù)據(jù)的存儲(chǔ)既高效又有序。同時(shí),借助元數(shù)據(jù),Hive能夠?qū)?shù)據(jù)執(zhí)行最佳的查詢操作。最終,用戶通過(guò)HiveQL聲明,能夠方便地對(duì)數(shù)據(jù)進(jìn)行檢索與深入分析,將復(fù)雜的數(shù)據(jù)處理任務(wù)轉(zhuǎn)化為簡(jiǎn)單的SQL語(yǔ)句。Hive的優(yōu)勢(shì)在于其易用性和靈活性。由于采用了類(lèi)似于SQL的查詢語(yǔ)言,用戶無(wú)需學(xué)習(xí)復(fù)雜的編程語(yǔ)言和底層技術(shù),經(jīng)過(guò)適當(dāng)?shù)奶幚砼c分析,可以對(duì)所得資料進(jìn)行深入挖掘。此外,Hive提供了可定制的函數(shù)以及用戶自定義函數(shù)(UDF),使用戶能夠根據(jù)自己的需求對(duì)Hive的功能進(jìn)行拓展。同時(shí),Hive也支持多種類(lèi)型的數(shù)據(jù)存儲(chǔ),并可對(duì)數(shù)據(jù)進(jìn)行壓縮,以提高存儲(chǔ)效率和查詢性能,以滿足不同類(lèi)型的數(shù)據(jù)存儲(chǔ)和處理需求。然而,Hive也存在一些限制和挑戰(zhàn)。首先,Hive的實(shí)時(shí)性較差,對(duì)于實(shí)時(shí)性要求較高的應(yīng)用場(chǎng)景可能無(wú)法滿足。其次,由于Hive底層使用了MapReduce等計(jì)算框架,對(duì)于某些復(fù)雜的查詢和計(jì)算任務(wù),性能可能有所下降。此外,Hive在處理小規(guī)模數(shù)據(jù)時(shí),由于引入了分布式計(jì)算和存儲(chǔ)的開(kāi)銷(xiāo),可能會(huì)導(dǎo)致性能不如傳統(tǒng)數(shù)據(jù)庫(kù)。綜上所述,Hive是一種功能很強(qiáng)的數(shù)據(jù)倉(cāng)儲(chǔ)體系結(jié)構(gòu),它具有大量的數(shù)據(jù)處理與分析能力。它的出現(xiàn)極大地推動(dòng)了大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用,但同時(shí)也需要用戶在使用過(guò)程中充分考慮其特點(diǎn)和限制,選擇合適的應(yīng)用場(chǎng)景和解決方案。2.3Echarts可視化框架Echarts是一個(gè)開(kāi)源的可視化框架,旨在幫助用戶通過(guò)簡(jiǎn)單的代碼實(shí)現(xiàn)豐富多樣的數(shù)據(jù)可視化效果。它由百度前端團(tuán)隊(duì)開(kāi)發(fā),并以其強(qiáng)大的功能和靈活的擴(kuò)展性而受到廣泛的歡迎。Echarts的主要優(yōu)勢(shì)在于其豐富的圖表類(lèi)型、靈活的配置選項(xiàng)以及出色的交互性。該軟件廣泛支持各類(lèi)常用曲線圖,如折線圖、柱狀圖、餅圖和散點(diǎn)圖等。用戶可借助簡(jiǎn)單的設(shè)置,根據(jù)不同場(chǎng)景定制圖表的風(fēng)格、數(shù)據(jù)和交互方式。此外,Echarts還具備多種交互式功能,如過(guò)濾、圖標(biāo)切換、縮放和拖放等,使用戶能夠更直觀地分析數(shù)據(jù)。Echarts是一款易于操作的數(shù)據(jù)可視化工具,用戶可輕松導(dǎo)入相應(yīng)的JavaScript文件,并在HTML網(wǎng)頁(yè)中創(chuàng)建一個(gè)容器。隨后,利用Echarts提供的API,借助JavaScript傳遞必要的數(shù)據(jù)和配置信息,實(shí)現(xiàn)數(shù)據(jù)的可視化呈現(xiàn),即可生成相應(yīng)的圖表。Echarts還提供了詳細(xì)的文檔和示例代碼,方便用戶學(xué)習(xí)和參考。

3系統(tǒng)需求分析3.1可行性分析3.1.1技術(shù)可行性本文系統(tǒng)采用Java、Hive、Hadoop、ECharts的研發(fā)技術(shù)路線。因?yàn)樵趯W(xué)校階段本人學(xué)習(xí)過(guò)這些技術(shù),并對(duì)相關(guān)的技術(shù)實(shí)踐并了解,具備實(shí)現(xiàn)系統(tǒng)開(kāi)發(fā)的經(jīng)驗(yàn)。所以技術(shù)層面上,本人具備獨(dú)立開(kāi)發(fā)系統(tǒng)的技術(shù)儲(chǔ)備和可行性。3.1.2經(jīng)濟(jì)可行性從研發(fā)需要投入的資金來(lái)看,系統(tǒng)建設(shè)需要用到Hive、Hadoop、Java、ECharts等計(jì)算機(jī)編程技術(shù)以及虛擬機(jī)、IDEA編譯器、MySQL數(shù)據(jù)庫(kù)等工具軟件。上面涉及的開(kāi)發(fā)工具都是免費(fèi)開(kāi)源的,個(gè)人完全可獲取并使用,所以本文研發(fā)的系統(tǒng)在經(jīng)濟(jì)上完全可行。3.1.3操作可行性專(zhuān)業(yè)技術(shù)人員在Hive倉(cāng)庫(kù)中執(zhí)行數(shù)據(jù)分析代碼,普通用戶登錄系統(tǒng)后查看可視化大屏。各個(gè)分析指標(biāo)以可視化圖表的形式進(jìn)行展示,用戶不需要進(jìn)行任何操作即可查看分析結(jié)果。因此系統(tǒng)具有較高的操作可行性。3.2功能需求分析基于Hive的民宿價(jià)格分析系統(tǒng)分為用戶和管理員兩類(lèi)用戶。普通用戶的用例需求包括登錄注冊(cè)、民宿數(shù)據(jù)菜單查看、民宿收藏列表、民宿預(yù)訂列表等。普通用戶用例圖如圖3-1所示:圖3-1用戶用例管理員用戶的用例需求包括登錄注冊(cè)、民宿信息查看、數(shù)據(jù)分析結(jié)果查看、系統(tǒng)管理等。管理員用例圖如圖3-2所示:圖3-2管理員用例圖3.3非功能需求分析任何一款系統(tǒng)都包含兩類(lèi)需求,在系統(tǒng)分析中,除了關(guān)注功能需求外,還需對(duì)非功能需求進(jìn)行全面審視。這涵蓋了兼容性、系統(tǒng)維護(hù)、運(yùn)行穩(wěn)定性及數(shù)據(jù)可靠性等多個(gè)方面。為確保分析的深度和廣度,需結(jié)合相關(guān)度量指標(biāo)進(jìn)行詳盡闡述。具體而言,非功能需求的分析需滿足以下三大核心要求:(1)用戶體驗(yàn)的流暢性至關(guān)重要。在B/S架構(gòu)的基礎(chǔ)上,系統(tǒng)通過(guò)服務(wù)器與瀏覽器的協(xié)同工作,優(yōu)化用戶體驗(yàn),提升工作效率,實(shí)現(xiàn)成本控制并創(chuàng)造額外價(jià)值。(2)系統(tǒng)的實(shí)用價(jià)值不容忽視。這要求不僅界面設(shè)計(jì)要美觀、直觀,還需確保每個(gè)功能模塊都經(jīng)過(guò)精心策劃,以便用戶能迅速完成預(yù)期操作。(3)信息安全性是系統(tǒng)設(shè)計(jì)的基石。在整個(gè)設(shè)計(jì)過(guò)程中,確保數(shù)據(jù)的安全性至關(guān)重要,它是用戶信賴系統(tǒng)并有效利用信息的根本保障,采用MD5加密技術(shù)對(duì)用戶的個(gè)人數(shù)據(jù)進(jìn)行加密處理。4系統(tǒng)設(shè)計(jì)4.1系統(tǒng)架構(gòu)設(shè)計(jì)該系統(tǒng)整體框架總共分為以下三個(gè)部分:數(shù)據(jù)存儲(chǔ)層.在系統(tǒng)中采集的民宿價(jià)格信息將被存儲(chǔ)到Hadoop的HDFS上面。而系統(tǒng)其他的數(shù)據(jù)將采用MySQL進(jìn)行存儲(chǔ),利用其強(qiáng)大的容錯(cuò)機(jī)制來(lái)提升數(shù)據(jù)的安全性.另外分布式存儲(chǔ)的概念也讓系統(tǒng)的數(shù)據(jù)存儲(chǔ)具有更高的容錯(cuò)能力、可靠性.?dāng)?shù)據(jù)分析層作為系統(tǒng)的核心構(gòu)成部分,承擔(dān)著至關(guān)重要的角色。該層主要依賴于HiveSQL進(jìn)行數(shù)據(jù)的高效分析與處理,確保數(shù)據(jù)的精準(zhǔn)性與實(shí)時(shí)性,從而為決策層提供有力支持。通過(guò)數(shù)據(jù)分析層,我們能夠深入挖掘數(shù)據(jù)價(jià)值,發(fā)現(xiàn)潛在規(guī)律,為企業(yè)發(fā)展提供有力數(shù)據(jù)支撐,結(jié)合HiveSQL的高性能計(jì)算,提升系統(tǒng)的運(yùn)行效率.系統(tǒng)的其他業(yè)務(wù)邏輯處理將在SSM框架中進(jìn)行,HiveSQL只實(shí)現(xiàn)系統(tǒng)的數(shù)據(jù)分析相關(guān)業(yè)務(wù),經(jīng)過(guò)深入分析所得的數(shù)據(jù)將被妥善保存在MySQL數(shù)據(jù)庫(kù)中,以便前端用戶在進(jìn)行瀏覽時(shí)能夠輕松查閱。在數(shù)據(jù)展示層,其核心功能在于與用戶進(jìn)行交互,確保用戶能夠直觀地獲取所需信息。而應(yīng)用層作為與用戶交流最為頻繁的部分,其主要職責(zé)在于響應(yīng)用戶的直接需求,而不涉及復(fù)雜的商業(yè)邏輯處理。圖4-1系統(tǒng)架構(gòu)4.2系統(tǒng)整體設(shè)計(jì)本次建設(shè)的民宿數(shù)據(jù)分析與可視化系統(tǒng),包括用戶和管理員兩類(lèi)用戶。該系統(tǒng)具備以下核心特性:用戶登錄與注冊(cè)功能、民宿數(shù)據(jù)展示菜單、民宿收藏功能以及民宿預(yù)訂列表等。同時(shí),管理員擁有全面的管理職能,包括民宿信息的錄入與更新、數(shù)據(jù)深度分析、用戶賬戶管理以及用戶行為監(jiān)控等。這些功能與設(shè)計(jì)旨在為用戶提供便捷、高效的民宿預(yù)訂體驗(yàn),同時(shí)為管理員提供強(qiáng)大的后臺(tái)管理工具,確保系統(tǒng)的穩(wěn)定運(yùn)行與數(shù)據(jù)的準(zhǔn)確性。系統(tǒng)功能圖如圖4-2所示:圖4-2系統(tǒng)功能結(jié)構(gòu)圖4.3系統(tǒng)功能設(shè)計(jì)4.3.1數(shù)據(jù)采集功能設(shè)計(jì)為了獲取更詳盡的信息,可采取兩種策略。一是從商業(yè)系統(tǒng)中直接提取所需數(shù)據(jù),另一種則是借助網(wǎng)絡(luò)爬蟲(chóng)技術(shù)。網(wǎng)絡(luò)爬蟲(chóng)通過(guò)解析網(wǎng)頁(yè)構(gòu)成,遵循既定規(guī)則,利用編程手段在互聯(lián)網(wǎng)上搜集信息。爬蟲(chóng)程序會(huì)根據(jù)URL地址發(fā)送請(qǐng)求,獲取對(duì)應(yīng)頁(yè)面后,對(duì)頁(yè)面DOM文檔進(jìn)行解析,篩選出所需數(shù)據(jù)和下一個(gè)頁(yè)面的URL,將所得信息保存在本地,并通過(guò)鏈接持續(xù)進(jìn)行此過(guò)程,直至遍歷所有相關(guān)頁(yè)面。4.3.2數(shù)據(jù)分析功能設(shè)計(jì)利用Java編程語(yǔ)言,對(duì)“住家”相關(guān)數(shù)據(jù)進(jìn)行深入解析,并將經(jīng)過(guò)計(jì)算處理后的數(shù)據(jù)準(zhǔn)確地寫(xiě)入MySQL數(shù)據(jù)庫(kù)中。數(shù)據(jù)分析功能設(shè)計(jì)流程如下所示:圖4.4系統(tǒng)分析流程以民宿標(biāo)題詞云分析為例,在詞云分析中引用了ansj_seg分詞器,使用該分詞器對(duì)民宿標(biāo)題數(shù)據(jù)進(jìn)行分詞處理,SQL語(yǔ)句進(jìn)行計(jì)算。將數(shù)據(jù)計(jì)算結(jié)果由Sqoop寫(xiě)入數(shù)據(jù)庫(kù)。分析流程如圖4-5所示:圖4-5詞云分析流程4.3.3可視化模功能設(shè)計(jì)可視化是一種利用圖形等手段將數(shù)據(jù)以直觀、形象的方式呈現(xiàn)給用戶的方法。在數(shù)據(jù)分析領(lǐng)域,Echarts組件的引入使得數(shù)據(jù)的圖形化展示成為可能。相較于其他同類(lèi)產(chǎn)品,Echarts具備三大創(chuàng)新特性:拖拽重計(jì)算、值域漫游和數(shù)據(jù)嘗試。它不僅能夠與數(shù)據(jù)庫(kù)進(jìn)行交互,還允許用戶根據(jù)個(gè)人偏好進(jìn)行個(gè)性化設(shè)計(jì)。在使用該系統(tǒng)時(shí),用戶既可以集成現(xiàn)有數(shù)據(jù),也可以對(duì)數(shù)據(jù)進(jìn)行深入挖掘。要將Echarts集成到系統(tǒng)中,您可以將echarts.min.js文件放置在系統(tǒng)的適當(dāng)位置,或者將Echarts文件導(dǎo)入到系統(tǒng)指定的目錄中。在文件導(dǎo)入完成后,您需要在網(wǎng)頁(yè)的主體部分添加div標(biāo)記作為預(yù)留位置,并在相應(yīng)的網(wǎng)頁(yè)JS中添加一個(gè)框架。隨著Echarts的輸入,系統(tǒng)將自動(dòng)完成圖形的顯示。總之,Echarts作為一種高效的數(shù)據(jù)可視化工具,為數(shù)據(jù)分析提供了強(qiáng)大的支持。通過(guò)其獨(dú)特的特性和靈活的設(shè)計(jì),用戶可以輕松地將數(shù)據(jù)以圖形化的方式展示,從而更直觀地理解和分析數(shù)據(jù)。

圖4.6系統(tǒng)可視化流程圖

5系統(tǒng)實(shí)現(xiàn)5.1系統(tǒng)開(kāi)發(fā)環(huán)境本次課題實(shí)驗(yàn)所使用的軟件和硬件配置如下所示:表5.1實(shí)驗(yàn)環(huán)境類(lèi)型名稱版本硬件環(huán)境電腦CPUInter(R)Core(TM)i5物理內(nèi)存16GB硬盤(pán)空間1TB軟件環(huán)境操作系統(tǒng)Ubantu14.4數(shù)據(jù)庫(kù)MySQL5.5開(kāi)發(fā)工具Eclipse2018JDK版本JDK1.8Hadoop2.6.0SqlyogUltimate645.2系統(tǒng)功能實(shí)現(xiàn)5.2.1用戶功能用戶需正確輸入賬號(hào)、密碼,方可完成登錄操作。若用戶尚未完成注冊(cè),需前往指定注冊(cè)頁(yè)面提交相關(guān)資料以完成注冊(cè)。用戶登錄界面如圖5-2所示:圖5-2用戶登錄界面用戶登錄系統(tǒng)后,在民宿信息列表界面能夠查看民宿信息。民宿信息包括名稱、戶型、可住人數(shù)、價(jià)格、圖片、評(píng)分、類(lèi)型、城市等信息。用戶也可根據(jù)名稱、戶型、類(lèi)型以及城市等信息對(duì)數(shù)據(jù)進(jìn)行精確查詢。民宿信息列表實(shí)現(xiàn)效果如圖5-3所示:圖5-3民宿信息列表用戶登錄系統(tǒng)后,在民宿收藏與預(yù)訂列表模塊中,用戶可以方便地查看其個(gè)人收藏以及已預(yù)訂的民宿信息。圖5-4展示了民宿收藏列表的實(shí)現(xiàn)效果,而圖5—5則展示了預(yù)定列表的呈現(xiàn)方式:圖5-4民宿收藏列表圖5-5民宿預(yù)訂列表5.2.2管理員功能在完成對(duì)該平臺(tái)的登錄后,管理員將有權(quán)對(duì)平臺(tái)內(nèi)的用戶數(shù)據(jù)進(jìn)行全面管理。這些數(shù)據(jù)涵蓋了用戶的賬號(hào)信息、密碼設(shè)置、真實(shí)姓名、電子郵箱以及性別等關(guān)鍵信息。圖5-6直觀地展示了該系統(tǒng)在實(shí)際應(yīng)用中的操作結(jié)果。圖5-6用戶信息管理界面管理員在成功登錄系統(tǒng)后,將具備對(duì)用戶權(quán)限進(jìn)行管理的功能。用戶權(quán)限管理界面的實(shí)際展示效果,請(qǐng)參見(jiàn)附圖5-7:圖5-7用戶權(quán)限管理界面管理員在完成系統(tǒng)登錄后,將進(jìn)入數(shù)據(jù)分析模塊,該模塊提供了數(shù)據(jù)分析的可視化結(jié)果展示功能??梢暬瘓D表的具體實(shí)現(xiàn)效果,如圖5-8、5-9、5-10所示。這些圖表直觀地呈現(xiàn)了數(shù)據(jù)的分析結(jié)果,為管理員提供了便捷、高效的決策支持工具:圖5-8銷(xiāo)售標(biāo)題詞云圖5-9各區(qū)域民宿數(shù)量分析圖5-10各區(qū)域民宿熱度分析

6系統(tǒng)測(cè)試6.1系統(tǒng)測(cè)試原則一般而言,軟件檢測(cè)主要?jiǎng)澐譃楹谙浜桶紫鋬纱箢?lèi)別。本次系統(tǒng)測(cè)試亦遵循此二法,于系統(tǒng)正式發(fā)布前,對(duì)軟硬件實(shí)施全面測(cè)試。此次測(cè)試過(guò)程需覆蓋質(zhì)量、性能、安全及運(yùn)行穩(wěn)定性等關(guān)鍵領(lǐng)域,力求降低錯(cuò)誤率,為用戶營(yíng)造更優(yōu)質(zhì)的工作環(huán)境。測(cè)試過(guò)程中,若發(fā)現(xiàn)系統(tǒng)存在問(wèn)題或嚴(yán)重缺陷,須迅速進(jìn)行原因剖析,并及時(shí)采取相應(yīng)措施??傮w而言,測(cè)試工作應(yīng)圍繞功能性、安全性、可用性及運(yùn)行流暢性四大標(biāo)準(zhǔn)展開(kāi)。其中,安全性能測(cè)試尤為關(guān)鍵,其目的在于揭示潛在的安全風(fēng)險(xiǎn)與缺陷,并及時(shí)識(shí)別問(wèn)題,確保系統(tǒng)整體順暢運(yùn)行。因此,對(duì)各個(gè)組件進(jìn)行全面檢查,特別是接口與功能部分,顯得至關(guān)重要。6.2系統(tǒng)功能測(cè)試表6-1系統(tǒng)登錄功能測(cè)試測(cè)試模塊系統(tǒng)登錄測(cè)試要求完成項(xiàng)目部署,用戶完成登錄測(cè)試環(huán)節(jié)對(duì)賬號(hào)密碼的正確性進(jìn)行檢測(cè)判斷賬號(hào)密碼是否輸入錯(cuò)誤測(cè)試效果判斷賬號(hào)密碼無(wú)誤后,自動(dòng)轉(zhuǎn)跳到主界面。判斷賬號(hào)密碼錯(cuò)誤后,系統(tǒng)會(huì)進(jìn)行提示。表6-2數(shù)據(jù)分析功能測(cè)試測(cè)試模塊數(shù)據(jù)分析測(cè)試要求在Hive中執(zhí)行HiveSQL代碼進(jìn)行數(shù)據(jù)分析測(cè)試環(huán)節(jié)在HiveShell中查看執(zhí)行結(jié)果測(cè)試效果表中出現(xiàn)分析結(jié)果6.3系統(tǒng)非功能測(cè)試本系統(tǒng)的功能測(cè)試涵蓋諸多關(guān)鍵環(huán)節(jié),現(xiàn)選取五大核心方面予以闡述:系統(tǒng)安全性、系統(tǒng)依從性、系統(tǒng)適用性、系統(tǒng)精度及系統(tǒng)操作性。表6-3功能測(cè)試結(jié)果測(cè)試內(nèi)容測(cè)試結(jié)果系統(tǒng)適用性正常系統(tǒng)準(zhǔn)確性正常系統(tǒng)可操作性正常系統(tǒng)依從性正常系統(tǒng)安全性正常6.4測(cè)試總結(jié)在本次系統(tǒng)研發(fā)過(guò)程中,本人深入研究了眾多優(yōu)質(zhì)網(wǎng)站平臺(tái)的設(shè)計(jì)范例,并從中領(lǐng)悟了諸多重要啟示。在系統(tǒng)接口設(shè)計(jì)與性能優(yōu)化方面,我們始終將用戶需求置于核心地位,以期為用戶提供卓越的使用體驗(yàn)和管理者高效的管理工具。這一系統(tǒng)的運(yùn)用將帶來(lái)兩大主要優(yōu)勢(shì):首先,系統(tǒng)具備較強(qiáng)的針對(duì)性,能夠充分考慮并滿足用戶的不同需求。通過(guò)優(yōu)化系統(tǒng)兼容性,確保在各種操作系統(tǒng)下均能流暢運(yùn)行,從而全方位滿足用戶的實(shí)際需求。其次,該系統(tǒng)便于管理。它配備了豐富的功能模塊,能夠?qū)崟r(shí)監(jiān)控系統(tǒng)狀態(tài),一旦發(fā)現(xiàn)潛在問(wèn)題或故障,將立即觸發(fā)報(bào)警機(jī)制并自動(dòng)進(jìn)行修復(fù)。這種設(shè)計(jì)不僅有效避免了因用戶誤操作導(dǎo)致的系統(tǒng)癱瘓風(fēng)險(xiǎn),還能在系統(tǒng)出現(xiàn)異常時(shí)迅速恢復(fù),確保系統(tǒng)的穩(wěn)定運(yùn)行。同時(shí),該系統(tǒng)的操作流程簡(jiǎn)潔明了,便于用戶快速掌握和操作。

總結(jié)本課題以家庭旅館數(shù)據(jù)分析系統(tǒng)為研究核心,研究的主要邏輯如下:首先,我們深入分析了系統(tǒng)的需求,并明確了所需采用的技術(shù)棧,包括Java語(yǔ)言、Spring框架以及Hive數(shù)據(jù)倉(cāng)庫(kù)等。我們認(rèn)識(shí)到,在互聯(lián)網(wǎng)高速發(fā)展的背景下,管理體系已成為研發(fā)領(lǐng)域的熱門(mén)課題。其次,我們?cè)敿?xì)研究了系統(tǒng)的功能性需求和非功能性需求。其中,非功能性需求主要關(guān)注系統(tǒng)的性能,包括軟件規(guī)模和復(fù)雜程度等方面,這對(duì)整個(gè)系統(tǒng)的流暢性和可用性具有重要影響。接著,我們建立了數(shù)據(jù)建模,作為整個(gè)系統(tǒng)設(shè)計(jì)的基礎(chǔ)。這個(gè)模型需要包含所有相關(guān)信息,并能根據(jù)不同對(duì)象進(jìn)行動(dòng)態(tài)調(diào)整,以決定其內(nèi)部關(guān)系。最后,我們完善了研究開(kāi)發(fā)項(xiàng)目,明確了系統(tǒng)操作結(jié)構(gòu),并提出了一種基于數(shù)據(jù)濾波和擴(kuò)展的函數(shù)實(shí)施方案。我們對(duì)系統(tǒng)各項(xiàng)功能進(jìn)行了編碼,以確保其順利實(shí)現(xiàn)。然而,經(jīng)過(guò)測(cè)試,我們也發(fā)現(xiàn)了一些不足之處:1.數(shù)據(jù)庫(kù)計(jì)算能力需提升:數(shù)據(jù)是信息社會(huì)的核心資源,數(shù)據(jù)庫(kù)性能直接關(guān)系到系統(tǒng)的工作品質(zhì)。因此,我們需要在計(jì)算和存儲(chǔ)兩個(gè)層面進(jìn)行優(yōu)化,同時(shí)保障數(shù)據(jù)的安全性。2.系統(tǒng)接口需美化:雖然接口功能齊全,滿足用戶基礎(chǔ)需求,但整體美觀度不足,影響了用戶體驗(yàn)。我們需要進(jìn)一步優(yōu)化功能菜單設(shè)計(jì),以提升用戶的使用感受。3.系統(tǒng)反應(yīng)速度需加快:當(dāng)前使用的Tomcat服務(wù)器雖然免費(fèi),但性能上較商用服務(wù)器有所欠缺,尤其是在穩(wěn)定性方面。我們需要考慮更換或優(yōu)化服務(wù)器以提高系統(tǒng)性能。綜上所述,家庭旅館數(shù)據(jù)分析系統(tǒng)的研究已取得一定成果,但仍需在數(shù)據(jù)庫(kù)性能、系統(tǒng)接口美觀度和系統(tǒng)反應(yīng)速度等方面進(jìn)行改進(jìn)。

參考文獻(xiàn)李濤.基于Python的租房信息可視化及價(jià)格預(yù)測(cè)[J].中國(guó)市場(chǎng),2022(10):126-128.左銘書(shū).基于數(shù)據(jù)挖掘的在線短租房銷(xiāo)量影響因素分析[J].華北理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2022,44(02):92-98.王福成.基于Hive的合肥市二手房信息爬取與數(shù)據(jù)分析[J].信息技術(shù)與信息化,2022(03):44-47.[4]翟健.鄉(xiāng)建背景下的精品民宿設(shè)計(jì)研究[D].浙江:浙江大學(xué),2019.[5]蔣秀芳,周剛,陳才.臺(tái)灣民宿發(fā)展關(guān)鍵成功因素及其對(duì)海南的啟示[J].臺(tái)灣農(nóng)業(yè)探索.2019,(3).6-11.[6]金銘,咖啡知己.民宿:傳統(tǒng)鄉(xiāng)村新血液[J].中華民居-中國(guó)民族建筑合刊(2016年1、2月合刊),2019(6):10-15.[7]蔣佳倩,李艷.國(guó)內(nèi)外旅游"民宿"研究綜述[J].旅游研究,2014,6(4):7.[8]AlizaFleischer,AbrahamPizam.RuraltourisminIsrael[J].TourismManagement.1997,18(6).367-372[9]N.Gunasekaran,VictorAnandkumar.FactorsofInfluenceinChoosingAlternativeAccommodation:AStudywithReferencetoPondicherry,ACoastalSciences.2012,62(1).1127-1132.[10]張廣海,孟禺.國(guó)內(nèi)外民宿旅游研究進(jìn)展[J].資源開(kāi)發(fā)與市場(chǎng),2017,33(4):503-507.[11]劉書(shū)宏.臺(tái)灣民宿的特色、空間與形態(tài)[D].福建:廈門(mén)大學(xué),2019.[12]DavidL.Jones&JingJingGuan.BedandBreakfastLodgingDevelopmentinMainlandChina:WhoisthePotentialCustomer?[J].AsiaPacificJournalofTourismResearch.2020,16(5).517-536.[13]MarcLubetkin.Bed-and-breakfasts:Advertisingandpromotion[J].TheCornellhotel&restaurantadministrationquarterly.1999,40(4).84-90.[14]陳時(shí)洋.從民居到民宿——基于民居改造的民宿設(shè)計(jì)研究[D].重慶:重慶大學(xué),2019.[15]王偉全,趙麗萍.國(guó)內(nèi)外民宿發(fā)展歷史研究[J].江西建材,2020(1):30.[16]項(xiàng)亮,編著.

推薦系統(tǒng)實(shí)踐

[M].人民郵電出版社,2021.[17]漆曉梅.分析大數(shù)據(jù)在智慧旅游管理中的應(yīng)用[J].中國(guó)地名,2020(04):40.[18]L.TB,AndrewMG,R.EP.Co-Living,GentlemensClubs,andResidentialHotels:ALongViewofSharedHousingInfrastructuresforSingleYoungProfessionals[J].Housing,TheoryandSociety,2023,40(5).附錄1.運(yùn)行程序代碼:packagecom.web;importcom.alibaba.druid.spring.boot.autoconfigure.DruidDataSourceAutoConfigure;importorg.springframework.boot.SpringApplication;importorg.springframework.boot.autoconfigure.SpringBootApplication;importorg.springframework.boot.autoconfigure.jdbc.DataSourceAutoConfiguration;importorg.springframework.boot.autoconfigure.security.servlet.SecurityAutoConfiguration;/***啟動(dòng)入口***/@SpringBootApplication(exclude={SecurityAutoConfiguration.class,DataSourceAutoConfiguration.class,DruidDataSourceAutoConfigure.class})publicclassEntranceApplication{publicstaticvoidmain(String[]args){SpringApplication.run(EntranceApplication.class,args);}}2.數(shù)據(jù)可視化:<!DOCTYPEhtml><htmlxmlns:th=""><head><th:blockth:include="include::header('基于Hive的民宿價(jià)格分析系統(tǒng)')"/><linkhref="admin/css/loader.css"rel="stylesheet"/><linkhref="admin/css/admin.css"rel="stylesheet"/></head><!--結(jié)構(gòu)代碼--><bodyclass="layui-layout-bodypear-admin"><!--布局框架--><divclass="layui-layoutlayui-layout-admin"><!--頂部樣式--><divclass="layui-header"><!--菜單頂部--><divclass="layui-logo"><!--圖標(biāo)--><imgclass="logo"></img><!--標(biāo)題--><spanclass="title"></span></div><!--頂部左側(cè)功能--><ulclass="layui-navlayui-layout-left"><liclass="collapselayui-nav-item"><aclass="layui-iconlayui-icon-shrink-right"href="#"></a></li><liclass="refreshlayui-nav-item"><aclass="layui-iconlayui-icon-refresh-1"href="#"loading=600></a></li></ul><!--多系統(tǒng)菜單--><divclass="layui-layout-control"id="control"></div><!--頂部右側(cè)菜單--><ulclass="layui-navlayui-layout-right"><liclass="layui-nav-itemlayui-hide-xs"><ahref="#"class="menuSearchlayui-iconlayui-icon-search"></a></li><liclass="layui-nav-itemlayui-hide-xs"><aclass="fullScreenlayui-iconlayui-icon-screen-full"href="#"></a></li><liclass="layui-nav-itemlayui-hide-xs"><aclass="layui-iconlayui-icon-website"href=""></a></li><liclass="layui-nav-itemuser"><!--頭像--><aclass="layui-iconlayui-icon-username"href="javascript:;"></a><!--功能菜單--><dlclass="layui-nav-child"><dd><auser-menu-id="5555"user-menu-title="基本資料"user-menu-url="/system/user/center">基本資料</a></dd><dd><aclass="logout"href="javascript:void(0);">注銷(xiāo)登錄</a></dd></dl></li></ul></div><!--側(cè)邊區(qū)域--><divclass="layui-sidelayui-bg-black"><!--菜單頂部--><divclass="layui-logo"><!--圖標(biāo)--><imgclass="logo"><!--標(biāo)題--><spanclass="title"></span></div><!--菜單內(nèi)容--><divclass="layui-side-scroll"><divid="sideMenu"></div></div></div><!--視圖頁(yè)面--><divclass="layui-body"><!--內(nèi)容頁(yè)面--><divid="content"></div></div><!--頁(yè)腳--><divclass="layui-footerlayui-text"><spanclass="left"></span><spanclass="center"></span><spanclass="right"></span></div><!--遮蓋層--><divclass="pear-cover"></div><!--加載動(dòng)畫(huà)--><divclass="loader-main"><!--動(dòng)畫(huà)對(duì)象--><divclass="loader"></div></div></div><!--移動(dòng)端便捷操作--><divclass="pear-collapsed-pecollapse"><ahref="#"class="layui-iconlayui-icon-shrink-right"></a></div><!--依賴腳本--><th:blockth:include="include::footer"/><scriptth:inline="javascript">layui.use(['admin','jquery','layer','popup'],function(){letadmin=layui.admin;let$=layui.jquery;letlayer=layui.layer;letpopup=layui.popup;//框架初始化時(shí)會(huì)讀取根目錄下pear.config.yml文件配置//你可以通過(guò)admin.setConfigPath方法修改配置文件位置//你可以通過(guò)admin.setConfigType方法修改配置文件類(lèi)型admin.setConfigType("yml");admin.setConfigPath("pear.config.yml");admin.render();//登錄注銷(xiāo)admin.logout(function(){letloading=layer.load();$.ajax({url:'/logout',dataType:'json',async:false,type:'post',success:(result)=>{layer.close(loading);if(result.success){popup.success(result.msg,function(){location.href="/";});}}})returntrue;})})</script></body></html>3.Hive分析代碼:--注冊(cè)功能:createtemporaryfunctionfenciTestas'com.link.datawarehouse.hive.IkParticiple';--創(chuàng)建原始數(shù)據(jù)ODS層createdatabaseifnotexistsods_minsu_info;--創(chuàng)建原始數(shù)據(jù)表CREATEEXTERNALTABLEIFNOTEXISTSods_minsu_info.ods_minsu_data(nameSTRINGCOMMENT"名字",house_typeSTRINGCOMMENT"戶型",capacitySTRINGCOMMENT"可住",priceSTRINGCOMMENT"價(jià)格",imageSTRINGCOMMENT"圖片",ratingSTRINGCOMMENT"評(píng)分",categorySTRINGCOMMENT"類(lèi)型",citySTRINGCOMMENT"城市")ROWFORMATDELIMITEDFIELDSTERMINATEDBY','LINESTERMINATEDBY'\n'NULLDEFINEDAS""STOREDASTEXTFILE;--裝載數(shù)據(jù)LOADDATAINPATH'/minsu_data/'OVERWRITEINTOTABLEods_minsu_info.ods_minsu_data;--刪除首行數(shù)據(jù),第一行都是重復(fù)的列名altertableods_minsu_info.ods_minsu_datasettblproperties('skip.header.line.count'='1');select*fromods_minsu_info.ods_minsu_datalimit10;--數(shù)據(jù)清洗層createdatabaseifnotexistsdwd_minsu_info;--數(shù)據(jù)清洗CREATETABLEdwd_minsu_info.dwd_minsu_dataROWFORMATDELIMITEDFIELDSTERMINATEDBY','ASSELECTname,split(house_type,"室")[0]house_types,split(split(capacity,"宜住")[1],"人")[0]capacitys,split(price,"¥")[1]prices,rating,category,cityFROMods_minsu_info.ods_minsu_dataWHEREnameISNOTNULLANDlength(house_type)==2ANDcapacityISNOTNULLANDpriceISNOTNULLANDimageISNOTNULLANDlength(rating)==3ANDcategoryISNOTNULLANDcityISNOTNULL;select*fromdwd_minsu_info.dwd_minsu_data;--創(chuàng)建數(shù)據(jù)明細(xì)層createdatabaseifnotexistsdws_minsu_info;--1.預(yù)定民宿戶型不同戶型占比明細(xì)CREATETABLEdws_minsu_info.dws_minsu_part1ROWFORMATDELIMITEDFIELDSTERMINATEDBY','ASselecthouse_typesfromdwd_minsu_info.dwd_minsu_data;--2.標(biāo)題詞云明細(xì)CREATETABLEdws_minsu_info.dws_minsu_part2ROWFORMATDELIMITEDFIELDSTERMINATEDBY','ASSELECTfenciFROMdwd_minsu_info.dwd_minsu_dataLATERALVIEWexplode(split(fenciTest(name),''))tmpTableASfenciwherelength(fenci)>1;--3.不同價(jià)格區(qū)間民宿數(shù)量明細(xì)CREATETABLEdws_minsu_info.dws_minsu_part3ROWFORMATDELIMITEDFIELDSTERMINATEDBY','ASSELECTCASEWHENprices<50THEN"50以下"WHENpricesBETWEEN50AND100THEN"500-100"WHENpricesBETWEEN100AND200THEN"100-200"WHENpricesBETWEEN200AND300THEN"200-300"WHENprices>300THEN"300以上"ELSE"300以上"ENDASprice_rangeFROMdwd_minsu_info.dwd_minsu_data;--4.價(jià)格排名前十的民宿明細(xì)CREATETABLEdws_minsu_info.dws_minsu_part4ROWFORMATDELIMITEDFIELDSTERMINATEDBY','ASSELECTname,pricesFROMdwd_minsu_info.dwd_minsu_data;--5.不同可住人數(shù)民宿數(shù)量明細(xì)CREATETABLEdws_minsu_info.dws_minsu_part5ROWFORMATDELIMITEDFIELDSTERMINATEDBY','ASSELECTcapacitysFROMdwd_minsu_info.dwd_minsu_data;--6.不同類(lèi)型房屋占比明細(xì)CREATETABLEdws_minsu_info.dws_minsu_part6ROWFORMATDELIMITEDFIELDSTERMINATEDBY','ASSELECTcategoryFROMdwd_minsu_info.dwd_minsu_data;--創(chuàng)建分析層createdatabaseifnotexistsads_minsu_info;--1.預(yù)定民宿戶型不同戶型占比分析CREATETABLEads_minsu_info.ads_minsu_part1ROWFORMATDELIMITEDFIELDSTERMINATEDBY','ASSELECThouse_types,count(*)valueFROMdws_minsu_info.dws_minsu_part1groupbyhouse_types;--2.標(biāo)題詞云分析CREATETABLEads_minsu_info.ads_minsu_part2ROWFORMATDELIMITEDFIELDSTERMINATEDBY','ASSELECTfenci,count(*)valueFROMdws_minsu_info.dws_minsu_part2GROUPBYfenci;--3.不同價(jià)格區(qū)間民宿數(shù)量分析CREATETABLEads_minsu_info.ads_minsu_pa

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論