基于Selenium爬蟲(chóng)的手機(jī)銷(xiāo)售數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)摘要 1前言 3TOC\o"1-3"\h\z第一章緒論 41.1開(kāi)發(fā)背景 4第二章相關(guān)技術(shù)及開(kāi)發(fā)環(huán)境 52.1AJAX技術(shù) 52.2BeautifulSoup網(wǎng)頁(yè)解析技術(shù) 52.3應(yīng)用框架 52.3.1前端框架 52.3.2服務(wù)端框架 62.4開(kāi)發(fā)語(yǔ)言 62.4.1Python語(yǔ)言 62.4.2HTML語(yǔ)言 72.4.3JavaScript語(yǔ)言 72.4.4CSS語(yǔ)言 72.5MySQL數(shù)據(jù)庫(kù) 72.6開(kāi)發(fā)環(huán)境 82.6.1PyCharm編輯器 82.6.2NavicatPremium 8第三章系統(tǒng)需求分析 93.1系統(tǒng)架構(gòu)分析 93.2系統(tǒng)各功能模塊需求分析 103.2.1用戶(hù)管理模塊需求分析 103.2.2數(shù)據(jù)獲取及展示需求分析 103.3系統(tǒng)性能需求分析 113.3.1系統(tǒng)穩(wěn)定性分析 113.3.2系統(tǒng)可擴(kuò)展性分析 113.3.3系統(tǒng)安全性分析 123.4系統(tǒng)可行性分析 123.4.1經(jīng)濟(jì)可行性 123.4.2技術(shù)可行性 123.4.3操作可行性 123.5本章小結(jié) 13第四章手機(jī)銷(xiāo)售數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 144.1系統(tǒng)設(shè)計(jì) 144.2數(shù)據(jù)庫(kù)設(shè)計(jì) 164.2.1E-R圖設(shè)計(jì) 164.2.2邏輯結(jié)構(gòu)設(shè)計(jì) 184.3本章小結(jié) 19第五章手機(jī)銷(xiāo)售數(shù)據(jù)分析系統(tǒng)實(shí)現(xiàn) 205.1用戶(hù)登錄子模塊實(shí)現(xiàn) 205.2用戶(hù)注冊(cè)子模塊實(shí)現(xiàn) 215.3數(shù)據(jù)爬蟲(chóng)獲取模塊實(shí)現(xiàn) 235.4界面展示及可視化模塊實(shí)現(xiàn) 245.4.1數(shù)據(jù)列表展示價(jià)評(píng)數(shù)據(jù) 245.4.2評(píng)論數(shù)據(jù)積極度分析展示 245.4.3多維度可視化實(shí)現(xiàn)效果 255.5本章小結(jié) 25第六章系統(tǒng)測(cè)試 266.1系統(tǒng)測(cè)試概述 266.2測(cè)試環(huán)境簡(jiǎn)介 266.2用戶(hù)注冊(cè)模塊測(cè)試 266.3用戶(hù)登錄模塊測(cè)試 276.5本章小結(jié) 28第七章總結(jié)與展望 29參考文獻(xiàn) 30致謝 31第1章緒論網(wǎng)絡(luò)拓?fù)渥詣?dòng)生成、網(wǎng)絡(luò)流量監(jiān)測(cè)和網(wǎng)絡(luò)故障檢測(cè)的研究與實(shí)現(xiàn)PAGE10摘要數(shù)據(jù)分析可以說(shuō)是電商運(yùn)營(yíng)的重頭戲，在產(chǎn)品不同的階段所側(cè)重分析的數(shù)據(jù)核心也是不一樣的。在產(chǎn)品上新前，我們需要分析的主要應(yīng)該是類(lèi)目下的市場(chǎng)情況。比如每個(gè)子類(lèi)目的月銷(xiāo)售額，哪個(gè)子類(lèi)目的流量是最高的，我們店鋪的競(jìng)爭(zhēng)力怎么樣，現(xiàn)在深入哪個(gè)類(lèi)目最為合適，潛力類(lèi)目的產(chǎn)品客單價(jià)的分布占比是怎么樣的等等。而對(duì)于普通用戶(hù)，在選購(gòu)商品之前，如果能夠快速、準(zhǔn)確查看所選購(gòu)商品的各類(lèi)信息指標(biāo)，將會(huì)非常有利于用戶(hù)的購(gòu)物。本課題提出基于Web端的淘寶手機(jī)銷(xiāo)售數(shù)據(jù)分析系統(tǒng)，利用爬蟲(chóng)從購(gòu)物網(wǎng)站上爬取數(shù)據(jù)，再對(duì)爬取地?cái)?shù)據(jù)進(jìn)行數(shù)據(jù)清理，把清洗后地?cái)?shù)據(jù)存入數(shù)據(jù)庫(kù)。本系統(tǒng)前端采用了BootStrap框架，同時(shí)在后端部分，選取了Django框架，前后端兩個(gè)框架相結(jié)合進(jìn)行系統(tǒng)開(kāi)發(fā)。本系統(tǒng)使用的框架同時(shí)適應(yīng)PC端和手機(jī)端。對(duì)以后手機(jī)端的發(fā)展比較有利。關(guān)鍵詞：Python;Django;HTML前言本系統(tǒng)采用BootStrap前端框架和Django后端框架相結(jié)合進(jìn)行設(shè)計(jì)，在經(jīng)過(guò)多次對(duì)各個(gè)功能模塊的測(cè)試后成功通過(guò)測(cè)試。充分證明了該系統(tǒng)的可靠性和系統(tǒng)設(shè)計(jì)的可行性。本文的內(nèi)容主要可以分為以下幾點(diǎn)。第一章節(jié)，緒論。通過(guò)論述在大數(shù)據(jù)時(shí)代下數(shù)據(jù)分析的重要性，充分證明了數(shù)據(jù)分析的重要性和必要性。同時(shí)也體現(xiàn)了本系統(tǒng)的開(kāi)發(fā)意義。第二章節(jié)，相關(guān)技術(shù)及開(kāi)發(fā)環(huán)境簡(jiǎn)介。對(duì)本系統(tǒng)使用的相關(guān)技術(shù)和開(kāi)發(fā)環(huán)境進(jìn)行簡(jiǎn)略地介紹。第三章節(jié)，系統(tǒng)相關(guān)需求分析。通過(guò)對(duì)系統(tǒng)的各個(gè)功能模塊進(jìn)行需求分析，確定本系統(tǒng)各個(gè)模塊所需要實(shí)現(xiàn)的功能以及如何進(jìn)行相關(guān)系統(tǒng)模塊設(shè)計(jì)第四章節(jié)，手機(jī)銷(xiāo)售數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)。經(jīng)過(guò)對(duì)各個(gè)模塊的需求分析后，本文繼續(xù)對(duì)系統(tǒng)的功能模塊進(jìn)行介紹。采取圖文結(jié)合的方式展示本系統(tǒng)的系統(tǒng)設(shè)計(jì)結(jié)構(gòu)。第五章節(jié)，手機(jī)銷(xiāo)售數(shù)據(jù)分析系統(tǒng)實(shí)現(xiàn)。更好地展示本系統(tǒng)的主要功能，介紹系統(tǒng)的各個(gè)功能和系統(tǒng)界面，通過(guò)圖像展示這種簡(jiǎn)潔明了且有效的方法讓人更好地理解系統(tǒng)的功能實(shí)現(xiàn)。第六章節(jié)，系統(tǒng)測(cè)試。對(duì)系統(tǒng)的功能進(jìn)行測(cè)試。系統(tǒng)測(cè)試是每一個(gè)系統(tǒng)在設(shè)計(jì)完成，編寫(xiě)完代碼編寫(xiě)后，必須要經(jīng)歷的一個(gè)開(kāi)發(fā)過(guò)程。對(duì)軟件開(kāi)發(fā)具有重要意義。第七章節(jié)，總結(jié)與展望。對(duì)本系統(tǒng)進(jìn)行了總結(jié)和展望。第一章緒論1.1開(kāi)發(fā)背景隨著大數(shù)據(jù)在各個(gè)領(lǐng)域的廣泛應(yīng)用，大數(shù)據(jù)研究與應(yīng)用已經(jīng)成為了一門(mén)重要的學(xué)科。在大數(shù)據(jù)技術(shù)發(fā)展的過(guò)程中，可視化可謂是大數(shù)據(jù)最好的伙伴。通過(guò)圖像這種簡(jiǎn)潔明了的形式，數(shù)據(jù)能夠更好地傳達(dá)給系統(tǒng)的使用者。減少了許多由于數(shù)據(jù)不夠簡(jiǎn)潔明了所產(chǎn)生的溝通障礙。更加有利于使用系統(tǒng)的用戶(hù)對(duì)數(shù)據(jù)進(jìn)行分析和進(jìn)一步處理?？梢暬忍嵘擞脩?hù)的使用體驗(yàn)，也減少了開(kāi)發(fā)者與客戶(hù)之間由于數(shù)據(jù)展示所產(chǎn)生的矛盾沖突，可謂是一舉兩得。本次研究的手機(jī)銷(xiāo)售數(shù)據(jù)分析系統(tǒng)，通過(guò)使用Echarts將通過(guò)爬蟲(chóng)從購(gòu)物網(wǎng)站上爬取的銷(xiāo)售數(shù)據(jù)進(jìn)行圖像化，可視化。更加容易地把數(shù)據(jù)所隱含地價(jià)值通過(guò)圖像的形式傳達(dá)給了系統(tǒng)用戶(hù)。本系統(tǒng)通過(guò)對(duì)爬取的數(shù)據(jù)進(jìn)行圖像化和可視化，展現(xiàn)了大數(shù)據(jù)和可視化良性結(jié)合所產(chǎn)生的積極作用。同時(shí)也展現(xiàn)了本課題的研究意義。第二章相關(guān)技術(shù)及開(kāi)發(fā)環(huán)境手機(jī)銷(xiāo)售數(shù)據(jù)分析系統(tǒng)基于Python語(yǔ)言、Selenium爬蟲(chóng)技術(shù)、Django框架，軟件開(kāi)發(fā)平臺(tái)采用了PyCharm，并使用了MySQL數(shù)據(jù)庫(kù)作為數(shù)據(jù)存儲(chǔ)，在本章中對(duì)這些技術(shù)背景分別進(jìn)行簡(jiǎn)單的概述。2.1AJAX技術(shù) AJAX這項(xiàng)技術(shù)受到廣大開(kāi)發(fā)者的喜愛(ài)，其最大的特點(diǎn)是用其開(kāi)發(fā)的網(wǎng)站可以進(jìn)行局部刷新，而不是每次網(wǎng)站中的某個(gè)模塊，表格或者折線圖等需要刷新就必須浪費(fèi)服務(wù)器和本地PC端資源進(jìn)行全局刷新?？梢宰屜到y(tǒng)的數(shù)據(jù)實(shí)時(shí)刷新，既降低了開(kāi)發(fā)的開(kāi)發(fā)難度又提升了系統(tǒng)用戶(hù)的使用體驗(yàn)。2.2BeautifulSoup網(wǎng)頁(yè)解析技術(shù)BeautifulSoup是廣泛應(yīng)用于對(duì)爬蟲(chóng)獲取的數(shù)據(jù)進(jìn)行分析和清洗的知名的Python庫(kù)。BeautifulSoup庫(kù)通過(guò)與正則表達(dá)式相配合，進(jìn)一步降低了網(wǎng)頁(yè)數(shù)據(jù)分析的難度，提升了數(shù)據(jù)分析的效率。在廣大開(kāi)發(fā)者中收獲了極好的口碑。2.3應(yīng)用框架2.3.1前端框架本系統(tǒng)采用的前端框架BootStrap是在廣大Python開(kāi)發(fā)者中極為知名的一種前端框架，得益于其設(shè)計(jì)者設(shè)計(jì)之初就對(duì)移動(dòng)端做了兼容適配，該框架可以很好得適應(yīng)在移動(dòng)端得開(kāi)發(fā)，隨著喬布斯發(fā)布第一步iPhone后掀起的智能手機(jī)浪潮，BootStrap框架憑借其對(duì)移動(dòng)端良好的兼容性獲得了廣大開(kāi)發(fā)者的青睞。該框架同時(shí)也借助自身多元化且好用的組件，進(jìn)一步降低了開(kāi)發(fā)者的開(kāi)發(fā)難度，提升了開(kāi)發(fā)者的開(kāi)發(fā)體驗(yàn)。2.3.2服務(wù)端框架Django框架是知名的使用Python設(shè)計(jì)開(kāi)發(fā)的開(kāi)源且免費(fèi)的前端框架，該框架的設(shè)計(jì)者在設(shè)計(jì)之初把開(kāi)發(fā)過(guò)程中給所經(jīng)常需要用到的功能全部集成到了這個(gè)新生的前端框架之中，而不需要像其它框架一樣依賴(lài)各種各樣的包來(lái)實(shí)現(xiàn)功能，其優(yōu)秀的特性使Django框架對(duì)開(kāi)發(fā)者后期的配置和復(fù)用非常友好。Django是在MTV架構(gòu)的基礎(chǔ)上進(jìn)行開(kāi)發(fā)和設(shè)計(jì)的，它對(duì)傳統(tǒng)的MTV架構(gòu)進(jìn)行了改進(jìn)，將其分割出了兩個(gè)部分，Views模塊管理前端展示的內(nèi)容，Models模塊管理數(shù)據(jù)的傳輸和展示。Django的開(kāi)發(fā)者在設(shè)計(jì)Django的時(shí)候，專(zhuān)門(mén)為其但是正在開(kāi)發(fā)的一個(gè)網(wǎng)站而設(shè)計(jì)，這個(gè)網(wǎng)站是典型的CMS內(nèi)容管理類(lèi)型的News網(wǎng)站。截至目前為止，該框架已被火狐、NASA、Openstack等知名項(xiàng)目或公司所采用，充分證明了該框架的穩(wěn)定性和可靠性以及強(qiáng)大的性能優(yōu)勢(shì)。2.4開(kāi)發(fā)語(yǔ)言2.4.1Python語(yǔ)言Python在誕生之初就具備了語(yǔ)法簡(jiǎn)潔，簡(jiǎn)單易懂的優(yōu)點(diǎn)。但是其不具備面向?qū)ο蟮奶攸c(diǎn)，又受制于誕生之初的年代計(jì)算機(jī)普遍較為孱弱的性能，并沒(méi)有的到廣大開(kāi)發(fā)者的青睞。但是跨入21實(shí)際以后，互聯(lián)網(wǎng)行業(yè)和計(jì)算機(jī)硬件領(lǐng)域極速發(fā)展，強(qiáng)大的計(jì)算機(jī)硬件性能充分彌補(bǔ)了Python語(yǔ)言執(zhí)行效率低下的缺點(diǎn)。同時(shí)Python在機(jī)器學(xué)習(xí)和人工智能等新興領(lǐng)域展現(xiàn)出了驚人的適應(yīng)性，在短短的幾年時(shí)間內(nèi)就受到了廣大開(kāi)發(fā)者的喜愛(ài)，在計(jì)算機(jī)語(yǔ)言領(lǐng)域熱度快速增長(zhǎng)。Python語(yǔ)言憑借其開(kāi)源，免費(fèi)且維護(hù)性強(qiáng)的特點(diǎn)，吸引了廣大開(kāi)發(fā)者為其創(chuàng)建各種類(lèi)型的好用的庫(kù)，各種類(lèi)型的庫(kù)又更加方便開(kāi)發(fā)者的開(kāi)發(fā)，形成了良性循環(huán)。目前，Python在各個(gè)領(lǐng)域都占據(jù)了重要的地位。2.4.2HTML語(yǔ)言HTML是一種廣泛應(yīng)用與網(wǎng)頁(yè)開(kāi)發(fā)與設(shè)計(jì)的超文本標(biāo)記語(yǔ)言，html語(yǔ)言中具備多種不同的標(biāo)簽，開(kāi)發(fā)通過(guò)使用HTML語(yǔ)言中的標(biāo)簽，可以輕松構(gòu)建出自己想要的網(wǎng)頁(yè)，但只借助HTML語(yǔ)言開(kāi)發(fā)所實(shí)現(xiàn)的效果差強(qiáng)人意，如果更好的實(shí)現(xiàn)效果，就需要借助CSS，JavaScript，Jquery等的幫助。2.4.3JavaScript語(yǔ)言JavaScript語(yǔ)言通常配合HTML語(yǔ)言使用，該語(yǔ)言是一種廣泛應(yīng)用于Web開(kāi)發(fā)的腳本語(yǔ)言，支持面向?qū)ο?、命令式、聲明式、函?shù)式編程范式。該語(yǔ)言可以實(shí)現(xiàn)前后端數(shù)據(jù)的交互，配合HTML語(yǔ)言，CSS語(yǔ)言，AJAX技術(shù)，能夠在靜態(tài)網(wǎng)頁(yè)開(kāi)發(fā)中幫助開(kāi)發(fā)者實(shí)現(xiàn)更好的網(wǎng)頁(yè)效果，提升網(wǎng)頁(yè)的流暢性，美觀性以及網(wǎng)頁(yè)用戶(hù)的體驗(yàn)2.4.4CSS語(yǔ)言CSS這種計(jì)算機(jī)語(yǔ)言通常用來(lái)表現(xiàn)上文提到的HTML語(yǔ)言等樣式，能夠?qū)崿F(xiàn)網(wǎng)頁(yè)結(jié)構(gòu)和內(nèi)容相分離開(kāi)發(fā)，是其最大的特點(diǎn)。近年來(lái)前端領(lǐng)域?qū)SS語(yǔ)言的使用越來(lái)越廣泛，對(duì)CSS語(yǔ)言的理解也越來(lái)越深刻，不僅可以用來(lái)修改靜態(tài)HTML網(wǎng)頁(yè)，而且在其它類(lèi)型的腳本語(yǔ)言如JavaScript等語(yǔ)言的配合下，還可以實(shí)現(xiàn)對(duì)網(wǎng)頁(yè)內(nèi)容樣式的動(dòng)態(tài)格式化。2.5MySQL數(shù)據(jù)庫(kù)MySQL數(shù)據(jù)庫(kù)憑借其開(kāi)源、免費(fèi)、輕量化、運(yùn)行速度快的特點(diǎn)，在數(shù)據(jù)庫(kù)時(shí)代獲得了大量開(kāi)發(fā)者和企業(yè)的青睞，廣泛應(yīng)用于各個(gè)領(lǐng)域。MySQL數(shù)據(jù)庫(kù)具有自己所獨(dú)有的一些優(yōu)秀特性，與傳統(tǒng)的數(shù)據(jù)庫(kù)把所有數(shù)據(jù)放在一個(gè)倉(cāng)庫(kù)內(nèi)不同，MySQL數(shù)據(jù)庫(kù)允許用戶(hù)把數(shù)據(jù)存儲(chǔ)在不同的表當(dāng)中，該功能賦予了其輕量化的特點(diǎn)，提高了存儲(chǔ)訪問(wèn)速度。目前針對(duì)MySQL數(shù)據(jù)庫(kù)已經(jīng)有MySQLWorkbench、Navicat等著名的數(shù)據(jù)庫(kù)管理工具，優(yōu)秀的特性配合優(yōu)秀的管理工具，極大提升了MySQL數(shù)據(jù)庫(kù)的競(jìng)爭(zhēng)力。使其在數(shù)據(jù)庫(kù)領(lǐng)域能夠與其它著名數(shù)據(jù)庫(kù)如Oracle，SQLServer等分庭抗禮。2.6開(kāi)發(fā)環(huán)境2.6.1PyCharm開(kāi)發(fā)工具著名的捷克軟件開(kāi)發(fā)公司JetBrains為Python語(yǔ)言開(kāi)發(fā)了一款集成編程工具PyCharm編輯器。一經(jīng)上市，憑借其優(yōu)秀的UI設(shè)計(jì)和強(qiáng)大的開(kāi)發(fā)功能，就在廣大開(kāi)發(fā)者中取得了良好的口碑，目前PyCharm已經(jīng)在Python編程工具市場(chǎng)占據(jù)了第一名的位置。借助Python的虛擬環(huán)境，PyCharm實(shí)現(xiàn)了對(duì)各個(gè)項(xiàng)目的區(qū)別管理，該功能幫助開(kāi)發(fā)者避免了多個(gè)項(xiàng)目不同環(huán)境和插件版本所帶來(lái)的沖突問(wèn)題。同時(shí)PyCharm也為開(kāi)發(fā)者提供了簡(jiǎn)單好用的數(shù)據(jù)庫(kù)連接方式，支持上文提到的MySQL數(shù)據(jù)庫(kù)等多種不同類(lèi)型的數(shù)據(jù)庫(kù)。PyCharm多種優(yōu)秀的功能極大提升了Python語(yǔ)言的開(kāi)發(fā)效率，降低了開(kāi)發(fā)者的開(kāi)發(fā)難度。2.6.2NavicatPremiumNavicatPremium是優(yōu)秀的數(shù)據(jù)庫(kù)可視化管理工具。適用于MySQL、SQLite、Oracle、MariaDB、MySQL等多種數(shù)據(jù)庫(kù)，為用戶(hù)提供更加便利的數(shù)據(jù)庫(kù)編寫(xiě)、管理?xiàng)l件。是目前全球最受歡迎的數(shù)據(jù)庫(kù)前端用戶(hù)界面工具之一。第三章系統(tǒng)需求分析3.1系統(tǒng)架構(gòu)分析目前B/S端架構(gòu)和C/S端架構(gòu)兩種架構(gòu)各自占據(jù)了PC端運(yùn)行的界面化系統(tǒng)的一半市場(chǎng)。本系統(tǒng)出于實(shí)現(xiàn)難度，硬件要求等方面考慮，決定選擇B/S端架構(gòu)。B/S架構(gòu)是隨著互聯(lián)網(wǎng)發(fā)展，Web出現(xiàn)后逐漸普及開(kāi)來(lái)的一種架構(gòu)，B/S架構(gòu)也叫瀏覽器/服務(wù)器架構(gòu)，分為三層架構(gòu)，表現(xiàn)層，邏輯層，數(shù)據(jù)層，主要事務(wù)都在服務(wù)器端完成。對(duì)于用戶(hù)來(lái)說(shuō)，不需要用戶(hù)在自己的客戶(hù)機(jī)上安裝客戶(hù)端，可以直接使用Chrome等瀏覽器進(jìn)行訪問(wèn)并使用服務(wù)器提供的服務(wù)，啟動(dòng)快捷，硬件資源占用低。對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，將主要事務(wù)都集成在服務(wù)器端，簡(jiǎn)化了系統(tǒng)的開(kāi)發(fā)，維護(hù)難度。C/S端架構(gòu)雖然也一樣具有如安全性強(qiáng)，響應(yīng)速度快，界面操作通常更豐富等優(yōu)點(diǎn)，但出于C/S端架構(gòu)維護(hù)成本較高，開(kāi)發(fā)難度更高，本系統(tǒng)最終選擇了B/S端架構(gòu)。B/S的三層模式結(jié)構(gòu)圖如圖3-1所示。圖3-1系統(tǒng)總體結(jié)構(gòu)3.2系統(tǒng)各功能模塊需求分析需求分析是每次軟件開(kāi)發(fā)周期所必須要經(jīng)歷的一個(gè)階段，只有明確了系統(tǒng)各個(gè)模塊的需求，才能更好地進(jìn)行系統(tǒng)設(shè)計(jì)和系統(tǒng)開(kāi)發(fā)，為系統(tǒng)之后投入運(yùn)行奠定堅(jiān)實(shí)的基礎(chǔ)。3.2.1用戶(hù)管理模塊需求分析本模塊主要分為三個(gè)子功能模塊，用戶(hù)注冊(cè)模塊，用戶(hù)登錄模塊，退出登錄模塊。用戶(hù)首次訪問(wèn)界面，需要使用用戶(hù)注冊(cè)模塊進(jìn)行賬號(hào)注冊(cè)，之后再使用用戶(hù)登陸模塊進(jìn)行賬號(hào)登陸，最后在最后退出登陸時(shí)需要用到退出登錄模塊進(jìn)行賬號(hào)退出。其中，用戶(hù)注冊(cè)模塊除了用戶(hù)注冊(cè)功能，還應(yīng)該具有識(shí)別并組織同用戶(hù)名賬號(hào)重復(fù)注冊(cè)的功能。用戶(hù)登陸模塊應(yīng)具備基礎(chǔ)的用戶(hù)登陸驗(yàn)證功能。退出登陸模塊也應(yīng)具備基礎(chǔ)的退出登陸功能。3.2.2數(shù)據(jù)獲取及展示需求分析從使用爬蟲(chóng)獲取數(shù)據(jù)到把數(shù)據(jù)進(jìn)行可視化轉(zhuǎn)變，主要分為數(shù)據(jù)獲取和數(shù)據(jù)展示兩部分模塊。在數(shù)據(jù)獲取模塊方面，本系統(tǒng)采用了Selenium可視化爬蟲(chóng)和MySQL數(shù)據(jù)庫(kù)。Selenium被稱(chēng)為可視化爬蟲(chóng)主要是由于其在爬取數(shù)據(jù)時(shí)會(huì)在客戶(hù)機(jī)上打開(kāi)一個(gè)瀏覽器，從而定位所需要的內(nèi)容，爬取數(shù)據(jù)。Selenium自帶多種元素定位器，鼠標(biāo)事件，鍵盤(pán)事件。通過(guò)多種組件互相配合，極大簡(jiǎn)化了爬取數(shù)據(jù)的程序開(kāi)發(fā)中對(duì)程序運(yùn)行的理解難度。不過(guò)需要注意的是，Selenium需要安裝開(kāi)發(fā)者所使用瀏覽器對(duì)應(yīng)的驅(qū)動(dòng)才能運(yùn)行，如果使用的是Chrome瀏覽器，就需要下載Chromedriver，才能進(jìn)行數(shù)據(jù)獲取。在取得的所需的數(shù)據(jù)后，本系統(tǒng)將數(shù)據(jù)全部都存儲(chǔ)在了MySQL數(shù)據(jù)庫(kù)之中，MySQL數(shù)據(jù)庫(kù)的特性和優(yōu)點(diǎn)上文已有提及，這里不再贅述。在數(shù)據(jù)獲取模塊方面，本文借助Echarts和WordCloud將爬取并存儲(chǔ)在MySQL中的數(shù)據(jù)轉(zhuǎn)化為折線圖，柱狀圖，詞云圖。這些簡(jiǎn)潔明了的圖能夠極大降低用戶(hù)獲取數(shù)據(jù)信息的難度，提升用戶(hù)體驗(yàn)。3.3系統(tǒng)性能需求分析為了系統(tǒng)用戶(hù)能夠獲得更加穩(wěn)定的系統(tǒng)使用體驗(yàn)，本文將對(duì)系統(tǒng)性能需求展開(kāi)分析，分析內(nèi)容主要包括以下三個(gè)方面，系統(tǒng)整體穩(wěn)定性、可擴(kuò)展性、安全性。3.3.1系統(tǒng)穩(wěn)定性分析本系統(tǒng)采用BootStrap前端框架和Django后端框架相結(jié)合的形式開(kāi)發(fā)。自從其被現(xiàn)在的推特公司發(fā)布后，被星巴克官網(wǎng)等知名網(wǎng)站采用。Django后端框架適用于各類(lèi)新聞網(wǎng)站，被火狐、NASA等多家知名企業(yè)采用。兩者在市場(chǎng)上都受到了高度的認(rèn)可，充分證明了系統(tǒng)的穩(wěn)定和可靠。3.3.2系統(tǒng)可擴(kuò)展性分析出于后期對(duì)系統(tǒng)進(jìn)行進(jìn)一步拓展的需要，系統(tǒng)的可拓展性一樣也是需求分析的要點(diǎn)之一。對(duì)此展開(kāi)的分析主要分為兩個(gè)方面，系統(tǒng)基本功能的可拓展性，系統(tǒng)對(duì)接的可拓展性。系統(tǒng)基本功能的可拓展性方面，本系統(tǒng)采用的Django后端框架具有優(yōu)秀的可拓展性。開(kāi)發(fā)者可以通過(guò)pythonmanage.pystartappXXX(模塊名)的方式在后期添加自己所需要的模塊，同時(shí)Django也能保障這些模塊各自能夠分開(kāi)運(yùn)行，不會(huì)互相干擾。系統(tǒng)對(duì)接的可拓展性方面，本系統(tǒng)將數(shù)據(jù)存儲(chǔ)在MySQL數(shù)據(jù)庫(kù)中，這些數(shù)據(jù)同樣也可以通過(guò)POST方式提供給后期其它系統(tǒng)。以上兩方面充分證明了本系統(tǒng)具有優(yōu)秀的可拓展性。3.3.3系統(tǒng)安全性分析本系統(tǒng)采用的Django后端框架具有成熟的防御機(jī)制，在市場(chǎng)上的良好口碑也充分證明了Django后端框架的安全性。以上足以證明本系統(tǒng)在安全性方面是沒(méi)有問(wèn)題的。3.4系統(tǒng)可行性分析3.4.1經(jīng)濟(jì)可行性減少系統(tǒng)開(kāi)發(fā)和維護(hù)的成本，是系統(tǒng)開(kāi)發(fā)過(guò)程中所必須要考慮的一點(diǎn)。本系統(tǒng)所使用的開(kāi)發(fā)工具和框架都是開(kāi)源免費(fèi)或者學(xué)生免費(fèi)的。開(kāi)發(fā)的硬件只有開(kāi)發(fā)者自己的筆記本電腦。以上都不會(huì)產(chǎn)生開(kāi)發(fā)成本。而后期如果需要把系統(tǒng)布置到服務(wù)器上，也可以租用價(jià)格便宜的學(xué)生云，降低服務(wù)器部署成本。因此，本系統(tǒng)對(duì)開(kāi)發(fā)成本的需求較低，經(jīng)濟(jì)可行性較強(qiáng)。3.4.2技術(shù)可行性本系統(tǒng)采用的BootStrap前端框架和Django后端框架都是市面上成熟的技術(shù)，久經(jīng)考驗(yàn)，穩(wěn)定可靠，口碑極好。同時(shí)這兩者框架也具備各自的開(kāi)發(fā)文檔以及其他開(kāi)發(fā)者所撰寫(xiě)的使用教程，入門(mén)門(mén)檻較低。所以，本系統(tǒng)的技術(shù)都是可行的，穩(wěn)定的，可靠的。3.4.3操作可行性本系統(tǒng)的前端UI設(shè)計(jì)較為簡(jiǎn)潔明了，各項(xiàng)數(shù)據(jù)展示清晰明了，利用圖文結(jié)合的方式降低了用戶(hù)的理解門(mén)檻和系統(tǒng)學(xué)習(xí)成本，非常有益于用戶(hù)對(duì)系統(tǒng)的操作，具有良好的可操作性。3.5本章小結(jié)需求分析是軟件開(kāi)發(fā)周期中不可缺失的一步，本章節(jié)對(duì)系統(tǒng)各個(gè)模塊的需求進(jìn)行了詳細(xì)分析，為接下來(lái)系統(tǒng)設(shè)計(jì)和系統(tǒng)實(shí)現(xiàn)奠定了基礎(chǔ)。為接下來(lái)系統(tǒng)的開(kāi)發(fā)奠定了堅(jiān)實(shí)的基礎(chǔ)。第四章手機(jī)銷(xiāo)售數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)4.1系統(tǒng)設(shè)計(jì)4.1.1系統(tǒng)總體功能框架設(shè)計(jì)開(kāi)發(fā)者為了更好地進(jìn)行系統(tǒng)設(shè)計(jì)，最好將本系統(tǒng)的系統(tǒng)結(jié)構(gòu)制作成了架構(gòu)圖。本系統(tǒng)的架構(gòu)如圖4-1所示。圖4-1系統(tǒng)架構(gòu)圖4.1.2用戶(hù)管理模塊設(shè)計(jì)在使用PyCharm運(yùn)行本系統(tǒng)后，系統(tǒng)默認(rèn)加載登陸頁(yè)，在用戶(hù)填寫(xiě)賬號(hào)，密碼后系統(tǒng)將用戶(hù)填寫(xiě)的信息與數(shù)據(jù)庫(kù)中用戶(hù)表內(nèi)存儲(chǔ)的內(nèi)容進(jìn)行驗(yàn)證，如果驗(yàn)證失敗，系統(tǒng)將會(huì)彈出提示框提示用戶(hù)檢查賬號(hào)密碼之后從重新輸入正確的賬號(hào)密碼，如果驗(yàn)證成功，系統(tǒng)就會(huì)跳轉(zhuǎn)到系統(tǒng)主界面。如圖4-2所示。圖4-2用戶(hù)登錄圖4.1.3數(shù)據(jù)獲取與展示模塊設(shè)計(jì)本系統(tǒng)所采用的Django后端框架是經(jīng)典的MTV架構(gòu)，借助AJAX技術(shù)，實(shí)現(xiàn)了數(shù)據(jù)的實(shí)時(shí)獲取和展示。為了更好地進(jìn)行系統(tǒng)設(shè)計(jì)，開(kāi)發(fā)者制作了系統(tǒng)的數(shù)據(jù)獲取與展示流程圖。如圖4-3所示。圖4-3數(shù)據(jù)獲取與展示圖系統(tǒng)前端采用了BootStrap前端框架，利用JS語(yǔ)言和Django框架的模板語(yǔ)言實(shí)現(xiàn)了數(shù)據(jù)傳輸。4.2數(shù)據(jù)庫(kù)設(shè)計(jì)本系統(tǒng)為了更好地存儲(chǔ)數(shù)據(jù)，方便數(shù)據(jù)地管理和調(diào)用，將爬取的數(shù)據(jù)和用戶(hù)地賬號(hào)信息分別存儲(chǔ)在了用戶(hù)信息管理表、手機(jī)數(shù)據(jù)存儲(chǔ)表、手機(jī)詳細(xì)評(píng)論數(shù)據(jù)存儲(chǔ)表。根據(jù)手機(jī)銷(xiāo)售數(shù)據(jù)分析系統(tǒng)的需求分析，為了更好地實(shí)現(xiàn)本系統(tǒng)地功能需求，系統(tǒng)主要設(shè)計(jì)了用戶(hù)表、商品評(píng)價(jià)表、商品評(píng)價(jià)詳情表。4.2.1E-R圖設(shè)計(jì)（1）用戶(hù)表，如圖4-4所示。圖4-4用戶(hù)E-R圖（2）商品評(píng)價(jià)表，如圖4-5所示。圖4-5用戶(hù)搜索歷史E-R圖（3）商品評(píng)價(jià)詳情表，如圖4-5所示。圖4-6手機(jī)數(shù)據(jù)詳細(xì)評(píng)論E-R圖表結(jié)構(gòu)設(shè)計(jì)（1）用戶(hù)表，參見(jiàn)表4-1。表4-1用戶(hù)表字段字段類(lèi)型字段類(lèi)長(zhǎng)度能否為空字段簡(jiǎn)介idint11否序列號(hào)，主鍵usernamevarchar128否用戶(hù)名passwordvarchar128否密碼typeint11否用戶(hù)類(lèi)型date_joinedDatetime6否建立時(shí)間（2）商品價(jià)評(píng)表，參見(jiàn)表4-2。表4-2商品價(jià)評(píng)表字段字段類(lèi)類(lèi)型字段類(lèi)長(zhǎng)度能否為空字段簡(jiǎn)介idint11否序列號(hào)，主鍵goods_namevarchar128否商品名稱(chēng)goods_pricevarchar128否商品價(jià)格percent_convarchar255否好評(píng)級(jí)別tagsvarchar255否評(píng)價(jià)標(biāo)簽typesvarchar255否評(píng)價(jià)類(lèi)型（3）商品評(píng)價(jià)詳情表，參見(jiàn)表4-3。表4-3商品價(jià)評(píng)詳情表字段字段類(lèi)類(lèi)型字段類(lèi)長(zhǎng)度能否為空字段簡(jiǎn)介idint11否主鍵goods_namevarchar255否商品名稱(chēng)usernameText否評(píng)價(jià)者starvarchar255否評(píng)價(jià)星級(jí)wordint11否評(píng)價(jià)內(nèi)容order_datevarchar255否購(gòu)買(mǎi)日期likesint11否點(diǎn)贊人數(shù)sprite_commentvarchar255否評(píng)論人數(shù)4.3本章小結(jié)本章的主要目的是為了更好地介紹本系統(tǒng)的設(shè)計(jì)思路和系統(tǒng)結(jié)構(gòu)，通過(guò)圖片，表格以及適當(dāng)?shù)奈淖纸榻B，讓人能夠更加容易地理解本系統(tǒng)的設(shè)計(jì)思路和系統(tǒng)結(jié)構(gòu)。系統(tǒng)設(shè)計(jì)是軟件開(kāi)發(fā)的重要步驟之一，本系統(tǒng)嚴(yán)格按照軟件開(kāi)發(fā)周期流程進(jìn)行，保障了后期本系統(tǒng)的穩(wěn)定可靠性。第五章手機(jī)銷(xiāo)售數(shù)據(jù)分析系統(tǒng)實(shí)現(xiàn)5.1用戶(hù)登錄子模塊實(shí)現(xiàn)利用Django開(kāi)發(fā)的系統(tǒng)可以使用命令生成一個(gè)后臺(tái)管理子系統(tǒng)，開(kāi)發(fā)者可以使用管理員賬號(hào)進(jìn)行登陸，后期經(jīng)驗(yàn)豐富的開(kāi)發(fā)者可以在這個(gè)后臺(tái)管理子系統(tǒng)中對(duì)系統(tǒng)進(jìn)行管理和維護(hù)。如圖5-1所示。圖5-1后臺(tái)管理員模塊實(shí)現(xiàn)效果圖普通用戶(hù)登陸會(huì)在系統(tǒng)由PyCharm運(yùn)行后跳轉(zhuǎn)的默認(rèn)登陸界面進(jìn)行，用戶(hù)在填寫(xiě)完正確的賬號(hào)密碼后會(huì)跳轉(zhuǎn)到系統(tǒng)主界面。如圖5-2所示。圖5-2手機(jī)銷(xiāo)售數(shù)據(jù)分析系統(tǒng)登錄界面實(shí)現(xiàn)效果圖如果用戶(hù)填寫(xiě)的賬號(hào)密碼錯(cuò)誤，通不過(guò)系統(tǒng)驗(yàn)證，那么系統(tǒng)就會(huì)彈出提示框，提醒用戶(hù)再次輸入正確的賬號(hào)密碼。5.2用戶(hù)注冊(cè)子模塊實(shí)現(xiàn)系統(tǒng)用戶(hù)分為管理員和普通用戶(hù)。需要注意的是，管理員用戶(hù)需要使用Django自帶的命令進(jìn)行注冊(cè)創(chuàng)建。如圖5-3所示。圖5-3管理員賬戶(hù)注冊(cè)命令系統(tǒng)為普通用戶(hù)提供了可視化界面進(jìn)行注冊(cè)，用戶(hù)在填寫(xiě)需要注冊(cè)的賬號(hào)密碼后，系統(tǒng)將會(huì)調(diào)用數(shù)據(jù)庫(kù)中的用戶(hù)表信息，檢查賬號(hào)是否與已注冊(cè)用戶(hù)重復(fù)，如果沒(méi)有重復(fù)，則會(huì)彈出提示框提示注冊(cè)成功，關(guān)閉彈窗跳轉(zhuǎn)到登陸頁(yè)面，用戶(hù)就可以進(jìn)行登陸，使用系統(tǒng)。如果重復(fù)，系統(tǒng)會(huì)自動(dòng)拒絕注冊(cè)，彈出提示框提示注冊(cè)失敗。注冊(cè)成功效果如圖5-4所示。圖5-4普通用戶(hù)注冊(cè)成功圖注冊(cè)失敗效果如圖5-5所示。圖5-5普通用戶(hù)注冊(cè)失敗圖5.3數(shù)據(jù)爬蟲(chóng)獲取模塊實(shí)現(xiàn)商品數(shù)據(jù)的獲取首先會(huì)通過(guò)爬蟲(chóng)的方式，根據(jù)目前目標(biāo)網(wǎng)站上的手機(jī)銷(xiāo)售排名、品牌進(jìn)行元素定位，在Selenium爬取成功后，在存儲(chǔ)到MySQL數(shù)據(jù)庫(kù)前，利用知名Python庫(kù)BeautifulSoup進(jìn)行數(shù)據(jù)處理，之后再把處理好的數(shù)據(jù)存儲(chǔ)到MySQL數(shù)據(jù)庫(kù)中，再通過(guò)Json轉(zhuǎn)換加載到前臺(tái)界面中。所爬取的數(shù)據(jù)格式需要進(jìn)行進(jìn)一步的清洗，目標(biāo)網(wǎng)站根據(jù)爬蟲(chóng)的內(nèi)容，初步爬取的結(jié)果如圖5-6所示。圖5-6爬蟲(chóng)數(shù)據(jù)獲取效果展示爬取的數(shù)據(jù)雖然規(guī)整，但是對(duì)于數(shù)據(jù)分析，還需要清洗之后再存入數(shù)據(jù)庫(kù)中，方便可視化界面呈現(xiàn)時(shí)候快速處理，存入數(shù)據(jù)庫(kù)效果如圖5-7所示。圖5-7存入數(shù)據(jù)庫(kù)效果圖5.4界面展示及可視化模塊實(shí)現(xiàn)5.4.1數(shù)據(jù)列表展示價(jià)評(píng)數(shù)據(jù)用戶(hù)可以再系統(tǒng)提供的搜索框中輸入需要查找的品牌名稱(chēng)，系統(tǒng)會(huì)根據(jù)用戶(hù)填寫(xiě)的信息對(duì)展示的數(shù)據(jù)進(jìn)行篩選。實(shí)現(xiàn)效果如圖5-8所示。圖5-8界面化展示手機(jī)價(jià)評(píng)數(shù)據(jù)5.4.2評(píng)論數(shù)據(jù)積極度分析展示采用snowNLP進(jìn)行對(duì)人評(píng)論數(shù)據(jù)的可視化分析，為了更加直觀的展示不同品牌下不同型號(hào)的手機(jī)的具體評(píng)論數(shù)據(jù)，同樣采用列表展示，實(shí)現(xiàn)效果如圖5-9所示。圖5-9列表化展示評(píng)論數(shù)據(jù)5.4.3多維度可視化實(shí)現(xiàn)效果可視化分析通過(guò)對(duì)不同品牌的人們機(jī)型的銷(xiāo)售量、手機(jī)品牌獲取的平均好評(píng)率進(jìn)行柱狀圖和折線圖的展示，以及對(duì)熱門(mén)手機(jī)機(jī)型的銷(xiāo)量分布變化折線圖展示，最后通過(guò)詞云圖展示用戶(hù)的評(píng)論效果，達(dá)到了多維度、直觀可視，實(shí)現(xiàn)效果如圖5-10所示。圖5-10多維度可視化展示5.5本章小結(jié) 本章的主要目的是為了更好地展示本系統(tǒng)的主要功能，介紹系統(tǒng)的各個(gè)功能和系統(tǒng)界面，通過(guò)圖像展示這種簡(jiǎn)潔明了且有效的方法讓人更好地理解系統(tǒng)的功能實(shí)現(xiàn)。第六章系統(tǒng)測(cè)試6.1系統(tǒng)測(cè)試概述 系統(tǒng)測(cè)試是軟件開(kāi)發(fā)周期中必須完成的一個(gè)步驟。只有成功通過(guò)嚴(yán)格的測(cè)試后，才能保證系統(tǒng)的可靠性和穩(wěn)定性。減少系統(tǒng)后期因?yàn)槿鄙贉y(cè)試而產(chǎn)生的各種問(wèn)題，減少后期開(kāi)發(fā)者維護(hù)成本，提升用戶(hù)體驗(yàn)。6.2測(cè)試環(huán)境簡(jiǎn)介 本系統(tǒng)測(cè)試在開(kāi)發(fā)者自己的戴爾G3筆記本上進(jìn)行，筆記本配置和系統(tǒng)參見(jiàn)表6-1.。 表6-1測(cè)試環(huán)境配置表硬件名稱(chēng)具體型號(hào)CPUI78750h顯卡1060mxq硬盤(pán)1T機(jī)械+256G固態(tài)系統(tǒng)Windows6.2用戶(hù)注冊(cè)模塊測(cè)試用戶(hù)注冊(cè)是用戶(hù)登陸的必要條件?？紤]到用戶(hù)注冊(cè)時(shí)可能會(huì)出現(xiàn)多種類(lèi)型的錯(cuò)誤輸入，例如注冊(cè)賬號(hào)用戶(hù)名重復(fù)，用戶(hù)名密碼之一漏輸入等，所以進(jìn)行用戶(hù)注冊(cè)測(cè)試。用戶(hù)注冊(cè)測(cè)試參見(jiàn)表6-2。表STYLEREF1\s62用戶(hù)注冊(cè)測(cè)試表用例序號(hào)測(cè)試內(nèi)容預(yù)測(cè)結(jié)果實(shí)際結(jié)果是否符合預(yù)期1輸入用戶(hù)名jscsml，密碼thisistest，數(shù)據(jù)庫(kù)中用戶(hù)表內(nèi)并不存在對(duì)應(yīng)用戶(hù)名、密碼注冊(cè)成功，系統(tǒng)彈窗提示用戶(hù)注冊(cè)成功注冊(cè)成功，系統(tǒng)彈窗提示用戶(hù)注冊(cè)成功P1再次輸入用戶(hù)名jscsml，密碼thisistest由于與數(shù)據(jù)庫(kù)中用戶(hù)表內(nèi)存儲(chǔ)的賬號(hào)用戶(hù)名重復(fù)，系統(tǒng)拒絕注冊(cè)，提示用戶(hù)注冊(cè)失敗注冊(cè)失敗，系統(tǒng)彈窗提示用戶(hù)注冊(cè)失敗P1輸入用戶(hù)名jscsml2，密碼不填寫(xiě)點(diǎn)擊注冊(cè)界面的注冊(cè)按鈕后，由于密碼為必填項(xiàng)，系統(tǒng)頁(yè)面無(wú)變化系統(tǒng)頁(yè)面無(wú)變化P1用戶(hù)名不填寫(xiě)，輸入密碼thisistest點(diǎn)擊注冊(cè)界面的注冊(cè)按鈕后，由于用戶(hù)名為必填項(xiàng)，系統(tǒng)頁(yè)面無(wú)變化系統(tǒng)頁(yè)面無(wú)變化P6.3用戶(hù)登錄模塊測(cè)試用戶(hù)登陸是用戶(hù)使用系統(tǒng)的必要條件。考慮到用戶(hù)注冊(cè)時(shí)可能會(huì)出現(xiàn)多種類(lèi)型的錯(cuò)誤輸入，例如注冊(cè)賬號(hào)用戶(hù)名重復(fù)，用戶(hù)名密碼之一漏輸入等，所以進(jìn)行用戶(hù)注冊(cè)測(cè)試。用戶(hù)登錄測(cè)試參見(jiàn)表6-3。表STYLEREF1\s63用戶(hù)登錄測(cè)試表用例序號(hào)輸入內(nèi)容預(yù)測(cè)結(jié)果實(shí)際結(jié)果是否符合預(yù)期1-1輸入用戶(hù)名jscsml，密碼thisistest，數(shù)據(jù)庫(kù)中用戶(hù)表內(nèi)并不存在對(duì)應(yīng)用戶(hù)名、密碼注冊(cè)成功，系統(tǒng)彈窗提示用戶(hù)注冊(cè)成功注冊(cè)成功，系統(tǒng)彈窗提示用戶(hù)注冊(cè)成功P1-2再次輸入用戶(hù)名jscsml，密碼thisistest由于與數(shù)據(jù)庫(kù)中用戶(hù)表內(nèi)存儲(chǔ)的賬號(hào)用戶(hù)名重復(fù)，系統(tǒng)拒絕注冊(cè)，提示用戶(hù)注冊(cè)失敗注冊(cè)失敗，系統(tǒng)彈窗提示用戶(hù)注冊(cè)失敗P1-3輸入用戶(hù)名jscsml2，密碼不填寫(xiě)點(diǎn)擊注冊(cè)界面的注冊(cè)按鈕后，由于密碼為必填項(xiàng)，系統(tǒng)頁(yè)面無(wú)變化系統(tǒng)頁(yè)面無(wú)變化P1-4用戶(hù)名不填寫(xiě)，輸入密碼thisistest點(diǎn)擊注冊(cè)界面的注冊(cè)按鈕后，由于用戶(hù)名為必填項(xiàng)，系統(tǒng)頁(yè)面無(wú)變化系統(tǒng)頁(yè)面無(wú)變化P6.5本