PAGE5行業(yè)招聘數(shù)據(jù)分析與可視化系統(tǒng)設(shè)計(jì)目錄25037摘要 I323181緒論 157201.1課題背景與意義 1321221.1.1研究背景 144051.1.2研究意義 1133891.2國(guó)內(nèi)外研究綜述 2171811.3本課題的主要研究?jī)?nèi)容 3137181.4論文組織結(jié)構(gòu) 3112342相關(guān)技術(shù)基礎(chǔ) 583242.1數(shù)據(jù)獲取技術(shù) 5148432.1.1Python 5198912.1.2爬蟲技術(shù) 5244842.2數(shù)據(jù)存儲(chǔ)與分析技術(shù) 6148982.2.1MongoDB 6210772.2.2EnterpriseCharts 6183612.3數(shù)據(jù)展示技術(shù) 6201162.3.1Django框架 6255002.3.2Bootstrap 7193713系統(tǒng)需求分析 8292413.1系統(tǒng)的功能需求分析 896813.2系統(tǒng)的性能需求分析 928024系統(tǒng)總體設(shè)計(jì) 11150384.1系統(tǒng)模塊設(shè)計(jì) 11125414.2系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì) 1250644.3人機(jī)交互子系統(tǒng)設(shè)計(jì) 27224024.4系統(tǒng)運(yùn)行流程圖設(shè)計(jì) 29209815系統(tǒng)實(shí)現(xiàn)及測(cè)試 30132845.1系統(tǒng)實(shí)驗(yàn)環(huán)境 30296185.2系統(tǒng)實(shí)現(xiàn) 30141245.3系統(tǒng)測(cè)試與分析 3723046總結(jié)與展望 3840776.1本文總結(jié) 38210856.2未來展望 3824598參考文獻(xiàn) 40摘要 如今，求職成為當(dāng)今大學(xué)生在畢業(yè)前乃至學(xué)習(xí)期間就極為關(guān)注的一個(gè)話題。在面臨“畢業(yè)即失業(yè)”的焦慮時(shí)，我國(guó)許多招聘網(wǎng)站對(duì)歷年就業(yè)情況進(jìn)行了統(tǒng)計(jì)，以智聯(lián)招聘的統(tǒng)計(jì)數(shù)據(jù)為例，當(dāng)前互聯(lián)網(wǎng)IT行業(yè)依舊是從業(yè)人員競(jìng)相追逐的熱門領(lǐng)域，其涉及范圍最廣，就業(yè)前景最好。但對(duì)諸多初入IT行業(yè)的大學(xué)生而言，在求職時(shí)往往把握不準(zhǔn)用人單位的用人需求，自身所學(xué)時(shí)常滿足不了用工單位的要求，使得人才資源與用工單位之間的隔閡加深?；诖耍疚钠谕ㄟ^運(yùn)用大數(shù)據(jù)工程方法，設(shè)計(jì)IT行業(yè)招聘數(shù)據(jù)分析與可視化系統(tǒng)，為初入職場(chǎng)的IT行業(yè)學(xué)生就業(yè)提供可供參考的信息平臺(tái)，幫助大家更好的了解行業(yè)就業(yè)現(xiàn)狀，為就業(yè)人員更好的匹配適合自身發(fā)展的就業(yè)崗位。 關(guān)鍵詞：招聘數(shù)據(jù)；IT行業(yè)；大數(shù)據(jù)分析緒論課題背景與意義研究背景 當(dāng)前，隨著“數(shù)字時(shí)代的來臨”，新冠疫情的突發(fā)，大學(xué)生的就業(yè)形勢(shì)愈來愈嚴(yán)峻。縱然權(quán)威部門曾發(fā)布數(shù)據(jù)顯示，隨著國(guó)家經(jīng)濟(jì)日漸繁榮，人民的生活水平越來越好，我國(guó)當(dāng)前的就業(yè)形勢(shì)持續(xù)向好，新增就業(yè)人口日益攀升，勞動(dòng)力市場(chǎng)也更加的活躍起來。但大學(xué)生如何在畢業(yè)后順利的找到合適的理想工作，仍然是一個(gè)社會(huì)極為關(guān)注的問題。 據(jù)智聯(lián)招聘相關(guān)數(shù)據(jù)統(tǒng)計(jì)，互聯(lián)網(wǎng)IT行業(yè)是近年來從業(yè)人員競(jìng)相追逐的熱門領(lǐng)域，其涉及范圍最廣，與當(dāng)代大學(xué)生生活也最為貼近，與此同時(shí)IT行業(yè)在今后一段時(shí)間內(nèi)還將產(chǎn)生數(shù)百萬個(gè)新興的工作崗位，發(fā)展空間極為廣闊，但對(duì)我們當(dāng)代的大學(xué)生而言，往往把握不準(zhǔn)用人單位的用人需求，所學(xué)技能滿足不了用工方工作需求。使得人才資源與用工單位之間的隔閡加深，同時(shí)內(nèi)部競(jìng)爭(zhēng)激烈“內(nèi)卷”嚴(yán)重，這些都使得我們所面臨的就業(yè)形勢(shì)也就更加的嚴(yán)峻，這意味著我們當(dāng)下乃至將來的競(jìng)爭(zhēng)也會(huì)愈演愈烈，畢業(yè)生的就業(yè)前途和我國(guó)的IT行業(yè)發(fā)展前景將受到前所未有的挑戰(zhàn)。 當(dāng)今時(shí)代，我們的網(wǎng)絡(luò)十分的發(fā)達(dá)，在網(wǎng)絡(luò)上尋找各種各樣的信息也非常的方便，我們已經(jīng)不再需要為尋覓一份合適的工作而四處奔波，投遞簡(jiǎn)歷。隨著IT技術(shù)的快速發(fā)展，我們的工作和學(xué)習(xí)都變得快節(jié)奏、高效率。在此技術(shù)的支持下衍生出了一種新型的招聘方式——網(wǎng)絡(luò)招聘，已經(jīng)成為眾多企業(yè)單位招聘和高校人才求職廣泛所采用的一種有效手段。網(wǎng)絡(luò)招聘實(shí)際上是指企業(yè)在現(xiàn)代信息技術(shù)手段支撐下，通過自己的招聘平臺(tái)或第三方招聘網(wǎng)站平臺(tái)來完成企業(yè)員工招聘的過程。由此可知，網(wǎng)絡(luò)招聘主要有廣泛兩種存在的形式：一種是各招聘單位通過自己公司的平臺(tái)發(fā)布招聘宣傳信息，吸引相關(guān)人士投遞簡(jiǎn)歷，從而完成招聘工作；另一種是招聘單位通過注冊(cè)第三方招聘網(wǎng)站成為其會(huì)員，并在第三方招聘平臺(tái)發(fā)布招聘信息，尋覓合適的人才。其信息量大、資源豐富、更新速度快等優(yōu)勢(shì)已經(jīng)逐漸超過并取代了各專場(chǎng)線下人才招聘會(huì)、報(bào)紙、雜志招聘等的傳統(tǒng)招聘方式，更加符合當(dāng)代年輕人希望以最快捷便利的方式獲得最多最有效信息的求職需求。與此同時(shí)，海量的招聘數(shù)據(jù)很容易讓求職者迷失其中，很難在諸多的數(shù)據(jù)中找到真正適合自己的招聘信息，招聘數(shù)據(jù)中投射出行業(yè)發(fā)展態(tài)勢(shì)，也蘊(yùn)含著巨大的探索價(jià)值，值得進(jìn)行深入的挖掘和思考。研究意義 隨著大數(shù)據(jù)時(shí)代的來臨，人們?cè)絹碓疥P(guān)注數(shù)據(jù)中所蘊(yùn)含的各種信息。在海量的招聘數(shù)據(jù)中往往蘊(yùn)含著許多具有深入研究?jī)r(jià)值的信息，體現(xiàn)著當(dāng)前行業(yè)發(fā)展的趨勢(shì)和走向，暗示著從業(yè)人員的未來的學(xué)習(xí)方向和發(fā)展方向。 所以，這也是為什么現(xiàn)在網(wǎng)絡(luò)渠道上有很多五花八門的\o"招聘"招聘類網(wǎng)站出現(xiàn)的緣由出處。簡(jiǎn)而言之就是\o"招聘網(wǎng)"招聘網(wǎng)站本身的存在就有著極大的價(jià)值和作用。那么，到底招聘網(wǎng)站的存在有何作用？能夠給求職者帶來哪些有效的信息呢？本系統(tǒng)針對(duì)線上知名招聘網(wǎng)站有關(guān)IT行業(yè)的招聘信息進(jìn)行數(shù)據(jù)的采集和集成分析，展開思考與討論，探索招聘信息所蘊(yùn)含的資訊，對(duì)于分析得到的數(shù)據(jù)將通過可視化的方式展示，以便于從業(yè)人員高效了解相關(guān)職位的崗位要求、職責(zé)范圍和薪資待遇，從而綜合考量自己的就業(yè)方向和未來發(fā)展。本系統(tǒng)希望基于大數(shù)據(jù)工程方法，設(shè)計(jì)IT行業(yè)招聘數(shù)據(jù)分析與可視化系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，為初入職場(chǎng)的IT行業(yè)學(xué)生就業(yè)提供可供參考的信息平臺(tái)，幫助大家更好的了解行業(yè)就業(yè)現(xiàn)狀，為就業(yè)人員更好的匹配適合自身發(fā)展的就業(yè)崗位。國(guó)內(nèi)外研究綜述 近年來，受全球新冠疫情的影響以及國(guó)內(nèi)互聯(lián)網(wǎng)的高速發(fā)展，足不出戶的招聘網(wǎng)站的發(fā)展迅速，根據(jù)艾瑞咨詢?cè)l(fā)布的《2021年中國(guó)網(wǎng)絡(luò)招聘行業(yè)市場(chǎng)發(fā)展研究報(bào)告》[1]顯示，2020年中國(guó)網(wǎng)絡(luò)招聘市場(chǎng)規(guī)模已高達(dá)108億，利潤(rùn)頗豐。而在網(wǎng)絡(luò)招聘行業(yè)，然而人崗匹配的效率問題仍舊一直存在，報(bào)告認(rèn)為，人崗匹配關(guān)鍵還在于雇主。當(dāng)招聘效率無法用定量的方法進(jìn)行評(píng)估，而只能通過了解企業(yè)雇主的明確需求的基礎(chǔ)上，平臺(tái)通過技術(shù)手段篩選相應(yīng)求職者，盡可能實(shí)現(xiàn)崗位和人員的匹配。盡管如此，求職者在尋覓求職信息時(shí)，仍然會(huì)檢索到許多無關(guān)或不相匹配的信息，無法一目了然的匹配到自己真正想了解的某一特定崗位或領(lǐng)域，面對(duì)冗雜的互聯(lián)網(wǎng)信息資源，僅僅通過低效的篩選，不能快速明確某一崗位或領(lǐng)域?qū)η舐毴藛T的要求，從而無論對(duì)發(fā)布招聘的企業(yè)還是應(yīng)聘的個(gè)人而言都存在不便之處。 國(guó)內(nèi)現(xiàn)有的招聘網(wǎng)的站中招聘數(shù)據(jù)中隱藏著大量有潛在價(jià)值的信息，雖然在中文領(lǐng)域中針對(duì)招聘數(shù)據(jù)的分析研究有很多，但其研究方向存在較大的差異。例如夏立新[2]在基于網(wǎng)絡(luò)文本挖掘技術(shù)基礎(chǔ)上提出了“專業(yè)-崗位-知識(shí)點(diǎn)”的就業(yè)知識(shí)需求關(guān)系并結(jié)合中文分詞與語(yǔ)詞標(biāo)注，提取了專業(yè)-崗位-知識(shí)點(diǎn)三者之間的關(guān)系結(jié)構(gòu)；湯洋、湯敏倩[3]在通過對(duì)智聯(lián)招聘網(wǎng)站中的招聘信息進(jìn)行中文分詞和文本聚類的分析研究，發(fā)現(xiàn)了在不同行業(yè)之間所需人才的職業(yè)類型存在差異，但在總體上仍然偏向于以技術(shù)為主導(dǎo)、以腦力為依靠等分析結(jié)論；張俊峰[4]以網(wǎng)絡(luò)爬蟲技術(shù)采集的多個(gè)招聘網(wǎng)站的數(shù)據(jù)源的招聘文本，并利用自然語(yǔ)言處理技術(shù)和機(jī)器學(xué)習(xí)相關(guān)算法來構(gòu)建招聘詞典，從而通過分析了數(shù)據(jù)科學(xué)與統(tǒng)計(jì)學(xué)和計(jì)算機(jī)科學(xué)的關(guān)系后，對(duì)統(tǒng)計(jì)學(xué)和計(jì)算機(jī)科學(xué)的人才培養(yǎng)提出建議；劉暢[5]通過利用自然語(yǔ)言處理與文本挖掘技術(shù)對(duì)數(shù)據(jù)類崗位招聘信息進(jìn)行采集，以基于主題詞方法進(jìn)行文本的提取和挖掘，最終以報(bào)告形式呈現(xiàn)招聘市場(chǎng)的一般趨勢(shì)和特定行業(yè)的招聘市場(chǎng)行情，但由于其研究主體存在單一性，研究結(jié)果也不能很好的滿足多方面的用戶需求。而本文通過python爬取招聘網(wǎng)站[6]有關(guān)IT行業(yè)的相關(guān)招聘數(shù)據(jù)，基于MongoDB數(shù)據(jù)庫(kù)和Django[7,8]框架進(jìn)行數(shù)據(jù)的挖掘和分析，并以可視化系統(tǒng)的形式直觀的展示研究結(jié)果，便于滿足應(yīng)聘者個(gè)性化的需求，對(duì)廣大IT從業(yè)人員及在校學(xué)生能力培養(yǎng)方向也具有一定的導(dǎo)向作用。 國(guó)外的招聘網(wǎng)站也起源已久。美國(guó)的OccupationalInformationNetword網(wǎng)站曾是世界上最大的職業(yè)分析網(wǎng)站，由美國(guó)勞工部的就業(yè)和培訓(xùn)管理局主導(dǎo)發(fā)起，旨在幫助在校學(xué)生，企業(yè)和求職者了解當(dāng)今的職業(yè)市場(chǎng)。但由于該招聘網(wǎng)站的網(wǎng)頁(yè)內(nèi)容由大量的專業(yè)人員針對(duì)職業(yè)狀況和招聘市場(chǎng)詳情分析整理而成，從而造成網(wǎng)站的構(gòu)建成本過大，開發(fā)周期過長(zhǎng)，更新不夠及時(shí)等問題，隨著信息抽取和自然語(yǔ)言處理技術(shù)的興起和廣泛使用，相關(guān)研究人員可以利用訓(xùn)練出的模型自動(dòng)從海量數(shù)據(jù)中挖掘出有用的信息，利用信息抽取和自然語(yǔ)言處理技術(shù)對(duì)數(shù)據(jù)進(jìn)行分析整合是大勢(shì)所趨。國(guó)外對(duì)于網(wǎng)絡(luò)招聘的研究也由來已久，早期就有部分國(guó)外學(xué)者在運(yùn)用文本挖掘的方法研究人才的市場(chǎng)需求。2006年的時(shí)候，著名學(xué)者Lee[9]就對(duì)部分信息技術(shù)管理崗位的招聘信息進(jìn)行了分析研究，并成功構(gòu)建了技能分類的目錄，從而產(chǎn)生了詞典的雛形；而2014年Smith.D和Ali.A[10]等人又從招聘網(wǎng)站上收集了程序員的招聘信息，利用關(guān)鍵字索引的相關(guān)技術(shù)，分析了近幾年來幾門編程語(yǔ)言在市場(chǎng)上的行情，為計(jì)算機(jī)專業(yè)學(xué)生課程的設(shè)置提供了有價(jià)值的參考意見。這些國(guó)外研究和分析也說明我們可以利用文本分析的方法來對(duì)不規(guī)則數(shù)據(jù)開展研究。但是由于漢語(yǔ)和英語(yǔ)在語(yǔ)法結(jié)構(gòu)上都有很大差異，針對(duì)文本分析的方法來開展研究并不能很好的適應(yīng)，所以對(duì)于我國(guó)來說國(guó)外的一些研究在某些方式方法上就不太適用。針對(duì)中文領(lǐng)域的一些研究雖然可以借鑒國(guó)外的一些研究思路和研究方向，但是仍然需要因地制宜，思考更適合中文的文本分析方法和數(shù)據(jù)分析方法。本課題的主要研究?jī)?nèi)容 本文旨在研究IT行業(yè)招聘數(shù)據(jù)分析與可視化系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，期望運(yùn)用所學(xué)專業(yè)知識(shí)和技能，基于大數(shù)據(jù)工程方法，設(shè)計(jì)IT行業(yè)招聘數(shù)據(jù)分析與可視化系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，為初入職場(chǎng)的IT行業(yè)學(xué)生就業(yè)提供可供參考的信息平臺(tái)。本系統(tǒng)的實(shí)現(xiàn)分為數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理和數(shù)據(jù)分析、平臺(tái)搭建和編碼實(shí)現(xiàn)、數(shù)據(jù)可視化等幾個(gè)部分，不同部分的功能將會(huì)運(yùn)用到不同的大數(shù)據(jù)分析知識(shí)與技能?；诒菊n題的目標(biāo)，本文主要對(duì)如下幾個(gè)問題開展研究：綜合多個(gè)方面對(duì)招聘數(shù)據(jù)進(jìn)行綜合分析 基于傳統(tǒng)的招聘數(shù)據(jù)分析方法無法滿足多方面需求的這一問題展開思考和研究，由于傳統(tǒng)的招聘數(shù)據(jù)分析方法大多只針對(duì)于某種途徑獲得的小樣本數(shù)據(jù)，無法進(jìn)行多個(gè)方面多個(gè)角度的研究，而本文期望通過對(duì)招聘網(wǎng)站中的IT行業(yè)的多個(gè)職位的招聘信息（包含數(shù)據(jù)分析類、研發(fā)類、測(cè)試類等）進(jìn)行多個(gè)角度（如工作區(qū)域、薪資、發(fā)展前景等）的分析，從而綜合了解IT行業(yè)的就業(yè)需求和就業(yè)前景，有助于求職人員更好的尋覓適合自己的理想職業(yè)。以信息分析平臺(tái)的形式展現(xiàn)研究成果 基于傳統(tǒng)的招聘數(shù)據(jù)分析方法分析結(jié)果大多以文本報(bào)告形式呈現(xiàn)，無法很好的利用當(dāng)前的大數(shù)據(jù)工程方法進(jìn)行可視化的結(jié)果展示，因此，本文期望以不同于傳統(tǒng)的展示方式，利用當(dāng)前的大數(shù)據(jù)分析方法來搭建信息分析平臺(tái)，通過平臺(tái)將數(shù)據(jù)分析的結(jié)果用可視化的圖表等形式生動(dòng)形象的進(jìn)行展示。從而有利于求職人員快速的了解自己感興趣的內(nèi)容，更有側(cè)重點(diǎn)的分析自己的優(yōu)勢(shì)和劣勢(shì)。同時(shí)對(duì)廣大IT從業(yè)人員及在校學(xué)生能力培養(yǎng)方向也具有一定的導(dǎo)向作用。長(zhǎng)遠(yuǎn)來看，也有利于為即將到來的AI時(shí)代夯實(shí)人才儲(chǔ)備基礎(chǔ)。論文組織結(jié)構(gòu) 本文共分為六個(gè)部分： 第一章為緒論，介紹了IT行業(yè)招聘數(shù)據(jù)分析與可視化系統(tǒng)的研究背景及研究意義，以及國(guó)內(nèi)外的研究綜述，同時(shí)概括說明了本文主要研究的內(nèi)容和方向。 第二章為相關(guān)技術(shù)基礎(chǔ)。介紹了與本項(xiàng)目相關(guān)的技術(shù)理論和系統(tǒng)設(shè)計(jì)所需使用的數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)框架和相關(guān)工具，包括數(shù)據(jù)獲取階段的爬蟲技術(shù)、數(shù)據(jù)存儲(chǔ)和分析階段的數(shù)據(jù)庫(kù)技術(shù)和數(shù)據(jù)展示階段的Django技術(shù)框架等相關(guān)內(nèi)容，以便于讀者更好的理解后續(xù)的研究?jī)?nèi)容。 第三章為IT行業(yè)招聘數(shù)據(jù)分析與可視化系統(tǒng)的需求分析。本章詳細(xì)介紹了IT行業(yè)招聘數(shù)據(jù)分析與可視化系統(tǒng)的需求，分別從目標(biāo)系統(tǒng)的功能需求分析和性能需求分析進(jìn)行描述。 第四章為IT行業(yè)招聘數(shù)據(jù)分析與可視化系統(tǒng)的總體設(shè)計(jì)。介紹了本系統(tǒng)總體的設(shè)計(jì)情況，分別從系統(tǒng)模塊設(shè)計(jì)、系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)、人機(jī)交互子系統(tǒng)設(shè)計(jì)和系統(tǒng)運(yùn)行流程圖設(shè)計(jì)進(jìn)行詳細(xì)的描述。 第五章為IT行業(yè)招聘數(shù)據(jù)分析與可視化系統(tǒng)的實(shí)現(xiàn)和測(cè)試部分。用于詳細(xì)介紹系統(tǒng)的交互頁(yè)面和功能實(shí)現(xiàn)情況，介紹系統(tǒng)測(cè)試的實(shí)用性和可用性，并進(jìn)行系統(tǒng)相關(guān)的展示。 第六章將總結(jié)本文的研究?jī)?nèi)容和創(chuàng)新點(diǎn)，并展望今后的研究方向。相關(guān)技術(shù)基礎(chǔ)數(shù)據(jù)獲取技術(shù)Python Python是目前一種被廣泛使用的面向?qū)ο蟮耐ㄓ酶呒?jí)編程語(yǔ)言，尤其在近幾年隨著大數(shù)據(jù)和人工智能的快速發(fā)展，Python在互聯(lián)網(wǎng)行業(yè)中發(fā)揮的的作用也愈來愈突出，在各行各業(yè)中的普及度也越來越深。它是由GuidovanRossum于1991年創(chuàng)建，并在Python軟件基金會(huì)的幫助下得到了進(jìn)一步深入的開發(fā)和挖掘。相比于C和JAVA，Python的編程風(fēng)格更加凸顯出代碼的可讀性，它的語(yǔ)法允許程序員在編程時(shí)用更加簡(jiǎn)潔明了的代碼行來表達(dá)他們的概念和思維，因此這種語(yǔ)言特點(diǎn)對(duì)于初次學(xué)習(xí)編程的小白也是非常的友好。作為一種高級(jí)編程語(yǔ)言之一，它可以幫助使用者快速的開展工作并有效的集成系統(tǒng)，這也是為什么有那么多的人傾向于用Python開展數(shù)據(jù)的分析和挖掘工作。與此同時(shí)，它也為使用者提供了廣泛的開源的第三方庫(kù)，能夠把用其他語(yǔ)言制作的各種模塊輕松的聯(lián)合在一起，如用于數(shù)值計(jì)算的NumPy、用于數(shù)據(jù)分析的Pandas庫(kù)等，這些庫(kù)能支持我們完成基本上目前現(xiàn)存的大多數(shù)互聯(lián)網(wǎng)行業(yè)的問題。因此在本文的系統(tǒng)的實(shí)現(xiàn)過程中選擇的便是Python語(yǔ)言，從前期的數(shù)據(jù)獲取到后期的系統(tǒng)實(shí)現(xiàn)中都是基于其開展。爬蟲技術(shù) 網(wǎng)絡(luò)爬蟲技術(shù)是一種利用互聯(lián)網(wǎng)技術(shù)按照指定的規(guī)則和邏輯來模擬瀏覽器的行為進(jìn)行快速高效的從網(wǎng)頁(yè)端采集所需要的數(shù)據(jù)的網(wǎng)絡(luò)技術(shù)。網(wǎng)絡(luò)爬蟲一般分為數(shù)據(jù)獲取、數(shù)據(jù)解析、數(shù)據(jù)存儲(chǔ)三個(gè)部分。數(shù)據(jù)的獲取階段往往是指通過HTTP請(qǐng)求的方式獲得網(wǎng)頁(yè)的響應(yīng)；數(shù)據(jù)解析是指通過一定的解析方法和解析框架對(duì)網(wǎng)頁(yè)內(nèi)容進(jìn)行更加清晰明了的分析與整理；數(shù)據(jù)存儲(chǔ)則是對(duì)獲取及解析的數(shù)據(jù)進(jìn)行本地或者云端的存儲(chǔ)，從而所需的數(shù)據(jù)保存至本地進(jìn)行深入的分析。在這三個(gè)階段里，Python都為其提供了很多功能強(qiáng)大的第三方庫(kù)，例如urllib，beautiful-soup、requests和scrapy等等，因此網(wǎng)絡(luò)爬蟲常常可以直接調(diào)用python的庫(kù)進(jìn)行編程，無需寫復(fù)雜的代碼，十分的方便。在編寫爬蟲代碼時(shí)也可以根據(jù)需求對(duì)所獲取的頁(yè)面進(jìn)行自定義的網(wǎng)頁(yè)解析，對(duì)采集的數(shù)據(jù)進(jìn)行篩選和提取，而從過濾掉無用的數(shù)據(jù)。在本項(xiàng)目中數(shù)據(jù)的獲取與解析利用的便是爬蟲技術(shù)，通過爬蟲技術(shù)的獲取的數(shù)據(jù)再存儲(chǔ)于MongoDB數(shù)據(jù)庫(kù)中進(jìn)行進(jìn)一步的數(shù)據(jù)挖掘和分析。數(shù)據(jù)存儲(chǔ)與分析技術(shù)MongoDB MongoDB是目前市面上較為流行的現(xiàn)代數(shù)據(jù)庫(kù)的一種，是一個(gè)集高性能，開源，無模式優(yōu)點(diǎn)的文檔型數(shù)據(jù)庫(kù)，其基于分布式文件進(jìn)行存儲(chǔ)，聚集了NoSql數(shù)據(jù)庫(kù)的優(yōu)勢(shì)。MongoDB是一個(gè)面向文檔的現(xiàn)代數(shù)據(jù)庫(kù)，主要用于大容量的數(shù)據(jù)存儲(chǔ)。它并不像傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)那樣使用表和行來構(gòu)建，而是使用可讀性更強(qiáng)的集合和文檔。文檔結(jié)構(gòu)的形式更加符合開發(fā)人員在各自的編程語(yǔ)言中構(gòu)造的類和對(duì)象的方式，并且在構(gòu)建時(shí)無需預(yù)先定義模式，而可以動(dòng)態(tài)的創(chuàng)建字段，這對(duì)使用者而言也十分的友好。MongoDB所能支持的數(shù)據(jù)結(jié)構(gòu)非常松散，是類似json的bson格式，因此可以支持存儲(chǔ)較為復(fù)雜的數(shù)據(jù)類型，其中可用的數(shù)據(jù)模型可以允許開發(fā)者更加輕松簡(jiǎn)潔的表示層次關(guān)系、數(shù)組存儲(chǔ)和其他更加復(fù)雜的結(jié)構(gòu)，與關(guān)系型數(shù)據(jù)庫(kù)相比也具備更好的可擴(kuò)展性。其最大的特點(diǎn)便是能支持非常強(qiáng)大的查詢語(yǔ)言，其語(yǔ)法有點(diǎn)類似于面向?qū)ο蟮牟樵冋Z(yǔ)言，幾乎可以實(shí)現(xiàn)類似關(guān)系數(shù)據(jù)庫(kù)單表查詢的大部分功能，在為WEB應(yīng)用提供可擴(kuò)展的高性能數(shù)據(jù)存儲(chǔ)方面有極大的價(jià)值。本項(xiàng)目中選取MongoDB進(jìn)行數(shù)據(jù)的存儲(chǔ)，考慮到的便是其支持復(fù)雜數(shù)據(jù)存儲(chǔ)、查詢與索引方式靈活和其自身高性能的優(yōu)點(diǎn)，因此將通過爬蟲獲取招聘信息存儲(chǔ)在MongoDB中，并通過Django框架構(gòu)建web項(xiàng)目將數(shù)據(jù)庫(kù)中的數(shù)據(jù)讀取出來并在前端頁(yè)面進(jìn)行查看和進(jìn)行按條件的查詢。EnterpriseCharts EnterpriseCharts(即Echarts)是用純JavaScript編寫并基于ZRender(一個(gè)全新的輕量級(jí)畫布庫(kù)）開發(fā)的一個(gè)十分全面的圖表庫(kù)。借助于Drag-Recalculate、DataView和ScaleRoaming等原創(chuàng)功能，Echarts可以幫助產(chǎn)品添加更為直觀、更具交互性和高度可定制的圖表的簡(jiǎn)單方法，進(jìn)行更深層次的數(shù)據(jù)挖掘和數(shù)據(jù)分析，并且適用于所有網(wǎng)絡(luò)端和移動(dòng)端的應(yīng)用程序。因此，用Echarts進(jìn)行數(shù)據(jù)的分析和處理已經(jīng)十分的普及，在當(dāng)前諸多的互聯(lián)網(wǎng)數(shù)據(jù)分析行業(yè)也得到了許多的應(yīng)用。本項(xiàng)目中應(yīng)用Echarts來進(jìn)行數(shù)據(jù)的可視化分析，可以呈現(xiàn)交互豐富，強(qiáng)大兼容性的數(shù)據(jù)分析圖表，根據(jù)本項(xiàng)目的具體需求，呈現(xiàn)多維度，多層次分析結(jié)果。數(shù)據(jù)展示技術(shù)Django框架 Django是python常用的web框架，如同java中的springboot框架，django是基于Python進(jìn)行web開發(fā)和設(shè)計(jì)的常用框架。它是由經(jīng)驗(yàn)豐富的開發(fā)人員進(jìn)行構(gòu)建，考慮到Python的語(yǔ)言特點(diǎn)和語(yǔ)言風(fēng)格，django消除了web開發(fā)的大部分的麻煩，在使用上可以快速高效的進(jìn)行網(wǎng)站搭建并且具備了高度的安全性和可維護(hù)性，在默認(rèn)的情況下，會(huì)自動(dòng)提供針對(duì)許多漏洞的保護(hù)包括sql注入、跨站點(diǎn)腳本、跨站點(diǎn)請(qǐng)求偽造CSRF保護(hù)等，因此受到諸多開發(fā)人員和使用者的青睞。Django在設(shè)計(jì)上使用的MVT模式,M即Model用于對(duì)數(shù)據(jù)庫(kù)的訪問和封裝，對(duì)連接的后端數(shù)據(jù)庫(kù)進(jìn)行增、刪、改、查等相關(guān)操作；T即Template用于對(duì)呈現(xiàn)的網(wǎng)頁(yè)進(jìn)行設(shè)計(jì)與封裝，生成相關(guān)的前端網(wǎng)頁(yè)內(nèi)容；V即View用于接受前后端傳來的相關(guān)請(qǐng)求，對(duì)相關(guān)的業(yè)務(wù)邏輯進(jìn)行處理和返回響應(yīng)，可以認(rèn)為是連接Model和Template的橋梁，通過View前后端得以交互。在本項(xiàng)目中進(jìn)行系統(tǒng)搭建和設(shè)計(jì)時(shí)就充分的遵循了django的MVT模式，利用Model實(shí)現(xiàn)對(duì)Mongo數(shù)據(jù)庫(kù)的封裝和訪問，Template負(fù)責(zé)前端頁(yè)面的設(shè)計(jì)和展示，View中實(shí)現(xiàn)前后端的交互實(shí)現(xiàn)，從而呈現(xiàn)出前后端順利交互的效果。Bootstrap Bootstrap作為世界上最流行的構(gòu)建響應(yīng)式、移動(dòng)優(yōu)先網(wǎng)站的框架，是很多前端開發(fā)設(shè)計(jì)人員的首選框架。其基于Html、Css、JavaScript語(yǔ)言，在設(shè)計(jì)上十分的簡(jiǎn)單靈活，設(shè)計(jì)和引用都十分的高效快捷，使得網(wǎng)頁(yè)開發(fā)的銷量大大提升。同樣它自動(dòng)為我們封裝了許多集成的前端樣式，所以使用起來只需要下載相應(yīng)版本的輕量級(jí)樣式文件就可以輕松引用和調(diào)整，具備高度的交互性和便捷性。針對(duì)不同模塊的框架，Bootstrap也為開發(fā)者們提供就詳盡的使用說明和測(cè)試平臺(tái)，用戶可以根據(jù)自己的需要定制Bootstrap組件、Less變量和Jquery插件來得到屬于用戶自己的版本樣式和框架。所以本項(xiàng)目在設(shè)計(jì)前端頁(yè)面時(shí)主要使用的便是Bootstrap框架。系統(tǒng)需求分析系統(tǒng)的功能需求分析 目標(biāo)系統(tǒng)的功能需求是對(duì)系統(tǒng)進(jìn)行需求分析的其中一項(xiàng)極為重要的內(nèi)容，功能需求分析反映的是系統(tǒng)能提供和實(shí)現(xiàn)怎樣的功能。本系統(tǒng)是一個(gè)IT行業(yè)招聘數(shù)據(jù)分析與可視化系統(tǒng)，含有IT行業(yè)招聘數(shù)據(jù)分類查看、數(shù)據(jù)查詢、數(shù)據(jù)排序和下載、數(shù)據(jù)可視化分析等功能。管理員可以在登錄之后訪問本系統(tǒng)并使用一系列的功能。 根據(jù)IT招聘數(shù)據(jù)的具體情況，系統(tǒng)的主要功能包括以下幾個(gè)方面：登錄：管理員可以登錄系統(tǒng)，查看系統(tǒng)頁(yè)面 管理員登錄系統(tǒng)時(shí)需要經(jīng)過系統(tǒng)的登錄驗(yàn)證，驗(yàn)證成果方可登錄和使用系統(tǒng)的相關(guān)功能，登錄時(shí)用戶名、密碼和驗(yàn)證碼都需要一一對(duì)應(yīng)，才可以登錄成功。否則登錄失敗，未經(jīng)登錄的管理員無法進(jìn)入系統(tǒng)頁(yè)面查看系統(tǒng)信息。（默認(rèn)情況下,初始用戶名為admin,初始密碼為admin）管理員登錄用例圖招聘信息管理：包括對(duì)不同職位的招聘數(shù)據(jù)進(jìn)行分頁(yè)查看、按條件查詢、對(duì)數(shù)據(jù)進(jìn)行篩選等操作 管理員在登錄系統(tǒng)之后，可以訪問首頁(yè)，在首頁(yè)中根據(jù)自己的需求有選擇的查看招聘信息的情況，包括對(duì)招聘信息進(jìn)行篩選和查找、下載導(dǎo)出等操作，可以根據(jù)自己的需求使用數(shù)據(jù)。管理員招聘信息管理用例圖招聘數(shù)據(jù)可視化分析管理：可以查看IT招聘數(shù)據(jù)的數(shù)據(jù)分析展示 本系統(tǒng)對(duì)于后臺(tái)管理的招聘數(shù)據(jù)進(jìn)行了可視化分析的展示，并從多角度切入繪制了可視化分析圖表。管理員在登錄了系統(tǒng)之后，可以查看招聘信息的可視化分析結(jié)果，從而對(duì)不同職位的招聘信息的側(cè)重點(diǎn)和崗位信息要求有一定的了解，從而了解IT行業(yè)的招聘情況，便于從業(yè)人員更有指向性的確定自己的從業(yè)方向。管理員招聘信息可視化分析系統(tǒng)的性能需求分析 為了保證本系統(tǒng)能長(zhǎng)期、安全、穩(wěn)定、高效且可靠的運(yùn)行。本IT行業(yè)招聘數(shù)據(jù)分析與可視化系統(tǒng)需要滿足如下的性能需求：安全性 系統(tǒng)在設(shè)計(jì)和使用時(shí)需注重系統(tǒng)的安全性，加強(qiáng)系統(tǒng)的保密性。在管理員使用系統(tǒng)時(shí)，需要盡可能的保證系統(tǒng)的使用規(guī)范，在使用前需進(jìn)行登錄的驗(yàn)證，只有準(zhǔn)確登錄的人員才可以使用系統(tǒng)，查看系統(tǒng)信息和功能。需要防止無關(guān)人員采取不合理的方式進(jìn)入系統(tǒng)，對(duì)系統(tǒng)進(jìn)行破壞，造成重要信息的泄露。穩(wěn)定性 系統(tǒng)在設(shè)計(jì)完成和進(jìn)行了系統(tǒng)部署之后，若硬件條件和軟件條件沒有發(fā)生變化的情況下，需要能夠一直保持穩(wěn)定的運(yùn)行狀態(tài)，需要防預(yù)防系統(tǒng)出現(xiàn)不可控的故障，直到系統(tǒng)被升級(jí)或者替代之后進(jìn)入下一階段。高效性 系統(tǒng)在投入使用之后，使用者對(duì)系統(tǒng)的操作需要系統(tǒng)給予及時(shí)高效的響應(yīng)。如當(dāng)管理員登錄驗(yàn)證通過后，系統(tǒng)需要及時(shí)高效的做出響應(yīng)，快速加載和顯示網(wǎng)頁(yè)的相關(guān)內(nèi)容，以滿足高效及時(shí)的用戶體驗(yàn)。不論是針對(duì)操作成功的響應(yīng)還是操作失敗的響應(yīng)，系統(tǒng)都需及時(shí)給以反饋，如此方能在最短的時(shí)間里高效的發(fā)現(xiàn)問題，解決問題?？捎眯院涂删S護(hù)性 系統(tǒng)在設(shè)計(jì)構(gòu)建時(shí)是由專業(yè)的開發(fā)人員進(jìn)行負(fù)責(zé)，而系統(tǒng)投入使用之后，使用的人員并不一定的專業(yè)的計(jì)算機(jī)相關(guān)人員，其對(duì)系統(tǒng)的底層基礎(chǔ)知識(shí)并不一定有充分的了解，因而系統(tǒng)在設(shè)計(jì)時(shí)需要充分考慮用戶的使用體驗(yàn)。在設(shè)計(jì)系統(tǒng)的各個(gè)界面和各個(gè)功能時(shí)需要盡可能的便捷且具有人性化，要求要能提供良好的用戶接口，易用的人機(jī)交互界面，從而方便用戶進(jìn)行理解和使用。當(dāng)遇到一些問題時(shí)，需要能及時(shí)的顯示異常，提示錯(cuò)誤原因，針對(duì)一些在預(yù)期范圍內(nèi)的問題，可以提前設(shè)計(jì)好解決方案，盡可能的為用戶提供足夠的幫助，縮短用戶對(duì)系統(tǒng)熟悉的過程。規(guī)范性 系統(tǒng)在設(shè)計(jì)和投入使用時(shí)都需遵守相關(guān)的行業(yè)規(guī)范，如規(guī)范的界面、作為業(yè)界標(biāo)注的TCP/IP網(wǎng)絡(luò)協(xié)議所要求的質(zhì)量規(guī)范等。在開發(fā)設(shè)計(jì)階段，也應(yīng)該進(jìn)行良好的設(shè)計(jì)工作，制定行之有效的軟件工程規(guī)范，保證代碼的易讀性、可操作性和可移植性等。系統(tǒng)總體設(shè)計(jì)系統(tǒng)模塊設(shè)計(jì) 本系統(tǒng)在設(shè)計(jì)上主要分為如下幾個(gè)模塊（如REF_Ref22057\r\h圖4-1所示）：登錄模塊： 登錄模塊主要是對(duì)系統(tǒng)管理者登錄系統(tǒng)，使用系統(tǒng)而設(shè)置，主要用以提高系統(tǒng)的安全性和保密性。管理員只有登錄系統(tǒng)時(shí)才可以對(duì)系統(tǒng)內(nèi)部的其他功能進(jìn)行使用，在登錄模塊中需要管理員輸入用戶名、密碼、驗(yàn)證碼，系統(tǒng)后臺(tái)將對(duì)管理員輸入的信息進(jìn)行驗(yàn)證，若信息驗(yàn)證成功則可以登錄系統(tǒng)，否則無法登錄系統(tǒng)。IT行業(yè)招聘數(shù)據(jù)管理模塊： 在本系統(tǒng)中，針對(duì)IT行業(yè)獲取了10個(gè)熱門崗位的招聘信息如：前端開發(fā)工程師、后端開發(fā)工程師、測(cè)試工程師、數(shù)據(jù)分析工程師、產(chǎn)品管理等。IT行業(yè)招聘數(shù)據(jù)管理模塊是對(duì)系統(tǒng)所獲取并使用的招聘數(shù)據(jù)進(jìn)行管理，包括查看IT行業(yè)各個(gè)崗位的招聘信息，查詢崗位的招聘信息，以及對(duì)招聘信息進(jìn)行篩選排序、打印輸出等相關(guān)的操作。這一模塊主要是將存儲(chǔ)于Mongo數(shù)據(jù)庫(kù)中IT行業(yè)招聘信息進(jìn)行展示，方便使用者可以通過查閱網(wǎng)頁(yè)的形式查看招聘數(shù)據(jù)，也為后續(xù)的招聘數(shù)據(jù)分析可視化模塊打下基礎(chǔ)。IT行業(yè)招聘數(shù)據(jù)可視化分析模塊： 這一模塊是根據(jù)獲取的招聘數(shù)據(jù)進(jìn)行按崗位分類進(jìn)行針對(duì)性分析，從崗位的學(xué)歷要求、經(jīng)驗(yàn)要求、技能要求、薪資情況、企業(yè)規(guī)模和企業(yè)融資情況這六個(gè)角度切入進(jìn)行可視化的分析統(tǒng)計(jì)，并以多樣的統(tǒng)計(jì)圖表的形式展示在網(wǎng)頁(yè)端，方便使用者通過查看形象的圖表的方式了解IT行業(yè)各個(gè)崗位的要求和發(fā)展情況，從而為今后自己確定合適的職業(yè)方向奠基。IT行業(yè)招聘數(shù)據(jù)分析與可視化系統(tǒng)模塊圖系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì) 本項(xiàng)目中選取MongoDB數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)的存儲(chǔ)，考慮到的便是其支持復(fù)雜數(shù)據(jù)存儲(chǔ)、查詢與索引方式靈活和其自身高性能的優(yōu)點(diǎn)，因此將通過爬蟲獲取招聘信息存儲(chǔ)在MongoDB中，并通過Django框架構(gòu)建web項(xiàng)目將數(shù)據(jù)庫(kù)中的數(shù)據(jù)讀取出來并在前端頁(yè)面進(jìn)行查看和進(jìn)行按條件的查詢。本系統(tǒng)在設(shè)計(jì)數(shù)據(jù)庫(kù)時(shí)對(duì)IT招聘信息按照崗位類別分別設(shè)計(jì)了數(shù)據(jù)庫(kù)的相關(guān)集合和文檔，以下主要是數(shù)據(jù)文檔的詳細(xì)介紹：數(shù)據(jù)庫(kù)連接關(guān)鍵代碼：from

mongoengine

import

*

#連接數(shù)據(jù)庫(kù)的名字

connect('itdata')

itdata數(shù)據(jù)庫(kù)總體概況itdata數(shù)據(jù)庫(kù)總體概況系統(tǒng)用戶信息文檔：關(guān)鍵代碼：#

用戶類

class

houduanKF(Document):

username=StringField()

password=StringField()

meta

=

{'collection':

'User'}

用戶數(shù)據(jù)文檔示例用戶信息文檔字段名類型長(zhǎng)度說明idint用戶IDusernameString128用戶名passwordString256密碼前端開發(fā)工程師文檔：關(guān)鍵代碼說明：#

前端開發(fā)工程師類

class

qianduanKF(Document):

#

定義數(shù)據(jù)庫(kù)中的所有字段，及拿到的高級(jí)前端開發(fā)key值

崗位=StringField()

地點(diǎn)=StringField()

薪資=StringField()

工作經(jīng)驗(yàn)=StringField()

學(xué)歷=StringField()

公司名稱=StringField()

技能=StringField()

工作福利=StringField()

工作類型=StringField()

融資情況=StringField()

公司規(guī)模=StringField()

meta

=

{'collection':

'qianduanKF'}

前端開發(fā)工程師數(shù)據(jù)文檔示例前端開發(fā)工程師招聘信息文檔字段名類型長(zhǎng)度說明idint前端開發(fā)工程師招聘信息ID崗位String256招聘崗位地點(diǎn)String256前端開發(fā)工程師招聘地點(diǎn)薪資String256前端開發(fā)工程師招聘崗位薪資工作經(jīng)驗(yàn)String256前端開發(fā)工程師工作經(jīng)驗(yàn)要求學(xué)歷String256前端開發(fā)工程師學(xué)歷要求公司名稱String256招聘公司名稱技能String256前端開發(fā)工程師技能要求工作福利String256工作福利待遇工作類型String256工作類型方向融資情況String256公司融資情況公司規(guī)模String256公司規(guī)模后端開發(fā)工程師文檔：關(guān)鍵代碼說明：#

后端開發(fā)類

class

houduanKF(Document):

崗位=StringField()

地點(diǎn)=StringField()

薪資=StringField()

工作經(jīng)驗(yàn)=StringField()

學(xué)歷=StringField()

公司名稱=StringField()

技能=StringField()

工作福利=StringField()

工作類型=StringField()

融資情況=StringField()

公司規(guī)模=StringField()

meta

=

{'collection':

'houduanKF'}

后端開發(fā)工程師數(shù)據(jù)文檔示例后端開發(fā)工程師招聘信息文檔字段名類型長(zhǎng)度說明idint后端開發(fā)工程師招聘信息ID崗位String256招聘崗位地點(diǎn)String256后端開發(fā)工程師招聘地點(diǎn)薪資String256后端開發(fā)工程師招聘崗位薪資工作經(jīng)驗(yàn)String256后端開發(fā)工程師工作經(jīng)驗(yàn)要求學(xué)歷String256后端開發(fā)工程師學(xué)歷要求公司名稱String256招聘公司名稱技能String256后端開發(fā)工程師技能要求工作福利String256工作福利待遇工作類型String256工作類型方向融資情況String256公司融資情況公司規(guī)模String256公司規(guī)模高級(jí)前端開發(fā)工程師：關(guān)鍵代碼說明：#

高級(jí)前端開發(fā)類

class

GJ_qianduan(Document):

崗位=StringField()

地點(diǎn)=StringField()

薪資=StringField()

工作經(jīng)驗(yàn)=StringField()

學(xué)歷=StringField()

公司名稱=StringField()

技能=StringField()

工作福利=StringField()

工作類型=StringField()

融資情況=StringField()

公司規(guī)模=StringField()

meta

=

{'collection':

'GJ_qianduan'}

高級(jí)前端開發(fā)工程師數(shù)據(jù)文檔示例高級(jí)前端開發(fā)工程師招聘信息文檔字段名類型長(zhǎng)度說明idint高級(jí)前端開發(fā)工程師招聘信息ID崗位String256招聘崗位地點(diǎn)String256高級(jí)前端開發(fā)工程師招聘地點(diǎn)薪資String256高級(jí)前端開發(fā)工程師招聘崗位薪資工作經(jīng)驗(yàn)String256高級(jí)前端開發(fā)工程師工作經(jīng)驗(yàn)要求學(xué)歷String256高級(jí)前端開發(fā)工程師學(xué)歷要求公司名稱String256招聘公司名稱技能String256高級(jí)前端開發(fā)工程師技能要求工作福利String256工作福利待遇工作類型String256工作類型方向融資情況String256公司融資情況公司規(guī)模String256公司規(guī)模高級(jí)后端開發(fā)工程師：關(guān)鍵代碼說明：#

高級(jí)后端開發(fā)類

class

GJ_houduan(Document):

崗位=StringField()

地點(diǎn)=StringField()

薪資=StringField()

工作經(jīng)驗(yàn)=StringField()

學(xué)歷=StringField()

公司名稱=StringField()

技能=StringField()

工作福利=StringField()

工作類型=StringField()

融資情況=StringField()

公司規(guī)模=StringField()

meta

=

{'collection':

'GJ_houduan'}

高級(jí)后端開發(fā)工程師數(shù)據(jù)文檔示例高級(jí)后端開發(fā)工程師招聘信息文檔字段名類型長(zhǎng)度說明idint高級(jí)后端開發(fā)工程師招聘信息ID崗位String256招聘崗位地點(diǎn)String256高級(jí)后端開發(fā)工程師招聘地點(diǎn)薪資String256高級(jí)后端開發(fā)工程師招聘崗位薪資工作經(jīng)驗(yàn)String256高級(jí)后端開發(fā)工程師工作經(jīng)驗(yàn)要求學(xué)歷String256高級(jí)后端開發(fā)工程師學(xué)歷要求公司名稱String256招聘公司名稱技能String256高級(jí)后端開發(fā)工程師技能要求工作福利String256工作福利待遇工作類型String256工作類型方向融資情況String256公司融資情況公司規(guī)模String256公司規(guī)模測(cè)試工程師：關(guān)鍵代碼說明：#

測(cè)試工程師類

class

ceshi(Document):

崗位=StringField()

地點(diǎn)=StringField()

薪資=StringField()

工作經(jīng)驗(yàn)=StringField()

學(xué)歷=StringField()

公司名稱=StringField()

技能=StringField()

工作福利=StringField()

工作類型=StringField()

融資情況=StringField()

公司規(guī)模=StringField()

meta

=

{'collection':

'ceshi'}

測(cè)試工程師數(shù)據(jù)文檔示例測(cè)試工程師招聘信息文檔字段名類型長(zhǎng)度說明idint測(cè)試工程師招聘信息ID崗位String256招聘崗位地點(diǎn)String256測(cè)試工程師招聘地點(diǎn)薪資String256測(cè)試工程師招聘崗位薪資工作經(jīng)驗(yàn)String256測(cè)試工程師工作經(jīng)驗(yàn)要求學(xué)歷String256測(cè)試工程師學(xué)歷要求公司名稱String256招聘公司名稱技能String256測(cè)試工程師技能要求工作福利String256工作福利待遇工作類型String256工作類型方向融資情況String256公司融資情況公司規(guī)模String256公司規(guī)模數(shù)據(jù)分析工程師：關(guān)鍵代碼說明：#

數(shù)據(jù)分析工程師類

class

shujifenxi(Document):

崗位=StringField()

地點(diǎn)=StringField()

薪資=StringField()

工作經(jīng)驗(yàn)=StringField()

學(xué)歷=StringField()

公司名稱=StringField()

技能=StringField()

工作福利=StringField()

工作類型=StringField()

融資情況=StringField()

公司規(guī)模=StringField()

meta

=

{'collection':

'shujifenxi'}

數(shù)據(jù)分析師數(shù)據(jù)文檔示例數(shù)據(jù)分析工程師招聘信息文檔字段名類型長(zhǎng)度說明idint數(shù)據(jù)分析工程師招聘信息ID崗位String256招聘崗位地點(diǎn)String256數(shù)據(jù)分析工程師招聘地點(diǎn)薪資String256數(shù)據(jù)分析工程師招聘崗位薪資工作經(jīng)驗(yàn)String256數(shù)據(jù)分析工程師工作經(jīng)驗(yàn)要求學(xué)歷String256數(shù)據(jù)分析工程師學(xué)歷要求公司名稱String256招聘公司名稱技能String256數(shù)據(jù)分析工程師技能要求工作福利String256工作福利待遇工作類型String256工作類型方向融資情況String256公司融資情況公司規(guī)模String256公司規(guī)模產(chǎn)品管理：關(guān)鍵代碼說明：#

產(chǎn)品管理類

class

chanpin(Document):

崗位=StringField()

地點(diǎn)=StringField()

薪資=StringField()

工作經(jīng)驗(yàn)=StringField()

學(xué)歷=StringField()

公司名稱=StringField()

技能=StringField()

工作福利=StringField()

工作類型=StringField()

融資情況=StringField()

公司規(guī)模=StringField()

meta

=

{'collection':

'chanpin'}

產(chǎn)品管理數(shù)據(jù)文檔示例產(chǎn)品管理類招聘信息文檔字段名類型長(zhǎng)度說明idint產(chǎn)品管理招聘信息ID崗位String256招聘崗位地點(diǎn)String256產(chǎn)品管理招聘地點(diǎn)薪資String256產(chǎn)品管理招聘崗位薪資工作經(jīng)驗(yàn)String256產(chǎn)品管理工作經(jīng)驗(yàn)要求學(xué)歷String256產(chǎn)品管理學(xué)歷要求公司名稱String256招聘公司名稱技能String256產(chǎn)品管理技能要求工作福利String256工作福利待遇工作類型String256工作類型方向融資情況String256公司融資情況公司規(guī)模String256公司規(guī)模技術(shù)支持工程師：關(guān)鍵代碼說明：#

技術(shù)支持工程師

class

jishuzhichi(Document):

崗位=StringField()

地點(diǎn)=StringField()

薪資=StringField()

工作經(jīng)驗(yàn)=StringField()

學(xué)歷=StringField()

公司名稱=StringField()

技能=StringField()

工作福利=StringField()

工作類型=StringField()

融資情況=StringField()

公司規(guī)模=StringField()

meta

=

{'collection':

'jishuzhichi'}

技術(shù)支持工程師數(shù)據(jù)文檔示例技術(shù)支持工程師招聘信息文檔字段名類型長(zhǎng)度說明idint技術(shù)支持工程師招聘信息ID崗位String256招聘崗位地點(diǎn)String256技術(shù)支持工程師招聘地點(diǎn)薪資String256技術(shù)支持工程師招聘崗位薪資工作經(jīng)驗(yàn)String256技術(shù)支持工程師工作經(jīng)驗(yàn)要求學(xué)歷String256技術(shù)支持工程師學(xué)歷要求公司名稱String256招聘公司名稱技能String256技術(shù)支持工程師技能要求工作福利String256工作福利待遇工作類型String256工作類型方向融資情況String256公司融資情況公司規(guī)模String256公司規(guī)模實(shí)施工程師：關(guān)鍵代碼說明：#

實(shí)施工程師

class

shishi(Document):

崗位=StringField()

地點(diǎn)=StringField()

薪資=StringField()

工作經(jīng)驗(yàn)=StringField()

學(xué)歷=StringField()

公司名稱=StringField()

技能=StringField()

工作福利=StringField()

工作類型=StringField()

融資情況=StringField()

公司規(guī)模=StringField()

meta

=

{'collection':

'shishi'}

實(shí)施工程師數(shù)據(jù)文檔示例實(shí)施工程師招聘信息文檔字段名類型長(zhǎng)度說明idint實(shí)施工程師招聘信息ID崗位String256招聘崗位地點(diǎn)String256實(shí)施工程師招聘地點(diǎn)薪資String256實(shí)施工程師招聘崗位薪資工作經(jīng)驗(yàn)String256實(shí)施工程師工作經(jīng)驗(yàn)要求學(xué)歷String256實(shí)施工程師學(xué)歷要求公司名稱String256招聘公司名稱技能String256實(shí)施工程師技能要求工作福利String256工作福利待遇工作類型String256工作類型方向融資情況String256公司融資情況公司規(guī)模String256公司規(guī)模調(diào)試工程師：關(guān)鍵代碼說明：#

調(diào)試工程師

class

tiaoshi(Document):

崗位=StringField()

地點(diǎn)=StringField()

薪資=StringField()

工作經(jīng)驗(yàn)=StringField()

學(xué)歷=StringField()

公司名稱=StringField()

技能=StringField()

工作福利=StringField()

工作類型=StringField()

融資情況=StringField()

公司規(guī)模=StringField()

meta

=

{'collection':

'tiaoshi'}

調(diào)試工程師數(shù)據(jù)文檔示例調(diào)試工程師招聘信息文檔字段名類型長(zhǎng)度說明idint調(diào)試工程師招聘信息ID崗位String256招聘崗位地點(diǎn)String256調(diào)試工程師招聘地點(diǎn)薪資String256調(diào)試工程師招聘崗位薪資工作經(jīng)驗(yàn)String256調(diào)試工程師工作經(jīng)驗(yàn)要求學(xué)歷String256調(diào)試工程師學(xué)歷要求公司名稱String256招聘公司名稱技能String256調(diào)試工程師技能要求工作福利String256工作福利待遇工作類型String256工作類型方向融資情況String256公司融資情況公司規(guī)模String256公司規(guī)模人機(jī)交互子系統(tǒng)設(shè)計(jì) 在人機(jī)交互子系統(tǒng)部分主要是對(duì)系統(tǒng)網(wǎng)頁(yè)前端的頁(yè)面進(jìn)行設(shè)計(jì)，根據(jù)系統(tǒng)的主要3個(gè)模塊：登錄模塊、IT行業(yè)招聘數(shù)據(jù)管理模塊和IT行業(yè)招聘數(shù)據(jù)可視化分析模塊分別進(jìn)行可視化界面的設(shè)計(jì)，詳細(xì)設(shè)計(jì)如下：登錄界面：使用者需在登錄界面進(jìn)行登錄驗(yàn)證方可正常訪問系統(tǒng)登錄界面后臺(tái)界面：使用者登錄驗(yàn)證通過后可訪問系統(tǒng)后臺(tái)的首頁(yè)后臺(tái)界面IT行業(yè)招聘數(shù)據(jù)管理界面（以前端開發(fā)工程師為例）： 使用者可在該界面查看對(duì)應(yīng)崗位招聘信息，可根據(jù)自己的需求對(duì)該界面招聘信息進(jìn)行自定義查詢篩選等相關(guān)操作。IT行業(yè)招聘數(shù)據(jù)管理界面（以前端開發(fā)工程師為例）IT行業(yè)招聘數(shù)據(jù)可視化分析界面（以前端開發(fā)工程師為例）： 該界面中主要從六個(gè)維度（包括學(xué)歷要求、工作經(jīng)驗(yàn)要求、企業(yè)規(guī)模、企業(yè)融資情況、技能要求和薪資情況）對(duì)崗位的招聘信息進(jìn)行可視化的分析統(tǒng)計(jì)。IT行業(yè)招聘數(shù)據(jù)可視化分析界面（以前端開發(fā)工程師為例）系統(tǒng)運(yùn)行流程圖設(shè)計(jì)IT行業(yè)招聘數(shù)據(jù)分析與可視化系統(tǒng)基本流程系統(tǒng)實(shí)現(xiàn)及測(cè)試系統(tǒng)實(shí)驗(yàn)環(huán)境 本系統(tǒng)基于Windows10操作系統(tǒng)進(jìn)行開發(fā)設(shè)計(jì)，采用Python編程語(yǔ)言進(jìn)行系統(tǒng)的搭建和人機(jī)交互界面的設(shè)計(jì)，系統(tǒng)相關(guān)數(shù)據(jù)源于知名招聘網(wǎng)站，本系統(tǒng)通過爬蟲技術(shù)獲取招聘網(wǎng)站IT行業(yè)相關(guān)招聘信息并進(jìn)行數(shù)據(jù)的匯總分析和可視化展示。詳細(xì)實(shí)驗(yàn)環(huán)境如REF_Ref6502\r\h表5-1所示。實(shí)驗(yàn)環(huán)境操作系統(tǒng)Windows10使用軟件編程語(yǔ)言Python編程環(huán)境PycharmJupyterNoteBookweb框架Django數(shù)據(jù)庫(kù)MongoDB建模工具M(jìn)icrosoftVisio2016文檔編寫MicrosoftWord2010系統(tǒng)實(shí)現(xiàn)系統(tǒng)登錄:管理員訪問系統(tǒng)網(wǎng)址進(jìn)入登錄界面，管理員需在登錄界面的表單中正確填寫登錄信息，填寫完后系統(tǒng)會(huì)將登錄界面（login.html）的表單信息通過URL路由轉(zhuǎn)發(fā)到后端View中進(jìn)行登錄的驗(yàn)證，登錄驗(yàn)證通過后方可登錄，并返回到登錄成功的后臺(tái)頁(yè)面中（index.html），關(guān)鍵代碼如下：#用django

內(nèi)置表單的方式實(shí)現(xiàn)登錄

def

login(request):

if

request.session.get('is_login',

None):

#

不允許重復(fù)登錄

return

redirect('/index/')

if

request.method

==

'POST':

login_form

=

forms.UserForm(request.POST)

message

=

'請(qǐng)檢查填寫的內(nèi)容！'

if

login_form.is_valid():

username

=

login_form.cleaned_data.get('username')

password

=

login_form.cleaned_data.get('password')

try:

user

=

'admin'

except

:

message

=

'用戶不存在！'

return

render(request,

'login.html',

locals())

if

password

==

'admin':

request.session['is_login']

=

True

request.session['user_name']

=

user

print(username,

password)

message

=

'登錄成功！'

return

redirect('/index/')

else:

message

=

'密碼不正確！'

return

render(request,

'login.html',

locals())

else:

return

render(request,

'login.html',

locals())

login_form

=

forms.UserForm()

return

render(request,

'login.html',

locals())

系統(tǒng)登錄示例招聘數(shù)據(jù)管理:該模塊的招聘數(shù)據(jù)按崗位劃分分為：前端開發(fā)工程師、后端開發(fā)工程師、高級(jí)前端工程師、高級(jí)后端工程師、測(cè)試工程師、數(shù)據(jù)分析工程師、產(chǎn)品管理工程師、技術(shù)支持工程師、實(shí)施工程師和調(diào)試工程師（如REF_Ref10003\r\h圖4-20所示）。登錄系統(tǒng)的管理者可自行選擇需要查看的崗位的招聘信息，系統(tǒng)會(huì)根據(jù)需求作出響應(yīng)，跳轉(zhuǎn)到相應(yīng)的頁(yè)面。如以前端開發(fā)工程師招聘信息為例，用戶點(diǎn)擊相應(yīng)選項(xiàng)，前端頁(yè)面根據(jù)用戶指示發(fā)送請(qǐng)求到系統(tǒng)后端，后端根據(jù)跳轉(zhuǎn)路由調(diào)用跳轉(zhuǎn)方法對(duì)前端請(qǐng)求作出反饋，呈現(xiàn)出新的網(wǎng)頁(yè)（qianduanKF_info.html）。在該頁(yè)面中用戶根據(jù)自己的需求，可以對(duì)數(shù)據(jù)進(jìn)行查詢、復(fù)制、下載對(duì)應(yīng)格式文檔、自定義篩選和打印輸出（如REF_Ref11580\r\h圖4-21所示）的相關(guān)操作，可以最大范圍的滿足用戶的多樣化需求。以下是具體操作實(shí)現(xiàn)的說明。招聘信息管理模塊類別 查看招聘信息、按條件查詢信息：管理員登錄成功以后可以從MongoDB中讀取數(shù)據(jù)，系統(tǒng)將MongoDB中的數(shù)據(jù)讀取出來，后端將數(shù)據(jù)封裝成字典形式發(fā)送給前端，前端通過循環(huán)的方式將數(shù)據(jù)讀取出來。并用JavaScrip和Ajax請(qǐng)求獲取并解析數(shù)據(jù)自動(dòng)封裝進(jìn)表格從而可以實(shí)現(xiàn)數(shù)據(jù)的分頁(yè)展示和按條件查詢。 招聘信息復(fù)制：管理員點(diǎn)擊招聘信息列表中的copy按鈕可以實(shí)現(xiàn)對(duì)數(shù)據(jù)的復(fù)制。該功能的實(shí)現(xiàn)時(shí)通過DataTable的buttons().container()函數(shù)實(shí)現(xiàn)對(duì)按鈕增加附加的功能，從而可以調(diào)用DataTablesAPI訪問按鈕實(shí)現(xiàn)按鈕的特定功能。Copy和下載所用的csv、excel、pdf、打印所用的print和選擇性顯示所用的columnvisibility功能都類似，都是基于這一原理進(jìn)行實(shí)現(xiàn)。招聘信息管理相關(guān)操作示例招聘數(shù)據(jù)可視化分析：這一模塊系統(tǒng)通過對(duì)存儲(chǔ)在MongDB的數(shù)據(jù)進(jìn)行分析并用前端可視化工具Echart繪制了可視化統(tǒng)計(jì)圖，用JavaScrip和Ajax實(shí)現(xiàn)將前端獲取顯示在前端頁(yè)面中。在該模塊按照崗位劃分分為：前端開發(fā)工程師、后端開發(fā)工程師、高級(jí)前端工程師、高級(jí)后端工程師、測(cè)試工程師、數(shù)據(jù)分析工程師、產(chǎn)品管理工程師、技術(shù)支持工程師、實(shí)施工程師和調(diào)試工程師的數(shù)據(jù)分析情況（如REF_Ref12948\r\h圖4-22所示）。登錄系統(tǒng)的管理者可自行選擇需要查看的崗位的數(shù)據(jù)可視化分析情況，系統(tǒng)會(huì)根據(jù)需求作出響應(yīng)，跳轉(zhuǎn)到相應(yīng)的頁(yè)面。如以前端開發(fā)工程師數(shù)據(jù)可視化分析情況為例，用戶點(diǎn)擊相應(yīng)選項(xiàng)，前端頁(yè)面根據(jù)用戶指示發(fā)送請(qǐng)求到系統(tǒng)后端，后端根據(jù)跳轉(zhuǎn)路由調(diào)用跳轉(zhuǎn)方法對(duì)前端請(qǐng)求作出反饋，呈現(xiàn)出新的網(wǎng)頁(yè)（chartJS_qianduanKF.html）。在該頁(yè)面中根據(jù)前端開發(fā)工程師的招聘信息進(jìn)行了六個(gè)維度的可視化分析展示，包括學(xué)歷要求、工作經(jīng)驗(yàn)要求、企業(yè)規(guī)模、企業(yè)融資情況、技能要求和薪資情況。招聘數(shù)據(jù)可視化分析類別 學(xué)歷要求統(tǒng)計(jì)（如REF_Ref16691\r\h圖4-23所示）采用的是環(huán)形圖的形式進(jìn)行的分析，體現(xiàn)的是該崗位在招聘時(shí)所要求的學(xué)歷情況，根據(jù)不同的學(xué)歷占據(jù)不同的比例反映崗位對(duì)學(xué)歷要求的重視程度。以前端開發(fā)工程師為例可以看出企業(yè)在招聘人才時(shí)大多對(duì)學(xué)歷上要求大專及以上，在目前的統(tǒng)計(jì)數(shù)據(jù)中可以看出企業(yè)在招聘該崗位時(shí)對(duì)學(xué)歷情況較為重視，尤其傾向于基礎(chǔ)扎實(shí)的大學(xué)本科生或者是具備良好實(shí)踐能力的大專生，另一方面也提示著求職者需要更好的提升自己的學(xué)歷和專業(yè)能力。前端工程師學(xué)歷要求統(tǒng)計(jì)分析 工作經(jīng)驗(yàn)要求統(tǒng)計(jì)（如REF_Ref16629\r\h圖4-24所示）采用的是餅圖的形式進(jìn)行的分析，反映的是該崗位在招聘時(shí)對(duì)應(yīng)聘者工作經(jīng)驗(yàn)的要求，根據(jù)不同的工作經(jīng)驗(yàn)占比可以看出崗位的工作經(jīng)驗(yàn)的關(guān)注度。對(duì)于前端工程師這一崗位，企業(yè)更傾向于具備1年及以上工作經(jīng)驗(yàn)的求職者。可以看出在面臨前端開發(fā)工程師招聘時(shí)，若能具備一定的工作經(jīng)驗(yàn)則會(huì)具備一定的優(yōu)勢(shì)。對(duì)于求職者而言，在平時(shí)需要注重工作經(jīng)驗(yàn)的積累，可以增加實(shí)習(xí)經(jīng)驗(yàn)的鍛煉以提升自己的實(shí)踐能力。前端工程師工作經(jīng)驗(yàn)要求統(tǒng)計(jì)分析 招聘企業(yè)規(guī)模統(tǒng)計(jì)和招聘企業(yè)融資情況統(tǒng)計(jì)（如REF_Ref16926\r\h圖4-25所示）采用的是柱狀圖和極地的形式進(jìn)行的分析，反映的是在招聘該崗位的企業(yè)的運(yùn)營(yíng)規(guī)模和企業(yè)發(fā)展情況，從中可以了解到招聘該崗位的企業(yè)的經(jīng)營(yíng)情況，對(duì)求職者而言可以進(jìn)行自身未來發(fā)展的規(guī)劃。從分析結(jié)果可以表明，招聘前端開發(fā)工程師的企業(yè)大多為大中型企業(yè)，企業(yè)的發(fā)展前景也較好，對(duì)于求職者而言能夠在這樣一個(gè)良好的平臺(tái)學(xué)習(xí)和展示自己是一個(gè)不錯(cuò)的就業(yè)選擇。前端工程師崗位招聘企業(yè)概況統(tǒng)計(jì)分析 技能統(tǒng)計(jì)分析采用的是雷達(dá)圖的形式進(jìn)行的分析，體現(xiàn)的是該崗位在招聘時(shí)要求求職者具備的技能情況，對(duì)于即將從事和未來從事該崗位的人員可以提供一定的指向性，從而有側(cè)重的進(jìn)行學(xué)習(xí)與提升。通過統(tǒng)計(jì)分析可以看出，對(duì)于前端工程師企業(yè)大多要求具備前端開發(fā)和前端樣式設(shè)計(jì)（如HTML、CSS、JavaScript等）技能，從業(yè)者在考慮該崗位時(shí)可以適當(dāng)根據(jù)崗位的技能要求進(jìn)行技能的學(xué)習(xí)和提升，從而可以更好的進(jìn)入和適應(yīng)該崗位的需求。前端工程師崗位技能要求統(tǒng)計(jì)分析 薪資統(tǒng)計(jì)情況（如REF_Ref19156\r\h圖4-27）采用的是折線圖的形式進(jìn)行的分析，反映該崗位在當(dāng)前就業(yè)市場(chǎng)下的薪資走向與發(fā)展趨勢(shì)，從最低薪資、最高薪資和平均薪資三個(gè)統(tǒng)計(jì)量進(jìn)行對(duì)比分析，可以幫助從業(yè)者了解該崗位的發(fā)展情況。通過對(duì)這一方面的分析，可以看出前端開發(fā)工程師的薪資大多在9K-30K,薪資根據(jù)求職者的能力進(jìn)行一定標(biāo)準(zhǔn)的評(píng)定，對(duì)于求職者而言該崗位的薪資還是十分的客觀的，若能在該崗位深入的學(xué)習(xí)和研究，其升職加薪的機(jī)會(huì)也會(huì)有很多，因此也是一個(gè)不錯(cuò)的就業(yè)選擇。前端工程師崗位薪資情況統(tǒng)計(jì)分析系統(tǒng)測(cè)試與分析 系統(tǒng)測(cè)試主要分為功能測(cè)試和性能測(cè)試兩個(gè)部分。功能測(cè)試主要測(cè)試系統(tǒng)的各個(gè)功能是否能正常實(shí)現(xiàn)，系統(tǒng)的性能測(cè)試則主要測(cè)試系統(tǒng)的性能情況、回答響應(yīng)是否合理高效。本系統(tǒng)的測(cè)試也主要對(duì)這兩個(gè)方面進(jìn)行，具體的測(cè)試情況與結(jié)果分析如REF_Ref13993\r\h表5-2所示。系統(tǒng)測(cè)試與分析序號(hào)測(cè)試項(xiàng)目子測(cè)試項(xiàng)目測(cè)試目的測(cè)試步驟測(cè)試結(jié)果1功能測(cè)試登錄功能是否運(yùn)行正常確保本系統(tǒng)能夠進(jìn)行正常的登錄操作打開系統(tǒng)的登錄界面，輸入用戶名、密碼和驗(yàn)證碼進(jìn)行登錄登錄功能正常運(yùn)行2功能測(cè)試系統(tǒng)后