湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

目錄

1引言1

1.1項(xiàng)目背景1

1.2開(kāi)發(fā)環(huán)境與工具2

1.2.1Python簡(jiǎn)介2

1.2.2Jypyternotebook簡(jiǎn)介3

1.2.3Matplotlib簡(jiǎn)介3

2需求分析4

2.1可行性需求分析4

2.2采集目標(biāo)功能分析5

2.3關(guān)鍵技術(shù)分析5

2.3.1網(wǎng)絡(luò)爬蟲(chóng)技術(shù)5

2.3.2文件存儲(chǔ)技術(shù)6

2.3.3可視化技術(shù)7

3數(shù)據(jù)采集8

3.1采集頁(yè)面分析8

3.2字段分析9

3.3編程實(shí)現(xiàn)10

4數(shù)據(jù)清洗與處理14

4.1數(shù)據(jù)清洗14

4.2數(shù)據(jù)儲(chǔ)存15

4.3編程實(shí)現(xiàn)16

5數(shù)據(jù)統(tǒng)計(jì)與分析17

5.1數(shù)據(jù)準(zhǔn)備17

5.2數(shù)據(jù)分析展示19

5.2.1根據(jù)開(kāi)發(fā)商名字進(jìn)行統(tǒng)計(jì)19

5.2.2根據(jù)區(qū)域占比進(jìn)行統(tǒng)計(jì)20

5.2.3根據(jù)地產(chǎn)房?jī)r(jià)對(duì)小區(qū)進(jìn)行統(tǒng)計(jì)和分析21

I

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

5.2.4依據(jù)容積率與綠地率關(guān)系進(jìn)行統(tǒng)計(jì)22

5.3綜述23

6小結(jié)23

參考資料24

II

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

0731房產(chǎn)網(wǎng)新房數(shù)據(jù)采集與分析

1引言

隨著互聯(lián)網(wǎng)的快速發(fā)展，房地產(chǎn)行業(yè)的信息化程度不斷提高，各類(lèi)房產(chǎn)網(wǎng)

站成為人們獲取房產(chǎn)信息的主要途徑之一。在這個(gè)信息時(shí)代，人們?cè)絹?lái)越傾向

于通過(guò)互聯(lián)網(wǎng)獲取房產(chǎn)市場(chǎng)信息，了解新房動(dòng)態(tài)、價(jià)格走勢(shì)。房地產(chǎn)業(yè)作為國(guó)

民經(jīng)濟(jì)的支柱產(chǎn)業(yè)之一，對(duì)于推動(dòng)經(jīng)濟(jì)增長(zhǎng)和滿足人民群眾居住需求具有重要

意義。隨著城市化進(jìn)程的不斷推進(jìn)，房地產(chǎn)信息的可靠性和時(shí)效性對(duì)于購(gòu)房者

和經(jīng)紀(jì)人而言變得尤為關(guān)鍵。作為湖南地區(qū)著名的房產(chǎn)信息平臺(tái)，0731房產(chǎn)網(wǎng)

以其豐富的新房資源和專業(yè)的數(shù)據(jù)分析能力備受購(gòu)房者關(guān)注。通過(guò)對(duì)新房數(shù)據(jù)

的采集與分析，可以了解房?jī)r(jià)的走勢(shì)和波動(dòng)、不同區(qū)域樓盤(pán)的銷(xiāo)售情況、不同

戶型和配置的受歡迎程度以及購(gòu)房者的需求偏好等關(guān)鍵指標(biāo)。這些信息將幫助

購(gòu)房者更好地了解市場(chǎng)，做出更明智的購(gòu)房決策。同時(shí)，這些數(shù)據(jù)也為政府管

理者和房地產(chǎn)開(kāi)發(fā)商提供了重要依據(jù)，以制定和調(diào)整相關(guān)政策和產(chǎn)品策略，更

好地適應(yīng)市場(chǎng)需求。

1.1項(xiàng)目背景

房地產(chǎn)市場(chǎng)一直以來(lái)都是一個(gè)備受關(guān)注的行業(yè)，房產(chǎn)數(shù)據(jù)的收集與分析對(duì)

了解市場(chǎng)動(dòng)態(tài)、預(yù)測(cè)房?jī)r(jià)走勢(shì)、評(píng)估投資價(jià)值等具有重要意義。在這個(gè)信息化、

大數(shù)據(jù)的時(shí)代，房地產(chǎn)行業(yè)的數(shù)據(jù)也變得更加豐富多樣，涵蓋的內(nèi)容也更加全

面。同時(shí)，隨著網(wǎng)絡(luò)技術(shù)的不斷進(jìn)步，房地產(chǎn)數(shù)據(jù)的獲取途徑也日益多樣化，

使得房地產(chǎn)數(shù)據(jù)采集與分析工作更加便捷和高效。

0731房產(chǎn)網(wǎng)作為中國(guó)房地產(chǎn)市場(chǎng)的信息化平臺(tái)，擁有著大量的房產(chǎn)數(shù)據(jù)資

源，其中包括各地新房的樓盤(pán)信息、價(jià)格、銷(xiāo)售情況等多方面內(nèi)容。這些數(shù)據(jù)

不僅對(duì)購(gòu)房者、開(kāi)發(fā)商具有重要意義，同時(shí)也對(duì)政府部門(mén)、金融機(jī)構(gòu)和投資者

提供了重要參考。因此，對(duì)0731房產(chǎn)網(wǎng)新房數(shù)據(jù)的采集與分析具有非常重要的

意義。

在過(guò)去的研究中，數(shù)據(jù)采集與分析算法不斷得到改進(jìn)，網(wǎng)絡(luò)爬蟲(chóng)技術(shù)、機(jī)

器學(xué)習(xí)算法等在房地產(chǎn)數(shù)據(jù)處理上得到廣泛應(yīng)用。然而，由于房地產(chǎn)市場(chǎng)的復(fù)

雜性以及數(shù)據(jù)本身的不確定性等因素，仍然存在一些挑戰(zhàn)，比如數(shù)據(jù)噪聲、數(shù)

據(jù)獲取的局限性、數(shù)據(jù)分析的精度等問(wèn)題，這些都需要進(jìn)一步的深入研究與分

析。

1

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

本次將以0731房產(chǎn)網(wǎng)的新房數(shù)據(jù)為對(duì)象，探索如何利用先進(jìn)的數(shù)據(jù)采集和

分析技術(shù)，準(zhǔn)確、高效地獲取和處理這些數(shù)據(jù)，以期能夠從中挖掘出更有價(jià)值

的信息，為房地產(chǎn)市場(chǎng)的相關(guān)利益相關(guān)者提供更全面、準(zhǔn)確的信息支持。同時(shí)，

研究還將深入分析并總結(jié)當(dāng)前數(shù)據(jù)采集與分析方法存在的不足之處，提出未來(lái)

在這一領(lǐng)域中的研究展望，為整個(gè)行業(yè)的數(shù)據(jù)分析工作提供新的思路和方法。

總之，本研究旨在探尋0731房產(chǎn)網(wǎng)新房數(shù)據(jù)采集與分析的最佳實(shí)踐，期望

能夠?yàn)榉康禺a(chǎn)市場(chǎng)的相關(guān)決策提供更為有效的數(shù)據(jù)支持，促進(jìn)房地產(chǎn)市場(chǎng)的健

康發(fā)展。

1.2開(kāi)發(fā)環(huán)境與工具

1.2.1Python簡(jiǎn)介

Python是一種高級(jí)編程語(yǔ)言，由GuidovanRossum于1989年創(chuàng)立，

其設(shè)計(jì)理念強(qiáng)調(diào)代碼的易讀性和簡(jiǎn)潔性。Python采用縮進(jìn)格式來(lái)表示代碼塊，

這使得代碼結(jié)構(gòu)清晰，對(duì)于初學(xué)者來(lái)說(shuō)比較友好。Python支持多種編程范式，

包括面向?qū)ο?、函?shù)式和過(guò)程式編程，使得程序員可以根據(jù)需要選擇合適的范

式來(lái)解決問(wèn)題。

Python具有豐富的標(biāo)準(zhǔn)庫(kù)和第三方庫(kù)，涵蓋了各種功能模塊，如網(wǎng)絡(luò)編程、

圖形用戶界面開(kāi)發(fā)、數(shù)據(jù)處理、機(jī)器學(xué)習(xí)等。這些庫(kù)的存在使得程序員能夠高

效地開(kāi)發(fā)各種應(yīng)用程序，無(wú)需從頭開(kāi)始編寫(xiě)所有代碼。

Python是一種解釋性語(yǔ)言，這意味著代碼在運(yùn)行時(shí)會(huì)逐行解釋執(zhí)行，而不

需要預(yù)先編譯成機(jī)器代碼。這種特性使得Python的開(kāi)發(fā)速度相對(duì)較快，同時(shí)也

方便了代碼的調(diào)試和測(cè)試。

Python是跨平臺(tái)的，可以在各種操作系統(tǒng)上運(yùn)行，包括Windows、Linux

和MacOS等。這使得程序員能夠輕松地在不同平臺(tái)上開(kāi)發(fā)和部署應(yīng)用程序，極

大地提高了開(kāi)發(fā)的靈活性。

Python被廣泛應(yīng)用于各種領(lǐng)域，如Web開(kāi)發(fā)、數(shù)據(jù)科學(xué)、人工智能、自動(dòng)

化測(cè)試等。它在人工智能和數(shù)據(jù)科學(xué)領(lǐng)域尤為流行，許多知名公司和科研機(jī)構(gòu)

都在使用Python來(lái)開(kāi)發(fā)人工智能模型和進(jìn)行數(shù)據(jù)分析。

總的來(lái)說(shuō)，Python作為一種通用編程語(yǔ)言，具有優(yōu)雅簡(jiǎn)潔的語(yǔ)法、豐富的

庫(kù)支持、跨平臺(tái)特性等諸多優(yōu)點(diǎn)，使得它成為程序員們喜愛(ài)的編程語(yǔ)言之一。

無(wú)論是初學(xué)者還是資深開(kāi)發(fā)者，都可以通過(guò)Python快速高效地實(shí)現(xiàn)自己的創(chuàng)意

和想法。

2

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

1.2.2Jypyternotebook簡(jiǎn)介

JupyterNotebook是一個(gè)開(kāi)源的交互式筆記本工具，最初是為Python編

程語(yǔ)言設(shè)計(jì)的，但現(xiàn)在已經(jīng)支持超過(guò)40種編程語(yǔ)言。它可以讓用戶創(chuàng)建和共享

包含實(shí)時(shí)代碼、可視化結(jié)果和文本說(shuō)明的文檔。

以下是JupyterNotebook的一些主要特點(diǎn)和優(yōu)勢(shì)：

交互式編程環(huán)境：用戶可以在JupyterNotebook中編寫(xiě)和執(zhí)行代碼，實(shí)時(shí)

查看代碼運(yùn)行結(jié)果，便于快速調(diào)試和測(cè)試。

支持多種語(yǔ)言：除了Python，JupyterNotebook還支持R、Julia、Scala

等多種編程語(yǔ)言，使其成為一種通用的交互式計(jì)算工具。

集成文本說(shuō)明和圖片：用戶可以通過(guò)Markdown語(yǔ)法在Notebook中添加文

本說(shuō)明、公式、圖片等，直觀地展示代碼的背景和邏輯。

數(shù)據(jù)可視化：JupyterNotebook支持各種數(shù)據(jù)可視化庫(kù)，如Matplotlib、

Seaborn等，可以方便地創(chuàng)建圖表、圖形展示數(shù)據(jù)分析結(jié)果。

易于分享：用戶可以將JupyterNotebook導(dǎo)出為HTML、PDF等格式，方便

分享報(bào)告和分析結(jié)果；也可以通過(guò)GitHub、nbviewer等在線平臺(tái)進(jìn)行共享和協(xié)

作。

支持大數(shù)據(jù)處理：JupyterNotebook可以與大數(shù)據(jù)處理工具如Apache

Spark等集成，方便處理大規(guī)模數(shù)據(jù)并進(jìn)行分布式計(jì)算。

生態(tài)系統(tǒng)豐富：JupyterNotebook擁有龐大的生態(tài)系統(tǒng)，包括JupyterLab、

JupyterHub等相關(guān)工具，為用戶提供更強(qiáng)大的功能和擴(kuò)展性。

總的來(lái)說(shuō)，JupyterNotebook是一種強(qiáng)大的工具，適用于數(shù)據(jù)分析、機(jī)器

學(xué)習(xí)、科學(xué)計(jì)算等領(lǐng)域，幫助用戶輕松地編寫(xiě)、展示和共享代碼和分析過(guò)程。

1.2.3Matplotlib簡(jiǎn)介

Matplotlib是一個(gè)功能強(qiáng)大的Python繪圖庫(kù)，用于創(chuàng)建各種類(lèi)型的數(shù)據(jù)

可視化圖形。它是基于NumPy數(shù)組的，并且可以與SciPy、Pandas等數(shù)據(jù)處理

庫(kù)無(wú)縫集成，使得數(shù)據(jù)的可視化變得更加簡(jiǎn)單和高效。

Matplotlib的設(shè)計(jì)理念是讓用戶通過(guò)簡(jiǎn)單的代碼就可以創(chuàng)建出精美、高質(zhì)

量的圖形。它提供了多種繪圖風(fēng)格和定制選項(xiàng)，使得用戶可以根據(jù)需求調(diào)整圖

形的樣式、顏色、標(biāo)簽等屬性。用戶可以使用Matplotlib來(lái)創(chuàng)建折線圖、散點(diǎn)

圖、柱狀圖、餅圖以及3D圖等等。

Matplotlib的繪圖接口非常靈活，用戶可以使用面向?qū)ο蟮姆绞竭M(jìn)行繪圖，

3

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

也可以使用更簡(jiǎn)潔的pyplot接口。如果需要在JupyterNotebook中進(jìn)行交互

式數(shù)據(jù)可視化，Matplotlib也提供了相應(yīng)的支持。

除了常見(jiàn)的靜態(tài)圖形，Matplotlib還支持動(dòng)畫(huà)和交互式呈現(xiàn)。用戶可以利

用Matplotlib創(chuàng)建動(dòng)態(tài)圖形，展示數(shù)據(jù)隨時(shí)間的變化。此外，Matplotlib還

支持用戶對(duì)圖形進(jìn)行交互操作，例如放大縮小、選擇數(shù)據(jù)點(diǎn)等。

另一個(gè)Matplotlib強(qiáng)大之處是其擴(kuò)展性。由于Matplotlib是開(kāi)源的，用

戶可以利用第三方擴(kuò)展庫(kù)來(lái)增加額外的功能。例如，Seaborn是一個(gè)基于

Matplotlib的統(tǒng)計(jì)數(shù)據(jù)可視化庫(kù)，它提供了更加美觀和專業(yè)的統(tǒng)計(jì)圖表。

Matplotlib的學(xué)習(xí)曲線相對(duì)較低，它有詳細(xì)而完整的文檔和大量的示例代

碼，為用戶提供了學(xué)習(xí)和參考的資源。用戶可以在官方文檔中找到許多詳細(xì)的

教程和示例，以及各種自定義圖形的指南和技巧。

總而言之，Matplotlib是一個(gè)功能全面、靈活易用的數(shù)據(jù)可視化工具，廣

泛應(yīng)用于科學(xué)研究、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等領(lǐng)域。無(wú)論您是初學(xué)者還是專業(yè)人

士，Matplotlib都是必備的工具之一，能夠幫助您將數(shù)據(jù)以更加生動(dòng)和清晰的

方式展示出來(lái)，并從中發(fā)現(xiàn)更深入的洞察和模式。

2需求分析

2.1可行性需求分析

1、技術(shù)可行性

Python是面向?qū)ο笳Z(yǔ)言中的一門(mén)通俗易懂的計(jì)算機(jī)編程語(yǔ)言,本次項(xiàng)目中

使用Python編寫(xiě)程序來(lái)實(shí)現(xiàn)數(shù)據(jù)獲取,數(shù)據(jù)清洗預(yù)處理,數(shù)據(jù)可視化。在數(shù)據(jù)獲

取的過(guò)程中遇到一些小問(wèn)題。隨后通過(guò)抓包分析發(fā)現(xiàn)國(guó)家藥監(jiān)局網(wǎng)站藥品信息

頁(yè)面的數(shù)據(jù)是動(dòng)態(tài)傳輸?shù)?所以通過(guò)瀏覽器控制臺(tái)獲取請(qǐng)求和其參數(shù)。然后就可

以得到網(wǎng)頁(yè)面數(shù)據(jù)的返回值。隨后將爬取出來(lái)的原始數(shù)據(jù)暫時(shí)以csv格式儲(chǔ)存

起來(lái),在后續(xù)的數(shù)據(jù)預(yù)處理和可視化中再進(jìn)行調(diào)用。最后們會(huì)將準(zhǔn)確的數(shù)據(jù)存入

MySQL數(shù)據(jù)庫(kù)中做持久化儲(chǔ)存。

以上為此次項(xiàng)目的技術(shù)可行性,也將在后續(xù)的工作中將所有的步驟實(shí)現(xiàn)到

位,保證數(shù)據(jù)的準(zhǔn)確性和安全性。

2、項(xiàng)目可行性

教育、住房、醫(yī)療一直是壓在人民心頭的三座大山,也是們中國(guó)社會(huì)主義發(fā)

展道路上的巨大難題。有關(guān)于三者的討論于新聞從未斷絕過(guò),每一次發(fā)表關(guān)于教

4

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

育、住房、醫(yī)療等領(lǐng)域的話題時(shí),其話題熱度往往能沖上熱搜榜首。

本次項(xiàng)目通過(guò)采集比較權(quán)威的國(guó)家藥品監(jiān)督管理局網(wǎng)站內(nèi)的數(shù)據(jù),來(lái)分析

國(guó)進(jìn)出口的藥品信息。們也將從藥品性質(zhì)、研發(fā)企業(yè)、生產(chǎn)日期等方面對(duì)其進(jìn)

行深度剖析,分析出有價(jià)值的信息,將其可視化最后根據(jù)結(jié)果得出結(jié)論。

2.2采集目標(biāo)功能分析

本次項(xiàng)目的數(shù)據(jù)集的來(lái)源是0731房產(chǎn)網(wǎng)站,是通過(guò)python爬取0731房產(chǎn)

網(wǎng)新房的信息。數(shù)據(jù)清洗后共877條記錄,爬取完成后盡可能的檢查數(shù)據(jù)的準(zhǔn)確

性,確定爬取出來(lái)的數(shù)據(jù)無(wú)誤并且是屬于0731房產(chǎn)網(wǎng)實(shí)時(shí)存在的房產(chǎn)信息。

分析0731房產(chǎn)網(wǎng)站網(wǎng)頁(yè)信息,明確需要爬取的開(kāi)盤(pán)時(shí)間，所屬區(qū)域，開(kāi)發(fā)

商，樓盤(pán)地址，交通狀況，聯(lián)系電話，是否在售，小區(qū)名，總占地面積，總建

筑面積，房型，商圈，參考價(jià)格詳情頁(yè)內(nèi)容等數(shù)據(jù),在對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理后

會(huì)對(duì)其數(shù)據(jù)進(jìn)行多個(gè)維度的分析。例如,從長(zhǎng)沙各區(qū)域房產(chǎn)待售數(shù)量對(duì)其分析，

查看有多少房在售。又或者想要得到在售房產(chǎn)在長(zhǎng)沙的價(jià)格差異,那么就可以根

據(jù)長(zhǎng)沙各區(qū)售賣(mài)價(jià)格進(jìn)行采集,查看房?jī)r(jià)是否因地段繁榮程度有所差距。

2.3關(guān)鍵技術(shù)分析

2.3.1網(wǎng)絡(luò)爬蟲(chóng)技術(shù)

針對(duì)0731房產(chǎn)網(wǎng)新房數(shù)據(jù)采集與分析項(xiàng)目，網(wǎng)絡(luò)爬蟲(chóng)技術(shù)是關(guān)鍵的技術(shù)之

一。下面是從網(wǎng)絡(luò)爬蟲(chóng)技術(shù)方面對(duì)該項(xiàng)目的關(guān)鍵技術(shù)分析：

1.URL解析和抓取：首先需要進(jìn)行URL解析，確定需要抓取的頁(yè)面。通

過(guò)Python中的urllib庫(kù)或第三方庫(kù)如requests等，可以發(fā)送HTTP請(qǐng)求獲取網(wǎng)

頁(yè)的HTML內(nèi)容。

2.頁(yè)面解析和數(shù)據(jù)提?。菏褂肏TML解析技術(shù)，如BeautifulSoup庫(kù)，可

以解析HTML內(nèi)容，提取所需的房產(chǎn)數(shù)據(jù)。通過(guò)分析網(wǎng)頁(yè)的結(jié)構(gòu)，可以確定需

要提取的標(biāo)簽和屬性，然后使用解析庫(kù)提取對(duì)應(yīng)的數(shù)據(jù)。

3.數(shù)據(jù)持久化：將抓取到的房產(chǎn)數(shù)據(jù)進(jìn)行持久化存儲(chǔ)，可以選擇使用

MySQL等關(guān)系型數(shù)據(jù)庫(kù)或NoSQL數(shù)據(jù)庫(kù)，如MongoDB。使用數(shù)據(jù)庫(kù)可以方

便地存儲(chǔ)和管理大量的房產(chǎn)數(shù)據(jù)，便于后續(xù)的數(shù)據(jù)分析和查詢。

4.反爬蟲(chóng)策略：由于房產(chǎn)網(wǎng)站可能會(huì)采取反爬蟲(chóng)措施，如限制訪問(wèn)頻率、

使用驗(yàn)證碼等，需要針對(duì)性地設(shè)計(jì)反反爬蟲(chóng)策略，以確保數(shù)據(jù)的正常抓取?？?/p>

以使用代理IP、隨機(jī)請(qǐng)求頭、驗(yàn)證碼自動(dòng)識(shí)別等方式進(jìn)行反爬蟲(chóng)處理。

5

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

5.分布式爬蟲(chóng)：由于房產(chǎn)數(shù)據(jù)量較大，爬取速度可能較慢?？梢钥紤]使用

分布式爬蟲(chóng)技術(shù)，將任務(wù)分發(fā)給多臺(tái)機(jī)器同時(shí)進(jìn)行爬取，加快數(shù)據(jù)采集的效率

6.定時(shí)任務(wù)和增量更新：房產(chǎn)數(shù)據(jù)是動(dòng)態(tài)變化的，需要定期更新以保證數(shù)

據(jù)的準(zhǔn)確性?？梢允褂枚〞r(shí)任務(wù)框架，如APScheduler，定時(shí)啟動(dòng)爬蟲(chóng)進(jìn)行數(shù)據(jù)

采集。同時(shí)，可以使用增量更新策略，只采集發(fā)生變化的數(shù)據(jù)，減少重復(fù)抓取

的時(shí)間和資源消耗。

綜上所述，網(wǎng)絡(luò)爬蟲(chóng)技術(shù)是0731房產(chǎn)網(wǎng)新房數(shù)據(jù)采集與分析項(xiàng)目中的關(guān)鍵

技術(shù)之一。通過(guò)有效的URL解析和抓取、頁(yè)面解析和數(shù)據(jù)提取、數(shù)據(jù)持久化、

反爬蟲(chóng)策略、分布式爬蟲(chóng)、定時(shí)任務(wù)和增量更新等技術(shù)手段，可以高效地采集

房產(chǎn)數(shù)據(jù)，為后續(xù)的數(shù)據(jù)分析和決策提供支持。

2.3.2文件存儲(chǔ)技術(shù)

用open方法打開(kāi)創(chuàng)建好的房產(chǎn)網(wǎng).csv,然后用csv庫(kù)中的DictWriter

創(chuàng)建表頭,用字典的方式存儲(chǔ)表頭再用writeheader方法進(jìn)行行存取數(shù)據(jù)。詳情

請(qǐng)看下面代碼。

Python內(nèi)置csv模塊如圖2-1顯示：

圖2-1pythoncsv模塊

6

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖2-2數(shù)據(jù)存入csv

2.3.3可視化技術(shù)

爬取下來(lái)的數(shù)據(jù)通過(guò)預(yù)處理、保存為csv文件格式?？梢暬夹g(shù)在數(shù)據(jù)分

析和決策過(guò)程中發(fā)揮著重要的作用。

數(shù)據(jù)理解和探索：可視化技術(shù)可以將數(shù)據(jù)轉(zhuǎn)化為直觀、易于理解的圖表、

圖形或地圖，幫助用戶更好地理解數(shù)據(jù)的規(guī)律、趨勢(shì)和關(guān)聯(lián)性。通過(guò)可視化，

用戶可以直觀地觀察數(shù)據(jù)分布、變化趨勢(shì)、異常點(diǎn)等，更好地了解數(shù)據(jù)的特征

和潛在信息。

發(fā)現(xiàn)模式和趨勢(shì)：可視化技術(shù)可以幫助用戶發(fā)現(xiàn)數(shù)據(jù)中的模式、趨勢(shì)和規(guī)

律，使隱藏在數(shù)據(jù)背后的信息和洞察力更加明顯。通過(guò)繪制各種圖表和圖形，

用戶可以通過(guò)直觀的方式發(fā)現(xiàn)數(shù)據(jù)中的相關(guān)性、異常點(diǎn)、聚類(lèi)等，有助于提煉

重要信息和洞察。

7

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

決策支持：可視化技術(shù)可以向各種利益相關(guān)者傳達(dá)數(shù)據(jù)的見(jiàn)解和意義，幫

助他們做出更加明智和有根據(jù)的決策。通過(guò)將數(shù)據(jù)可視化呈現(xiàn)在報(bào)表、圖表、

地圖等形式上，用戶可以直觀地了解數(shù)據(jù)的關(guān)鍵指標(biāo)、趨勢(shì)和變化，并據(jù)此作

出相應(yīng)的決策。

溝通和共享：可視化技術(shù)可以有效地進(jìn)行數(shù)據(jù)溝通和分享，使數(shù)據(jù)交流更

加高效和明確。通過(guò)將數(shù)據(jù)可視化呈現(xiàn)在簡(jiǎn)單、易懂的圖表或圖形上，數(shù)據(jù)分

析人員可以將復(fù)雜的數(shù)據(jù)信息傳遞給非專業(yè)人士，并激發(fā)對(duì)數(shù)據(jù)的討論和思考。

效果評(píng)估和監(jiān)控：可視化技術(shù)可以幫助用戶評(píng)估和監(jiān)控目標(biāo)的實(shí)現(xiàn)情況，

通過(guò)對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)可視化展示，幫助用戶了解目標(biāo)的達(dá)成情況、進(jìn)展和效果。

通過(guò)可視化，用戶可以及時(shí)發(fā)現(xiàn)潛在的問(wèn)題和改進(jìn)機(jī)會(huì)，以實(shí)現(xiàn)更好的業(yè)務(wù)結(jié)

果。

綜上所述，可視化技術(shù)在數(shù)據(jù)分析和決策過(guò)程中具有重要作用。通過(guò)將數(shù)

據(jù)可視化呈現(xiàn)在圖表、圖形、地圖等形式上，可以幫助用戶更好地理解和探索

數(shù)據(jù)、發(fā)現(xiàn)模式和趨勢(shì)、支持決策、促進(jìn)數(shù)據(jù)溝通和分享、評(píng)估和監(jiān)控效果等。

3數(shù)據(jù)采集

3.1采集頁(yè)面分析

首先通過(guò)谷歌瀏覽器搜索房產(chǎn)網(wǎng)的官方網(wǎng)頁(yè)：,然后找到

新房源目錄集頁(yè)面觀察圖3-1,其中URL為：

/?page=1&tsort=然后點(diǎn)擊頁(yè)面下方的分頁(yè)按鈕,同

時(shí)觀察URL,發(fā)現(xiàn)URL有很大變化。

圖3-1數(shù)據(jù)網(wǎng)址頁(yè)面

8

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

打開(kāi)開(kāi)發(fā)者工具（在網(wǎng)頁(yè)上按F12調(diào)出開(kāi)發(fā)者工具）,刷新頁(yè)面,

如圖3-2。

圖3-2開(kāi)發(fā)者工具

利用全局搜索定位數(shù)據(jù)位置左(上角那個(gè)里面有搜索兩個(gè)字的框),點(diǎn)擊開(kāi)

開(kāi)發(fā)者工具數(shù)據(jù)里面的標(biāo)頭字段,分析這是個(gè)什么請(qǐng)求,發(fā)現(xiàn)這個(gè)是一個(gè)GET請(qǐng)

求,找到請(qǐng)求網(wǎng)址位置觀察網(wǎng)址,最后找到了翻頁(yè)時(shí)url里面的page=內(nèi)容會(huì)變

動(dòng),這樣可以通過(guò)直接修改url里面page=1.2.3來(lái)控制翻頁(yè),也可以在載荷里面

修改page如圖3-3。

圖3-3載荷

3.2字段分析

來(lái)到網(wǎng)頁(yè)里面F12打開(kāi)開(kāi)發(fā)者工具搜索關(guān)鍵字定位數(shù)據(jù)所在位置,觀察數(shù)

據(jù)存放類(lèi)型,如圖3-4,可以看到們需要的所有數(shù)據(jù)都以靜態(tài)的形式存放在網(wǎng)頁(yè)

源代碼里面,們前面得知他是GET方法響應(yīng)的網(wǎng)站,所以們可以根據(jù)以上特點(diǎn)通

9

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

過(guò)Requests方法中的GET方法來(lái)獲得響應(yīng)的數(shù)據(jù),它的數(shù)據(jù)是靜態(tài)的以網(wǎng)頁(yè)源

代碼的形式呈現(xiàn)給們的,所以們需要用CSS方法重復(fù)獲取響應(yīng)數(shù)據(jù)然后依次寫(xiě)

入到csv格式的文件當(dāng)中。

下面是css方法提取的字段跟字段名稱：

圖3-4分析數(shù)據(jù)類(lèi)型頁(yè)面

3.3編程實(shí)現(xiàn)

現(xiàn)在導(dǎo)入所要的需庫(kù)

10

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖3-5導(dǎo)入所需庫(kù)頁(yè)面

設(shè)置請(qǐng)求頭,偽裝成瀏覽器訪問(wèn)服務(wù)器,觀察只傳遞一個(gè)User-Agent內(nèi)容

就能拿到服務(wù)器響應(yīng)數(shù)據(jù),不傳遞也能拿到。

圖3-6請(qǐng)求頭內(nèi)容頁(yè)面

代碼實(shí)現(xiàn)如下：

#-*-coding:utf-8-*-

importtime

importrequests

importparsel

importcsv

f=open('房產(chǎn)網(wǎng).csv',mode='a',encoding='utf-8-sig',newline='')

csv_writer=csv.DictWriter(f,fieldnames=[

'連接',

'小區(qū)名',

'住宅在售',

'參考價(jià)格',

11

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

'開(kāi)盤(pán)時(shí)間',

'總占地面積',

'容積率',

'物業(yè)費(fèi)',

'物業(yè)管理',

'開(kāi)發(fā)商',

'樓盤(pán)地址',

'交通狀況',

'所屬區(qū)域',

'綠地率',

])#用字典的方式存入csv表格表頭

csv_writer.writeheader()

a=1

whilea<=90:

print(f"第{a}頁(yè)")

url=f"/?page={a}&tsort="#構(gòu)建url1-100

頁(yè)

headers={

"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)

AppleWebKit/537.36(KHTML,likeGecko)Chrome/Safari/537.36"

}#模擬瀏覽器

response=requests.get(url=url,headers=headers)#get方法訪問(wèn)連

接

selector=parsel.Selector(response.text)#把網(wǎng)頁(yè)源代碼轉(zhuǎn)換到

parsel.Selector方法用來(lái)提取

lis=selector.css(".zxslb-listli")#用css方法提取這是所有內(nèi)

容存放地址

#print(response.text)

forliinlis:#遍歷存放地址從每一條單獨(dú)的地址里面提取數(shù)據(jù)

href1=li.css("a::attr(href)").get()#用css提取連接地址

href="http:"+href1#在地址前面加上http:構(gòu)成完美連接

response1=requests.get(url=href,headers=headers)

selector1=parsel.Selector(response1.text)

lis1=selector1.css(".info_titleh2::text").get()#小區(qū)名字

zz=selector1.css(".i_conspan::text").getall()[0]#提取住宅

在售

Indicative_price=selector1.css(".floor-fr.info.price

font::text").get()#參考價(jià)格

Opening_time=selector1.css(".infop

12

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

span:nth-child(1)::text").get()#開(kāi)盤(pán)時(shí)間

Total_floor_area=selector1.css(".infop:nth-child(3)

span::text").getall()[1]#總占地面積

Floor_area_ratio=selector1.css(".infop:nth-child(4)

span::text").getall()[0]#容積率

Strata_fees=selector1.css(".infop:nth-child(5)

span::text").get()#物業(yè)費(fèi)

Realty_management=selector1.css(".infop:nth-child(5)

span:nth-child(2)::text").get()#物業(yè)管理

Developers=selector1.css(".info

p:nth-child(6)::text").getall()[1]#開(kāi)發(fā)商

Property_address=selector1.css(".info

p:nth-child(7)::text").getall()[1]#樓盤(pán)地址

Traffic_conditions=selector1.css(".info

p:nth-child(8)::text").getall()[1]#交通狀況

Region=selector1.css(".infop:nth-child(2)

span:nth-child(2)::text").get()#所屬區(qū)域

Green_space_rate=selector1.css(".infop:nth-child(4)

span::text").getall()[1]#綠地率

print(href,lis1,zz,Indicative_price,Opening_time,Total_floor_area,Fl

oor_area_ratio,Strata_fees,Developers,Property_address,Traffic_condi

tions,Region)#輸出提取的數(shù)據(jù)以免出錯(cuò)

dit={

'連接':href,

'小區(qū)名':lis1,

'住宅在售':zz,

'參考價(jià)格':Indicative_price,

'開(kāi)盤(pán)時(shí)間':Opening_time,

'總占地面積':Floor_area_ratio,

'容積率':Floor_area_ratio,

'物業(yè)費(fèi)':Strata_fees,

'物業(yè)管理':Realty_management,

'開(kāi)發(fā)商':Developers,

'樓盤(pán)地址':Property_address,

'交通狀況':Traffic_conditions,

'所屬區(qū)域':Region,

'綠地率':Green_space_rate,

}#用字典的方式存入數(shù)據(jù)

csv_writer.writerow(dit)#寫(xiě)行

13

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

#防止被封延時(shí)

a+=1#每次加1切換下一頁(yè)進(jìn)行提取數(shù)據(jù)

4數(shù)據(jù)清洗與處理

獲得龐大的數(shù)據(jù)集之后需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,也就是所謂的清洗和檢查

也可以說(shuō)是篩選掉無(wú)用無(wú)效的數(shù)據(jù),確定爬取過(guò)來(lái)的數(shù)據(jù)是否存在無(wú)效值和缺

失值,要保證數(shù)據(jù)的一致性和正確性,這個(gè)對(duì)于信息質(zhì)量的評(píng)估是一項(xiàng)很重要的

任務(wù)。不僅如此,還需要將數(shù)據(jù)進(jìn)行有理化和有序化,這樣子能夠在數(shù)據(jù)調(diào)用共

享過(guò)程中方便很多開(kāi)發(fā)人員對(duì)數(shù)據(jù)信息的使用。

本次項(xiàng)目中需要將爬下來(lái)的數(shù)據(jù)和網(wǎng)頁(yè)原數(shù)據(jù)進(jìn)行比對(duì),并且檢查是否出

現(xiàn)空值、錯(cuò)值,還有數(shù)據(jù)的位置是否正確。根據(jù)不同的需求要對(duì)數(shù)據(jù)進(jìn)行不同的

處理。

4.1數(shù)據(jù)清洗

圖4-1數(shù)據(jù)清洗準(zhǔn)備頁(yè)面

經(jīng)過(guò)程序清洗之后的結(jié)果可以看出數(shù)據(jù)并沒(méi)有任何缺失和不正確所有可以

繼續(xù)用當(dāng)前數(shù)據(jù)嗎,也可以刪除一些用不到的數(shù)據(jù),因此只需保留需要的數(shù)據(jù),

然后整理為原網(wǎng)頁(yè)格式存入房產(chǎn)網(wǎng).csv文件中,留存后續(xù)作為統(tǒng)計(jì)分析、可視

化使用。

14

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖4-2數(shù)據(jù)清洗完成界面

4.2數(shù)據(jù)儲(chǔ)存

數(shù)據(jù)儲(chǔ)存得方法有很多種,常見(jiàn)得可以直接用文本格式儲(chǔ)存（txt）,或者直

接用其他文件的形式儲(chǔ)存csv、excel、json等,但是以上方法保存的數(shù)據(jù)體量

普遍都比較小。如果需要儲(chǔ)存較大的數(shù)據(jù)信息就需要用到們的數(shù)據(jù)庫(kù),數(shù)據(jù)庫(kù)也

分為關(guān)系型和非關(guān)系型數(shù)據(jù)庫(kù)。關(guān)系型數(shù)據(jù)庫(kù)比較典型的有MySQL和Oracle等,

非關(guān)系型數(shù)據(jù)庫(kù)等以鍵值對(duì)形式儲(chǔ)存數(shù)據(jù)的代表有Mongodb、Redis等。本次項(xiàng)

目們用到的是csv、excel。如圖4-3所示：

15

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖4-3數(shù)據(jù)存儲(chǔ)為csv代碼

圖4-4數(shù)據(jù)存儲(chǔ)excel代碼

4.3編程實(shí)現(xiàn)

創(chuàng)建空列表list1

圖4-5創(chuàng)建列表

把提取的數(shù)據(jù)保存到列表list1里面用oppend方法,并將數(shù)據(jù)保存到房產(chǎn)

網(wǎng).xlsx表格里

16

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖4-6保存數(shù)據(jù)

打開(kāi)表格驗(yàn)證存入數(shù)據(jù)是否正確

圖4-7數(shù)據(jù)存儲(chǔ)

5數(shù)據(jù)統(tǒng)計(jì)與分析

5.1數(shù)據(jù)準(zhǔn)備

導(dǎo)入相關(guān)庫(kù),使用pandas加載源數(shù)據(jù),并用matplotlib庫(kù)生成詞云圖如圖

5-1、5-2。

17

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖5-1數(shù)據(jù)準(zhǔn)備頁(yè)面

圖5-2數(shù)據(jù)加載頁(yè)面

用matplotlib庫(kù)加載源文件房產(chǎn)網(wǎng).xlsx,如圖5-3

18

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖5-3調(diào)用matplotlib庫(kù)頁(yè)面

5.2數(shù)據(jù)分析展示

5.2.1根據(jù)開(kāi)發(fā)商名字進(jìn)行統(tǒng)計(jì)

圖5-4開(kāi)發(fā)商名字展示

將在表格中開(kāi)發(fā)商名字的字段數(shù)據(jù)進(jìn)行匯總和處理然后將其統(tǒng)計(jì)出現(xiàn)的頻

率,最后生成特定序列,通過(guò)特定序列里面的數(shù)據(jù)再按照詞頻生成詞云圖,如圖

5-4中可以看出湖南鑫遠(yuǎn)投資集團(tuán)有限公司出現(xiàn)的頻率最高,其次就是湖南省泰

禹實(shí)業(yè)有限公司。在房產(chǎn)網(wǎng)網(wǎng)站上出現(xiàn)多次也足以說(shuō)明它們公司房子的房源量

可以,并且閑置的房子較多出售的樓盤(pán)多。

19

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

不僅如此,還發(fā)現(xiàn)出現(xiàn)最多的是長(zhǎng)沙地區(qū)。從側(cè)面分析這些地區(qū)的房產(chǎn)行業(yè)

的發(fā)展個(gè)人感覺(jué)新樓盤(pán)多房源量大,想在當(dāng)?shù)刭I(mǎi)房子的人應(yīng)該慎重選擇小區(qū)最

好選擇較大在當(dāng)?shù)乇容^有名氣的開(kāi)發(fā)商開(kāi)發(fā)的樓盤(pán),如果想在當(dāng)?shù)卣夜ぷ骺紤]

銷(xiāo)售高薪的可以去做房產(chǎn)銷(xiāo)售樓盤(pán)多房源量大利于自己長(zhǎng)期發(fā)展?？陀^分析當(dāng)

地算是經(jīng)濟(jì)很好的城市發(fā)展的機(jī)會(huì)大機(jī)遇多,對(duì)于個(gè)人的職業(yè)發(fā)展和前景都有

不可估量的好處。

5.2.2根據(jù)區(qū)域占比進(jìn)行統(tǒng)計(jì)

圖5-5區(qū)域占比展示

從圖5-5中可以看出來(lái)岳麓區(qū)房源占比最多占總房源的百分之25.5在當(dāng)?shù)?/p>

應(yīng)該算是樓盤(pán)開(kāi)發(fā)最多的地區(qū)了未來(lái)政府可能朝這里大力發(fā)展。雨花區(qū)房源占

比第二占總房源的百分之15.4這里開(kāi)發(fā)的樓盤(pán)也挺多的感覺(jué)這兩個(gè)區(qū)都在政

府的規(guī)劃之內(nèi)，未來(lái)在這里工作生活的人應(yīng)該會(huì)很多。望城區(qū)房源占比第三占

總房源的百分之12.6這里應(yīng)該屬于新老小區(qū)交界處，能開(kāi)發(fā)的資源不是特別多

但也在開(kāi)發(fā)。長(zhǎng)沙縣房源占比第四占總房源的百分之11.4這個(gè)縣區(qū)應(yīng)該屬于很

牛的存在了一個(gè)縣新房源盡然占比那么多，可見(jiàn)這個(gè)縣發(fā)展僅次于排名前1,2,3

區(qū)。開(kāi)福區(qū)房源占比第五占總房源的百分之11.2跟長(zhǎng)沙縣占比差不多，但是這

20

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

里是區(qū)哪里是縣可見(jiàn)經(jīng)濟(jì)差距有多大，也可能沒(méi)有能開(kāi)發(fā)的地皮了。天心區(qū)房

源占比第六占總房源的百分之10.4這里都屬于已經(jīng)沒(méi)有地皮開(kāi)發(fā)的經(jīng)濟(jì)中心

了，也可能太偏僻沒(méi)有開(kāi)發(fā)商愿意開(kāi)發(fā)當(dāng)?shù)氐仄ぁ＼饺貐^(qū)、寧鄉(xiāng)縣占比都不大

應(yīng)該都屬于老經(jīng)濟(jì)區(qū)了市中心那種，沒(méi)有新地皮可以開(kāi)放了，適合在這兩個(gè)區(qū)

找工作定居，但這兩個(gè)區(qū)的房?jī)r(jià)絕對(duì)不會(huì)低。

5.2.3根據(jù)地產(chǎn)房?jī)r(jià)對(duì)小區(qū)進(jìn)行統(tǒng)計(jì)和分析

圖5-6小區(qū)房?jī)r(jià)展示

從圖5-6中可以看出云璽天街房?jī)r(jià)最高參考價(jià)達(dá)到每平方/100000簡(jiǎn)直就

是當(dāng)?shù)靥旎ò宓拇嬖冢瑧?yīng)該屬于富人區(qū)了相當(dāng)于上海的湯臣一品了，在這里買(mǎi)

房子的都屬于當(dāng)?shù)卮罄械拇嬖诹?。寧鄉(xiāng)美的院子價(jià)格也算是當(dāng)?shù)仄叩拇嬖诹?/p>

60000/每平方，都屬于當(dāng)?shù)氐诙叻績(jī)r(jià)的存在了，堪比上海虹橋地鐵附近的房

價(jià)。中富航銀座.雨花道、五江廣場(chǎng)、五礦長(zhǎng)沙LIVE這三個(gè)小區(qū)房?jī)r(jià)均在50000/

每平方左右算是當(dāng)?shù)氐谌績(jī)r(jià)的存在了，在這幾個(gè)小區(qū)附近找工作應(yīng)該都是薪

資較高的工作，這幾個(gè)小區(qū)消費(fèi)水平在應(yīng)該能解決附近很多就業(yè)。金茂廣場(chǎng)這

21

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

個(gè)小區(qū)房?jī)r(jià)在當(dāng)?shù)厮闶潜容^不是特別高的了，盡然也要40000/每平方，對(duì)普通

人來(lái)講都是天花板級(jí)別的小區(qū)了。綠城鳳起麓鳴、京武浪琴山二期、鑫宛木蓮

世家、華誼兄弟電影小鎮(zhèn)這四個(gè)小區(qū)房?jī)r(jià)均在350000/每平方，如果經(jīng)濟(jì)條件

允許這四個(gè)小區(qū)也是不錯(cuò)的存在，性價(jià)比超高而且也屬于當(dāng)?shù)財(cái)?shù)一數(shù)二的小

區(qū)，附近配套設(shè)施一應(yīng)俱全。

5.2.4依據(jù)容積率與綠地率關(guān)系進(jìn)行統(tǒng)計(jì)

圖5-7容積率與綠地率關(guān)系圖

提取了容積率和綠地率分析了它們之間的關(guān)系生成了上面這張數(shù)據(jù)關(guān)系圖,

容積率在0-2之間的綠地率最高達(dá)到了0.7最低就是0.1其它不上不下大概在

0.4-0.5左右。容積率在2-4之間的占綠地率0.3-0.5之間的也