湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

目錄

1引言...............................................................................................................................1

1.1項(xiàng)目背景............................................................................................................1

1.2開發(fā)環(huán)境與工具................................................................................................2

1.2.1Python簡(jiǎn)介............................................................................................2

1.2.2Jypyternotebook簡(jiǎn)介........................................................................3

2需求分析.......................................................................................................................4

2.1可行性需求分析................................................................................................4

2.2采集目標(biāo)功能分析............................................................................................5

2.3關(guān)鍵技術(shù)分析....................................................................................................5

2.3.1網(wǎng)絡(luò)爬蟲技術(shù).........................................................................................5

2.3.2文件存取技術(shù).........................................................................................6

2.3.3可視化技術(shù).............................................................................................7

3數(shù)據(jù)采集.......................................................................................................................7

3.1采集頁(yè)面分析....................................................................................................7

3.2字段分析............................................................................................................8

3.3編程實(shí)現(xiàn)..........................................................................................................10

4數(shù)據(jù)清洗與處理.........................................................................................................12

4.1數(shù)據(jù)清洗..........................................................................................................12

4.2數(shù)據(jù)儲(chǔ)存..........................................................................................................13

4.3編程實(shí)現(xiàn)..........................................................................................................14

5數(shù)據(jù)統(tǒng)計(jì)與分析.........................................................................................................15

5.1數(shù)據(jù)準(zhǔn)備..........................................................................................................15

5.2數(shù)據(jù)展示..........................................................................................................16

5.2.1依據(jù)房屋總價(jià)進(jìn)行統(tǒng)計(jì).......................................................................16

5.2.2依據(jù)平均價(jià)與面積進(jìn)行對(duì)比.................................................................17

5.2.3依據(jù)位置進(jìn)行對(duì)比..................................................................................18

5.2.4據(jù)房型分布進(jìn)行統(tǒng)計(jì)和分析................................................................19

I

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

5.3綜述...................................................................................................................20

6.小結(jié).............................................................................................................................21

參考資料.........................................................................................................................21

II

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

58同城深圳市二手房數(shù)據(jù)采集與分析

1引言

58同城是一家綜合性的分類信息網(wǎng)站，為用戶提供各類信息服務(wù)，包括二

手房信息。深圳作為中國(guó)改革開放的先行者和經(jīng)濟(jì)特區(qū)的核心城市，房地產(chǎn)市

場(chǎng)一直備受關(guān)注。因此，采集和分析深圳市二手房數(shù)據(jù)對(duì)于了解深圳房地產(chǎn)市

場(chǎng)的發(fā)展趨勢(shì)、把握投資機(jī)會(huì)以及制定相應(yīng)的政策具有重要意義。

本文將通過(guò)58同城深圳市二手房數(shù)據(jù)的采集與分析，探討深圳市二手房市

場(chǎng)的情況，并在此基礎(chǔ)上對(duì)其發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)。首先，項(xiàng)目將利用爬蟲技術(shù)

獲取58同城深圳市二手房的相關(guān)數(shù)據(jù)，包括房屋售價(jià)、面積、地理位置、房型

等重要信息。然后，對(duì)數(shù)據(jù)進(jìn)行清洗和整理，篩選出具有代表性和可靠性的數(shù)

據(jù)樣本。接著，將對(duì)這些數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析和可視化處理，通過(guò)繪制柱狀圖、

折線圖、地理散點(diǎn)圖等形式，揭示深圳市二手房市場(chǎng)的特點(diǎn)和規(guī)律。

在分析的基礎(chǔ)上，將深入探討深圳市二手房市場(chǎng)的發(fā)展趨勢(shì)。根據(jù)市場(chǎng)供

需情況、經(jīng)濟(jì)發(fā)展水平、政策調(diào)控等因素，將對(duì)未來(lái)幾年深圳市二手房市場(chǎng)的

價(jià)格走勢(shì)、交易量以及熱門地區(qū)進(jìn)行預(yù)測(cè)。同時(shí)，還將結(jié)合深圳市的城市規(guī)劃

和土地政策，對(duì)二手房市場(chǎng)的發(fā)展進(jìn)行宏觀分析，為個(gè)人投資者、房地產(chǎn)開發(fā)

商以及政府部門提供有益的參考。

總之，通過(guò)對(duì)58同城深圳市二手房數(shù)據(jù)的采集與分析，將深入了解深圳市

二手房市場(chǎng)的現(xiàn)狀和發(fā)展趨勢(shì)，為相關(guān)利益方提供有價(jià)值的信息。同時(shí)，本研

究也具有一定的理論指導(dǎo)意義，對(duì)于研究其他城市的二手房市場(chǎng)以及指導(dǎo)房地

產(chǎn)政策具有參考價(jià)值。

1.1項(xiàng)目背景

深圳作為中國(guó)經(jīng)濟(jì)特區(qū)之一，近年來(lái)房地產(chǎn)市場(chǎng)發(fā)展迅速，二手房交易量

大。然而，由于二手房市場(chǎng)信息不透明，購(gòu)房者往往面臨信息不對(duì)稱的問(wèn)題。

因此，采集并分析58同城深圳市的二手房數(shù)據(jù)，能夠?yàn)槭袌?chǎng)研究和購(gòu)房者提供

更全面準(zhǔn)確的信息。在采集58同城深圳市的二手房數(shù)據(jù)，并經(jīng)過(guò)清理和整理后，

利用數(shù)據(jù)分析的方法對(duì)二手房市場(chǎng)進(jìn)行研究和分析，為購(gòu)房者提供參考依據(jù)。

通過(guò)對(duì)58同城深圳市二手房數(shù)據(jù)的采集和研究，可以全面了解深圳市二手房市

場(chǎng)的實(shí)際情況，為購(gòu)房者提供可靠的信息，同時(shí)也為深圳市房地產(chǎn)市場(chǎng)的發(fā)展

提供參考。此外，還可以通過(guò)對(duì)數(shù)據(jù)的分析，發(fā)現(xiàn)市場(chǎng)的規(guī)律和趨勢(shì)，為政府

1

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

制定相關(guān)政策提供決策依據(jù)。58同城是中國(guó)一家以分類信息為主要業(yè)務(wù)的網(wǎng)站，

提供招聘、房產(chǎn)、二手交易等信息發(fā)布服務(wù)。深圳市是中國(guó)經(jīng)濟(jì)特區(qū)之一，房

地產(chǎn)市場(chǎng)繁榮，二手房交易活躍。為了提供更好的二手房信息服務(wù)，58同城選

擇開展深圳市二手房數(shù)據(jù)采集項(xiàng)目。1.二手房交易需求：深圳市房地產(chǎn)市場(chǎng)火

爆，許多人有購(gòu)買或出售二手房的需求。為滿足市場(chǎng)需求，提供更全面、準(zhǔn)確

的二手房信息，采集項(xiàng)目的開展具有市場(chǎng)需求基礎(chǔ)。2.提高用戶體驗(yàn)：作為信

息發(fā)布平臺(tái)，提供準(zhǔn)確、全面的二手房信息是提高用戶體驗(yàn)的關(guān)鍵。通過(guò)數(shù)據(jù)

采集項(xiàng)目，能夠提供更多有關(guān)深圳市二手房的詳細(xì)信息，包括房屋價(jià)格、面積、

位置等，提高用戶對(duì)二手房市場(chǎng)的了解和選擇范圍，提升用戶體驗(yàn)。3.提供數(shù)

據(jù)支持：數(shù)據(jù)采集項(xiàng)目不僅能夠提供更全面的二手房信息，還能為相關(guān)機(jī)構(gòu)、

政府部門提供房地產(chǎn)市場(chǎng)的數(shù)據(jù)支持。通過(guò)采集、整理和分析二手房數(shù)據(jù)，能

夠提供有關(guān)深圳市房地產(chǎn)市場(chǎng)的參考數(shù)據(jù)，幫助相關(guān)機(jī)構(gòu)和政府制定相關(guān)政策

和決策。4.促進(jìn)市場(chǎng)透明度：通過(guò)深圳市二手房數(shù)據(jù)采集項(xiàng)目，能夠向公眾提

供更全面、準(zhǔn)確的二手房市場(chǎng)信息，增加市場(chǎng)的透明度。公眾可以更好地了解

二手房市場(chǎng)的行情，進(jìn)行理性購(gòu)房決策，促進(jìn)市場(chǎng)的健康發(fā)展。綜上所述，58

同城深圳市二手房數(shù)據(jù)采集項(xiàng)目的開展旨在滿足市場(chǎng)需求，提升用戶體驗(yàn)，為

相關(guān)機(jī)構(gòu)和政府提供數(shù)據(jù)支持，促進(jìn)市場(chǎng)透明度，推動(dòng)深圳市房地產(chǎn)市場(chǎng)的發(fā)

展。

1.2開發(fā)環(huán)境與工具

1.2.1Python簡(jiǎn)介

20世紀(jì)80年代末,荷蘭的龜叔（GuidoRossum）創(chuàng)造了Python。

Python創(chuàng)建的初期并沒(méi)有引起大多數(shù)人們的關(guān)注,在21世紀(jì)初Google在

大量的項(xiàng)目業(yè)務(wù)上大規(guī)模的開始應(yīng)用Python,Python也因此走進(jìn)大眾的視野,

從而促使Python的發(fā)展。

隨著計(jì)算機(jī)技術(shù)的日新月異,2010年后移動(dòng)互聯(lián)網(wǎng)的大肆普及。云計(jì)算、

大數(shù)據(jù)等信息技術(shù)興起,其中的大數(shù)據(jù)技術(shù)涉及到的數(shù)據(jù)獲取、清洗處理、可視

化都有Python的身影存在。云計(jì)算中最主要的框架Openstack就是由Python

開發(fā)而來(lái),并且Openstack許多接口都支持Python的調(diào)用,對(duì)于平臺(tái)實(shí)現(xiàn)自動(dòng)化

極其友好。再到后來(lái)人工智能技術(shù)的崛起,AI領(lǐng)域使用了更多的Python技術(shù),

用它作為機(jī)器學(xué)習(xí)、關(guān)鍵算法的開發(fā)工具。并且Python入門難度相較于JAVA、

C++等面向?qū)ο蟮恼Z(yǔ)言而言更加簡(jiǎn)單容易入門、所以它很快的便走進(jìn)了大眾的視

2

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

野中。

最后,在編程語(yǔ)言排行榜中。Python的排名已經(jīng)與老牌的C語(yǔ)言和JAVA語(yǔ)

言不相上下,它也逐漸走進(jìn)非IT行業(yè)工作者的視野內(nèi)?，F(xiàn)如今,人們用它開發(fā)簡(jiǎn)

單的小腳本用來(lái)做文件的自動(dòng)化處理或者開發(fā)一些小網(wǎng)站打發(fā)無(wú)聊時(shí)光。這也

突出Python的特點(diǎn)就是易學(xué)、第三方庫(kù)足夠豐富、并且免費(fèi)開源、支持跨多平

臺(tái)且可移植性比較強(qiáng)。

1.2.2Jypyternotebook簡(jiǎn)介

Jupyternotebook從本質(zhì)上來(lái)說(shuō)是一種應(yīng)用程序,是一種基于瀏覽器的

工具。它將一些解釋性文本、數(shù)學(xué)、計(jì)算等結(jié)合起來(lái),放在一個(gè)交互式的創(chuàng)作型

文檔中。并且在這個(gè)創(chuàng)作型文檔中所有的內(nèi)容都是可分享并可見的。在一些教

學(xué)或者項(xiàng)目的講解中,jupyternotebook或許是一枝獨(dú)秀。因?yàn)樗С諱arkdown

標(biāo)記語(yǔ)言,在瀏覽器界面編輯代碼的同時(shí)可以很方便的為代碼提供注釋。在

jypyternotebook執(zhí)行代碼的同時(shí)對(duì)于注釋性文本并不會(huì)執(zhí)行,這個(gè)極大的方

便了教學(xué)人員,或者開發(fā)人員講解項(xiàng)目

Jupyternotebook在大數(shù)據(jù)方面應(yīng)用比較廣泛,特別適合用來(lái)做數(shù)據(jù)的

清洗和處理,在數(shù)據(jù)挖掘和可視化上的應(yīng)用也是十分方便的。對(duì)于比較高層次的

開發(fā)人員來(lái)說(shuō),這個(gè)工具也可以用來(lái)做深度的機(jī)器學(xué)習(xí)。

對(duì)于初學(xué)者來(lái)說(shuō)安裝Jupyternotebook的方法就是安裝Anaconda,因?yàn)?/p>

Anaconda的版本中就是自帶Jupyternotebook。如果覺得不需要Anaconda,可

以自主選擇進(jìn)入官網(wǎng)下載安裝包。

Python第三方庫(kù)簡(jiǎn)介

requests:最友好的網(wǎng)絡(luò)爬蟲功能庫(kù),是Python實(shí)現(xiàn)的簡(jiǎn)單易用的HTTP庫(kù),

使用起來(lái)比urllib更簡(jiǎn)潔很多,Python第三方庫(kù)在使用前要先進(jìn)行安裝。

Re：正則表達(dá)式解析和處理功能庫(kù),里面包含了多種字符串匹配的方法。

Pprint：他的英文全稱為Dataprettyprinter他采用分行打印的方式輸

出數(shù)據(jù)結(jié)果。讓一些冗長(zhǎng)復(fù)雜結(jié)構(gòu)的數(shù)據(jù)輸出更加漂亮好看,讓開發(fā)人員一目了

然。

Csv：csv屬于python中的內(nèi)置模塊,它能夠讀取csv格式的文件或者將數(shù)

據(jù)存入到csv表格中。并且csv文件是表格和數(shù)據(jù)庫(kù)中常見的文件操作格式。

NumPy庫(kù)是Python數(shù)據(jù)分析的基礎(chǔ),是處理數(shù)組的Python庫(kù),NumPy庫(kù)的數(shù)

據(jù)結(jié)構(gòu)比Python自帶的更加高效。

3

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

pandas：數(shù)據(jù)分析并保存為csv文件,python數(shù)據(jù)分析高層次應(yīng)用庫(kù),還可

以進(jìn)行數(shù)據(jù)清洗。

matplotlib：繪圖庫(kù),主要是偏向于二維繪圖包括折線圖、條形圖、扇形圖、

散點(diǎn)圖、直方圖等等。

wordcloud、scipy、jieba：生成中文詞云的。

pylab：它能設(shè)置畫圖讓其能顯示中文。

2需求分析

2.1可行性需求分析

1.目標(biāo)市場(chǎng)分析：深圳市是一個(gè)經(jīng)濟(jì)發(fā)達(dá)的大都市，房地產(chǎn)市場(chǎng)繁榮，二

手房交易量大。因此，采集深圳市二手房數(shù)據(jù)具有較高的市場(chǎng)需求和潛在利潤(rùn)。

2.數(shù)據(jù)來(lái)源分析：58同城是一個(gè)全國(guó)性的二手房交易平臺(tái)，在深圳市也

有大量的用戶和房源信息。因此，可以通過(guò)調(diào)用58同城接口或者網(wǎng)頁(yè)爬蟲的方

式采集深圳市二手房數(shù)據(jù)。

3.數(shù)據(jù)采集方法分析：可以使用網(wǎng)頁(yè)爬蟲的方式采集58同城深圳市二手

房數(shù)據(jù)。通過(guò)分析網(wǎng)頁(yè)結(jié)構(gòu)和元素，編寫相應(yīng)的爬蟲程序，自動(dòng)從網(wǎng)頁(yè)中提取

所需的二手房數(shù)據(jù)，并存儲(chǔ)到數(shù)據(jù)庫(kù)或者文件中。

4.數(shù)據(jù)存儲(chǔ)和處理：采集到的二手房數(shù)據(jù)可以存儲(chǔ)到數(shù)據(jù)庫(kù)中，方便后續(xù)

的數(shù)據(jù)處理和分析?？梢允褂藐P(guān)系型數(shù)據(jù)庫(kù)如MySQL或者非關(guān)系型數(shù)據(jù)庫(kù)如

MongoDB進(jìn)行存儲(chǔ)。對(duì)于存儲(chǔ)過(guò)程中的重復(fù)數(shù)據(jù)可以進(jìn)行去重處理，確保數(shù)據(jù)

的準(zhǔn)確性。

5.數(shù)據(jù)更新和維護(hù)：深圳市的二手房市場(chǎng)變動(dòng)較快，房源信息需要實(shí)時(shí)更

新?？梢允褂枚〞r(shí)任務(wù)的方式，定期運(yùn)行數(shù)據(jù)采集程序，更新最新的二手房數(shù)

據(jù)。同時(shí)，對(duì)于過(guò)期或者已交易的房源信息也需要及時(shí)刪除或者標(biāo)記。

6.數(shù)據(jù)質(zhì)量控制：由于二手房數(shù)據(jù)的來(lái)源是用戶上傳，存在一定的信息質(zhì)

量問(wèn)題。因此，在采集過(guò)程中需要對(duì)數(shù)據(jù)進(jìn)行清洗和整理，去除噪聲數(shù)據(jù)和不

合理的數(shù)據(jù)。還可以通過(guò)數(shù)據(jù)分析的方式，識(shí)別和修正一些明顯的錯(cuò)誤數(shù)據(jù)。

綜上所述，58同城深圳市二手房數(shù)據(jù)采集具有可行性。但需要注意的是，

數(shù)據(jù)采集活動(dòng)需要遵守相關(guān)法律法規(guī)，確保數(shù)據(jù)的合法性和安全性。

4

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

2.2采集目標(biāo)功能分析

1.價(jià)格數(shù)據(jù)采集：采集深圳市二手房的價(jià)格數(shù)據(jù)，包括售價(jià)、面積、單價(jià)

等信息。

2.地理位置數(shù)據(jù)采集：采集深圳市二手房的地理位置數(shù)據(jù)，包括區(qū)域、街

道名稱等信息。

3.房屋信息數(shù)據(jù)采集：采集深圳市二手房的房屋信息數(shù)據(jù)，包括房型、樓

層、朝向、裝修程度等信息。

4.建筑信息數(shù)據(jù)采集：采集深圳市二手房的建筑信息數(shù)據(jù)，包括建筑年代、

建筑類型、物業(yè)類型等信息。

5.整體情況數(shù)據(jù)采集：采集深圳市二手房的整體情況數(shù)據(jù)，包括總房源數(shù)

量、平均售價(jià)、供求關(guān)系等信息。

6.數(shù)據(jù)分析功能：對(duì)采集到的二手房數(shù)據(jù)進(jìn)行分析，包括價(jià)格趨勢(shì)分析、

區(qū)域熱度分析、樓盤特征分析等。

7.數(shù)據(jù)可視化功能：將分析結(jié)果以圖表的形式展示，使用戶可以直觀地了

解深圳市二手房市場(chǎng)的情況。

8.用戶定制功能：根據(jù)用戶需求，提供篩選條件，例如價(jià)格范圍、房型要

求等，對(duì)采集到的二手房數(shù)據(jù)進(jìn)行定制化展示與分析。

9.數(shù)據(jù)更新功能：定期更新深圳市二手房數(shù)據(jù)，保證數(shù)據(jù)的及時(shí)性和準(zhǔn)確

性。

10.預(yù)測(cè)分析功能：基于歷史數(shù)據(jù)和市場(chǎng)趨勢(shì)進(jìn)行預(yù)測(cè)分析，提供用戶未

來(lái)一段時(shí)間內(nèi)二手房?jī)r(jià)格變化的趨勢(shì)預(yù)測(cè)。

2.3關(guān)鍵技術(shù)分析

2.3.1網(wǎng)絡(luò)爬蟲技術(shù)

在日常生活中瀏覽網(wǎng)頁(yè)通常都會(huì)遇到需要緩存在本地的數(shù)據(jù),當(dāng)數(shù)量量比

較小的時(shí)候可以自己采取手動(dòng)下載的方式去獲得想要的數(shù)據(jù),不過(guò)在大數(shù)據(jù)領(lǐng)

域一般用到的數(shù)據(jù)體量都是幾個(gè)G甚至幾個(gè)T的單位,這個(gè)時(shí)候采取手動(dòng)下載獲

取數(shù)據(jù)無(wú)疑是一個(gè)很愚蠢的方式,所以會(huì)采取網(wǎng)絡(luò)爬蟲的手段自動(dòng)化的獲取數(shù)

據(jù)。

網(wǎng)絡(luò)爬蟲也被人們叫做網(wǎng)絡(luò)機(jī)器人,顧名思義就是讓人們不用自己動(dòng)手操

作,只需要編寫程序或者一些小腳本用來(lái)自動(dòng)的瀏覽龐大的互聯(lián)網(wǎng),并且對(duì)想要

5

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

的目標(biāo)網(wǎng)頁(yè)去進(jìn)行精準(zhǔn)的數(shù)據(jù)的采集。當(dāng)下常見的一些網(wǎng)絡(luò)爬蟲按照實(shí)現(xiàn)的原

理和技術(shù)結(jié)構(gòu)一般可以分為：通用網(wǎng)絡(luò)爬蟲、聚焦網(wǎng)絡(luò)爬蟲、增量式網(wǎng)絡(luò)爬蟲、

深層網(wǎng)絡(luò)爬蟲等一些類型。

在大家的印象中常常將普通的網(wǎng)絡(luò)爬蟲與黑客混為一談,其實(shí)二者之間有

很大的區(qū)別。黑客屬于違反法律肆意竊取個(gè)人或者組織內(nèi)有價(jià)值的信息以此獲

利,而爬蟲僅僅知識(shí)用來(lái)代替重復(fù)無(wú)意義的動(dòng)作,在合法合理的范圍內(nèi)去獲得自

己想要的信息,在一定程度上網(wǎng)絡(luò)爬蟲和普通用戶瀏覽網(wǎng)頁(yè)是沒(méi)有本質(zhì)區(qū)別的,

但是爬蟲確實(shí)可以作為一種攻擊的手段。在編寫網(wǎng)絡(luò)爬蟲的腳本時(shí)沒(méi)有設(shè)置一

定的睡眠緩沖時(shí)間,通過(guò)極高的頻率反復(fù)訪問(wèn)客戶端網(wǎng)站會(huì)讓服務(wù)器持續(xù)在高

強(qiáng)度環(huán)境下工作,對(duì)服務(wù)器造成一定的壓力,如果一時(shí)間處理不過(guò)來(lái)服務(wù)器往往

會(huì)自動(dòng)關(guān)機(jī),也就是宕機(jī),這也是常見的DDOS攻擊。

由此可見,網(wǎng)絡(luò)爬蟲技術(shù)在應(yīng)用場(chǎng)景的不同它發(fā)揮的作用也是不同的。在好

的場(chǎng)景下可以幫此項(xiàng)目完成搶購(gòu)、投票、報(bào)名、搶購(gòu)等操作。但是在壞的場(chǎng)景

下同樣也能一直發(fā)送騷擾信息,給他人帶來(lái)困擾。爬蟲技術(shù)是一把雙刃劍,一個(gè)

不小心可能就會(huì)傷害到自己和他人,所以技術(shù)人員要懂法、守法。在法律允許的

范疇內(nèi)去編寫自己的腳本程序,不要一不小心半只腳踏進(jìn)犯罪的深淵。

有爬蟲技術(shù),那也一定存在反爬取的技術(shù)了。高級(jí)的爬蟲都會(huì)涉及到反爬蟲

的概念,往往能夠繞過(guò)或者突破人家的防守機(jī)制從而獲取到自己想到要的數(shù)據(jù)

時(shí),就代表爬蟲工程師的個(gè)人水平已經(jīng)很不錯(cuò)了。常見的反爬機(jī)制有IP、JS加

密、css反爬、或者Ajax異步、驗(yàn)證碼等等手段。這些手段會(huì)加大爬蟲工程師

的工作量,也會(huì)加大網(wǎng)站的開發(fā)成本。所以像一般的小網(wǎng)站最多設(shè)置一個(gè)小反爬,

對(duì)于獲取數(shù)據(jù)而言也相對(duì)容易。也不用去考慮成本的問(wèn)題。。。

2.3.2文件存取技術(shù)

在數(shù)據(jù)處理和數(shù)據(jù)分析鄰域，CSV文件是一種常見的文件格式，用于儲(chǔ)存

表格數(shù)據(jù)。Python通過(guò)內(nèi)置的CSV板塊提供了對(duì)CSV文件的讀寫支持，使得處

理這種類型的文件變得簡(jiǎn)單高效。

CSV文件是一種簡(jiǎn)單的文本文件，其中的數(shù)據(jù)由逗號(hào)分隔。每行代表一個(gè)

數(shù)據(jù)記錄，每個(gè)記錄都可包含多個(gè)字段。CSV文件被廣泛用于數(shù)據(jù)交換和數(shù)據(jù)

儲(chǔ)存。

CSV是一種良好的通用文件存儲(chǔ)方式，幾乎任何一款工具或者編程語(yǔ)言都

能對(duì)其進(jìn)行讀寫。

6

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

Python內(nèi)置csv模塊如圖2-1顯示：

圖2-1python內(nèi)置csv模塊

2.3.3可視化技術(shù)

爬取下來(lái)的數(shù)據(jù)通過(guò)預(yù)處理、保存為csv文件格式。該數(shù)據(jù)集能否一眼就

得到想要的結(jié)論呢？答案是否定的！

此項(xiàng)目需要一種技術(shù),根據(jù)獲取到的龐大數(shù)據(jù)將其通過(guò)統(tǒng)計(jì)學(xué)圖形的方式

展現(xiàn)在眼前,讓其對(duì)其結(jié)果一目了然。這個(gè)就是數(shù)據(jù)可視化技術(shù)。

顯然項(xiàng)目獲取到的數(shù)據(jù)是一串串冗長(zhǎng)的字符串,上面寫的一條條信息或許

能夠看懂讀懂,但是當(dāng)它成千上萬(wàn)的時(shí)候在短時(shí)間內(nèi)很難看出端倪和破綻,需要

進(jìn)行深入的了解和分析。對(duì)這一坨枯燥而乏味的數(shù)據(jù)集進(jìn)行處理完畢后,就要導(dǎo)

入需要的第三方庫(kù)將數(shù)據(jù)合理的進(jìn)行判斷,決定使用什么樣的幾何圖形才能最

好、并且直觀的表達(dá)出數(shù)據(jù)集的信息。

多年來(lái)可視化的技術(shù)也逐漸發(fā)展成為了一下三類：科學(xué)可視化、信息可視

化、可視化分析。而這里用到的就是信息可視化,信息可視化的處理對(duì)象是非結(jié)

構(gòu)化、非幾何的抽象數(shù)據(jù),如金融交易、社交網(wǎng)絡(luò)和文本數(shù)據(jù),其核心挑戰(zhàn)是針

對(duì)大尺度高維復(fù)雜數(shù)據(jù)如何減少視覺混淆對(duì)信息的干擾。

本次項(xiàng)目中僅僅只是將得到的數(shù)據(jù)用很簡(jiǎn)單的可視化手段實(shí)現(xiàn)數(shù)據(jù)可視化,

具體的就是用python第三方庫(kù)matpoltlab去進(jìn)行可視化,matplotlab中包含

了許多庫(kù),分別對(duì)應(yīng)餅圖、條形圖、直方圖、折線圖等圖形,可以很好的將數(shù)據(jù)

高效率的表現(xiàn)出來(lái),可視化圖形呈現(xiàn)出來(lái)后對(duì)于結(jié)果自然一目了然,然后得出結(jié)

論。

3數(shù)據(jù)采集

3.1采集頁(yè)面分析

首先通過(guò)瀏覽器搜索58同城的官方網(wǎng)頁(yè),然后找到深圳市二手房目錄集頁(yè)

面觀察圖2-3,其中URL為：/ershoufang/p2/?，通過(guò)多次

7

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

翻頁(yè)發(fā)現(xiàn)地址欄都會(huì)隨著頁(yè)碼變動(dòng)，這樣就找到了翻頁(yè)的規(guī)律。

圖3-1數(shù)據(jù)網(wǎng)址頁(yè)面

通過(guò)抓包發(fā)現(xiàn)數(shù)據(jù)存在于靜態(tài)頁(yè)面中，如圖3-2所示。

圖3-2抓包頁(yè)面

3.2字段分析

通過(guò)抓包發(fā)現(xiàn)數(shù)據(jù)存在于靜態(tài)頁(yè)面中。

首先在發(fā)請(qǐng)求的時(shí)候需要設(shè)置請(qǐng)求頭，以此來(lái)偽裝自己爬蟲的身份然后需

要設(shè)置cookie，里面是一些個(gè)人信息，服務(wù)端會(huì)對(duì)這些數(shù)據(jù)進(jìn)行校驗(yàn)，如果不

加的話請(qǐng)求會(huì)失敗。

首先進(jìn)行循環(huán)遍歷爬取，這里設(shè)置的是爬取40頁(yè)，然后構(gòu)建URL:使用

8

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

Python構(gòu)建了每個(gè)頁(yè)面的URL。然后設(shè)置參數(shù)，發(fā)送請(qǐng)求:使用requests庫(kù)發(fā)

送HTTPGET請(qǐng)求，獲取頁(yè)面內(nèi)容。解析頁(yè)面內(nèi)容:使用XPath從頁(yè)面中提取

所需的信息，例如房屋總價(jià)、平均價(jià)格、圖片鏈接、標(biāo)題、介紹、位置和優(yōu)勢(shì)。

如圖3-3。

圖3-3分析數(shù)據(jù)類型頁(yè)面

最后打印信息:將提取的信息打印輸出。將獲取到的數(shù)據(jù)存入csv表格文件

中。然后進(jìn)行數(shù)據(jù)處理，導(dǎo)入pandas庫(kù):代碼首先導(dǎo)入pandas庫(kù)，這是一個(gè)

用于數(shù)據(jù)處理和分析的強(qiáng)大工具。

讀取CSV文件:使用pd.read_csv()函數(shù)讀取名為'Tx.csv'的CSV文

件，并將其存儲(chǔ)在DataFrame中，命名為df。

刪除空值行:使用df.dropna()函數(shù)刪除DataFrame中包含空值的行，并

將更改應(yīng)用到原DataFrame中（inplace=True）。

分離房型和建面:通過(guò)正則表達(dá)式從介紹列中提取房型和建面信息，并將

其存儲(chǔ)在新的列中，命名為'房型'和'建面'。

刪除介紹列:使用df.drop()函數(shù)刪除介紹列，指定刪除的列為'介'，并通

過(guò)axis=1指定刪除的是列而不是行。

提取位置列的第二個(gè)數(shù)據(jù):對(duì)位置列進(jìn)行處理，通過(guò)分割字符串并提取第

二個(gè)數(shù)據(jù)，將其更新到位置列中。

刪除圖片鏈接列:使用df.drop()函數(shù)刪除圖片鏈接列，指定刪除的列為'

圖片鏈按'。

保存清洗后的數(shù)據(jù):使用df.to_csv()函數(shù)將清洗后的數(shù)據(jù)保存為一個(gè)新

的CSV文件，命名為'cleaned_data.csv'，并設(shè)置index=False，以避免寫入索

9

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

引列。

3.3編程實(shí)現(xiàn)

導(dǎo)入所需庫(kù)

圖3-4導(dǎo)入所需庫(kù)頁(yè)面

設(shè)置請(qǐng)求頭,偽裝成瀏覽器訪問(wèn)服務(wù)器。

圖3-5請(qǐng)求頭內(nèi)容頁(yè)面

代碼實(shí)現(xiàn)如下：

importrequests

importcsv

fromlxmlimportetree

fromtimeimportsleep

DATA=['標(biāo)題','總價(jià)','平均價(jià)','介紹','位置','優(yōu)勢(shì)','圖片鏈接']

f=open('Tx.csv',mode='a',encoding='utf-8-sig',newline='')

csv_writer=csv.DictWriter(f,fieldnames=DATA)

csv_writer.writeheader()

headers={

"Accept":

"text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;

q=0.8,application/signed-exchange;v=b3;q=0.7",

10

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

"Accept-Language":"zh-CN,zh;q=0.9",

"Connection":"keep-alive",

"Referer":

"/ershoufang/p1/?PGTID=0d100000-0000-4ff3-e352-54048bb34db4&ClickID=

1",

"Sec-Fetch-Dest":"document",

"Sec-Fetch-Mode":"navigate",

"Sec-Fetch-Site":"same-origin",

"Sec-Fetch-User":"?1",

"Upgrade-Insecure-Requests":"1",

"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36

(KHTML,likeGecko)Chrome/Safari/537.36",

"sec-ch-ua":"\"GoogleChrome\";v=\"119\",\"Chromium\";v=\"119\",

\"Not?A_Brand\";v=\"24\"",

"sec-ch-ua-mobile":"?0",

"sec-ch-ua-platform":"\"Windows\""

}

cookies={

"f":"n",

"commontopbar_new_city_info":"4%7C%E6%B7%B1%E5%9C%B3%7Csz",

"userid360_xml":"296E1408F69BF98A9AE2B16E17A311A8",

"time_create":"1703488830706",

"id58":"CgAEDGVhoCIWv9/0A0VAAg==",

"58tj_uuid":"87967c70-f43f-4acf-8795-7503dca6796c",

"aQQ_ajkguid":"72C63A49-86BD-49A3-8111-3F484C46B956",

"sessid":"BC99CD42-588D-4482-A215-8D5892280C48",

"ajk-appVersion":"",

"xxzl_deviceid":

"EeZMs2brze1e4HTEfey2wPxWs40xzl/g8VBhbfqN6Nc2AkYSzsOJ++4Cq8Syb8v8",

"als":"0",

"58home":"sz",

"ctid":"4",

"outtraceid":"2yjwozinaaabjbwrbwga",

"ipCity":"zz",

"get_geo":"0",

"abtest":"\"home_style_xinfang,luna_track_new_a\"",

"new_uv":"2",

"qz_gdt":"",

"utm_source":"",

"new_session":"0",

"spm":"",

"Hm_lvt_3f405f7f26b8855bc0fd96b1ae92db7e":"1701254124",

11

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

"Hm_lvt_c6813995b1c3086e40a588c8b4fe9e23":"1701254125",

"ipcity":"zz%7C%u90D1%u5DDE",

"Hm_lpvt

4數(shù)據(jù)清洗與處理

獲得龐大的數(shù)據(jù)集之后要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,也就是所謂的清洗和檢查,確

定爬取過(guò)來(lái)的數(shù)據(jù)是否存在無(wú)效值和確實(shí)值,要保證數(shù)據(jù)的一致性,這個(gè)對(duì)于信

息質(zhì)量的評(píng)估是一項(xiàng)很重要的任務(wù)。不僅如此,項(xiàng)目需要將數(shù)據(jù)進(jìn)行有理化和有

序化,這樣子能夠在數(shù)據(jù)調(diào)用共享過(guò)程中方便很多開發(fā)人員對(duì)數(shù)據(jù)信息的使用。

本次項(xiàng)目中要將爬下來(lái)的數(shù)據(jù)和網(wǎng)頁(yè)原數(shù)據(jù)進(jìn)行比對(duì),并且檢查是否出現(xiàn)

空值、錯(cuò)值,還有數(shù)據(jù)的位置是否正確。根據(jù)不同的需求對(duì)數(shù)據(jù)進(jìn)行不同的處理。

4.1數(shù)據(jù)清洗

圖4-1數(shù)據(jù)清洗準(zhǔn)備頁(yè)面

經(jīng)過(guò)比對(duì)和檢查,發(fā)現(xiàn)數(shù)據(jù)不存在缺失,錯(cuò)位還有空值,那么根據(jù)需求將有

效數(shù)據(jù)統(tǒng)一規(guī)劃去掉不要的行列數(shù)據(jù),防止數(shù)據(jù)冗余。因此只需保留需要的數(shù)據(jù),

然后整理為原網(wǎng)頁(yè)格式存入data。csv文件中,留存后續(xù)作為統(tǒng)計(jì)分析、可視化

使用。

12

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖4-2數(shù)據(jù)清洗完成界面

4.2數(shù)據(jù)儲(chǔ)存

數(shù)據(jù)儲(chǔ)存得方法有很多種,常見得可以直接用記事本格式儲(chǔ)存（txt）,或者

直接用其他文件的形式儲(chǔ)存csv、excel、json等,但是以上方法保存的數(shù)據(jù)體

量普遍都比較小。如果需要儲(chǔ)存較大的數(shù)據(jù)信息就需要用到的數(shù)據(jù)庫(kù),數(shù)據(jù)庫(kù)也

分為關(guān)系型和非關(guān)系型數(shù)據(jù)庫(kù)。關(guān)系型數(shù)據(jù)庫(kù)比較典型的有MySQL和Oracle等,

非關(guān)系型數(shù)據(jù)庫(kù)等以鍵值對(duì)形式儲(chǔ)存數(shù)據(jù)的代表有Mongodb、Redis等。本次項(xiàng)

目用到的是csv。

如圖4-3所示：

圖4-3數(shù)據(jù)存儲(chǔ)為csv頁(yè)面

編寫代碼對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，去除空值，異常值，并提取和轉(zhuǎn)換數(shù)據(jù)單位，

去除數(shù)字后面冗余的文字，方便后面進(jìn)行數(shù)據(jù)分析。將獲取到的數(shù)據(jù)存入CSV

文件中。結(jié)果如圖4-4所示：

13

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖4-4csv表格文件

4.3編程實(shí)現(xiàn)

編寫代碼對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，去除空值，異常值，并提取和轉(zhuǎn)換數(shù)據(jù)單位，

去除數(shù)字后面冗余的文字，方便后面進(jìn)行數(shù)據(jù)分析。

importpandasaspd

#讀取CSV文件

df=pd.read_csv('Tx.csv')

#刪除含有空值的行

df.dropna(inplace=True)

#分離房型和建面

df[['房型','建面']]=df['介紹'].str.extract(r'(\d+室\d+廳\d+衛(wèi))([\d\.]+㎡)')

#刪除介紹列

df.drop('介紹',axis=1,inplace=True)

#提取位置列的第二個(gè)數(shù)據(jù)

df['位置']=df['位置'].str.split('|').str[1]

#刪除圖片鏈接列

df.drop('圖片鏈接',axis=1,inplace=True)

#將清洗后的數(shù)據(jù)保存為新的CSV文件

df.to_csv('cleaned_data.csv',index=False)

14

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

5數(shù)據(jù)統(tǒng)計(jì)與分析

5.1數(shù)據(jù)準(zhǔn)備

將之前存入CSV的數(shù)據(jù)編寫代碼對(duì)其進(jìn)行預(yù)處理，去除含有空值的行，刪

除介紹列，提取位置列的第二個(gè)數(shù)據(jù)，刪除圖片鏈接列，然后將清洗后的數(shù)據(jù)

保存為新的CSV文件方便后面進(jìn)行數(shù)據(jù)分析。數(shù)據(jù)準(zhǔn)備如圖5-1。

圖5-1數(shù)據(jù)準(zhǔn)備圖

15

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

5.2數(shù)據(jù)展示

5.2.1依據(jù)房屋總價(jià)進(jìn)行統(tǒng)計(jì)

圖5-2房屋總價(jià)數(shù)據(jù)展示

將在表格中深圳市二手房房屋總價(jià)字段數(shù)據(jù)進(jìn)行匯總和處理然后將其進(jìn)行

統(tǒng)計(jì),通過(guò)特定序列里面的數(shù)據(jù)再按照成交量生成箱線圖,如圖5-2中可以看出

深圳市二手房房?jī)r(jià)偏高,58同城深圳市二手房屋價(jià)格的高低可能說(shuō)明以下幾點(diǎn)：

地理位置和區(qū)位優(yōu)勢(shì)：深圳市中心區(qū)域和繁華地段的二手房?jī)r(jià)格通常更高，這

可能是由于這些地區(qū)交通便利、商業(yè)活躍、配套設(shè)施好等因素的結(jié)果。市場(chǎng)供

需關(guān)系：二手房?jī)r(jià)格還受到市場(chǎng)供求關(guān)系的影響。如果二手房供應(yīng)過(guò)少而需求

較高，則價(jià)格可能會(huì)上漲；相反，如果供應(yīng)過(guò)剩而需求較低，則價(jià)格可能會(huì)下

跌。房屋品質(zhì)和裝修程度：房屋本身的品質(zhì)和裝修程度對(duì)價(jià)格也會(huì)產(chǎn)生影響。

高品質(zhì)的房屋和豪華裝修的房屋通常會(huì)有更高的價(jià)格，而低品質(zhì)或簡(jiǎn)易裝修的

房屋價(jià)格可能相對(duì)較低。政策影響：有時(shí)政府的調(diào)控政策也會(huì)對(duì)二手房?jī)r(jià)格產(chǎn)

生一定的影響。例如，限購(gòu)政策的實(shí)施可能會(huì)導(dǎo)致市場(chǎng)價(jià)格下降。

16

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

綜上所述，58同城深圳市二手房屋價(jià)格的高低并不僅僅是房屋本身的因素決定

的，還受到地理位置、市場(chǎng)供需關(guān)系、房屋品質(zhì)和裝修程度以及政策的影響。

5.2.2依據(jù)平均價(jià)與面積進(jìn)行對(duì)比

圖5-3均價(jià)與面積關(guān)系圖

從圖5-3中可以看出來(lái)58同城深圳市二手房均價(jià)和面積的關(guān)系可以展示深

圳市二手房市場(chǎng)的整體價(jià)格水平和房屋規(guī)模。如果二手房的均價(jià)較高，而面積

較小，說(shuō)明深圳市的房?jī)r(jià)相對(duì)較高，且房屋供應(yīng)相對(duì)較為緊張。反之，如果二

手房均價(jià)較低，而面積較大，說(shuō)明深圳市的房?jī)r(jià)較低，且房屋供應(yīng)相對(duì)較充裕。

均價(jià)和面積的變化趨勢(shì)可以說(shuō)明深圳市二手房市場(chǎng)的發(fā)展和趨勢(shì)。如果二手房

的均價(jià)和面積均呈穩(wěn)定增長(zhǎng)，則表明深圳市的房地產(chǎn)市場(chǎng)相對(duì)健康，投資房產(chǎn)

的價(jià)值也相對(duì)穩(wěn)定。反之，如果二手房的均價(jià)和面積呈下降趨勢(shì)，則說(shuō)明深圳

市的房地產(chǎn)市場(chǎng)可能存在調(diào)整或下行的風(fēng)險(xiǎn)。均價(jià)和面積的差異也可以反映不

同區(qū)域的房地產(chǎn)市場(chǎng)特點(diǎn)。深圳市不同區(qū)域的房?jī)r(jià)水平和房屋規(guī)?？赡艽嬖谳^

大差異，一般來(lái)說(shuō)，市中心地段的二手房均價(jià)相對(duì)較高，而面積相對(duì)較小；而

17

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

遠(yuǎn)離市中心的區(qū)域，二手房均價(jià)相對(duì)較低，而面積相對(duì)較大。

總之，58同城對(duì)深圳市二手房均價(jià)與面積的統(tǒng)計(jì)數(shù)據(jù)可以提供深圳市房地

產(chǎn)市場(chǎng)的參考信息，幫助人們了解市場(chǎng)的價(jià)格水平、發(fā)展趨勢(shì)和不同區(qū)域的特

點(diǎn)，以便做出更明智的房產(chǎn)投資決策。

5.2.3依據(jù)位置進(jìn)行對(duì)比

圖5-4位置排名對(duì)比圖

從圖5-4中可以看出來(lái)58同城深圳市福田的購(gòu)買需求最大。

深圳市二手房數(shù)據(jù)采集發(fā)現(xiàn)福田區(qū)房源需求最大，可能說(shuō)明以下幾點(diǎn)：

1.樓市熱度：福田區(qū)是深圳市中心地段，經(jīng)濟(jì)發(fā)達(dá)，許多大型企業(yè)、金融

機(jī)構(gòu)、科技園區(qū)等集中在此，人口流動(dòng)和就業(yè)機(jī)會(huì)多，因此吸引了大量人口前

往購(gòu)房，房源需求相對(duì)較高。

2.地理位置優(yōu)勢(shì)：福田區(qū)位于深圳市的中心位置，毗鄰香港，擁有便捷的

交通網(wǎng)絡(luò)，包括地鐵、高速公路等，便于居民出行和工作。優(yōu)越的地理位置吸

引了更多人群選擇在福田區(qū)購(gòu)房，并帶動(dòng)了房源需求增長(zhǎng)。

3.教育資源：福田區(qū)擁有許多優(yōu)質(zhì)的教育資源，包括優(yōu)質(zhì)的中小學(xué)、大學(xué)、

培訓(xùn)機(jī)構(gòu)等，這對(duì)于有子女家庭來(lái)說(shuō)是一個(gè)重要的因素，因此吸引了更多人選

擇在該區(qū)購(gòu)房，提高了房源需求。

4.商業(yè)配套：福田區(qū)有眾多商業(yè)中心、購(gòu)物中心、娛樂(lè)場(chǎng)所等，如深圳中

心、COCOPark等，提供了豐富的商業(yè)配套和休閑娛樂(lè)設(shè)施，為居民提供了便

18

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

利和舒適的生活環(huán)境，增加了對(duì)該區(qū)房源的需求。

5.市容環(huán)境和配套設(shè)施：福田區(qū)政府注重城市規(guī)劃和建設(shè)，致力于提升市

容環(huán)境和配套設(shè)施，如公園、綠化帶、文化設(shè)施等，這些都為居民提供了良好

的生活品質(zhì)，并增加了對(duì)該區(qū)房源的需求。

綜上所述，福田區(qū)房源需求最大可能是由于該區(qū)域的經(jīng)濟(jì)發(fā)展、地理位置

優(yōu)勢(shì)、教育資源、商業(yè)配套和市容環(huán)境等多方面因素的綜合影響。

5.2.4據(jù)房型分布進(jìn)行統(tǒng)計(jì)和分析