數據挖掘技術DataMiningTechnology>>人工智能專業(yè)項目二：租房數據的采集與存儲實戰(zhàn)任務一任務介紹任務二使用BeautifulSoup框架采集存儲租房數據任務三使用scrapy框架采集存儲租房數據任務四租房數據預處理任務三使用scrapy框架采集存儲租房數據任務描述本任務在認識數據采集框架以及存儲方法后，使用scrapy將租房數據數據爬取并存儲成我們需要的格式。本項目將采集到的信息爬取出來保存于數據庫中，為后期進行數據可視化操作、制作網頁展示做鋪墊。這就是我們完成的第3個任務：使用scrapy框架采集存儲租房數據。目標——爬取58同城南寧租房數據并保存到創(chuàng)建的數據庫中。目標網站：/minsuduanzu/爬取“房源名稱”、“價格”兩個信息保存到創(chuàng)建的數據庫中。任務三2.3.1分析目標網站Scrapy安裝#命令行下使用pip安裝pipinstallscrapy#anaconda下使用conda安裝condainstall-cconda-forgescrapyWindows系統(tǒng)安裝#安裝以下依賴項sudoapt-getinstallpython3python3-devpython3-piplibxml2-devlibxslt1-devzlib1g-devlibffi-devlibssl-dev#終端下使用pip安裝pipinstallscrapyLinux系統(tǒng)安裝任務三2.3.2安裝scrapy并創(chuàng)建項目Scrapy安裝#終端預先安裝Xcode命令行工具xcode-select--install#終端下使用pip安裝pipinstallscrapyMacOS系統(tǒng)安裝任務三2.3.2安裝scrapy并創(chuàng)建項目#anaconda下使用conda安裝condainstall-cconda-forgescrapy任務三2.3.2安裝scrapy并創(chuàng)建項目任務三2.3.2

安裝scrapy并創(chuàng)建項目Scrapyshell使用用pycharm自帶的Terminal，打開pycharm后在底行有個Terminal：要爬取租房信息，輸入scrapyshellurl：/minsuduanzu/輸入后返回狀態(tài)和參數，輸入response也可以獲得狀態(tài)信息，返回200表示成功：任務三2.3.2

安裝scrapy并創(chuàng)建項目打開火狐瀏覽器，使用Xpath獲取要抓的內容——房源名稱、價格。任務三2.3.2

安裝scrapy并創(chuàng)建項目在命令提示符中輸入命令獲取所有房源名稱和價格response.xpath("/html/body/div[1]/div[3]/div/section/a[*]/div/div[2]/div[1]/text()").extract()任務三2.3.2

安裝scrapy并創(chuàng)建項目在命令提示符中輸入命令獲取所有房源名稱和價格response.xpath("/html/body/div[1]/div[3]/div/section/a[*]/div/div[3]/div[1]/div/span[1]/text()").extract()這樣就用scrapyshell獲取到所有名稱、價錢；同樣的，也可以通過改變xpath獲取其他內容。任務三2.3.3創(chuàng)建數據庫保存數據創(chuàng)建數據庫pycharm自帶很多數據庫圖形化工具，我們使用sqlite數據庫為了方便，我們直接用pychrm的Terminal在Terminal中進入項目，輸入ipython，使用python的命令行工具#ipython任務三2.3.3創(chuàng)建數據庫保存數據終端界面中輸入命令完成數據庫的創(chuàng)建。In[1]:importsqlite3In[2]:zufang=sqlite3.connect('zufang.sqlite')In[3]:create_table='createtablezufang(titlevarchar(512),pricevarchar(128))'In[4]:zufang.execute(create_table）任務三2.3.3創(chuàng)建數據庫保存數據這就完成創(chuàng)建數據庫了，接下來使用pycharm鏈接到sqlite數據庫，社區(qū)版pycharm安裝數據庫插件。任務三任務三任務三2.3.3創(chuàng)建數據庫保存數據點擊安裝，安裝完成點擊重啟PyCharm即可，重啟后在側邊欄出現DBBrowser。使用數據庫（sqlite）點開DBBrowser，然后點擊?+號添加數據庫連接，選擇SQLite。任務三2.3.3創(chuàng)建數據庫保存數據按下圖點擊紅框按鈕，添加數據庫文件。添加完數據庫文件，可以點擊TestConnection測試是否連接成功。任務三2.3.3創(chuàng)建數據庫保存數據下面彈窗說明連接成功。點擊確定開啟數據庫連接，在DBBrowser面板，找到自己創(chuàng)建的表。任務三2.3.4編寫爬蟲抓取“58同城租房小組”的數據，為用戶提供精準的房源定位。58同城網租房信息采集輸入要抓取的租房名稱。輸入關鍵字快速查詢58同城網租房。使用數據庫進行房源數據存儲。爬蟲功能要求：任務三2.3.4編寫爬蟲58同城網租房信息采集主要代碼我們要爬取租房信息，輸入scrapyshellurl,本項目中url是：/minsuduanzu/

我們在spiders目錄下創(chuàng)建python文件，文件名任意

我這里叫spiderspider.py文件:importscrapyfrom..itemsimportZufangItem任務三2.3.4編寫爬蟲爬蟲根據用戶設定的關鍵詞進行數據的爬取并保存：

#創(chuàng)建爬蟲類，繼承scrapy.SpiderclassGanJi(scrapy.Spider):#name,start_urls,parse這三個必須要有name="zufang"#用于區(qū)別Spider。該名字必須是唯一的,在終端用scrapylist會顯示當前項目爬蟲的數量start_urls=["/minsuduanzu/"]#包含了Spider在啟動時進行爬取的url列表。defparse(self,response):#解析返回的數據print(response)zf=ZufangItem()#定義一個item實體response.xpath("/html/body/div[1]/div[3]/div/section/a[*]/div/div[2]/div[1]/text()").extract()#獲取房屋名稱response.xpath("/html/body/div[1]/div[3]/div/section/a[*]/div/div[3]/div[1]/div/span[1]/text()").extract()#獲取房屋價錢fori,jinzip(title_list,price_list):zf['title']=izf['price']=jyieldzf任務三2.3.4編寫爬蟲爬蟲根據用戶設定的關鍵詞進行數據的爬取并保存：

items.py文件：##-*-coding:utf-8-*-

#Defineherethemodelsforyourscrapeditems##Seedocumentationin:#/en/latest/topics/items.html

importscrapy

classZufangItem(scrapy.Item):#definethefieldsforyouritemherelike:#name=scrapy.Field()title=scrapy.Field()price=scrapy.Field()#pass

任務三2.3.4編寫爬蟲爬蟲根據用戶設定的關鍵詞進行數據的爬取并保存：

pipelines.py文件：#-*-coding:utf-8-*-#Defineyouritempipelineshere##Don'tforgettoaddyourpipelinetotheITEM_PIPELINESsetting#See:/en/latest/topics/item-pipeline.htmlimportsqlite3classZufangPipeline(object):defopen_spider(self,spider):self.con=sqlite3.connect("zufang.sqlite")self.cu=self.con.cursor()defprocess_item(self,item,spider):print(,'pipelines')insert_sql="insertintomain.zufang(title,price)values('{}','{}')".format(item['title'],item['price'])print(insert_sql)self.cu.execute(insert_sql)mit()returnitemdefclose_spider(self,spider):self.con.close()

任務三2.3.4編寫爬蟲爬蟲根據用戶設定的關鍵詞進行數據的爬取并保存：

setting.py文件：#這個文件里要該一些東西，在67行：#}

#Configureitempipelines#See/en/latest/topics/item-pipeline.htmlITEM_PIPELINES={'zufang.pipelines.ZufangPipeline':300,}

#EnableandconfiguretheAutoThrottleextension(disabledbydefault)#See/en/latest/topics/autothrottle.html

任務三2.3.5項目運行展示終端輸入命令運行：