第1章開發(fā)環(huán)境準(zhǔn)備網(wǎng)絡(luò)爬蟲應(yīng)用項目式教程《網(wǎng)絡(luò)爬蟲項目實戰(zhàn)》入門篇6.1本章介紹1.2知識和技術(shù)1.3參考書目目錄Content1.1數(shù)據(jù)采集與預(yù)處理1.4就業(yè)方向1.1章節(jié)簡介網(wǎng)絡(luò)爬蟲項目開發(fā)環(huán)境需要諸多程序協(xié)同工作。先用Tomcat搭建好要爬取的網(wǎng)站，再用谷歌瀏覽器打開相應(yīng)的網(wǎng)頁，用Python語言編寫相應(yīng)的代碼爬取數(shù)據(jù)，通過PyCharm編譯代碼，將爬取到的數(shù)據(jù)存儲到本地文件或數(shù)據(jù)庫中，再進行相應(yīng)的數(shù)據(jù)清洗和可視化。那么這一章的環(huán)境準(zhǔn)備工作非常重要，是后面所有操作的基礎(chǔ)。1.2學(xué)習(xí)目標(biāo)1.3軟件介紹目錄Content1.2學(xué)習(xí)目標(biāo)1.1章節(jié)介紹1.2學(xué)習(xí)目標(biāo)技能目標(biāo)1.掌握各個軟件的下載途徑2.掌握各個軟件的安裝方法知識目標(biāo)1.了解爬蟲項目開發(fā)的基本原理2.了解項目需要的各個軟件素質(zhì)目標(biāo)1.培育項目管理能力2.培育解決實際問題能力1.2學(xué)習(xí)目標(biāo)1.3軟件介紹目錄Content1.3軟件介紹1.1章節(jié)介紹1.3

軟件介紹1. ChromeGoogleChrome是一款由Google公司開發(fā)的網(wǎng)頁瀏覽器，該瀏覽器基于其他開源軟件撰寫，包括WebKit，目標(biāo)是提升穩(wěn)定性、速度和安全性，并創(chuàng)造出簡單且有效率的使用者界面。1.3

軟件介紹2. AnacondaAnaconda是一個基于Python的數(shù)據(jù)處理和科學(xué)計算平臺，它已經(jīng)內(nèi)置了許多非常有用的第三方庫，裝上Anaconda，相當(dāng)于把Python和一些如NumPy、SciPy、Pandas、Matplotlib等常用的庫自動安裝好了，使得安裝比常規(guī)Python安裝要容易。PyCharm是一款功能強大的PythonIDE，使用它能極大的方便用戶進行Python語言的開發(fā)，比如調(diào)試、語法高亮、Project管理、代碼跳轉(zhuǎn)、智能提示、自動完成、單元測試、版本控制。因此，利用Anaconda和PyCharm可以極大地幫助用戶編寫和運行代碼，提高效率。1.3

軟件介紹3. 第三方庫Anaconda集成了很多科學(xué)計算中所需要的包，如NumPy，SciPy等等，但是因為實際需求，我們會需要導(dǎo)入列表中沒有的第三方包，如Selenium、Jieba等，在Anaconda中，我們需要安裝所需要的第三方包：。1.3

軟件介紹4. ChromeDriverChromeDriver是Chrome驅(qū)動，是Python爬蟲使用Selenium庫模擬打開谷歌瀏覽器依賴的文件，能模擬用戶使用谷歌瀏覽器。1.3

軟件介紹5. PyCharmPyCharm是一種PythonIDE（IntegratedDevelopmentEnvironment，集成開發(fā)環(huán)境），帶有一整套可以幫助用戶在使用Python語言開發(fā)時提高其效率的工具，是一款使用廣泛，功能齊全的Python編輯器。配置較為簡單、功能強大、使用起來省時省心，對初學(xué)者友好。1.3

軟件介紹6. JavaJava是由SunMicrosystems公司于1995年5月推出的Java面向?qū)ο蟪绦蛟O(shè)計語言（以下簡稱Java語言）和Java平臺的總稱。Java被廣泛接受并推動了Web的迅速發(fā)展，常用的瀏覽器均支持JavaApplet。1.3

軟件介紹7. TomcatTomcat是一個免費的開放源代碼的Web應(yīng)用服務(wù)器，屬于輕量級應(yīng)用服務(wù)器，是開發(fā)和調(diào)試JSP程序的首選。對于一個初學(xué)者來說，可以這樣認(rèn)為，當(dāng)在一臺機器上配置好Apache服務(wù)器，可利用它響應(yīng)HTML(標(biāo)準(zhǔn)通用標(biāo)記語言下的一個應(yīng)用)頁面的訪問請求。1.3

軟件介紹8. MySQLMySQL是一個關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，MySQL是目前最受歡迎的開源關(guān)系型數(shù)據(jù)庫管理系統(tǒng)。由瑞典MySQLAB公司開發(fā)，在WEB應(yīng)用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫管理系統(tǒng))應(yīng)用軟件之一。因為它受眾廣泛，免費，所以它是網(wǎng)絡(luò)數(shù)據(jù)采集項目中常用的數(shù)據(jù)庫。網(wǎng)絡(luò)爬蟲抓取數(shù)據(jù)不是目的，需要的是將抓取的數(shù)據(jù)進行保存到本地，然后進行相關(guān)的數(shù)據(jù)處理操作應(yīng)用到實際業(yè)務(wù)場景才是最終的目標(biāo)，那么數(shù)據(jù)的保存就尤為重要了。網(wǎng)絡(luò)爬蟲的數(shù)據(jù)存儲方式一般分兩種。一是存儲在文件中，包括文本文件和csv文件，二是存儲在數(shù)據(jù)庫中，比如說MySQL關(guān)系型數(shù)據(jù)庫。1.3

軟件介紹9. NavicatNavicat是一套快速、可靠和全面的數(shù)據(jù)庫管理工具，專門用于簡化數(shù)據(jù)庫管理和降低管理成本。Navicat圖形界面直觀，提供簡便的管理方法，設(shè)計和操作MySQL、Oracle、PostgreSQL等