第九章python生態(tài)學概覽9 3從web解析到網絡空間_第1頁
第九章python生態(tài)學概覽9 3從web解析到網絡空間_第2頁
第九章python生態(tài)學概覽9 3從web解析到網絡空間_第3頁
第九章python生態(tài)學概覽9 3從web解析到網絡空間_第4頁
第九章python生態(tài)學概覽9 3從web解析到網絡空間_第5頁
已閱讀5頁，還剩28頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

單元開篇

CCBY-NC-SA4.0嵩天

從Web解析到網絡空間

Python庫之網絡爬蟲

Python庫之Web信息提取

Python庫之Web 開發(fā)

Python庫之網絡應用開發(fā)

Python庫之網絡爬蟲

CCBY-NC-SA4.0嵩天

Python庫之網絡爬蟲

Requests:最友好的網絡爬蟲功能庫

提供了簡單易用的類HTTP協(xié)議網絡爬蟲功能

支持連接池、SSL、 s、HTTP(S) 等

Python最主要的頁面級網絡爬蟲功能庫

r.text

Python庫之網絡爬蟲

Requests:最友好的網絡爬蟲功能庫importrequests

r=requests.get('',\auth=('user','pass'))

r.status_coder.headers['content-type']r.encoding

Python庫之網絡爬蟲

Scrapy:優(yōu)秀的網絡爬蟲框架

提供了構建網絡爬蟲系統(tǒng)的框架功能，功能半成品

支持批量和定時網頁爬取、提供數(shù)據處理流程等

Python最主要且最專業(yè)的網絡爬蟲框架

Python庫之網絡爬蟲

Scrapy:Python數(shù)據分析 次應用庫

Python庫之網絡爬蟲

pyspider:強大的Web頁面爬取系統(tǒng)

提供了完整的網頁爬取系統(tǒng)構建功能

支持數(shù)據庫后端、消息隊列、優(yōu)先級、分布式架構等

Python重要的網絡爬蟲類第 庫

Python庫之網絡爬蟲

pyspider:強大的Web頁面爬取系統(tǒng)

Python庫之Web信息提取

CCBY-NC-SA4.0嵩天

Python庫之Web信息提取

BeautifulSoup:HTML和XML的解析庫

提供了解析HTML和XML等Web信息的功能

又名beautifulsoup4或bs4，可以加載多種解析引擎

常與網絡爬蟲庫搭配使用，如Scrapy、requests等

Python庫之Web信息提取

BeautifulSoup:HTML和XML的解析庫

下行遍歷

.contents

.children

.descendants

<html>

<head> <body>

<title> <p> 平行遍歷 <p>

<b>.next_sibling<a>

<a>

.parent

.parents

上行遍歷

.previous_sibling

.next_siblings

.previous_siblings

Python庫之Web信息提取

Re:正則表達式解析和處理功能庫

提供了定義和解析正則表達式的一批通用功能

可用于各類場景，包括定點的Web信息提取

Python最主要的標準庫之一，無需安裝

Python庫之Web信息提取

Re:正則表達式解析和處理功能庫

re.search() re.split()

re.match()re.findall()

r'\d{3}-\d{8}|\d{4}-\d{7}'

re.finditer()re.sub()

Python庫之Web信息提取

Python-Goose:提取文章類型Web頁面的功能庫

提供了對Web頁面中文章信息/ 等元數(shù)據的提取功能

針對特定類型Web頁面，應用覆蓋面較廣

Python最主要的Web信息提取庫

Python庫之Web信息提取

Python-Goose:提取文章類型Web頁面的功能庫

fromgooseimportGoose

url=''g=Goose({'use_meta_language':False,'target_language':'es'})article=g.extract(url=url)

article.cleaned_text[:150]

Python庫之Web開發(fā)

CCBY-NC-SA4.0嵩天

Python庫之Web 開發(fā)

Django:最流行的Web應用框架

提供了構建Web系統(tǒng)的基本應用框架

MTV模式：模型(model)、模板(Tem te)、視圖(Views)

Python最重要的Web應用框架，略微復雜的應用框架

Python庫之Web 開發(fā)

Django:最流行的Web應用框架

Web框架

瀏覽器

HTTP

WSGI

URLs

HTML/CSS/JS

路由

功能處理邏輯

等文件

Web服務器接口

滿足用戶功能請求

融合數(shù)據和展示模板

數(shù)據庫

Python庫之Web 開發(fā)

Pyramid:規(guī)模適中的Web應用框架

提供了簡單方便構建Web系統(tǒng)的應用框架

不大不小，規(guī)模適中，適合快速構建并適度擴展類應用

Python產品級Web應用框架，起步簡單可擴展性好

Python庫之Web 開發(fā)

Pyramid:規(guī)模適中的Web應用框架

fromwsgiref.simple_serverimportmake_server

frompyramid.configimportConfiguratorfrompyramid.responseimportResponsedef o_world(request):

returnResponse(' oWorld!')

ifname=='main':

withConfigurator()asconfig:config.add_route(' o','/')

-10行左右 oWord程序

config.add_view( o_world,route_name=' o')app=config.make_wsgi_app()

server=make_server('',6543,app)server.serve_forever()

Python庫之Web 開發(fā)

Flask:Web應用開發(fā)微框架

提供了最簡單構建Web系統(tǒng)的應用框架

特點是：簡單、規(guī)模小、快速

Django>Pyramid>Flask

Python庫之Web 開發(fā)

Flask:Web應用開發(fā)微框架

fromflaskimportFlaskapp=Flask(name)

@app.route('/')def o_world():

return' o,World!'

Python庫之網絡應用開發(fā)

CCBY-NC-SA4.0嵩天

Python庫之網絡應用開發(fā)

WeRoBot: 開發(fā)框架

提供了解析 服務器消息及反饋消息的功能

建立 機器人的重要技術

Python庫之Web 開發(fā)

WeRoBot: 開發(fā)框架

importwerobot

robot=werobot.WeRoBot(token='tokenhere')

@robot.handler

def o(message):return' oWorld!'

對 每個消息反饋一個 oWorld

Python庫之網絡應用開發(fā)

aip: AI開放平臺接口

提供了 AI服務的Python功能接口

語音、人臉、OCR、NLP、知識圖譜、圖像搜索等領域

Python AI應用的最主要方式

Python庫之Web 開發(fā)

aip: AI開放平臺接口

Python庫之網絡應用開發(fā)

MyQR: 生成第 庫

提供了生成 的系列功能

基本 、藝術 和動態(tài)

P

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論