第一文搞懂Python中的進(jìn)程,線程和協(xié)程目錄1.什么是并發(fā)編程2.進(jìn)程與多進(jìn)程3.線程與多線程4.協(xié)程與多協(xié)程5.總結(jié)

1.什么是并發(fā)編程

并發(fā)編程是實(shí)現(xiàn)多任務(wù)協(xié)同處理，改善系統(tǒng)性能的方式。Python中實(shí)現(xiàn)并發(fā)編程主要依靠

進(jìn)程(Process)：進(jìn)程是計(jì)算機(jī)中的程序關(guān)于某數(shù)據(jù)集合的一次運(yùn)行實(shí)例，是操作系統(tǒng)進(jìn)行資源分配的最小單位

線程(Thread)：線程被包含在進(jìn)程之中，是操作系統(tǒng)進(jìn)行程序調(diào)度執(zhí)行的最小單位

協(xié)程(Coroutine)：協(xié)程是用戶態(tài)執(zhí)行的輕量級(jí)編程模型，由單一線程內(nèi)部發(fā)出控制信號(hào)進(jìn)行調(diào)度

直接上一張圖看看三者概念間的關(guān)系。

這張圖說明了什么？首先，一條線程是進(jìn)程中一個(gè)單一的順序控制流，一個(gè)進(jìn)程可以并發(fā)多個(gè)線程執(zhí)行不同任務(wù)。協(xié)程由單一線程內(nèi)部發(fā)出控制信號(hào)進(jìn)行調(diào)度，而非受到操作系統(tǒng)管理，因此協(xié)程沒有切換開銷和同步鎖機(jī)制，具有極高的執(zhí)行效率。

進(jìn)程、線程、協(xié)程間的特性決定了它們的應(yīng)用場(chǎng)景不同：

協(xié)程常用于IO密集型工作，例如網(wǎng)絡(luò)資源請(qǐng)求等；而進(jìn)程、線程常用于計(jì)算密集型工作，例如科學(xué)計(jì)算、人工神經(jīng)網(wǎng)絡(luò)等。

接下來對(duì)每種并發(fā)編程方法進(jìn)行詳細(xì)闡述。

2.進(jìn)程與多進(jìn)程

Python多進(jìn)程依賴于標(biāo)準(zhǔn)庫(kù)mutiprocessing，進(jìn)程類Process的常用方法如下

序號(hào)方法含義1start()創(chuàng)建一個(gè)Process子進(jìn)程實(shí)例并執(zhí)行該實(shí)例的run()方法2run()子進(jìn)程需要執(zhí)行的目標(biāo)任務(wù)3join()主進(jìn)程阻塞等待子進(jìn)程直到子進(jìn)程結(jié)束才繼續(xù)執(zhí)行，可以設(shè)置等待超時(shí)時(shí)間timeout4terminate()終止子進(jìn)程5is_alive()判斷子進(jìn)程是否終止6daemon設(shè)置子進(jìn)程是否隨主進(jìn)程退出而退出

創(chuàng)建多進(jìn)程任務(wù)的實(shí)例如下

importos,time

importmultiprocessing

classmyProcess(multiprocessing.Process):

def__init__(self,*args,**kwargs)-None:

super().__init__()

=kwargs['name']

defrun(self):

print("processname:",)

foriinrange(10):

print(multiprocessing.current_process(),"processpid:",

os.getpid(),"正在執(zhí)行...")

time.sleep(0.2)

if__name__=="__main__":

task=myProcess(name="testProcess")

task.start()

task.join()#該語(yǔ)句會(huì)阻塞主進(jìn)程直至子進(jìn)程結(jié)束

print("----------------")

注意：Windows系統(tǒng)在子進(jìn)程結(jié)束后會(huì)立即自動(dòng)清除子進(jìn)程實(shí)例；而Linux系統(tǒng)子進(jìn)程實(shí)例僅當(dāng)主進(jìn)程結(jié)束后才被回收，在子進(jìn)程結(jié)束但主進(jìn)程仍在運(yùn)行的時(shí)間內(nèi)處于僵尸進(jìn)程狀態(tài)，會(huì)造成性能損失甚至死鎖。對(duì)子進(jìn)程實(shí)例的手動(dòng)回收可以通過

p.terminate()

p.join()

完成，此外，start()函數(shù)也有清除僵尸進(jìn)程的功能。在使用多進(jìn)程處理任務(wù)時(shí)并非進(jìn)程越多越好，因?yàn)檫M(jìn)程切換會(huì)造成性能開銷。

3.線程與多線程

Python多線程依賴于標(biāo)準(zhǔn)庫(kù)threading，線程類Thread的常用方法如下表：

序號(hào)方法含義1start()創(chuàng)建一個(gè)Thread子線程實(shí)例并執(zhí)行該實(shí)例的run()方法2run()子線程需要執(zhí)行的目標(biāo)任務(wù)3join()主進(jìn)程阻塞等待子線程直到子線程結(jié)束才繼續(xù)執(zhí)行，可以設(shè)置等待超時(shí)時(shí)間timeout4is_alive()判斷子線程是否終止5daemon設(shè)置子線程是否隨主進(jìn)程退出而退出

關(guān)于線程與進(jìn)程的關(guān)系，還有一個(gè)很生動(dòng)的例子

把一條公路看作一道進(jìn)程，那么公路上的各個(gè)車道就是進(jìn)程中的各個(gè)線程。這些線程(車道)共享了進(jìn)程(道路)的公共資源；這些線程(車道)之間可以并發(fā)執(zhí)行(各個(gè)車道相對(duì)獨(dú)立)，也可以互相同步(交通信號(hào)燈)。

rsrc=10

lock=threading.Lock()

deftask1(name):

globalrsrc,lock

foriinrange(5):

withlock:

rsrc+=1

print("task1:",rsrc)

returnname+"hasbeendone!"

deftask2(name):

globalrsrc,lock

foriinrange(5):

lock.acquire()

rsrc-=1

print("task2:",rsrc)

lock.release()

returnname+"hasbeendone!"

結(jié)果如下

在多線程并發(fā)過程中，若沒有控制好線程間的執(zhí)行邏輯，將可能產(chǎn)生死鎖現(xiàn)象，可以使用with關(guān)鍵詞在線程訪問臨界區(qū)結(jié)束后自動(dòng)釋放鎖，也可使用release()方法手動(dòng)釋放句柄。

4.協(xié)程與多協(xié)程

協(xié)程適用于I/O密集型而非計(jì)算密集型場(chǎng)景。在協(xié)程發(fā)起I/O請(qǐng)求后返回結(jié)果前往往有大量閑置時(shí)間該時(shí)間可能用于網(wǎng)絡(luò)數(shù)據(jù)傳輸、獲取協(xié)議頭、服務(wù)器查詢數(shù)據(jù)庫(kù)等，而I/O請(qǐng)求本身并不耗時(shí)，因此協(xié)程可以發(fā)送一個(gè)請(qǐng)求后讓渡給系統(tǒng)干別的事，這就是協(xié)程提高性能的原因。

協(xié)程編程的框架如下：

創(chuàng)建協(xié)程對(duì)象并將其封裝成任務(wù)實(shí)例；創(chuàng)建事件循環(huán)實(shí)例并監(jiān)聽任務(wù)隊(duì)列；獲取協(xié)程結(jié)果(可在事件循環(huán)結(jié)束后獲取，或提前添加回調(diào)函數(shù))。

一個(gè)嵌套協(xié)程的示例如下：

importasyncio,time

#內(nèi)層協(xié)程

asyncdefdo_some_work(x):

print('Waiting:',x)

awaitasyncio.sleep(x)

return'Doneafter{}s'.format(x)

defOnCallBack(res):

print(res.result())

#外層協(xié)程main

asyncdefmain():

#創(chuàng)建三個(gè)協(xié)程對(duì)象并封裝成任務(wù)

task1=asyncio.ensure_future(do_some_work(1))

task2=asyncio.ensure_future(do_some_work(8))

task3=asyncio.ensure_future(do_some_work(4))

#添加回調(diào)

task1.add_done_callback(OnCallBack)

task2.add_done_callback(OnCallBack)

task3.add_done_callback(OnCallBack)

#內(nèi)層任務(wù)列表

tasks=[task1,task2,task3]

#將列表轉(zhuǎn)為可等待對(duì)象

dones,pendings=awaitasyncio.wait(tasks)

#外層協(xié)程func

asyncdeffunc():

foriinrange(5):

print("func:",i)

#外層任務(wù)列表

tasks=[asyncio.ensure_future(func()),asyncio.ensure_future(main())]

#創(chuàng)建事件循環(huán)

loop=asyncio.get_event_loop()

start=time.time()

#監(jiān)聽異步任務(wù)

loop.run_u