第2章深度學(xué)習(xí)開發(fā)平臺(tái)2.1深度學(xué)習(xí)平臺(tái)介紹2.2深度學(xué)習(xí)平臺(tái)對(duì)比

2.1深度學(xué)習(xí)平臺(tái)介紹

2.1.1TensorFlowTensorFlow是谷歌公司在DistBelief(分布式深度學(xué)習(xí)平臺(tái))的基礎(chǔ)上改進(jìn)的第二代人工智能學(xué)習(xí)系統(tǒng)，而它的名字則來源于其運(yùn)行原理。Tensor(張量)意味著N維數(shù)組，F(xiàn)low(流)意味著基于數(shù)據(jù)流圖的計(jì)算，TensorFlow是一個(gè)將數(shù)據(jù)流圖(DataFlowGraphs)應(yīng)用于數(shù)值計(jì)算的開源軟件庫。

TensorFlow是一個(gè)將復(fù)雜的數(shù)據(jù)結(jié)構(gòu)傳輸至人工智能神經(jīng)網(wǎng)絡(luò)中，并對(duì)其進(jìn)行分析和處理的系統(tǒng)。其中，節(jié)點(diǎn)(Nodes)在數(shù)據(jù)流圖中表示數(shù)學(xué)操作，而數(shù)據(jù)流圖中的線(Edges)則表示在節(jié)點(diǎn)間相互聯(lián)系的多維數(shù)據(jù)數(shù)組，即張量(Tensor)。它具有非常靈活的架構(gòu)，能夠幫助用戶在多種平臺(tái)上展開計(jì)算，也被廣泛應(yīng)用于語音識(shí)別或圖像識(shí)別等多項(xiàng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域。

TensorFlow還有很多便于應(yīng)用的其他優(yōu)勢(shì)：

(1)?TensorFlow具有高度的靈活性。

(2)?TensorFlow具有真正的可移植性。

(3)?TensorFlow可以加強(qiáng)科研和產(chǎn)品之間的相關(guān)性。

(4)?TensorFlow具有自動(dòng)求微分的能力。

(5)?TensorFlow支持多語言。

(6)?TensorFlow可以最大化系統(tǒng)性能。

(7)?TensorFlow支持分布式執(zhí)行。

(8)?TensorFlow可以進(jìn)行遷移學(xué)習(xí)(TransferLearning)。

(9)?TensorFlow生態(tài)系統(tǒng)包含許多工具和庫。

(10)?TensorFlow支持CPU和GPU運(yùn)行。

鑒于上述優(yōu)勢(shì)，近幾年，TensorFlow被廣泛應(yīng)用于各種領(lǐng)域。作為一個(gè)廣受歡迎的深度學(xué)習(xí)框架，TensorFlow不僅可以幫助現(xiàn)有很多互聯(lián)網(wǎng)上的應(yīng)用提高智能水平，而且還能夠被廣泛應(yīng)用于其他領(lǐng)域。

1)AlphaGo

2)智能醫(yī)療

3)嬰兒食品制作

4)自動(dòng)駕駛

5)音樂創(chuàng)作

2.1.2Caffe

Caffe是一個(gè)深度學(xué)習(xí)框架，其優(yōu)點(diǎn)是表達(dá)力強(qiáng)、速度快和模塊化，由伯克利視覺學(xué)習(xí)中心(BerkeleyVisionandLearningCenter，BVLC)和社區(qū)貢獻(xiàn)者開發(fā)，賈楊青等人在加州大學(xué)伯克利分校攻讀博士期間創(chuàng)建了這個(gè)項(xiàng)目。Caffe的核心模塊有三個(gè)，分別是Blobs、Layers和Nets。Blobs用來進(jìn)行數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)交互和處理，Caffe通過Blobs統(tǒng)一制定了數(shù)據(jù)內(nèi)存的接口；Layers是神經(jīng)網(wǎng)絡(luò)的核心，它定義了許多層級(jí)結(jié)構(gòu)，并將Blobs視為輸入輸出；Nets是一系列Layers的集合，并且這些層結(jié)構(gòu)通過連接形成一個(gè)網(wǎng)圖。

Caffe的特性和優(yōu)點(diǎn)主要有：

(1)?Caffe具有模塊性。

(2)?Caffe支持任意有向非循環(huán)圖形式的網(wǎng)絡(luò)構(gòu)建。

(3)?Caffe提供了Python和Matlab相結(jié)合的目前研究代碼的快速原型和接口，這兩種語言都用在了構(gòu)造網(wǎng)絡(luò)和分類輸入中。

(4)?Caffe可以促進(jìn)創(chuàng)新和應(yīng)用。

(5)?Caffe代碼具有可擴(kuò)展性和活躍性。

(6)?Caffe具有非?？斓倪\(yùn)算速度。

2.1.3Pytorch

Pytorch是Torch的Python版本，是由Facebook開源的神經(jīng)網(wǎng)絡(luò)框架。

Pytorch的基礎(chǔ)主要包括以下三個(gè)方面：

(1)?Numpy風(fēng)格的Tensor操作。

(2)變量自動(dòng)求導(dǎo)。

(3)神經(jīng)網(wǎng)絡(luò)層、損失函數(shù)和優(yōu)化函數(shù)等高層被封裝。

Pytorch具有以下特性和優(yōu)點(diǎn)：

(1)?Pytorch可以混合前端，新的混合前端在急切模式和圖形模式之間無縫轉(zhuǎn)換，以提供靈活性和速度。

(2)?Python語言優(yōu)先。Pytorch的深度集成允許用戶在Python中使用流行的庫和包編寫神經(jīng)網(wǎng)絡(luò)層。

(3)?Pytorch擁有豐富的工具和函數(shù)庫。

(4)?Pytorch可以快速實(shí)現(xiàn)。

(5)?Pytorch具有簡(jiǎn)潔易懂的代碼。

(6)?Pytorch具有強(qiáng)大的社區(qū)。

(7)?Pytorch使用命令式/熱切式范式。

2.1.4MXNet

MXNet是亞馬遜(Amazon)選擇的深度學(xué)習(xí)庫。它擁有類似于Theano和TensorFlow的數(shù)據(jù)流圖，能夠應(yīng)用于多個(gè)GPU配置；有著更高級(jí)別的模型構(gòu)建塊，并且能夠在任何硬件上運(yùn)行(包括手機(jī))。MXNet提供了對(duì)R、Julia、C++、Scala、Matlab和JavaScript的接口，其中對(duì)Python的支持只是其冰山一角。

MXNet能夠提供以下功能：

(1)設(shè)備放置。

(2)多GPU培訓(xùn)。

(3)自動(dòng)區(qū)分。

(4)優(yōu)化的預(yù)定義圖層。

MXNet具有高性能且簡(jiǎn)單易學(xué)的代碼、高級(jí)API訪問和低級(jí)控制，是深度學(xué)習(xí)框架中獨(dú)一無二的選擇；MXNet是DMLC第一個(gè)結(jié)合了所有成員的努力的項(xiàng)目，也同時(shí)吸引了很多核心成員的加入。

2.1.5CNTK

CNTK(theMicrosoftCognitiveToolkit，微軟認(rèn)知工具集)是一個(gè)統(tǒng)一的深度學(xué)習(xí)工具包，它通過有向圖將神經(jīng)網(wǎng)絡(luò)描述為一系列計(jì)算步驟。CNTK使用戶能夠通過深度學(xué)習(xí)實(shí)現(xiàn)集中性的、能夠處理大規(guī)模數(shù)據(jù)的人工智能，它具有擴(kuò)展性強(qiáng)、工作效率高和準(zhǔn)確性強(qiáng)等優(yōu)點(diǎn)，并且可以實(shí)現(xiàn)多種編程語言與算法之間的相互兼容。

CNTK具有以下四個(gè)特性：

(1)高度優(yōu)化的內(nèi)置組件。

(2)能夠?qū)Y源進(jìn)行有效利用。

(3)能夠幫助用戶創(chuàng)建自己的網(wǎng)絡(luò)。

(4)能夠使用Azure(微軟基于云計(jì)算的操作系統(tǒng))進(jìn)行培訓(xùn)和托管。

CNTK具有以下三個(gè)優(yōu)點(diǎn)：

(1)速度快和可擴(kuò)展性強(qiáng)。

(2)商業(yè)級(jí)質(zhì)量。

(3)兼容性。

CNTK目前主要被應(yīng)用于基于神經(jīng)網(wǎng)絡(luò)的邏輯回歸與MNIST數(shù)字識(shí)別，也允許用戶使用圖級(jí)別的API來編寫神經(jīng)網(wǎng)絡(luò)。由于它的高效性和可擴(kuò)展性，CNTK被越來越多的用戶所熟知和采用。

2.1.6PaddlePaddle

PaddlePaddle具有以下優(yōu)點(diǎn)：

(1)代碼易于理解，官方提供豐富的學(xué)習(xí)資料及工具，并且?guī)椭脩粞杆俪蔀樯疃葘W(xué)習(xí)開發(fā)者。

(2)框架具備非常好的擴(kuò)展性，并且提供了豐富全面的API，能夠?qū)崿F(xiàn)用戶各種天馬行空的創(chuàng)意。

(3)基于百度多年的AI技術(shù)積累以及大量的工程實(shí)踐驗(yàn)證，框架安全穩(wěn)定。

(4)框架能夠一鍵安裝，針對(duì)CPU、GPU都做了眾多優(yōu)化，分布式性能強(qiáng)勁，并且具有很強(qiáng)的開放性。

PaddlePaddle廣泛應(yīng)用于以下幾個(gè)方面：

(1)它能夠?qū)⒃~表示成一個(gè)實(shí)數(shù)向量(One-HotVector)，從而能夠進(jìn)行詞與詞之間的計(jì)算；

(2)根據(jù)不同用戶個(gè)性化需求與興趣推薦其可能感興趣的信息或商品；

(3)可以用來判斷一段文本所表達(dá)的情緒狀態(tài)，比如正面、負(fù)面；

(4)能夠根據(jù)圖像所傳達(dá)的語義信息將圖像按類別進(jìn)行區(qū)分；

(5)能夠通過深度學(xué)習(xí)方法實(shí)現(xiàn)不同語言之間的轉(zhuǎn)換；

(6)能夠利用基于PaddlePaddle的SSD(SingleShotMultiboxDetector，單次多目標(biāo)檢測(cè))神經(jīng)網(wǎng)絡(luò)模型來做目標(biāo)探測(cè)。

2.1.7Darknet

Darknet是一個(gè)使用C語言和CUDA(ComputerUnifiedDeviceArchitecture，計(jì)算統(tǒng)一設(shè)備架構(gòu))編寫的開源神經(jīng)網(wǎng)絡(luò)框架。它安裝快速，并支持CPU和GPU計(jì)算。Darknet易于安裝，只有兩個(gè)可選的依賴項(xiàng)：如果用戶想要更多種類的支持圖像類型，可以使用OpenCV；如果用戶想要用GPU計(jì)算，可以使用CUDA。CPU上的Darknet速度很快，但它在GPU上的速度更快，是CPU上的500倍！

Darknet框架已經(jīng)被廣泛應(yīng)用于深度學(xué)習(xí)領(lǐng)域：它被應(yīng)用于基于YOLO(一種基于深度神經(jīng)網(wǎng)絡(luò)的對(duì)象識(shí)別和定位算法)網(wǎng)絡(luò)的實(shí)時(shí)目標(biāo)識(shí)別與檢測(cè)系統(tǒng)；被應(yīng)用于在ImageNet數(shù)據(jù)集和CIFAR-10數(shù)據(jù)集下的目標(biāo)分類系統(tǒng)；還被應(yīng)用于基于RNN網(wǎng)絡(luò)的自然語言處理系統(tǒng)。Darknet正在被越來越多的用戶所熟知和使用。

2.2深度學(xué)習(xí)平臺(tái)對(duì)比

表2-1