第二章深度學(xué)習(xí)框架選擇題（1）以下選項(xiàng)中，（A）不是深度學(xué)習(xí)框架。A.LeNetB.PaddlePaddleC.MXNetD.PyTorch（2）Pytorch框架支持的語(yǔ)言有（D）。A.C++B.PythonC.JavaD.以上都支持3、下列關(guān)于TensorFlow的描述中，不正確的是A：TensorFlow的計(jì)算圖中每個(gè)節(jié)點(diǎn)代表一個(gè)操作，如加法、減法等B：TensorFlow的張量是作為非子葉節(jié)點(diǎn)出現(xiàn)的（注：不能作為非子葉節(jié)點(diǎn)出現(xiàn)）C：基于梯度的機(jī)器學(xué)習(xí)算法會(huì)受益于TensorFlow的自動(dòng)求微分能力D：TensorFlow支持C++和Python程序4、下列關(guān)于Pytorch的描述中，正確的是A：Pytorch可以視作加入了GPU支持的NumpyB：Pytorch采用靜態(tài)的、命令式的編程語(yǔ)言C：Pytorch的網(wǎng)絡(luò)都是有向無(wú)環(huán)圖的集合，可以直接定義D：Pytorch的底層代買(mǎi)高度工業(yè)化，不容易看懂（5）下列深度學(xué)習(xí)框架中，（B）是國(guó)產(chǎn)深度學(xué)習(xí)框架。A.LeNetB.PaddlePaddleC.PyTorchD.Theano填空題（1）PyTorch通過(guò)一種_動(dòng)態(tài)圖__技術(shù)，可以讓用戶(hù)零延遲地任意改變神經(jīng)網(wǎng)絡(luò)的行為。（2）PyTorch的設(shè)計(jì)遵循tensor→variable→nn.Module三個(gè)由低至高的抽象層次，分別代表_多維數(shù)組_，自動(dòng)求導(dǎo)和神經(jīng)網(wǎng)絡(luò)，而且三個(gè)抽象層次之間緊密聯(lián)系，可以同時(shí)進(jìn)行修改和操作。3、在TensorFlow的數(shù)據(jù)流圖中，節(jié)點(diǎn)表示數(shù)學(xué)操作，線(xiàn)表示節(jié)點(diǎn)間相互聯(lián)系的多維數(shù)據(jù)組（張量）。4、計(jì)算圖中，同級(jí)節(jié)點(diǎn)的操作彼此獨(dú)立，可以并行運(yùn)行，TensorFlow使用這一特性允許用戶(hù)更快地執(zhí)行操作。（5）PaddleInference提供原生推理庫(kù)，_PaddleServing_提供方便的服務(wù)端部署，PaddleLite則面向輕量級(jí)部署。判斷題（1）Pytorch的基本工作流程：所有計(jì)算以層的形式表示，網(wǎng)絡(luò)層所做的事情就是輸入數(shù)據(jù)，然后輸出計(jì)算結(jié)果。（×）2、TensorFlow是一個(gè)采用數(shù)據(jù)流圖用于數(shù)據(jù)計(jì)算的開(kāi)源軟件庫(kù)。√3、TensorFlow中的數(shù)據(jù)流圖可以形成環(huán)路。×4、Pytorch通過(guò)反向自動(dòng)求導(dǎo)技術(shù)實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)的零延遲任意改變。√（5）作為靈活性的代價(jià)，PyTorch早期版本速度表現(xiàn)不如TensorFlow。（√）問(wèn)答題（1）PyTorch的基本工作流程是怎樣的？以卷積為例，簡(jiǎn)述這一過(guò)程。PyTorch的基本工作流程是：首先定義一個(gè)模型，然后通過(guò)訓(xùn)練循環(huán)進(jìn)行迭代，每次迭代中，獲取一批數(shù)據(jù)，執(zhí)行前向傳播計(jì)算輸出，計(jì)算損失，執(zhí)行反向傳播更新梯度，最后使用優(yōu)化器更新模型參數(shù)，如此反復(fù)直到模型訓(xùn)練完成。以卷積神經(jīng)網(wǎng)絡(luò)為例，這包括通過(guò)卷積層提取特征，使用激活函數(shù)引入非線(xiàn)性，通過(guò)池化層降低特征維度，最后通過(guò)全連接層進(jìn)行分類(lèi)，整個(gè)過(guò)程是動(dòng)態(tài)的，支持在運(yùn)行時(shí)改變網(wǎng)絡(luò)結(jié)構(gòu)。（2）請(qǐng)簡(jiǎn)述PyTorch的數(shù)據(jù)結(jié)構(gòu)。PyTorch的數(shù)據(jù)結(jié)構(gòu)主要包括Tensor，它是多維數(shù)組的基礎(chǔ)數(shù)據(jù)類(lèi)型，用于存儲(chǔ)數(shù)值數(shù)據(jù)；Variable，它是Tensor的擴(kuò)展，用于自動(dòng)微分，已在較新版本的PyTorch中被Tensor替代；以及nn.Module，它是構(gòu)建神經(jīng)網(wǎng)絡(luò)的基類(lèi)，包含網(wǎng)絡(luò)層、損失函數(shù)等組件，支持模型定義和參數(shù)管理。TensorFlow的核心組件包括哪些部分？它們各自負(fù)責(zé)什么工作？分布式TensorFlow的核心組件包括：分發(fā)中心、執(zhí)行器、內(nèi)核應(yīng)用和最底端的設(shè)備層/網(wǎng)絡(luò)層。分發(fā)中心從輸入的數(shù)據(jù)流圖中剪取子圖，將其劃分為操作片段并啟動(dòng)執(zhí)行器。分發(fā)中心處理數(shù)據(jù)流圖時(shí)會(huì)進(jìn)行預(yù)設(shè)定的操作優(yōu)化，包括公共子表達(dá)式消去、常量折疊等

。執(zhí)行器負(fù)責(zé)圖操作在進(jìn)程和設(shè)備中的運(yùn)行、收發(fā)其它執(zhí)行器的結(jié)果。分布式TensorFlow擁有參數(shù)器以匯總和更新其它執(zhí)行器返回的模型參數(shù)。執(zhí)行器在調(diào)度本地設(shè)備時(shí)會(huì)選擇進(jìn)行并行計(jì)算和GPU加速

。內(nèi)核應(yīng)用負(fù)責(zé)單一的圖操作，包括數(shù)學(xué)計(jì)算、數(shù)組操作、控制流和狀態(tài)管理操作。內(nèi)核應(yīng)用使用Eigen執(zhí)行張量的并行計(jì)算、cuDNN庫(kù)等執(zhí)行GPU加速、gemmlowp執(zhí)行低數(shù)值精度計(jì)算，此外用戶(hù)可以在內(nèi)核應(yīng)用中注冊(cè)注冊(cè)額外的內(nèi)核以提升基礎(chǔ)操作，例如激勵(lì)函數(shù)和其梯度計(jì)算的運(yùn)行效率

。單進(jìn)程版本的TensorFlow沒(méi)有分發(fā)中心和執(zhí)行器，而是使用特殊的會(huì)話(huà)應(yīng)用聯(lián)系本地設(shè)備。TensorFlow的C語(yǔ)言API是核心組件和用戶(hù)代碼的分界，其它組件/API均通過(guò)C語(yǔ)言API與核心組件進(jìn)行交互。4、如何理解TensorFlow中的流？TensorFlow中的流是指一個(gè)計(jì)算圖或簡(jiǎn)單的一個(gè)圖，圖不能形成環(huán)路，圖中的每一個(gè)節(jié)點(diǎn)代表一個(gè)操作，如加法、減法等。每個(gè)操作都會(huì)導(dǎo)致新的向量生成。流中的計(jì)算圖有如下屬性：

（1）葉子起點(diǎn)或起始節(jié)點(diǎn)始終是張量，這表明操作永遠(yuǎn)不會(huì)出現(xiàn)在圖的開(kāi)頭，圖中的每一個(gè)操作都應(yīng)該接受一個(gè)張量并產(chǎn)生一個(gè)新的張量張量不能作為非葉子節(jié)點(diǎn)出現(xiàn)，這意味著它們應(yīng)始終作為輸入提供給操作/節(jié)點(diǎn)。計(jì)算圖總是以層次順序表達(dá)復(fù)雜的操作：反向遍歷時(shí)，圖形形成子表達(dá)式，這些子表達(dá)式組合形成最終表達(dá)式；正向遍歷時(shí)，遇到的定點(diǎn)總是成為下一個(gè)定點(diǎn)的依賴(lài)關(guān)系。圖中的同級(jí)節(jié)點(diǎn)操作彼此獨(dú)立，使得圖具有并行執(zhí)行性。（5）PyTorch、TensorFlow、PaddlePaddle三種深度學(xué)習(xí)框架，各自有什么優(yōu)劣？PyTorch：優(yōu)點(diǎn)是動(dòng)態(tài)圖易于