第5章題目及答案選擇題一個(gè)神經(jīng)元可以接受（A）組張量作為輸入A、一B、二C、三D、四加權(quán)求和時(shí)有時(shí)候會(huì)加上一項(xiàng)常數(shù)b作為偏置；其中，張量b的形狀要與Wx的形狀保持（C）A、線性關(guān)系B、映射關(guān)系C、一致D、對(duì)稱神經(jīng)網(wǎng)絡(luò)包括輸入層、（D）、隱藏層、訓(xùn)練、監(jiān)督訓(xùn)練、非監(jiān)督訓(xùn)練。A、節(jié)點(diǎn)層B、映射層C、第零層D、輸出層異或函數(shù)需要（B）個(gè)超平面才能進(jìn)行劃分。A、一B、二C、三D、四BP算法的核心思路是將誤差由輸出層向（C）后向傳播，利用后一層的誤差來(lái)估計(jì)前一層的誤差。A、縱向?qū)覤、輸入層C、前層D、淺層判斷題人類大腦是一個(gè)非常復(fù)雜的系統(tǒng)，擁有者大規(guī)模并行式、分布式的表示與計(jì)算能力、學(xué)習(xí)寫(xiě)能力、抽象能力和適應(yīng)能力?！蘎eLU會(huì)出現(xiàn)梯度消失的問(wèn)題?！罵eLU具有引導(dǎo)適度稀疏的能力?！虇螌痈兄骺梢詳M合一個(gè)花草平面y=ax1+bx2，這適合于線性可分問(wèn)題?！藾ropout是一種正則化技術(shù)，通過(guò)方式特征的協(xié)同適應(yīng)，可用于減少神經(jīng)網(wǎng)絡(luò)中的過(guò)擬合。Dropout的效果非常好，實(shí)現(xiàn)簡(jiǎn)單，但會(huì)降低網(wǎng)絡(luò)速度?！撂羁疹}softmax（）適用于多元分類問(wèn)題，作用是將分別代表n個(gè)類的n個(gè)標(biāo)量歸一化，得到n個(gè)類的概率分布Tanh為logistic（）函數(shù)的變體ReLU，即修正線性單元。根據(jù)公式具備引導(dǎo)適度稀疏的能力，因?yàn)殡S機(jī)初始化的網(wǎng)絡(luò)只有一半處于激活狀態(tài)。感知器是一種監(jiān)督訓(xùn)練的二元分類器為了解決隱藏層的預(yù)期輸出并沒(méi)有在訓(xùn)練樣例中給出，隱藏層節(jié)點(diǎn)的誤差無(wú)法像單層感知器那樣直接計(jì)算得到的問(wèn)題，我們引入了后向傳播算法（BP算法）問(wèn)答題1、請(qǐng)簡(jiǎn)述神經(jīng)網(wǎng)絡(luò)的特點(diǎn)。答案：基于統(tǒng)計(jì)的連接主義的模型從腦神經(jīng)科學(xué)中和獲得啟發(fā)，試圖將認(rèn)知所需的功能屬性結(jié)合到模型中來(lái)，通過(guò)模擬生物神經(jīng)網(wǎng)絡(luò)的信息處理方式來(lái)構(gòu)建具有認(rèn)知功能的模型，其擁有三個(gè)特點(diǎn)：擁有處理信號(hào)的基礎(chǔ)單元處理單元之間以并行方式連接處理單元之間的連接是有權(quán)重的請(qǐng)簡(jiǎn)述Dropout正則化的原理答案：Dropout可以作為訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的一種trick供選擇。在每個(gè)訓(xùn)練批次中，通過(guò)忽略一半的特征檢測(cè)器（讓一半的隱層節(jié)點(diǎn)值為0），可以明顯地減少過(guò)擬合現(xiàn)象。這種方式可以減少特征檢測(cè)器（隱層節(jié)點(diǎn)）間的相互作用，檢測(cè)器相互作用是指某些檢測(cè)器依賴其他檢測(cè)器才能發(fā)揮作用。Dropout說(shuō)的簡(jiǎn)單一點(diǎn)就是：我們?cè)谇跋騻鞑サ臅r(shí)候，讓某個(gè)神經(jīng)元的激活值以一定的概率p停止工作，這樣可以使模型泛化性更強(qiáng)，因?yàn)樗粫?huì)太依賴某些局部的特征請(qǐng)解釋什么是內(nèi)協(xié)變量偏移（InternalCovariateShift，ICS）答案：在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，往往需要標(biāo)準(zhǔn)化輸入數(shù)據(jù)，使得網(wǎng)絡(luò)的訓(xùn)練更加快速而有效，然而SGD等學(xué)習(xí)算法會(huì)在訓(xùn)練中不斷改變網(wǎng)絡(luò)的參數(shù)，隱含層的激活值的分步會(huì)因此發(fā)生變化，這一變化就稱為內(nèi)協(xié)變量偏移請(qǐng)簡(jiǎn)述生物神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)的區(qū)別答案：生物神經(jīng)網(wǎng)絡(luò)：一般指生物的大腦神經(jīng)元，細(xì)胞，觸電等組成的網(wǎng)絡(luò)，用于產(chǎn)生生物的意識(shí)，幫助生物進(jìn)行思考和行動(dòng)。

人工神經(jīng)網(wǎng)絡(luò)（ANNs）也簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)（NNs）或稱作連接模型（ConnectionModel），它是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。TensorFlow中運(yùn)行模型需要通過(guò)會(huì)話實(shí)現(xiàn)，會(huì)話有哪幾種形式？答案：第一種模式：需要明確調(diào)用會(huì)話生成函數(shù)和關(guān)閉會(huì)話函數(shù)

第二種模式：通過(guò)python的上下文管理器來(lái)使用會(huì)話

第三種模式：指定默認(rèn)的會(huì)話

第四種模式：交互式環(huán)境下設(shè)置默認(rèn)會(huì)話五、應(yīng)用題如圖所示，試求偏置為0.5，三個(gè)輸入分別為3，-4,5，權(quán)值分別為0.2,0.5,0.3，激勵(lì)函數(shù)f(·)為sgn函數(shù)時(shí)，神經(jīng)元的輸出。如果限制一個(gè)神經(jīng)網(wǎng)絡(luò)的總神經(jīng)元數(shù)量（不考慮輸入層）為??+1，輸入層大小為??0，輸出層大小為1，隱藏層的層數(shù)為??，每個(gè)隱藏層的神經(jīng)元數(shù)量為??/??，試分析參數(shù)數(shù)量和隱藏層層數(shù)??的關(guān)系。答案∑=0.5+3×0.