趣味文本——人工智能對(duì)對(duì)聯(lián)一、任務(wù)目標(biāo)知識(shí)目標(biāo)1、了解循環(huán)神經(jīng)網(wǎng)絡(luò)技能目標(biāo)1、具有調(diào)用模型的能力2、具有文本處理的能力3、具有構(gòu)建模型的能力素質(zhì)目標(biāo)1、具有良好的職業(yè)道德2、具有持續(xù)學(xué)習(xí)和追求創(chuàng)新的能力3、了解中國(guó)傳統(tǒng)文化二、任務(wù)指南步驟1：解壓對(duì)聯(lián)數(shù)據(jù)集點(diǎn)擊右側(cè)黃色文件夾圖標(biāo)，進(jìn)入“data-sets”文件夾，壓縮包“data_couplet.zip”中包含了我們收集的對(duì)聯(lián)數(shù)據(jù)，上聯(lián)和下聯(lián)分別以文本形式儲(chǔ)存與、于兩個(gè)文本文檔中，其中每一行文字代表一條對(duì)聯(lián)的上、下聯(lián)。共計(jì)70余萬(wàn)條。??下面用unzip命令將壓縮包解壓到當(dāng)前目錄下。解壓完成后，再次點(diǎn)擊文件夾圖標(biāo)即可看到兩個(gè)文本文件。步驟2：導(dǎo)入相關(guān)包步驟3：文本對(duì)聯(lián)數(shù)據(jù)集預(yù)處理1、將上下聯(lián)分別按字分隔開(kāi)為了后續(xù)的模型訓(xùn)練，我們需要對(duì)原始文本進(jìn)行預(yù)處理。下面我們打開(kāi)兩個(gè)文件逐行將文字以空格隔開(kāi)，便于后續(xù)模型的學(xué)習(xí)和預(yù)測(cè)。樣本示例處理前：欲捧行云空有憾處理后：欲捧行云空有憾2、劃分出訓(xùn)練集和測(cè)試集在后續(xù)模型訓(xùn)練過(guò)程中，我們使用數(shù)據(jù)集的一部分作為訓(xùn)練集，一部分作為測(cè)試集。這里調(diào)用sklearn中的train_test_split來(lái)分隔數(shù)據(jù)集，其中考慮到數(shù)據(jù)總量達(dá)到70多萬(wàn)，參數(shù)test_size設(shè)置為0.01，這樣測(cè)試集的大小為7000余條。將得到的訓(xùn)練集的上聯(lián)x_train、下聯(lián)y_train，測(cè)試集的上聯(lián)x_test、下聯(lián)y_test分別保存起來(lái)。其中將訓(xùn)練集保存到train文件夾下，測(cè)試集保存到test文件夾下。3、訓(xùn)練數(shù)據(jù)以字典形式存儲(chǔ)，字典中的key代表對(duì)聯(lián)的長(zhǎng)度（包含的字?jǐn)?shù)），字典中的value整體是個(gè)列表，列表中包含兩個(gè)元素，一個(gè)是輸入上聯(lián)，另一個(gè)是輸出下聯(lián)，且上聯(lián)和下聯(lián)分別用id（某個(gè)字在所以數(shù)據(jù)集構(gòu)成的字典中的序號(hào)）表示。數(shù)據(jù)樣例：步驟4：構(gòu)建并訓(xùn)練對(duì)對(duì)聯(lián)模型調(diào)用train_model函數(shù)開(kāi)始訓(xùn)練，其中最后一個(gè)參數(shù)表示epochs（訓(xùn)練輪數(shù)，可以自行修改）。訓(xùn)練完成后，最優(yōu)模型將會(huì)保存在當(dāng)前目錄下。步驟5：輸入任意上聯(lián)自動(dòng)對(duì)下聯(lián)任務(wù)小結(jié)本任務(wù)以人工智能對(duì)對(duì)聯(lián)為例講解了自然語(yǔ)言處理技術(shù)的有趣應(yīng)用，并完整呈現(xiàn)了文本數(shù)據(jù)的處理、模型的構(gòu)建與訓(xùn)練、使用模型進(jìn)行文本生成的全部流程。由于本任務(wù)以體驗(yàn)為主，對(duì)代碼做了一定程度的封裝，關(guān)于模型內(nèi)部結(jié)構(gòu)的搭建，沒(méi)有做具體展示，有興趣的話可以參考train_couplet.py中的build_model函數(shù)。實(shí)訓(xùn)內(nèi)容1、讀取對(duì)聯(lián)文本數(shù)據(jù)集，并做預(yù)處理