《計(jì)算機(jī)應(yīng)用開(kāi)發(fā)》教案授課題目基于CRNN的商品信息圖片文字識(shí)別授課類(lèi)型新授課授課時(shí)長(zhǎng)12節(jié)課教學(xué)內(nèi)容教學(xué)目標(biāo)知識(shí)目標(biāo)了解文字識(shí)別的基本過(guò)程能力目標(biāo)能利用CRNN實(shí)現(xiàn)文字識(shí)別情感目標(biāo)使學(xué)生了解文字識(shí)別的基本過(guò)程、優(yōu)秀模型，樹(shù)立職業(yè)理想。教學(xué)重點(diǎn)（1）文字識(shí)別的基本過(guò)程（2）典型的深度學(xué)習(xí)文字識(shí)別算法——CRNN教學(xué)難點(diǎn)典型的深度學(xué)習(xí)文字識(shí)別算法——CRNN教法學(xué)法講授法、討論法特色學(xué)習(xí)資源分析、技術(shù)手段應(yīng)用說(shuō)明學(xué)習(xí)場(chǎng)所：實(shí)訓(xùn)室教學(xué)資源：PPT教學(xué)設(shè)備：電子白板學(xué)情分析同學(xué)們文字識(shí)別的基本過(guò)程和典型的深度學(xué)習(xí)文字識(shí)別算法——CRNN了解不深入。板書(shū)設(shè)計(jì)（教學(xué)結(jié)構(gòu)圖）基于CRNN的商品信息圖片文字識(shí)別教學(xué)環(huán)節(jié)（時(shí)間分配）教學(xué)內(nèi)容及教師活動(dòng)學(xué)生活動(dòng)設(shè)計(jì)意圖及實(shí)施效果【情境導(dǎo)入】【課堂新授】【項(xiàng)目實(shí)操】【課堂總結(jié)】案例導(dǎo)入當(dāng)前，各類(lèi)網(wǎng)絡(luò)平臺(tái)上不乏靠夸大其詞促銷(xiāo)者。2021年，某公司發(fā)布了“治療癌癥、增強(qiáng)人體抗病免疫功能、調(diào)節(jié)身體健康、提高人體免疫力、抑制腫瘤、抗衰老”等宣傳內(nèi)容，并在宣傳海報(bào)欄中利用國(guó)家機(jī)關(guān)工作人員的名義和形象進(jìn)行宣傳。上述行為違反了《中華人民共和國(guó)廣告法》第九條的規(guī)定，因此有關(guān)部門(mén)作出了行政處罰。雖然已有相關(guān)法律法規(guī)對(duì)廣告進(jìn)行管控，但是網(wǎng)絡(luò)平臺(tái)上依然存在著大量違規(guī)的廣告圖文，但是人工逐張進(jìn)行審核工作量大，效率低。因此智能審核系統(tǒng)應(yīng)運(yùn)而生，其能夠自動(dòng)識(shí)別商品圖片中的文字信息，根據(jù)識(shí)別結(jié)果判斷是否包含敏感詞，從而提示工作人員，及時(shí)采取有效措施，提升圖片審核效率及準(zhǔn)確性，針對(duì)違反廣告法、虛假宣傳、“三無(wú)產(chǎn)品”等行為進(jìn)行專(zhuān)項(xiàng)整治。任務(wù)描述本次任務(wù)要求，從網(wǎng)上爬取照片（如圖12-1），然后使用市面上已有的成熟模型，對(duì)我們爬取到的照片進(jìn)行商品文字識(shí)別操作，并對(duì)識(shí)別到的文字進(jìn)行敏感詞語(yǔ)判斷，最后對(duì)識(shí)別后的照片（如圖12-2）以及存在敏感詞語(yǔ)的圖片進(jìn)行保存。處理前：處理后：三、知識(shí)準(zhǔn)備（1）文字識(shí)別的基本過(guò)程1.文本檢測(cè)定位文本定位是指在圖像中定位文本區(qū)域的操作。作為圖像文本識(shí)別的第一步，文本檢測(cè)與定位的準(zhǔn)確性直接決定了最終的識(shí)別結(jié)果。一般來(lái)說(shuō)，圖像中文本的檢測(cè)和定位方法可以分為如下四類(lèi)：基于邊緣特征的方法，基于紋理特征的方法，基于連通區(qū)域的方法，基于深度模型和機(jī)器學(xué)習(xí)的方法。2.字符切分利用字符切割算法獲得精確的字符區(qū)域，是文本識(shí)別算法在將已定位圖像轉(zhuǎn)換成可由計(jì)算機(jī)處理字符串的前提。近年來(lái)，在針對(duì)文字識(shí)別的研究中，一直統(tǒng)一把文本分割和識(shí)別放在識(shí)別問(wèn)題上進(jìn)行處理。不過(guò)在實(shí)際操作過(guò)程中，字符內(nèi)部的切割也是不容忽視的步驟。如果實(shí)驗(yàn)中發(fā)生字符切割和拼接錯(cuò)誤并且部分字符區(qū)域丟失，例如，如果"8”在切割過(guò)程中丟失一半，大多數(shù)識(shí)別算法都會(huì)將其識(shí)別為“3”。3.字符識(shí)別檢測(cè)到文本、將其定位并分割后就到了識(shí)別階段。一般來(lái)說(shuō)，傳統(tǒng)的字符識(shí)別方法主要包括以下四個(gè)獨(dú)立的環(huán)節(jié)：數(shù)據(jù)預(yù)處理、特征提取、特征降維和分類(lèi)模型設(shè)計(jì)。傳統(tǒng)的研究方法中，提高分類(lèi)系統(tǒng)整體性能的常用手段是對(duì)以上四個(gè)模塊進(jìn)行優(yōu)化，但是由于上述模塊互相獨(dú)立，無(wú)法進(jìn)行優(yōu)勢(shì)互補(bǔ)，而且手工設(shè)計(jì)和提取特征很容易丟失有用的信息。因此，近年來(lái)許多研究者在對(duì)字符圖像進(jìn)行分類(lèi)時(shí)逐漸開(kāi)始采用深度學(xué)習(xí)的方法。（2）典型的深度學(xué)習(xí)文字識(shí)別算法——CRNN主要用于端到端地對(duì)不定長(zhǎng)的文本序列進(jìn)行識(shí)別，不用先對(duì)單個(gè)文字進(jìn)行切割，而是將文本識(shí)別轉(zhuǎn)化為時(shí)序依賴(lài)的序列學(xué)習(xí)問(wèn)題，就是基于圖像的序列識(shí)別。整個(gè)CRNN網(wǎng)絡(luò)結(jié)構(gòu)包含三部分，從下到上依次為：CNN（卷積層），使用深度CNN，對(duì)輸入圖像提取特征，得到特征圖；RNN（循環(huán)層），使用雙向RNN（BLSTM）對(duì)特征序列進(jìn)行預(yù)測(cè)，對(duì)序列中的每個(gè)特征向量進(jìn)行學(xué)習(xí)，并輸出預(yù)測(cè)標(biāo)簽（真實(shí)值）分布；CTCloss（轉(zhuǎn)錄層），使用CTC損失，把從循環(huán)層獲取的一系列標(biāo)簽分布轉(zhuǎn)換成最終的標(biāo)簽序列。數(shù)據(jù)爬蟲(chóng)（1）導(dǎo)入所需的庫(kù)（2）獲取頁(yè)面（3）頁(yè)面解析（4）寫(xiě)入文件或者數(shù)據(jù)庫(kù)（5）爬蟲(chóng)調(diào)度（6）編寫(xiě)主函數(shù)處理數(shù)據(jù)導(dǎo)入庫(kù)數(shù)據(jù)導(dǎo)入與預(yù)處理結(jié)果展示：教師檢查學(xué)生的完成情況三、文字識(shí)別四、敏感詞判斷(1)創(chuàng)建敏感詞列表(2)篩選出存在敏詞語(yǔ)的圖片，并將這些圖片復(fù)制到mg_result文件夾下當(dāng)一條語(yǔ)句存在敏感詞時(shí)，會(huì)對(duì)應(yīng)的輸出存在的敏感詞語(yǔ)，并將這張存在敏感詞的照片復(fù)制到mg_result里。text:銷(xiāo)量遙遙領(lǐng)先confidence:0.9987784028053284text_box_position:[[16,903],[488,900],[488,971],[16,975]]存在敏感詞語(yǔ)：領(lǐng)先進(jìn)入mg_result文件夾里，我們可以查看檢測(cè)到敏感詞的照片,可以看到圖片中確實(shí)存在敏感詞“領(lǐng)先”?！緦W(xué)生談收獲】讓學(xué)生分享在本次課上的所學(xué)所得，【總結(jié)】教師總結(jié)本次課內(nèi)容。學(xué)生回憶并思考學(xué)生聆聽(tīng)并思考學(xué)生思考并聆聽(tīng)學(xué)生按要求導(dǎo)入庫(kù)學(xué)生按要求獲取頁(yè)面學(xué)生按要求解析頁(yè)面寫(xiě)入文件或者數(shù)據(jù)庫(kù)爬蟲(chóng)調(diào)度編寫(xiě)主函數(shù)導(dǎo)入庫(kù)數(shù)據(jù)導(dǎo)入與預(yù)處理學(xué)生將結(jié)果進(jìn)行展示學(xué)生加載模型，實(shí)現(xiàn)文字識(shí)別學(xué)生創(chuàng)建敏感詞列表學(xué)生聆聽(tīng)并思考查看檢測(cè)到敏感詞的照片分享自己在本項(xiàng)目中的收獲聆聽(tīng)并思考激發(fā)學(xué)生興趣，聯(lián)系學(xué)生已有的關(guān)于經(jīng)驗(yàn)，引入新課。使學(xué)生明晰本項(xiàng)目的目標(biāo)文字識(shí)別的過(guò)程較為復(fù)雜，教師用流程圖的形式進(jìn)行梳理，有利于學(xué)生構(gòu)建自己的知識(shí)體系。培養(yǎng)學(xué)生抽象建模能力，深度解讀CRNN，有助于學(xué)生理解為什么項(xiàng)目選用該模型，理解模型的精妙，培養(yǎng)學(xué)生對(duì)科學(xué)的向往之情。教師帶領(lǐng)學(xué)生實(shí)現(xiàn)一個(gè)較為困難的任務(wù)，故先分析流程，明晰步驟。學(xué)生進(jìn)行此類(lèi)項(xiàng)目，較為復(fù)雜，教師下發(fā)操作手冊(cè)不至于使基礎(chǔ)弱的學(xué)生迷失方向教師演示，部分學(xué)生可順利完成，對(duì)基礎(chǔ)薄弱的學(xué)生下發(fā)操作手冊(cè)，確保90%的學(xué)生不掉隊(duì)。教師查看是對(duì)結(jié)果的