中文詞頻統(tǒng)計(jì)分析與展示

——“智”讀黨的二十大報(bào)告學(xué)習(xí)目標(biāo)掌握熟悉掌握掌握掌握中文文件的讀取方式12掌握字典的基本操作掌握字典的排序操作34熟悉Python第三方庫(kù)的調(diào)用課程導(dǎo)入010203相關(guān)知識(shí)點(diǎn)回顧《二十大報(bào)告》詞頻統(tǒng)計(jì)與展示CONTENTS中文詞頻統(tǒng)計(jì)分析與展示1課程導(dǎo)入同志們：

現(xiàn)在，我代表第十九屆中央委員會(huì)向大會(huì)作報(bào)告。

中國(guó)共產(chǎn)黨第二十次全國(guó)代表大會(huì)，是在全黨全國(guó)各族人民邁上全面建設(shè)社會(huì)主義現(xiàn)代化國(guó)家新征程、向第二個(gè)百年奮斗目標(biāo)進(jìn)軍的關(guān)鍵時(shí)刻召開的一次十分重要的大會(huì)。

大會(huì)的主題是：高舉中國(guó)特色社會(huì)主義偉大旗幟，全面貫徹新時(shí)代中國(guó)特色社會(huì)主義思想，弘揚(yáng)偉大建黨精神，自信自強(qiáng)、守正創(chuàng)新，踔厲奮發(fā)、勇毅前行，為全面建設(shè)社會(huì)主義現(xiàn)代化國(guó)家、全面推進(jìn)中華民族偉大復(fù)興而團(tuán)結(jié)奮斗。

中國(guó)共產(chǎn)黨已走過(guò)百年奮斗歷程。我們黨立志于中華民族千秋偉業(yè)，致力于人類和平與發(fā)展崇高事業(yè)，責(zé)任無(wú)比重大，使命無(wú)上光榮。全黨同志務(wù)必不忘初心、牢記使命，務(wù)必謙虛謹(jǐn)慎、艱苦奮斗，務(wù)必敢于斗爭(zhēng)、善于斗爭(zhēng)，堅(jiān)定歷史自信，增強(qiáng)歷史主動(dòng)，譜寫新時(shí)代中國(guó)特色社會(huì)主義更加絢麗的華章。

一、過(guò)去五年的工作和新時(shí)代十年的偉大變革

十九大以來(lái)的五年，是極不尋常、極不平凡的五年。黨中央統(tǒng)籌中華民族偉大復(fù)興戰(zhàn)略全局和世界百年未有之大變局，召開七次全會(huì)，分別就憲法修改，深化黨和國(guó)家機(jī)構(gòu)改革，堅(jiān)持和完善中國(guó)特色社會(huì)主義制度、推進(jìn)國(guó)家治理體系和治理能力現(xiàn)代化，制定“十四五”規(guī)劃和二〇三五年遠(yuǎn)景目標(biāo)，全面總結(jié)黨的百年奮斗重大成就和歷史經(jīng)驗(yàn)等重大問題作出決定和決議，就黨和國(guó)家事業(yè)發(fā)展作出重大戰(zhàn)略部署，團(tuán)結(jié)帶領(lǐng)全黨全軍全國(guó)各族人民有效應(yīng)對(duì)嚴(yán)峻復(fù)雜的國(guó)際形勢(shì)和接踵而至的巨大風(fēng)險(xiǎn)挑戰(zhàn)，以?shī)^發(fā)有為的精神把新時(shí)代中國(guó)特色社會(huì)主義不斷推向前進(jìn)。

五年來(lái)，我們堅(jiān)持加強(qiáng)黨的全面領(lǐng)導(dǎo)和黨中央集中統(tǒng)一領(lǐng)導(dǎo)，全力推進(jìn)全面建成小康社會(huì)進(jìn)程，完整、準(zhǔn)確、全面貫徹新發(fā)展理念，著力推動(dòng)高質(zhì)量發(fā)展，主動(dòng)構(gòu)建新發(fā)展格局，蹄疾步穩(wěn)推進(jìn)改革，扎實(shí)推進(jìn)全過(guò)程人民民主，全面推進(jìn)依法治國(guó)，積極發(fā)展社會(huì)主義先進(jìn)文化，突出保障和改善民生，集中力量實(shí)施脫貧攻堅(jiān)戰(zhàn)，大力推進(jìn)生態(tài)文明建設(shè)，堅(jiān)決維護(hù)國(guó)家安全，防范化解重大風(fēng)險(xiǎn)，保持社會(huì)大局穩(wěn)定，大力度推進(jìn)國(guó)防和軍隊(duì)現(xiàn)代化建設(shè)，全方位開展中國(guó)特色大國(guó)外交，全面推進(jìn)黨的建設(shè)新的偉大工程。我們隆重慶祝中國(guó)共產(chǎn)黨成立一百周年、中華人民共和國(guó)成立七十周年，制定第三個(gè)歷史決議，在全黨開展黨史學(xué)習(xí)教育，建成中國(guó)共產(chǎn)黨歷史展覽館，號(hào)召全黨學(xué)習(xí)和踐行偉大建黨精神，在新的征程上更加堅(jiān)定、更加自覺地牢記初心使命、開創(chuàng)美好未來(lái)。特別是面對(duì)突如其來(lái)的新冠肺炎疫情，我們堅(jiān)持人民至上、生命至上，堅(jiān)持外防輸入、內(nèi)防反彈，堅(jiān)持動(dòng)態(tài)清零不動(dòng)搖，開展抗擊疫情人民戰(zhàn)爭(zhēng)、總體戰(zhàn)、阻擊戰(zhàn)，最大限度保護(hù)了人民生命安全和身體健康，統(tǒng)籌疫情防控和經(jīng)濟(jì)社會(huì)發(fā)展取得重大積極成果。面對(duì)香港局勢(shì)動(dòng)蕩變化，我們依照憲法和基本法有效實(shí)施對(duì)特別行政區(qū)的全面管治權(quán)，制定實(shí)施香港特別行政區(qū)維護(hù)國(guó)家安全法，落實(shí)“愛國(guó)者治港”原則，香港局勢(shì)實(shí)現(xiàn)由亂到治的重大轉(zhuǎn)折，深入推進(jìn)粵港澳大灣區(qū)建設(shè)，支持香港、澳門發(fā)展經(jīng)濟(jì)、改善民生、保持穩(wěn)定。面對(duì)“臺(tái)獨(dú)”勢(shì)力分裂活動(dòng)和外部勢(shì)力干涉臺(tái)灣事務(wù)的嚴(yán)重挑釁，我們堅(jiān)決開展反分裂、反干涉重大斗爭(zhēng)，展示了我們維護(hù)國(guó)家主權(quán)和領(lǐng)土完整、反對(duì)“臺(tái)獨(dú)”的堅(jiān)強(qiáng)決心和強(qiáng)大能力，進(jìn)一步掌握了實(shí)現(xiàn)祖國(guó)完全統(tǒng)一的戰(zhàn)略主動(dòng)，進(jìn)一步鞏固了國(guó)際社會(huì)堅(jiān)持一個(gè)中國(guó)的格局。面對(duì)國(guó)際局勢(shì)急劇變化，特別是面對(duì)外部訛詐、遏制、封鎖、極限施壓，我們堅(jiān)持國(guó)家利益為重、國(guó)內(nèi)政治優(yōu)先，保持戰(zhàn)略定力，發(fā)揚(yáng)斗爭(zhēng)精神，展示不畏強(qiáng)權(quán)的堅(jiān)定意志，在斗爭(zhēng)中維護(hù)國(guó)家尊嚴(yán)和核心利益，牢牢掌握了我國(guó)發(fā)展和安全主動(dòng)權(quán)。五年來(lái)，我們黨團(tuán)結(jié)帶領(lǐng)人民，攻克了許多長(zhǎng)期沒有解決的難題，辦成了許多事關(guān)長(zhǎng)遠(yuǎn)的大事要事，推動(dòng)黨和國(guó)家事業(yè)取得舉世矚目的重大成就。

同志們！十八大召開至今已經(jīng)十年了。十年來(lái)，我們經(jīng)歷了對(duì)黨和人民事業(yè)具有重大現(xiàn)實(shí)意義和深遠(yuǎn)歷史意義的三件大事：一是迎來(lái)中國(guó)共產(chǎn)黨成立一百周年，二是中國(guó)特色社會(huì)主義進(jìn)入新時(shí)代，三是完成脫貧攻堅(jiān)、全面建成小康社會(huì)的歷史任務(wù)，實(shí)現(xiàn)第一個(gè)百年奮斗目標(biāo)。這是中國(guó)共產(chǎn)黨和中國(guó)人民團(tuán)結(jié)奮斗贏得的歷史性勝利，是彪炳中華民族發(fā)展史冊(cè)的歷史性勝利，也是對(duì)世界具有深遠(yuǎn)影響的歷史性勝利。

十年前，我們面對(duì)的形勢(shì)是，改革開放和社會(huì)主義現(xiàn)代化建設(shè)取得巨大成就，黨的建設(shè)新的偉大工程取得顯著成效，為我們繼續(xù)前進(jìn)奠定了堅(jiān)實(shí)基礎(chǔ)、創(chuàng)造了良好條件、提供了重要保障，同時(shí)一系列長(zhǎng)期積累及新出現(xiàn)的突出矛盾和問題亟待解決。黨內(nèi)存在不少對(duì)堅(jiān)持黨的領(lǐng)導(dǎo)認(rèn)識(shí)模糊、行動(dòng)乏力問題，存在不少落實(shí)黨的領(lǐng)導(dǎo)弱化、虛化、淡化問題，有些黨員、干部政治信仰發(fā)生動(dòng)搖，一些地方和部門形式主義、官僚主義、享樂主義和奢靡之風(fēng)屢禁不止，特權(quán)思想和特權(quán)現(xiàn)象較為嚴(yán)重，一些貪腐問題觸目驚心；經(jīng)濟(jì)結(jié)構(gòu)性體制性矛盾突出，發(fā)展不平衡、不協(xié)調(diào)、不可持續(xù)，傳統(tǒng)發(fā)展模式難以為繼，一些深層次體制機(jī)制問題和利益固化藩籬日益顯現(xiàn)；一些人對(duì)中國(guó)特色社會(huì)主義政治制度自信不足，有法不依、執(zhí)法不嚴(yán)等問題嚴(yán)重存在；拜金主義、享樂主義、極端個(gè)人主義和歷史虛無(wú)主義等錯(cuò)誤思潮不時(shí)出現(xiàn)，網(wǎng)絡(luò)輿論亂象叢生，嚴(yán)重影響人們思想和社會(huì)輿論環(huán)境；民生保障存在不少薄弱環(huán)節(jié)；資源環(huán)境約束趨緊、環(huán)境污染等問題突出；維護(hù)國(guó)家安全制度不完善、應(yīng)對(duì)各種重大風(fēng)險(xiǎn)能力不強(qiáng)，國(guó)防和軍隊(duì)現(xiàn)代化存在不少短板弱項(xiàng)；香港、澳門落實(shí)“一國(guó)兩制”的體制機(jī)制不健全；國(guó)家安全受到嚴(yán)峻挑戰(zhàn)，等等。當(dāng)時(shí)，黨內(nèi)和社會(huì)上不少人對(duì)黨和國(guó)家前途憂心忡忡。面對(duì)這些影響黨長(zhǎng)期執(zhí)政、國(guó)家長(zhǎng)治久安、人民幸福安康的突出矛盾和問題，黨中央審時(shí)度勢(shì)、果敢抉擇，銳意進(jìn)取、攻堅(jiān)克難，團(tuán)結(jié)帶領(lǐng)全黨全軍全國(guó)各族人民擼起袖子加油干、風(fēng)雨無(wú)阻向前行，義無(wú)反顧進(jìn)行具有許多新的歷史特點(diǎn)的偉大斗爭(zhēng)。1課程導(dǎo)入中文分詞詞頻統(tǒng)計(jì)快速解讀二十大的精神課程導(dǎo)入010203相關(guān)知識(shí)點(diǎn)回顧《二十大報(bào)告》詞頻統(tǒng)計(jì)與展示CONTENTS中文詞頻統(tǒng)計(jì)分析與展示2相關(guān)知識(shí)點(diǎn)回顧字典的基本操作習(xí)題：有字典d1={'c':6,'f':78,'a':1,'b':2}，完成以下操作：對(duì)任意輸入的一個(gè)key，如果在字典中已經(jīng)存在，則將它對(duì)應(yīng)的值加1，否則，新建一個(gè)鍵值對(duì)，將值賦值為1key=input("請(qǐng)輸入一個(gè)鍵值")ifkeyind1.keys():d1[key]+=1else:d1[key]=1{'c':d1='f':78,'a':1,'b':26,}7,,'h':1請(qǐng)輸入一個(gè)鍵值>?

c

h

CONTENTS課程導(dǎo)入010203相關(guān)知識(shí)點(diǎn)回顧《二十大報(bào)告》詞頻統(tǒng)計(jì)與展示中文詞頻統(tǒng)計(jì)分析與展示3實(shí)例分析：《二十大報(bào)告》詞頻統(tǒng)計(jì)與展示3.1程序流程的梳理文件讀取文件預(yù)處理分詞詞頻統(tǒng)計(jì)詞云展示教學(xué)重點(diǎn)教學(xué)重點(diǎn)教學(xué)難點(diǎn)3實(shí)例分析：《二十大報(bào)告》詞頻統(tǒng)計(jì)與展示f=open('文件名.txt','r’)

string_data=f.read()f.close()文件讀取文件預(yù)處理分詞詞頻統(tǒng)計(jì)詞云展示讀取文件為什么報(bào)錯(cuò)了？思考#打開文件#讀取文件#關(guān)閉文件去除標(biāo)點(diǎn)符號(hào)：pattern=pile('[。，：？“”、—\n（）]')txt=re.sub(pattern,'',string_data)3實(shí)例分析：《二十大報(bào)告》詞頻統(tǒng)計(jì)與展示文件讀取文件預(yù)處理分詞詞頻統(tǒng)計(jì)詞云展示txt=re.sub('[。，：？“”、—\n（）]','',string_data)3實(shí)例分析：《二十大報(bào)告》詞頻統(tǒng)計(jì)與展示使用jieba庫(kù)進(jìn)行精準(zhǔn)分詞：importjiebaseg_list_exact=jieba.cut(txt)object_list=[]

forwordinseg_list_exact:object_list.append(word)文件讀取文件預(yù)處理分詞詞頻統(tǒng)計(jì)詞云展示#結(jié)巴分詞#創(chuàng)建空列表，存放分詞3實(shí)例分析：《二十大報(bào)告》詞頻統(tǒng)計(jì)與展示word_counts={}

forwordinobject_list:ifwordnotinword_counts.keys():word_counts[word]=1else:word_counts[word]+=1文件讀取文件預(yù)處理分詞詞頻統(tǒng)計(jì)詞云展示#用字典存放詞頻信息3實(shí)例分析：《二十大報(bào)告》詞頻統(tǒng)計(jì)與展示res=sorted(word_counts.items(),key=lambda

x:x[1],reverse=True)print(res)我們的詞頻分析效果你滿意了嗎？思考應(yīng)該把不重要的一些文字剔除！文件讀取文件預(yù)處理分詞詞頻統(tǒng)計(jì)詞云展示3實(shí)例分析：《二十大報(bào)告》詞頻統(tǒng)計(jì)與展示wc.generate_from_frequencies(word_counts)image_colors=wordcloud.ImageColorGenerator(mask)wc.recolor(color_func=image_colors)plt.imshow(wc)plt.show()文件讀取文件預(yù)處理分詞詞頻統(tǒng)計(jì)詞云展示#從字典生成詞云#從背景圖建立顏色方案#將詞云顏色設(shè)置為背景圖方案#顯示詞云#顯示圖像本講通過(guò)一個(gè)詞頻統(tǒng)計(jì)分析的案例，給同學(xué)們主要介紹了中文文件的讀取方式，重點(diǎn)講解了字典的排序，如果使用結(jié)巴庫(kù)進(jìn)行中文分詞，如何使用字典結(jié)構(gòu)和詞頻統(tǒng)計(jì)庫(kù)進(jìn)行詞