AI+Python數(shù)據(jù)采集與清洗CONTENTS目錄01

課程學(xué)習(xí)目標(biāo)02

數(shù)據(jù)采集概述03

通過數(shù)據(jù)接口采集數(shù)據(jù)04

通過網(wǎng)絡(luò)爬蟲采集數(shù)據(jù)05

數(shù)據(jù)清洗概述CONTENTS目錄06

缺失值處理07

重復(fù)值處理08

異常值處理09

AI+Python財(cái)務(wù)應(yīng)用拓展課程學(xué)習(xí)目標(biāo)01知識(shí)目標(biāo)數(shù)據(jù)接口獲取數(shù)據(jù)方法

掌握利用數(shù)據(jù)接口獲取數(shù)據(jù)的操作方法，包括了解接口規(guī)則、使用示范代碼及通過循環(huán)獲取不同維度數(shù)據(jù)，如證券寶query_growth_data()接口獲取上市公司季頻成長(zhǎng)能力數(shù)據(jù)。網(wǎng)絡(luò)爬蟲概念與操作

了解網(wǎng)絡(luò)爬蟲概念，即按規(guī)則自動(dòng)抓取網(wǎng)絡(luò)數(shù)據(jù)的程序或腳本，掌握其爬取數(shù)據(jù)的操作方法，包括基本原理、工作流程及靜態(tài)頁(yè)面爬取，如利用pd.read_html()函數(shù)爬取IMF數(shù)據(jù)。AI+Python業(yè)務(wù)邏輯理解

理解AI+Python進(jìn)行數(shù)據(jù)采集和清洗的業(yè)務(wù)邏輯，包括人機(jī)協(xié)同開發(fā)模式（AI生成代碼模板、可視化工具檢查結(jié)果），以及數(shù)據(jù)采集質(zhì)量要求（真實(shí)性、準(zhǔn)確性等）和合規(guī)要點(diǎn)。能力目標(biāo)

外部數(shù)據(jù)采集能力能夠根據(jù)業(yè)務(wù)需求，通過“AI助手+Python編程”模式，利用數(shù)據(jù)接口（如證券寶、AKShare）、網(wǎng)絡(luò)爬蟲等實(shí)現(xiàn)完整的外部數(shù)據(jù)采集，例如分步驟采集農(nóng)業(yè)企業(yè)或深圳證券交易所數(shù)據(jù)并以DataFrame格式輸出。

數(shù)據(jù)清洗加工能力能夠根據(jù)業(yè)務(wù)需求，通過“AI助手+Python編程”模式，對(duì)缺失值（刪除或填充）、重復(fù)值（檢測(cè)與刪除）、異常值（箱線圖法等識(shí)別與處理）進(jìn)行清洗和初步加工，提升數(shù)據(jù)質(zhì)量。素養(yǎng)目標(biāo)數(shù)字素養(yǎng)與隱私保護(hù)提升數(shù)字素養(yǎng)，注重在數(shù)據(jù)采集與處理過程中保護(hù)數(shù)據(jù)隱私，嚴(yán)格遵守《中華人民共和國(guó)數(shù)據(jù)安全法》等法律法規(guī)，尊重知識(shí)產(chǎn)權(quán)，避免侵犯他人合法權(quán)益，培養(yǎng)社會(huì)公德和職業(yè)道德。創(chuàng)新與批判性思維通過修改和迭代數(shù)據(jù)采集與清洗程序，培養(yǎng)創(chuàng)新思維和批判性思維，能夠?qū)I生成的代碼及清洗結(jié)果進(jìn)行合理性檢查，應(yīng)對(duì)AI幻覺等問題。合規(guī)審查與算法偏見防范建立AI數(shù)據(jù)采集的合規(guī)審查意識(shí)，規(guī)范數(shù)據(jù)處理活動(dòng)，履行數(shù)據(jù)安全保護(hù)義務(wù)，同時(shí)防范算法偏見導(dǎo)致的數(shù)據(jù)失真，確保數(shù)據(jù)應(yīng)用的公正性和可靠性。人機(jī)協(xié)同辯證思維培養(yǎng)人機(jī)協(xié)同的辯證思維，平衡自動(dòng)化采集與人工驗(yàn)證的關(guān)系，認(rèn)識(shí)到AI技術(shù)提升效率的同時(shí)，需結(jié)合人工判斷保障數(shù)據(jù)質(zhì)量與合規(guī)性，承擔(dān)社會(huì)責(zé)任。數(shù)據(jù)采集概述02數(shù)據(jù)采集的重要性數(shù)據(jù)生命周期的起點(diǎn)數(shù)據(jù)采集是數(shù)據(jù)生命周期的首要環(huán)節(jié)，為后續(xù)的數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等提供基礎(chǔ)數(shù)據(jù)支撐，直接影響數(shù)據(jù)應(yīng)用的質(zhì)量和效果。驅(qū)動(dòng)多領(lǐng)域決策與發(fā)展在商業(yè)決策中，高質(zhì)量數(shù)據(jù)助力企業(yè)精準(zhǔn)把握市場(chǎng)動(dòng)態(tài)；科學(xué)研究依賴數(shù)據(jù)推動(dòng)創(chuàng)新發(fā)現(xiàn)；社會(huì)治理通過數(shù)據(jù)提升管理效率，數(shù)字經(jīng)濟(jì)時(shí)代對(duì)數(shù)據(jù)采集的需求日益迫切。數(shù)據(jù)質(zhì)量的關(guān)鍵保障采集過程需關(guān)注數(shù)據(jù)的真實(shí)性、準(zhǔn)確性、完整性和時(shí)效性，同時(shí)嚴(yán)格遵守法律法規(guī)，尊重知識(shí)產(chǎn)權(quán)，避免侵犯他人合法權(quán)益，確保數(shù)據(jù)合規(guī)可用。數(shù)據(jù)采集的途徑

數(shù)據(jù)庫(kù)通過數(shù)據(jù)庫(kù)獲取數(shù)據(jù)需具備訪問權(quán)限，基于數(shù)據(jù)安全考量，一般人員較難獲取權(quán)限，受限較多。

數(shù)據(jù)接口數(shù)據(jù)接口提供規(guī)范、完整的數(shù)據(jù)，能減少后期處理工作。如證券寶提供季頻盈利能力、營(yíng)運(yùn)能力等多種接口，可通過調(diào)整參數(shù)獲取不同上市公司不同時(shí)期數(shù)據(jù)。

網(wǎng)絡(luò)爬蟲當(dāng)無(wú)數(shù)據(jù)庫(kù)訪問權(quán)限和合適第三方接口時(shí)，網(wǎng)絡(luò)爬蟲是可行方式。它按規(guī)則自動(dòng)抓取網(wǎng)頁(yè)內(nèi)容，如投資者爬取財(cái)經(jīng)網(wǎng)站數(shù)據(jù)用于分析，高校就業(yè)辦爬取招聘數(shù)據(jù)指導(dǎo)就業(yè)。

本課程重點(diǎn)因數(shù)據(jù)庫(kù)訪問權(quán)限受限，本課程重點(diǎn)講解數(shù)據(jù)接口和網(wǎng)絡(luò)爬蟲兩種數(shù)據(jù)采集方法。通過數(shù)據(jù)接口采集數(shù)據(jù)03數(shù)據(jù)接口規(guī)則了解

證券寶核心數(shù)據(jù)接口功能證券寶提供季頻盈利能力（query_profit_data()）、營(yíng)運(yùn)能力（query_operation_data()）、成長(zhǎng)能力（query_growth_data()）等接口，可查詢企業(yè)財(cái)務(wù)數(shù)據(jù)，如凈資產(chǎn)同比增長(zhǎng)率、凈利潤(rùn)同比增長(zhǎng)率等關(guān)鍵指標(biāo)。

接口說明與示范代碼獲取通過證券寶官網(wǎng)對(duì)應(yīng)接口鏈接（如“季頻成長(zhǎng)能力”），可查看接口參數(shù)描述、算法說明及示范代碼。以query_growth_data()為例，參數(shù)包括股票代碼（code）、統(tǒng)計(jì)年份（year）、季度（quarter）等，算法明確各指標(biāo)計(jì)算公式。示范代碼運(yùn)行與分析代碼結(jié)構(gòu)與登錄系統(tǒng)代碼需先安裝baostock模塊（pipinstallbaostock），通過bs.login()登錄系統(tǒng)，返回error_code和error_msg驗(yàn)證登錄狀態(tài)（示例輸出“l(fā)oginsuccess!”）。數(shù)據(jù)獲取與結(jié)果展示調(diào)用query_growth_data(code='sh.600519',year=2024,quarter=4)獲取貴州茅臺(tái)2024年Q4成長(zhǎng)數(shù)據(jù)，通過循環(huán)append()存儲(chǔ)結(jié)果，用pandas.DataFrame格式化輸出，包含pubDate（發(fā)布日期）、YOYNI（凈利潤(rùn)同比增長(zhǎng)率）等字段。結(jié)果參數(shù)解析輸出結(jié)果中英文索引可，如“YOYEquity”表示凈資產(chǎn)同比增長(zhǎng)率，計(jì)算公式為（本期凈資產(chǎn)-上年同期凈資產(chǎn)）/上年同期凈資產(chǎn)絕對(duì)值×100%。利用循環(huán)獲取多維度數(shù)據(jù)

01可變參數(shù)調(diào)整方法核心參數(shù)包括股票代碼（sh/sz+6位數(shù)字，如sh.601398）、年份（默認(rèn)當(dāng)年）、季度（1-4，默認(rèn)當(dāng)前季度），通過修改參數(shù)可定向采集目標(biāo)數(shù)據(jù)。

02嵌套循環(huán)實(shí)現(xiàn)批量采集使用for循環(huán)嵌套遍歷年份和季度，示例代碼獲取sh.600519在2022-2024年各季度成長(zhǎng)數(shù)據(jù)，通過result_growth輸出多維度時(shí)間序列數(shù)據(jù)，提升采集效率。

03多接口擴(kuò)展應(yīng)用更換接口方法（如query_operation_data()）可采集營(yíng)運(yùn)能力數(shù)據(jù)，保持代碼框架不變，僅需調(diào)整函數(shù)名及對(duì)應(yīng)參數(shù)，實(shí)現(xiàn)財(cái)務(wù)數(shù)據(jù)的全方位獲取。AI工具輔助數(shù)據(jù)接口采集

AI提示詞設(shè)計(jì)要點(diǎn)提示詞需明確數(shù)據(jù)源（如AKShare）、目標(biāo)（農(nóng)業(yè)企業(yè)數(shù)據(jù)采集）、背景（鄉(xiāng)村振興）、輸出格式（DataFrame）及展示要求（代碼注釋+結(jié)果），示例：“利用AKShare接口，分步驟采集北大荒（600598）2025.7.1-9.30日線數(shù)據(jù)，以DataFrame輸出并注釋”。

騰訊云AI代碼助手輸出示例AI生成代碼包含模塊導(dǎo)入（importakshareasak）、數(shù)據(jù)采集（ak.stock_zh_a_hist()）、結(jié)果處理（daily_()），融入鄉(xiāng)村振興背景描述，并輸出數(shù)據(jù)基本信息及DataFrame格式結(jié)果，減少人工編碼工作量。AI工具輔助數(shù)據(jù)接口采集AI提升采集效率的優(yōu)勢(shì)AI可快速生成標(biāo)準(zhǔn)化代碼模板，自動(dòng)處理接口調(diào)用邏輯（如參數(shù)校驗(yàn)、數(shù)據(jù)格式化），用戶僅需微調(diào)參數(shù)即可適配不同場(chǎng)景，實(shí)現(xiàn)“自然語(yǔ)言指令→代碼→數(shù)據(jù)”的高效轉(zhuǎn)化。通過網(wǎng)絡(luò)爬蟲采集數(shù)據(jù)04網(wǎng)絡(luò)爬蟲基本原理與工作流程網(wǎng)絡(luò)爬蟲的定義與本質(zhì)網(wǎng)絡(luò)爬蟲是按照一定規(guī)則自動(dòng)抓取網(wǎng)絡(luò)數(shù)據(jù)的程序或腳本，其本質(zhì)是自動(dòng)化技術(shù)，可根據(jù)指定URL獲取網(wǎng)頁(yè)中的圖像、文字、視頻、音頻等信息，并保存到本地或數(shù)據(jù)庫(kù)?？蛻舳伺c服務(wù)器交互原理客戶端向服務(wù)器發(fā)送訪問請(qǐng)求，服務(wù)器驗(yàn)證請(qǐng)求有效性后發(fā)送響應(yīng)內(nèi)容，客戶端接收并展示內(nèi)容，此為網(wǎng)絡(luò)爬蟲數(shù)據(jù)獲取的底層交互邏輯。網(wǎng)絡(luò)爬蟲的一般工作流程網(wǎng)絡(luò)爬蟲工作流程廣泛應(yīng)用于財(cái)經(jīng)數(shù)據(jù)爬取、招聘信息采集等場(chǎng)景，其流程主要包括發(fā)起請(qǐng)求、接收響應(yīng)、解析內(nèi)容、提取數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)等環(huán)節(jié)。靜態(tài)網(wǎng)頁(yè)數(shù)據(jù)爬取實(shí)例查看數(shù)據(jù)所在網(wǎng)頁(yè)登錄國(guó)際貨幣基金組織官網(wǎng)，進(jìn)入世界經(jīng)濟(jì)數(shù)據(jù)庫(kù)詳情頁(yè)面，確定目標(biāo)數(shù)據(jù)所在位置及網(wǎng)頁(yè)類型。分析網(wǎng)頁(yè)結(jié)構(gòu)與數(shù)據(jù)格式通過瀏覽器右鍵查看網(wǎng)頁(yè)源代碼，判斷該頁(yè)面為靜態(tài)頁(yè)面，數(shù)據(jù)呈表格樣式，適合使用read_html()函數(shù)進(jìn)行爬取。編寫代碼獲取特定數(shù)據(jù)利用pd.read_html()函數(shù)讀取網(wǎng)頁(yè)表格數(shù)據(jù)，通過篩選年份列（如['SubjectDescriptor','2024']），可獲取馬來(lái)西亞2024年國(guó)內(nèi)生產(chǎn)總值、一般政府收入和一般政府總支出等數(shù)據(jù)。多維度數(shù)據(jù)爬取方法

獲取連續(xù)年份數(shù)據(jù)構(gòu)建年份列表（如['SubjectDescriptor']+[str(year)foryearinrange(2020,2025)]），從爬取的表格數(shù)據(jù)中篩選出2020-2024年的連續(xù)數(shù)據(jù)。

獲取不連續(xù)年份數(shù)據(jù)指定所需不連續(xù)年份（如['SubjectDescriptor','2010','2015','2020']），直接從表格數(shù)據(jù)中提取對(duì)應(yīng)年份列，實(shí)現(xiàn)非連續(xù)年份數(shù)據(jù)的精準(zhǔn)獲取。

獲取多個(gè)國(guó)家數(shù)據(jù)修改URL中國(guó)家參數(shù)（如'c=548,112'代表馬來(lái)西亞和英國(guó)），結(jié)合年份篩選（如2020-2024年），可同時(shí)獲取多個(gè)國(guó)家在指定年份的目標(biāo)數(shù)據(jù)。AI工具輔助網(wǎng)絡(luò)爬蟲采集

01AI提示詞設(shè)計(jì)向騰訊云AI代碼助手輸入提示詞：“利用網(wǎng)絡(luò)爬蟲技術(shù)，分步驟完成深圳證券交易所數(shù)據(jù)的采集，以DataFrame格式輸出數(shù)據(jù)采集結(jié)果，并對(duì)代碼注釋和輸出結(jié)果進(jìn)行詳細(xì)展示。”

02AI生成代碼解析AI輸出代碼包含導(dǎo)入requests、pandas等庫(kù)，設(shè)置請(qǐng)求URL、參數(shù)（如日期范圍）及headers，發(fā)送請(qǐng)求、解析JSON數(shù)據(jù)、處理異常等步驟，并對(duì)“今日融資買入額”“今日融券余額”等列進(jìn)行重命名。

03數(shù)據(jù)采集結(jié)果展示運(yùn)行AI生成的代碼，可獲取深圳證券交易所融資融券數(shù)據(jù)，最終以DataFrame格式輸出，包含“今日融資買入額”“今日融資融券余額”等關(guān)鍵指標(biāo)，便于后續(xù)分析使用。數(shù)據(jù)清洗概述05數(shù)據(jù)清洗的意義

原始數(shù)據(jù)常見問題通過網(wǎng)絡(luò)爬蟲等方式采集到的數(shù)據(jù)，常存在缺失值（如NaN表示的不完整屬性值）、重復(fù)值（多由系統(tǒng)錯(cuò)誤或重復(fù)錄入導(dǎo)致）、異常值（偏離數(shù)據(jù)正常范圍的值）等問題，影響數(shù)據(jù)質(zhì)量。

數(shù)據(jù)清洗的核心價(jià)值數(shù)據(jù)清洗是將“臟數(shù)據(jù)”轉(zhuǎn)化為“干凈數(shù)據(jù)”的關(guān)鍵步驟，能有效提升數(shù)據(jù)的真實(shí)性、準(zhǔn)確性、完整性和一致性，為后續(xù)數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等工作提供可靠的數(shù)據(jù)基礎(chǔ)，保證分析結(jié)果的準(zhǔn)確性和可信度。數(shù)據(jù)基本信息了解工具

數(shù)據(jù)預(yù)覽工具：head()與tail()head()函數(shù)可查看數(shù)據(jù)的前幾行（默認(rèn)前5行），tail()函數(shù)可查看數(shù)據(jù)的后幾行（默認(rèn)后5行），幫助快速了解數(shù)據(jù)的整體結(jié)構(gòu)、列名及數(shù)據(jù)格式。

數(shù)據(jù)量統(tǒng)計(jì)工具：count()count()函數(shù)用于統(tǒng)計(jì)每列非缺失值的數(shù)量，通過對(duì)比不同列的count值，可初步判斷數(shù)據(jù)是否存在缺失值，為缺失值處理提供依據(jù)。

數(shù)據(jù)分布描述工具：describe()describe()函數(shù)可生成數(shù)據(jù)的基本統(tǒng)計(jì)量，包括計(jì)數(shù)、均值、標(biāo)準(zhǔn)差、最小值、最大值及四分位數(shù)等，幫助了解數(shù)據(jù)的集中趨勢(shì)、離散程度和分布范圍，為異常值檢測(cè)提供參考。缺失值處理06缺失值查找方法01基礎(chǔ)判斷函數(shù)：isnull()與notnull()isnull()函數(shù)用于檢測(cè)數(shù)據(jù)是否為缺失值（NaN），返回布爾值（True表示缺失）；notnull()函數(shù)則判斷是否為非缺失值（False表示缺失），二者為互補(bǔ)關(guān)系。02統(tǒng)計(jì)每列缺失值數(shù)量通過df.isnull().sum()可快速計(jì)算各列缺失值總數(shù)，直觀呈現(xiàn)數(shù)據(jù)缺失分布。例如某利潤(rùn)表數(shù)據(jù)中，"凈利潤(rùn)"列缺失值數(shù)量為1，其他列無(wú)缺失。03全局缺失值判斷使用df.isnull().any().any()可判斷數(shù)據(jù)集中是否存在缺失值，返回True則表示存在至少一個(gè)缺失值，便于快速篩查數(shù)據(jù)質(zhì)量。04缺失值位置定位通過df.isnull()生成布爾矩陣，True對(duì)應(yīng)位置即為缺失值所在行和列，結(jié)合iloc[]可精確定位具體缺失數(shù)據(jù)，輔助分析缺失原因。缺失值處理方式-刪除

適用場(chǎng)景1：缺失值極少當(dāng)缺失值占比極低（如數(shù)萬(wàn)行數(shù)據(jù)中僅1行缺失），對(duì)整體分析影響可忽略時(shí)，直接刪除所在行。

適用場(chǎng)景2：缺失量過大若某特征列缺失值占比超90%（如"行業(yè)分類"列95%為空），該列已無(wú)分析價(jià)值，可刪除整列以簡(jiǎn)化數(shù)據(jù)集，避免無(wú)效計(jì)算。

適用場(chǎng)景3：無(wú)法填充的缺失值對(duì)于不可隨意推斷的屬性（如人口普查中"性別"列缺失），因填充可能引入偏差，需刪除對(duì)應(yīng)行以保證數(shù)據(jù)真實(shí)性。

刪除操作實(shí)現(xiàn)：dropna()方法默認(rèn)df.dropna(axis=0)刪除含缺失值的行，df.dropna(axis=1)刪除含缺失值的列。例如df_cleaned=df.dropna()可刪除缺失數(shù)據(jù)。缺失值處理方式-填充

手動(dòng)填充：指定值替換根據(jù)業(yè)務(wù)規(guī)則直接填充固定值，如用0填充"補(bǔ)貼收入"列的缺失值（df.fillna(0)），適用于明確缺失原因?yàn)?無(wú)該項(xiàng)數(shù)據(jù)"的場(chǎng)景。

臨近填充：前向與后向填充前向填充（df.fillna(method='ffill')）用相鄰前一個(gè)非缺失值填充，后向填充（df.fillna(method='bfill')）用相鄰后一個(gè)非缺失值填充，適用于時(shí)間序列數(shù)據(jù)（如月度銷售額）的零散缺失。

統(tǒng)計(jì)量填充：均值/中位數(shù)填充對(duì)數(shù)值型數(shù)據(jù)，可用列平均值（df.mean()）或中位數(shù)（df.median()）填充，避免數(shù)據(jù)分布偏移。重復(fù)值處理07重復(fù)值檢測(cè)方法完全重復(fù)行檢測(cè)完全重復(fù)行指所有列數(shù)據(jù)均相同的記錄，可通過df.duplicated()函數(shù)直接檢測(cè)，返回布爾值表示是否重復(fù)，sum()可統(tǒng)計(jì)重復(fù)行數(shù)。指定字段重復(fù)檢測(cè)：以發(fā)票號(hào)為例針對(duì)關(guān)鍵標(biāo)識(shí)字段（如發(fā)票號(hào)），使用df.duplicated(subset=['發(fā)票號(hào)'],keep=False)檢測(cè)重復(fù)，keep=False標(biāo)記所有重復(fù)項(xiàng)。業(yè)務(wù)特征組合重復(fù)檢測(cè)結(jié)合業(yè)務(wù)場(chǎng)景，通過多字段組合（如日期+交易類型+部門）檢測(cè)潛在重復(fù)，使用df.duplicated(subset=['日期','交易類型','部門'],keep=False)實(shí)現(xiàn)。重復(fù)值處理方法刪除完全重復(fù)行使用df.drop_duplicates()直接刪除所有完全重復(fù)的行，默認(rèn)保留第一條記錄，適用于無(wú)業(yè)務(wù)意義的完全重復(fù)數(shù)據(jù)。按關(guān)鍵字段保留指定記錄針對(duì)指定字段（如發(fā)票號(hào)），通過subset參數(shù)控制保留規(guī)則：keep='first'保留第一條記錄，keep='last'保留最后一條。重復(fù)記錄標(biāo)記與人工核驗(yàn)使用df[df.duplicated(subset=['發(fā)票號(hào)'],keep=False)]篩選并標(biāo)記所有重復(fù)記錄，便于人工核查區(qū)分合理重復(fù)（如同業(yè)務(wù)多批次）與錯(cuò)誤重復(fù)，需要業(yè)務(wù)人員進(jìn)一步校驗(yàn)處理。異常值處理08異常值識(shí)別方法

異常值的概念與影響異常值指偏離數(shù)據(jù)正常范圍的值，非錯(cuò)誤值但出現(xiàn)概率低，會(huì)顯著扭曲數(shù)據(jù)分析結(jié)果，尤其對(duì)數(shù)值型數(shù)據(jù)預(yù)測(cè)分析產(chǎn)生誤導(dǎo)。

箱線圖法識(shí)別步驟1.計(jì)算四分位數(shù)：下四分位數(shù)（Q1）、上四分位數(shù)（Q3）；2.計(jì)算四分位距（IQR=Q3-Q1）；3.確定上下界：下界=Q1-1.5*IQR，上界=Q3+1.5*IQR；4.超出上下界的數(shù)據(jù)即為異常值。異常值處理策略

刪除異常值適用于異常值極少（如數(shù)萬(wàn)條中個(gè)別）、缺失量過大無(wú)分析價(jià)值或無(wú)法填充場(chǎng)景（如人口普查性別缺失），使用pandas的dropna()方法刪除所在行或列，需評(píng)估對(duì)數(shù)據(jù)集影響。

填充異常值包括手動(dòng)填充（指定值或0填充）、臨近填充（前向ffill或后向bfill填充零散缺失）、統(tǒng)計(jì)量填充（用平均值等填充數(shù)值型數(shù)據(jù)），需謹(jǐn)慎使用避免影響分析結(jié)果。

處理注意事項(xiàng)處理前需明確分析目標(biāo)和數(shù)據(jù)結(jié)構(gòu)，區(qū)分異常值是人為失誤還是合理存在（如同業(yè)績(jī)記錄），避免誤刪；結(jié)合業(yè)務(wù)需求選擇合適方法，確保數(shù)據(jù)清洗質(zhì)量以保障分析準(zhǔn)確性。AI+Python財(cái)務(wù)應(yīng)用拓展09財(cái)務(wù)數(shù)據(jù)采集與分析案例

案例背景與目標(biāo)上市公司財(cái)務(wù)分析師需通過證券寶數(shù)據(jù)接口獲取季頻盈利能力數(shù)據(jù)，處理缺失值、重復(fù)值和異常值，利用AI模型分析歷史數(shù)據(jù)并預(yù)測(cè)未來(lái)凈利潤(rùn)，為管理層戰(zhàn)略決策提供數(shù)據(jù)支持。

數(shù)據(jù)采集與清洗實(shí)現(xiàn)使用baostock庫(kù)登錄證券寶，調(diào)用query_profit_data()接口采集季頻數(shù)據(jù)；通過前值填充缺失值、刪除重復(fù)值、過濾負(fù)凈利潤(rùn)異常值完成數(shù)據(jù)預(yù)處理，確保數(shù)據(jù)質(zhì)量。

AI模型預(yù)測(cè)與可視化以時(shí)間為自變量、凈利潤(rùn)為因變量，構(gòu)建線性回歸模型，經(jīng)訓(xùn)練后預(yù)測(cè)未來(lái)4個(gè)季度凈利潤(rùn)，MSE評(píng)估模型誤差；繪制歷史與預(yù)測(cè)凈利潤(rùn)趨勢(shì)圖，直觀展示財(cái)務(wù)趨勢(shì)，輔助決策判斷。THEEND謝謝AI+Python第三方模塊數(shù)據(jù)可視化分析CONTENTS目錄01

項(xiàng)目概述與學(xué)習(xí)目標(biāo)02

AI+matplotlib可視化分析03

AI+pyecharts可視化分析04

AI在數(shù)據(jù)可視化中的應(yīng)用實(shí)踐05

總結(jié)與展望項(xiàng)目概述與學(xué)習(xí)目標(biāo)01項(xiàng)目背景

AI在財(cái)務(wù)數(shù)據(jù)可視化中的角色升級(jí)AI技術(shù)正從單純的“繪圖工具”轉(zhuǎn)變?yōu)椤胺治龌锇椤?，在?cái)務(wù)數(shù)據(jù)可視化實(shí)踐中，能自動(dòng)識(shí)別數(shù)據(jù)結(jié)構(gòu)、推薦最優(yōu)圖表類型，如檢測(cè)到多指標(biāo)對(duì)比需求時(shí)建議使用pyecharts繪制并行柱形圖，通過自然語(yǔ)言交互自動(dòng)生成Python代碼，降低編程門檻。

AI+Python第三方模塊的價(jià)值結(jié)合AI與Python第三方模塊（如matplotlib、pyecharts），可實(shí)現(xiàn)數(shù)據(jù)可視化效率和深度的提升，幫助財(cái)務(wù)人員將復(fù)雜財(cái)務(wù)數(shù)據(jù)轉(zhuǎn)化為直觀圖表，為企業(yè)決策提供有力支持，本項(xiàng)目旨在讓讀者掌握相關(guān)實(shí)現(xiàn)邏輯與方法。知識(shí)目標(biāo)matplotlib模塊掌握內(nèi)容掌握利用matplotlib模塊繪制柱形圖、散點(diǎn)圖、折線圖、餅圖等圖形的一般方法及樣式設(shè)置，同時(shí)掌握組合圖的繪制方式，其pyplot子模塊是核心模塊之一，可繪制幾乎所有樣式的2D圖形。pyecharts模塊掌握內(nèi)容掌握利用pyecharts模塊繪制柱形圖、條形圖、折線圖、餅圖等圖形的一般方法及樣式設(shè)置，以及層疊圖、并行圖的繪制方式，該模塊能生成動(dòng)態(tài)交互的可視化效果，支持列表、元組等Python原生數(shù)據(jù)類型。AI輔助圖表優(yōu)化方法理解AI+第三方模塊進(jìn)行數(shù)據(jù)可視化分析的業(yè)務(wù)邏輯，掌握生成式AI輔助圖表樣式優(yōu)化的基礎(chǔ)方法，AI可輔助進(jìn)行數(shù)據(jù)識(shí)別、代碼生成及圖表優(yōu)化建議。能力目標(biāo)解決財(cái)務(wù)數(shù)據(jù)可視化問題的能力

能夠根據(jù)業(yè)務(wù)需求和數(shù)據(jù)結(jié)構(gòu)，運(yùn)用“AI助手+Python編程”模式，解決財(cái)務(wù)數(shù)據(jù)可視化問題，例如處理季度營(yíng)收數(shù)據(jù)、國(guó)民總收入變化等財(cái)務(wù)場(chǎng)景的數(shù)據(jù)展示。優(yōu)化和改進(jìn)可視化圖形的能力

能夠根據(jù)業(yè)務(wù)場(chǎng)景，運(yùn)用“AI助手+Python編程”模式，對(duì)可視化圖形進(jìn)行優(yōu)化和改進(jìn)，如設(shè)置折線圖顏色、柱形圖寬度、餅圖標(biāo)簽格式等，提升圖形實(shí)用性和可讀性。生成方案建議與實(shí)現(xiàn)聯(lián)動(dòng)分析的能力

能夠運(yùn)用AI工具自動(dòng)解析財(cái)務(wù)數(shù)據(jù)特征，生成可視化方案建議；能夠通過對(duì)話式AI快速實(shí)現(xiàn)多維度數(shù)據(jù)鉆取分析的可視化聯(lián)動(dòng)，如將華北區(qū)銷售趨勢(shì)線與競(jìng)品數(shù)據(jù)疊加顯示。素養(yǎng)目標(biāo)

確保數(shù)據(jù)真實(shí)性與評(píng)估結(jié)果局限性遵循科學(xué)原則，確保數(shù)據(jù)的真實(shí)性和準(zhǔn)確性，在使用可視化結(jié)果時(shí)，能夠批判性地對(duì)其進(jìn)行評(píng)估，理解可視化結(jié)果可能存在的局限性。

保證圖形實(shí)用性與可讀性秉承工匠精神，在繪制可視化圖形過程中，注重細(xì)節(jié)設(shè)置，確保圖形具有良好的實(shí)用性和可讀性，以便清晰呈現(xiàn)數(shù)據(jù)內(nèi)在規(guī)律。

建立人機(jī)協(xié)同責(zé)任意識(shí)建立人機(jī)協(xié)同的責(zé)任意識(shí)，辯證評(píng)價(jià)AI生成的可視化方案，識(shí)別算法可能存在的表達(dá)偏差，合理利用AI技術(shù)輔助財(cái)務(wù)數(shù)據(jù)可視化工作。AI+matplotlib可視化分析02matplotlib模塊基礎(chǔ)

matplotlib模塊概述matplotlib是Python的第三方模塊，能繪制各式各樣的2D圖形，其pyplot子模塊是核心模塊之一，幾乎所有樣式的2D圖形都可通過該子模塊繪制。

pyplot子模塊常用函數(shù)pyplot子模塊提供多種繪圖函數(shù)，如.plot()繪制折線圖、.scatter()繪制散點(diǎn)圖、.hist()繪制直方圖、.pie()繪制餅圖、.bar()繪制柱形圖、.boxplot()繪制箱形圖、.barh()繪制條形圖等。matplotlib繪圖步驟

創(chuàng)建畫布使用plt.figure()函數(shù)創(chuàng)建畫布，可通過figsize參數(shù)設(shè)置畫布大小，如plt.figure(figsize=(10,6))。

創(chuàng)建坐標(biāo)系系統(tǒng)默認(rèn)會(huì)在畫布上創(chuàng)建一個(gè)坐標(biāo)系，若要繪制多個(gè)圖形，需自行創(chuàng)建多個(gè)坐標(biāo)系，可通過plt.subplot()或plt.subplots()等函數(shù)實(shí)現(xiàn)。

選擇圖表類型并繪制圖形根據(jù)數(shù)據(jù)特點(diǎn)和分析需求選擇合適的圖表類型，調(diào)用對(duì)應(yīng)的繪圖函數(shù)（如折線圖用plot()、柱形圖用bar()等）傳入數(shù)據(jù)完成繪制，最后用plt.show()顯示圖表。常見圖形繪制-折線圖

01折線圖繪制函數(shù)及語(yǔ)法在matplotlib中使用pyplot子模塊的plot()函數(shù)繪制折線圖，語(yǔ)法格式為pyplot.plot(x,y)，其中x、y分別表示x軸、y軸數(shù)據(jù)。

022020—2024年國(guó)民總收入折線圖繪制示例準(zhǔn)備2020-2024年年份數(shù)據(jù)[2020,2021,2022,2023,2024]和對(duì)應(yīng)國(guó)民總收入數(shù)據(jù)[1026751.9,1165816.8,1223706.8,1284773.9,1339814.6]，設(shè)置中文字體，創(chuàng)建畫布后調(diào)用plt.plot(years,gnis)繪制，添加標(biāo)題、坐標(biāo)軸標(biāo)簽及刻度后顯示圖表。常見圖形繪制-柱形圖

柱形圖繪制函數(shù)及語(yǔ)法柱形圖通過柱形條高度展示數(shù)據(jù)差異，使用pyplot子模塊的bar()函數(shù)繪制，語(yǔ)法格式為pyplot.bar(x,y)，x、y分別為x軸、y軸數(shù)據(jù)。

與折線圖繪制的差異繪制柱形圖只需將折線圖的plot()函數(shù)修改為bar()函數(shù)即可，其他設(shè)置（如中文字體、畫布大小、標(biāo)題、坐標(biāo)軸標(biāo)簽等）與折線圖類似。

2020—2024年國(guó)民總收入柱形圖繪制示例使用與折線圖相同的年份和國(guó)民總收入數(shù)據(jù)，將plt.plot(years,gnis)替換為plt.bar(years,gnis)，即可繪制出展示2020-2024年國(guó)民總收入變化的柱形圖。常見圖形繪制-散點(diǎn)圖

散點(diǎn)圖繪制函數(shù)及作用散點(diǎn)圖通過點(diǎn)的分布揭示兩個(gè)變量之間的關(guān)系，可識(shí)別數(shù)據(jù)中的線性關(guān)系、趨勢(shì)及相關(guān)性，使用pyplot子模塊的scatter()函數(shù)繪制，語(yǔ)法格式為pyplot.scatter(x,y)。

多系列數(shù)據(jù)散點(diǎn)圖繪制示例以2020-2024年國(guó)民總收入與國(guó)內(nèi)生產(chǎn)總值對(duì)比為例，準(zhǔn)備年份數(shù)據(jù)[2020,2021,2022,2023,2024]、國(guó)民總收入數(shù)據(jù)[1026751.9,1165816.8,1223706.8,1284773.9,1339814.6]和國(guó)內(nèi)生產(chǎn)總值數(shù)據(jù)[1034867.6,1173823.0,1234029.4,1294271.7,1349083.5]，分別調(diào)用scatter()函數(shù)并設(shè)置不同顏色和標(biāo)記。常見圖形繪制-餅圖

餅圖繪制函數(shù)及作用餅圖用于展示各個(gè)類別數(shù)據(jù)占總體數(shù)據(jù)的比例，反映部分和整體之間的關(guān)系，使用pyplot子模塊的pie()函數(shù)繪制，語(yǔ)法格式為pyplot.pie(x)，x表示數(shù)據(jù)。

2024年三大產(chǎn)業(yè)增加值餅圖繪制步驟首先整理2024年第一產(chǎn)業(yè)、第二產(chǎn)業(yè)、第三產(chǎn)業(yè)（增加值數(shù)據(jù)，設(shè)置標(biāo)簽和顏色，創(chuàng)建畫布后調(diào)用plt.pie()函數(shù)，通過autopct參數(shù)設(shè)置百分比顯示格式（如'%1.2f%%'保留兩位小數(shù)），添加標(biāo)題后顯示圖表。組合圖繪制

組合圖概念組合圖是在同一個(gè)坐標(biāo)系中繪制多個(gè)圖形，用于呈現(xiàn)關(guān)聯(lián)數(shù)據(jù)之間的聯(lián)系，要求組合的圖形使用同一個(gè)橫坐標(biāo)軸。

國(guó)民總收入與國(guó)內(nèi)生產(chǎn)總值組合圖示例以2020-2024年數(shù)據(jù)為例，創(chuàng)建畫布后，用ax1.bar()繪制國(guó)民總收入柱形圖，通過ax1.twinx()創(chuàng)建次坐標(biāo)軸ax2，再用ax2.plot()繪制國(guó)內(nèi)生產(chǎn)總值折線圖，設(shè)置標(biāo)題、坐標(biāo)軸標(biāo)簽，合并圖例后顯示圖表，直觀展示兩者變化趨勢(shì)。子圖繪制子圖概念子圖是將多個(gè)圖形分別繪制在同一個(gè)畫布的多個(gè)坐標(biāo)系中，可根據(jù)需求設(shè)置子圖位置和布局。pyplot.subplot()函數(shù)繪制子圖語(yǔ)法格式為pyplot.subplot(nrows,ncols,index,…)，如pyplot.subplot(2,2,1)表示創(chuàng)建2×2的網(wǎng)格，并取第一個(gè)網(wǎng)格作為子圖位置。pyplot.subplots()函數(shù)繪制子圖語(yǔ)法格式為pyplot.subplots(nrows,ncols,figsize,sharex,sharey,…)，可通過元組接收子圖對(duì)象，如fig,(ax1,ax2)=plt.subplots(1,2,figsize=(12,5))創(chuàng)建1行2列的子圖布局，分別在ax1和ax2上繪制不同圖形。AI+pyecharts可視化分析03pyecharts模塊基礎(chǔ)

pyecharts與matplotlib對(duì)比特點(diǎn)pyecharts是Python第三方可視化模塊，與matplotlib相比，其核心優(yōu)勢(shì)在于支持動(dòng)態(tài)交互效果，鼠標(biāo)懸停即可顯示數(shù)據(jù)詳情；但不支持numpy、pandas數(shù)組類型，僅兼容列表、元組等Python原生數(shù)據(jù)類型。

pyecharts部分圖表類型提供30+圖表類型，涵蓋基礎(chǔ)與高級(jí)可視化需求，如Bar（柱形圖/條形圖）、Line（折線圖/面積圖）、Pie（餅圖）、Scatter（散點(diǎn)圖）、HeatMap（熱力圖）、Map（地圖）、Gauge（儀表盤）、Bar3D（3D柱形圖）等。pyecharts繪圖步驟

導(dǎo)入相關(guān)模塊首先需導(dǎo)入charts子模塊中的作圖類（如Line、Bar、Pie）和options模塊（用于樣式配置），例如：frompyecharts.chartsimportLine;frompyechartsimportoptionsasopts。

添加圖表基礎(chǔ)數(shù)據(jù)通過add_xaxis()和add_yaxis()方法分別添加x軸和y軸數(shù)據(jù)，數(shù)據(jù)格式需為列表或元組，如：line.add_xaxis(['2020','2021']);line.add_yaxis("銷售額",[100,200])。pyecharts繪圖步驟進(jìn)行樣式設(shè)置及渲染圖表使用set_global_opts()配置標(biāo)題、坐標(biāo)軸、圖例等全局樣式，set_series_opts()設(shè)置系列樣式；最后通過render_notebook()（Jupyter環(huán)境）或render()（生成HTML文件）渲染圖表。常見圖形繪制-折線圖與柱形圖

折線圖繪制示例以2020-2024年就業(yè)人數(shù)數(shù)據(jù)（萬(wàn)人：75064、74652、73351、74041、73439）為例，通過Line類創(chuàng)建對(duì)象，添加x軸年份和y軸就業(yè)人數(shù)數(shù)據(jù)，設(shè)置標(biāo)題為“2020—2024年就業(yè)人數(shù)”，調(diào)用render_notebook()生成動(dòng)態(tài)折線圖。

柱形圖繪制示例使用Bar類繪制上述就業(yè)人數(shù)數(shù)據(jù)，通過label_opts=opts.LabelOpts(position='top')將數(shù)值標(biāo)簽顯示在柱形頂部，配置tooltip_opts=opts.TooltipOpts(trigger='axis')啟用坐標(biāo)軸觸發(fā)提示框，y軸添加網(wǎng)格線增強(qiáng)可讀性。常見圖形繪制-條形圖與餅圖

條形圖轉(zhuǎn)換方法在柱形圖基礎(chǔ)上調(diào)用reversal_axis()函數(shù)轉(zhuǎn)置坐標(biāo)軸，即可將垂直柱形圖轉(zhuǎn)換為水平條形圖，適用于類別名稱較長(zhǎng)或需突出數(shù)值對(duì)比的場(chǎng)景，如2020-2024年就業(yè)人數(shù)橫向?qū)Ρ取?/p>

餅圖繪制與配置以2023年三大產(chǎn)業(yè)就業(yè)人數(shù)（第一產(chǎn)業(yè)16882萬(wàn)、第二產(chǎn)業(yè)21520萬(wàn)、第三產(chǎn)業(yè)35639萬(wàn)）為例，通過Pie類添加數(shù)據(jù)對(duì)，設(shè)置radius=['30%','70%']控制環(huán)形大小，label_opts格式化標(biāo)簽為“:{c}萬(wàn)人(ae22oig%)”，實(shí)現(xiàn)占比可視化。并行圖繪制Grid作圖類功能并行圖指同一畫布中分布多個(gè)獨(dú)立圖表（類似matplotlib子圖），通過Grid類實(shí)現(xiàn)。需先實(shí)例化Grid對(duì)象，再使用add()方法依次添加已創(chuàng)建的圖表，并通過GridOpts配置pos_top、pos_bottom等參數(shù)調(diào)整位置。柱形圖與折線圖并行示例語(yǔ)法示例：grid=Grid();grid.add(bar_chart,grid_opts=opts.GridOpts(pos_bottom='50%'));grid.add(line_chart,grid_opts=opts.GridOpts(pos_top='50%'))，實(shí)現(xiàn)上下分布的雙圖表布局，避免標(biāo)題與圖例重疊。層疊圖繪制

層疊圖概念層疊圖是將多個(gè)圖表疊加顯示在同一坐標(biāo)系中，如柱形圖與折線圖疊加、折線圖與散點(diǎn)圖疊加，用于展示多維度數(shù)據(jù)關(guān)聯(lián)關(guān)系。

overlap()函數(shù)實(shí)現(xiàn)方法先分別創(chuàng)建需疊加的圖表對(duì)象（如bar和line），再調(diào)用bar.overlap(line)將折線圖疊加到柱形圖上，實(shí)現(xiàn)數(shù)據(jù)對(duì)比可視化。例如：在銷售額柱形圖上疊加增長(zhǎng)率折線圖，直觀展示銷量與增速關(guān)系。AI在數(shù)據(jù)可視化中的應(yīng)用04AI自動(dòng)識(shí)別數(shù)據(jù)與推薦圖表

01數(shù)據(jù)結(jié)構(gòu)智能解析AI能自動(dòng)識(shí)別財(cái)務(wù)數(shù)據(jù)結(jié)構(gòu)，如在處理季度營(yíng)收數(shù)據(jù)時(shí)，可快速判斷數(shù)據(jù)維度、指標(biāo)類型及關(guān)系，為后續(xù)可視化奠定基礎(chǔ)。

02最優(yōu)圖表類型推薦基于數(shù)據(jù)特征與分析需求推薦圖表，例如檢測(cè)到多指標(biāo)對(duì)比需求時(shí)，會(huì)建議使用pyecharts繪制并行柱形圖，直觀呈現(xiàn)數(shù)據(jù)差異。

03財(cái)務(wù)場(chǎng)景應(yīng)用實(shí)例在財(cái)務(wù)數(shù)據(jù)可視化實(shí)踐中，AI從“繪圖工具”升級(jí)為“分析伙伴”，通過對(duì)數(shù)據(jù)的深度理解，提供契合業(yè)務(wù)場(chǎng)景的圖表方案，提升分析效率。自然語(yǔ)言交互生成代碼自然語(yǔ)言指令轉(zhuǎn)化用戶通過自然語(yǔ)言描述可視化需求，如“將華北區(qū)銷售趨勢(shì)線設(shè)為紅色加粗，并與競(jìng)品數(shù)據(jù)疊加顯示”，AI可準(zhǔn)確理解并轉(zhuǎn)化為操作邏輯。Python代碼自動(dòng)生成根據(jù)自然語(yǔ)言指令，AI自動(dòng)生成對(duì)應(yīng)的Python代碼，無(wú)需用戶手動(dòng)編寫復(fù)雜代碼，有效降低編程門檻，讓非專業(yè)人員也能快速實(shí)現(xiàn)可視化。交互效率提升價(jià)值自然語(yǔ)言交互方式簡(jiǎn)化了操作流程，用戶可實(shí)時(shí)調(diào)整圖表樣式與數(shù)據(jù)展示方式，大幅縮短從需求提出到圖表生成的時(shí)間，提升工作效率。AI輔助多維度數(shù)據(jù)鉆取分析01數(shù)據(jù)特征自動(dòng)解析與方案建議AI工具能夠自動(dòng)解析財(cái)務(wù)數(shù)據(jù)特征，如數(shù)據(jù)分布、異常值、趨勢(shì)變化等，并基于此生成可視化方案建議，為分析提供方向。02對(duì)話式多維度數(shù)據(jù)鉆取通過對(duì)話式AI，用戶可進(jìn)行多維度數(shù)據(jù)鉆取分析，實(shí)現(xiàn)可視化聯(lián)動(dòng)，如從整體銷售數(shù)據(jù)下鉆到區(qū)域、產(chǎn)品等細(xì)分維度，深入挖掘數(shù)據(jù)價(jià)值。03人機(jī)協(xié)同分析模式建立人機(jī)協(xié)同的分析模式，AI輔助處理數(shù)據(jù)與生成初步方案，用戶結(jié)合專業(yè)知識(shí)進(jìn)行判斷與調(diào)整，辯證評(píng)價(jià)AI方案，識(shí)別可能存在的表達(dá)偏差，提升分析準(zhǔn)確性。AI驅(qū)動(dòng)的行業(yè)案例分析電商銷售數(shù)據(jù)分析某電商平臺(tái)基于Python+AI構(gòu)建智能分析平臺(tái)，業(yè)務(wù)部門通過自然語(yǔ)言提問自動(dòng)生成可視化報(bào)告，分析月度銷售額趨勢(shì)、商品類別占比及客戶地域分布，提升數(shù)據(jù)驅(qū)動(dòng)決策效率。制造企業(yè)智能報(bào)表系統(tǒng)大型制造企業(yè)集成FineBI與Python實(shí)現(xiàn)AI可視化方案，月度報(bào)表自動(dòng)生成節(jié)省70%分析時(shí)間，管理者通過自然語(yǔ)言查詢"本月產(chǎn)線異