第3章會計數(shù)據(jù)獲取處理講授：毛草根CONTENTS目錄013.1會計數(shù)據(jù)概述023.1.2會計數(shù)據(jù)的收集033.1.3會計數(shù)據(jù)預(yù)處理043.1.4數(shù)據(jù)脫敏3.1會計數(shù)據(jù)概述013.1.1會計數(shù)據(jù)會計數(shù)智化與數(shù)據(jù)的關(guān)系會計數(shù)智化借助先進信息技術(shù)處理會計數(shù)據(jù)，以高效決策并滿足監(jiān)管要求，其實現(xiàn)離不開數(shù)據(jù)的支撐。會計數(shù)據(jù)的范疇會計數(shù)據(jù)不僅包含會計自身提供的數(shù)據(jù)，還涵蓋企業(yè)業(yè)務(wù)數(shù)據(jù)，主要分為財務(wù)數(shù)據(jù)和業(yè)務(wù)運營數(shù)據(jù)。財務(wù)數(shù)據(jù)方面-會計核算數(shù)據(jù)總賬數(shù)據(jù)總賬數(shù)據(jù)源于財務(wù)軟件，包含資產(chǎn)、負債、所有者權(quán)益等科目期初、本期借貸發(fā)生額及期末余額，是編制財務(wù)報表基礎(chǔ)，助于分析企業(yè)財務(wù)狀況與經(jīng)營成果。明細賬數(shù)據(jù)明細賬提供詳細賬戶信息，如應(yīng)收賬款明細賬按客戶記錄賬款情況，利于管理客戶信用與催收；存貨明細賬記錄存貨出入庫詳情，方便成本核算與庫存管理。憑證數(shù)據(jù)憑證數(shù)據(jù)包括記賬憑證日期、編號等信息及原始憑證附件，可用于審計與財務(wù)追溯，如稅務(wù)檢查時核實業(yè)務(wù)真實性與合規(guī)性，也可借助AI深度分析。財務(wù)數(shù)據(jù)方面-財務(wù)報表數(shù)據(jù)資產(chǎn)負債表數(shù)據(jù)資產(chǎn)負債表數(shù)據(jù)反映企業(yè)特定日期資產(chǎn)、負債和所有者權(quán)益詳情，通過其可計算財務(wù)比率，如資產(chǎn)負債率評估長期償債能力。利潤表數(shù)據(jù)利潤表涵蓋營業(yè)收入、成本、費用等數(shù)據(jù)，有助于分析企業(yè)盈利能力，如通過毛利率衡量產(chǎn)品盈利性，凈利率評估最終盈利水平?，F(xiàn)金流量表數(shù)據(jù)現(xiàn)金流量表數(shù)據(jù)包含經(jīng)營、投資、籌資活動現(xiàn)金流量，用于分析企業(yè)現(xiàn)金收支及資金來源與運用情況。財務(wù)數(shù)據(jù)方面-預(yù)算數(shù)據(jù)預(yù)算編制數(shù)據(jù)預(yù)算編制數(shù)據(jù)包含各部門、項目的收入、成本、費用預(yù)算等，是企業(yè)資源分配與目標(biāo)設(shè)定的重要依據(jù)，如銷售與生產(chǎn)部門的相關(guān)預(yù)算。預(yù)算執(zhí)行數(shù)據(jù)預(yù)算執(zhí)行數(shù)據(jù)反映預(yù)算實際執(zhí)行情況，通過對比實際與預(yù)算數(shù)據(jù)，能及時發(fā)現(xiàn)偏差并調(diào)整經(jīng)營策略，如營銷費用超支時的應(yīng)對。財務(wù)數(shù)據(jù)方面-稅務(wù)數(shù)據(jù)納稅申報數(shù)據(jù)納稅申報數(shù)據(jù)記錄企業(yè)應(yīng)納稅額計算與申報過程，如增值稅、企業(yè)所得稅相關(guān)數(shù)據(jù)，有助于準確及時申報及稅務(wù)審計。稅務(wù)優(yōu)惠數(shù)據(jù)稅務(wù)優(yōu)惠數(shù)據(jù)記錄企業(yè)享受的稅收優(yōu)惠政策內(nèi)容，如減免稅項目與金額，對企業(yè)合理利用政策、降低稅務(wù)成本意義重大。業(yè)務(wù)運營數(shù)據(jù)方面-采購數(shù)據(jù)采購訂單數(shù)據(jù)采購訂單數(shù)據(jù)包含訂單編號、日期、供應(yīng)商及采購商品詳情，可用于分析采購成本、評估供應(yīng)商績效與監(jiān)控采購流程。采購收貨數(shù)據(jù)采購收貨數(shù)據(jù)記錄實際收貨日期、數(shù)量與質(zhì)量檢驗情況，有助于管理庫存水平并確保商品符合要求。應(yīng)付賬款數(shù)據(jù)應(yīng)付賬款數(shù)據(jù)提供賬款余額、賬齡與付款計劃等信息，合理安排支付可優(yōu)化資金流并維護供應(yīng)商關(guān)系。業(yè)務(wù)運營數(shù)據(jù)方面-銷售數(shù)據(jù)銷售訂單數(shù)據(jù)銷售訂單數(shù)據(jù)涵蓋訂單編號、日期、客戶及銷售產(chǎn)品詳情，可用于銷售分析，如分析產(chǎn)品銷售趨勢與客戶購買行為。銷售發(fā)貨數(shù)據(jù)銷售發(fā)貨數(shù)據(jù)記錄實際發(fā)貨日期、數(shù)量與運輸方式，對庫存管理與客戶滿意度至關(guān)重要，確保產(chǎn)品及時交付。應(yīng)收賬款數(shù)據(jù)應(yīng)收賬款數(shù)據(jù)提供賬款余額、賬齡分析與客戶信用額度等信息，有助于管理客戶信用風(fēng)險與資金回收。業(yè)務(wù)運營數(shù)據(jù)方面-庫存數(shù)據(jù)庫存余額數(shù)據(jù)庫存余額數(shù)據(jù)展示各種存貨在倉庫中的數(shù)量與金額，對控制庫存水平、避免積壓或缺貨意義重大，如設(shè)定安全庫存及時采購。庫存變動數(shù)據(jù)庫存變動數(shù)據(jù)記錄存貨出入庫時間、數(shù)量與原因，有助于分析庫存周轉(zhuǎn)率，優(yōu)化庫存管理流程。庫存盤點數(shù)據(jù)庫存盤點數(shù)據(jù)記錄盤點日期、數(shù)量與盤盈盤虧情況，用于核實庫存實際數(shù)量，保證賬實相符。業(yè)務(wù)運營數(shù)據(jù)方面-生產(chǎn)數(shù)據(jù)生產(chǎn)計劃數(shù)據(jù)生產(chǎn)計劃數(shù)據(jù)包括生產(chǎn)訂單編號、產(chǎn)品名稱、數(shù)量及計劃開工、完工日期，是生產(chǎn)調(diào)度與資源分配的依據(jù)。生產(chǎn)進度數(shù)據(jù)生產(chǎn)進度數(shù)據(jù)記錄實際生產(chǎn)進度，如已完成工序、生產(chǎn)數(shù)量與時間，有助于監(jiān)控生產(chǎn)效率，及時發(fā)現(xiàn)并調(diào)整問題。生產(chǎn)成本數(shù)據(jù)生產(chǎn)成本數(shù)據(jù)包含直接材料、人工成本及制造費用分攤等信息，對產(chǎn)品定價、成本控制與盈利能力分析十分重要。3.1.2會計數(shù)據(jù)的收集02集成化系統(tǒng)ERP系統(tǒng)的功能ERP系統(tǒng)能夠整合企業(yè)銷售、采購、生產(chǎn)、庫存等多部門數(shù)據(jù)，例如某制造企業(yè)通過ERP系統(tǒng)，實時獲取各車間生產(chǎn)進度數(shù)據(jù)、倉庫庫存數(shù)據(jù)等，實現(xiàn)數(shù)據(jù)的自動收集與集中管理。集成化系統(tǒng)的優(yōu)勢它打破部門數(shù)據(jù)壁壘，提升數(shù)據(jù)收集效率與準確性。如某大型零售企業(yè)借助集成化系統(tǒng)，將原本分散在各門店的銷售數(shù)據(jù)快速整合，為企業(yè)決策提供全面數(shù)據(jù)支持。標(biāo)準接口數(shù)據(jù)國家相關(guān)標(biāo)準解讀國家頒布的相關(guān)數(shù)據(jù)接口標(biāo)準，確保數(shù)據(jù)格式、內(nèi)容等規(guī)范統(tǒng)一。例如財務(wù)數(shù)據(jù)接口標(biāo)準，規(guī)定了財務(wù)報表數(shù)據(jù)的導(dǎo)出格式與內(nèi)容要求。導(dǎo)出與處理流程企業(yè)依據(jù)標(biāo)準將數(shù)據(jù)導(dǎo)出后，可進行數(shù)據(jù)清洗、轉(zhuǎn)換等處理。如某企業(yè)按標(biāo)準導(dǎo)出稅務(wù)數(shù)據(jù)后，對數(shù)據(jù)進行整理，為稅務(wù)申報做準備。API接口連接原理通過API，企業(yè)系統(tǒng)能與CRM、供應(yīng)鏈管理等其他系統(tǒng)建立連接，以特定協(xié)議傳輸數(shù)據(jù)。如電商企業(yè)通過API與物流系統(tǒng)連接，自動同步訂單發(fā)貨數(shù)據(jù)。應(yīng)用場景示例在營銷場景中，企業(yè)通過API將客戶數(shù)據(jù)同步至營銷系統(tǒng)，實現(xiàn)精準營銷。例如某互聯(lián)網(wǎng)公司利用API獲取用戶行為數(shù)據(jù)，制定個性化營銷方案。物聯(lián)網(wǎng)設(shè)備RFID標(biāo)簽的應(yīng)用在庫存管理中，RFID標(biāo)簽可自動識別貨物信息。如大型倉庫利用RFID標(biāo)簽，實時追蹤貨物出入庫情況，提高庫存數(shù)據(jù)收集的及時性與準確性。監(jiān)控設(shè)備的數(shù)據(jù)收集生產(chǎn)過程中的監(jiān)控設(shè)備能收集設(shè)備運行參數(shù)、產(chǎn)品質(zhì)量數(shù)據(jù)等。例如汽車制造工廠的監(jiān)控設(shè)備，實時反饋生產(chǎn)線上產(chǎn)品的質(zhì)量數(shù)據(jù)。云服務(wù)存儲優(yōu)勢云計算服務(wù)提供海量存儲，企業(yè)無需擔(dān)憂數(shù)據(jù)存儲空間問題。如創(chuàng)業(yè)公司將大量業(yè)務(wù)數(shù)據(jù)存儲在云端，節(jié)省本地存儲硬件成本。處理能力展現(xiàn)云服務(wù)具備強大的數(shù)據(jù)處理能力，可快速處理分析大規(guī)模數(shù)據(jù)。例如金融機構(gòu)利用云服務(wù)對海量交易數(shù)據(jù)進行實時分析，防范金融風(fēng)險。移動應(yīng)用報銷場景應(yīng)用員工可通過移動應(yīng)用即時提交報銷單據(jù)，拍照上傳憑證，加快報銷流程。如某企業(yè)員工在出差途中即可通過移動應(yīng)用提交報銷申請。客戶信息收集作用銷售人員能利用移動應(yīng)用在拜訪客戶現(xiàn)場即時記錄客戶信息，提高信息收集的準確性與時效性。例如銷售代表與客戶溝通后，當(dāng)場錄入客戶需求等信息。3.1.3會計數(shù)據(jù)預(yù)處理032.數(shù)據(jù)清洗-去除錯誤數(shù)據(jù)01錯誤類型識別-輸入錯誤輸入錯誤常見于會計數(shù)據(jù)錄入，如數(shù)字顛倒，將“123”誤輸為“132”

，或文字錯輸，像把“采購”寫成“采夠”。可通過數(shù)據(jù)審核規(guī)則與邏輯檢查發(fā)現(xiàn)此類錯誤。02錯誤類型識別-格式錯誤財務(wù)數(shù)據(jù)對格式要求嚴格，金額需保留兩位小數(shù)，若出現(xiàn)整數(shù)格式不符要求，或日期格式如“2024-13-32”這種不存在的情況，即為格式錯誤。03糾正或刪除策略-手動糾錯對于少量易識別錯誤，如辦公用品采購費用記錄異常，可通過與原始憑證核對，手動修正為正確金額。04糾正或刪除策略-自動糾錯算法針對有規(guī)律的錯誤，利用算法糾正。無法糾正的錯誤數(shù)據(jù)應(yīng)刪除，并做好記錄以便審計追蹤。3.處理缺失值-缺失值檢測數(shù)據(jù)可視化檢測借助柱狀圖、散點圖等數(shù)據(jù)可視化工具，直觀查看哪些數(shù)據(jù)字段存在較多缺失情況，如在客戶信用評估數(shù)據(jù)中，可通過可視化發(fā)現(xiàn)客戶收入字段的缺失狀況。統(tǒng)計方法檢測使用統(tǒng)計方法計算每個字段的缺失值比例，明確數(shù)據(jù)集中缺失值的位置和數(shù)量，判斷其對數(shù)據(jù)分析的影響程度。3.處理缺失值-填補方法統(tǒng)計方法-平均值填補當(dāng)數(shù)據(jù)分布均勻且無明顯異常值時適用，如員工考勤數(shù)據(jù)中，某員工一天工作時長缺失，可使用其以往工作時長平均值填補。統(tǒng)計方法-中位數(shù)填補若數(shù)據(jù)呈正態(tài)分布，中位數(shù)更能代表中心趨勢。如銷售數(shù)據(jù)中，避免高銷售額訂單拉高平均值，用中位數(shù)填補缺失銷售額數(shù)據(jù)。預(yù)測模型填補利用機器學(xué)習(xí)算法構(gòu)建預(yù)測模型，如以營業(yè)收入、成本費用等為自變量，通過線性回歸模型預(yù)測缺失的凈利潤值?；谏舷挛呐袛嗵钛a依據(jù)業(yè)務(wù)上下文填補缺失值，如產(chǎn)品庫存數(shù)據(jù)，可根據(jù)生產(chǎn)計劃和銷售記錄推斷并填補缺失的庫存數(shù)據(jù)。4.消除重復(fù)記錄-重復(fù)記錄識別建立數(shù)據(jù)唯一標(biāo)識識別在銷售交易數(shù)據(jù)中，每筆交易設(shè)唯一交易編號，若出現(xiàn)相同編號記錄，很可能為重復(fù)記錄。多字段組合識別在客戶訂單數(shù)據(jù)中，通過比較客戶ID、訂單日期、訂單金額等多個字段組合，若完全相同則可能是重復(fù)訂單。4.消除重復(fù)記錄-刪除策略保留最新記錄原則一般保留最新記錄，刪除較早重復(fù)記錄，如員工培訓(xùn)記錄，保留最近一次，刪除之前重復(fù)的，確保數(shù)據(jù)時效性。注意數(shù)據(jù)完整性與關(guān)聯(lián)性刪除重復(fù)記錄時，要保證數(shù)據(jù)完整性和關(guān)聯(lián)性不受影響，避免影響后續(xù)數(shù)據(jù)分析和業(yè)務(wù)流程。5.數(shù)據(jù)一致性檢查-邏輯一致性檢查01業(yè)務(wù)規(guī)則驗證依據(jù)企業(yè)業(yè)務(wù)規(guī)則檢查數(shù)據(jù)，如會計賬務(wù)處理中，資產(chǎn)=負債+所有者權(quán)益恒等式必須成立，不滿足則需排查調(diào)整。02數(shù)據(jù)關(guān)聯(lián)關(guān)系驗證檢查不同數(shù)據(jù)表間數(shù)據(jù)關(guān)聯(lián)，如銷售訂單與庫存數(shù)據(jù)，銷售訂單產(chǎn)品數(shù)量不能超庫存可用量，不符則修正。5.數(shù)據(jù)一致性檢查-格式一致性檢查日期格式統(tǒng)一企業(yè)數(shù)據(jù)中日期格式多樣，需統(tǒng)一為一種格式，如“YYYY-MM-DD”，可編寫數(shù)據(jù)轉(zhuǎn)換函數(shù)實現(xiàn)，方便數(shù)據(jù)分析處理。貨幣單位統(tǒng)一跨國企業(yè)或多種貨幣交易數(shù)據(jù)，需統(tǒng)一貨幣單位，如將外幣計價數(shù)據(jù)轉(zhuǎn)換為人民幣計價，或標(biāo)注單位并換算。5.數(shù)據(jù)一致性檢查-應(yīng)用綜合舉例數(shù)據(jù)清洗需求基于Excel數(shù)據(jù)表“C:PYEXCEL銷售數(shù)據(jù)表.xlsx”，對B2:G6數(shù)據(jù)進行清洗，包括去除錯誤數(shù)據(jù)、處理缺失值、消除重復(fù)記錄和數(shù)據(jù)一致性檢查，清洗后保存到“C:PYEXCEL銷售數(shù)據(jù)表_清理.xlsx”。5.數(shù)據(jù)一致性檢查-應(yīng)用綜合舉例Python代碼實現(xiàn)代碼如下：importpandasaspd；file_path=r'C:PYEXCEL銷售數(shù)據(jù)表.xlsx'；df=pd.read_excel(file_path)；df=df[(df.iloc[:,1:7]>=0).all(axis=1)]；df.iloc[:,1:7]=df.iloc[:,1:7].fillna(0)；df=df.drop_duplicates(subset=['產(chǎn)品名'])；df.iloc[:,1:7]=df.iloc[:,1:7].apply(pd.to_numeric,errors='coerce')；cleaned_file_path=r'C:PYEXCEL銷售數(shù)據(jù)表_清理.xlsx'；df.to_excel(cleaned_file_path,index=False)；print("數(shù)據(jù)清洗完成，清洗后的文件已保存到:",cleaned_file_path)。6.數(shù)據(jù)轉(zhuǎn)換-格式調(diào)整日期格式調(diào)整將不同日期格式統(tǒng)一轉(zhuǎn)換為“YYYY-MM-DD”，便于數(shù)據(jù)處理與分析，如在財務(wù)報表數(shù)據(jù)處理中，統(tǒng)一日期格式可提高數(shù)據(jù)準確性與效率。其他數(shù)據(jù)格式調(diào)整除日期外，對其他數(shù)據(jù)類型也進行格式調(diào)整，確保數(shù)據(jù)格式一致性，利于后續(xù)數(shù)據(jù)挖掘和分析工作。6.數(shù)據(jù)轉(zhuǎn)換-數(shù)據(jù)聚合01按月匯總收入和支出將每日詳細的收入和支出記錄，按月份進行聚合匯總，可直觀了解每月收支情況，為財務(wù)分析提供更宏觀數(shù)據(jù)。02數(shù)據(jù)聚合的應(yīng)用場景在企業(yè)財務(wù)分析、預(yù)算管理等場景中，數(shù)據(jù)聚合能幫助管理者從更高層次把握數(shù)據(jù)，做出合理決策。6.數(shù)據(jù)轉(zhuǎn)換-數(shù)據(jù)透視使用透視表重組數(shù)據(jù)以銷售數(shù)據(jù)為例，通過透視表按產(chǎn)品、地區(qū)、時間等不同維度重組數(shù)據(jù)，從多角度分析銷售情況，挖掘數(shù)據(jù)價值。數(shù)據(jù)透視的優(yōu)勢數(shù)據(jù)透視可靈活調(diào)整數(shù)據(jù)展示方式，幫助分析人員快速發(fā)現(xiàn)數(shù)據(jù)規(guī)律和趨勢，輔助決策制定。6.數(shù)據(jù)轉(zhuǎn)換-時間序列轉(zhuǎn)換趨勢分析將銷售數(shù)據(jù)轉(zhuǎn)換為時間序列格式，分析銷售趨勢，如判斷產(chǎn)品銷量是增長、下降還是平穩(wěn)，為企業(yè)生產(chǎn)和銷售策略提供依據(jù)。季節(jié)性調(diào)整對于具有季節(jié)性波動的數(shù)據(jù)，通過時間序列轉(zhuǎn)換進行季節(jié)性調(diào)整，更準確分析數(shù)據(jù)內(nèi)在規(guī)律，合理安排生產(chǎn)和庫存。3.1.4數(shù)據(jù)脫敏041.Excel數(shù)據(jù)脫敏方法-數(shù)值型數(shù)據(jù)脫敏數(shù)據(jù)替換方法在Excel中，先選中含敏感數(shù)值數(shù)據(jù)區(qū)域，利用“查找和替換”功能，如在員工薪資表中，將5000元薪資替換為“XXXX元”。數(shù)據(jù)變形方法確定需變形的數(shù)值列，運用Excel公式功能進行數(shù)學(xué)運算，改變數(shù)值原有形式，實現(xiàn)脫敏。1.Excel數(shù)據(jù)脫敏方法-文本型數(shù)據(jù)脫敏數(shù)據(jù)掩碼操作針對身份證號碼等固定格式文本數(shù)據(jù)，用Excel函數(shù)實現(xiàn)掩碼處理，如對身份證號部分數(shù)字進行替換。數(shù)據(jù)泛化處理對于地址數(shù)據(jù)，提取關(guān)鍵部分，泛化具體門牌號等信息，結(jié)合文本函數(shù)與查找替換實現(xiàn)。1.Excel數(shù)據(jù)脫敏方法-日期型數(shù)據(jù)脫敏數(shù)據(jù)模糊思路采用數(shù)據(jù)模糊方法對日期型數(shù)據(jù)脫敏，使日期信息不再精確，降低敏感程度。TEXT函數(shù)應(yīng)用利用Excel的TEXT函數(shù)進行日期格式轉(zhuǎn)換，實現(xiàn)數(shù)據(jù)模糊，如將具體日期轉(zhuǎn)換為“XXX