第五個(gè)簡單有效的Python清理數(shù)據(jù)腳本分享目錄將PDF轉(zhuǎn)換為CSV合并CSV文件從CSV文件中刪除重復(fù)的行拆分CSV列合并不同的數(shù)據(jù)集最后

將PDF轉(zhuǎn)換為CSV

在機(jī)器學(xué)習(xí)中，我們應(yīng)該少一些數(shù)據(jù)清理，多一些數(shù)據(jù)準(zhǔn)備。當(dāng)我們需要從白皮書、電子書或其他PDF文檔中抓取數(shù)據(jù)時(shí)，這個(gè)腳本為我節(jié)省了很多時(shí)間。

importtabula

#獲取文件

pdf_filename=input("Enterthefullpathandfilename:")

#提取PDF的內(nèi)容

frame=tabula.read_pdf(pdf_filename,encoding='utf-8',pages='all')

#根據(jù)內(nèi)容創(chuàng)建CSV文件

frame.to_csv('pdf_conversion.csv')

這是一種相對簡單的快速提取數(shù)據(jù)的方法，可以在將數(shù)據(jù)導(dǎo)入機(jī)器學(xué)習(xí)數(shù)據(jù)庫、Tableau或Count等工具。

合并CSV文件

許多系統(tǒng)會(huì)提供導(dǎo)出到CSV選項(xiàng)，但是沒有辦法在導(dǎo)出數(shù)據(jù)之前首先合并數(shù)據(jù)。這可能導(dǎo)致5個(gè)以上的文件導(dǎo)出到一個(gè)文件夾，這些文件包含相同的數(shù)據(jù)類型。該P(yáng)ython腳本通過獲取這些文件)并將它們合并到一個(gè)文件中來解決這個(gè)問題。

fromtimeimportstrftime

importpandasaspd

importglob

#定義包含CSV文件的文件夾的路徑

path=input('Pleaseenterthefullfolderpath:')

#確保后面有一個(gè)斜杠

ifpath[:-1]!="/":

path=path+"/"

#以列表形式獲取CSV文件

csv_files=glob.glob(path+'*.csv')

#打開每個(gè)CSV文件并合并為一個(gè)文件

merged_file=pd.concat([pd.read_csv(c)forcincsv_files])

#創(chuàng)建新文件

merged_file.to_csv(path+'merged_{}.csv'.format(strftime("%m-%d-%yT%H:%M:%S")),index=False)

print('Mergecomplete.')

最終輸出將為您提供一個(gè)CSV文件，其中包含您從源系統(tǒng)導(dǎo)出的CSV列表中的所有數(shù)據(jù)。

從CSV文件中刪除重復(fù)的行

如果您需要從CSV文件中刪除重復(fù)的數(shù)據(jù)行，這可以幫助您快速執(zhí)行清理操作。當(dāng)機(jī)器學(xué)習(xí)數(shù)據(jù)集中擁有重復(fù)數(shù)據(jù)時(shí)，這會(huì)直接影響可視化工具或機(jī)器學(xué)習(xí)項(xiàng)目中的結(jié)果。

importpandasaspd

#獲取文件名

filename=input('filename:')

#定義要檢查是否重復(fù)的CSV列名

duplicate_header=input('headername:')

#獲取文件的內(nèi)容

file_contents=pd.read_csv(filename)

#刪除重復(fù)的行

deduplicated_data=file_contents.drop_duplicates(subset=[duplicate_header],keep="last",inplace=True)

#創(chuàng)建新文件

deduplicated_data.to_csv('deduplicated_data.csv')

拆分CSV列

當(dāng)從其他系統(tǒng)導(dǎo)出文件時(shí)，它有時(shí)會(huì)包含一列數(shù)據(jù)，而我們需要將其作為兩列。

importpandasaspd

#獲取文件名并定義列

filename=input('filename:')

col_to_split=input('columnname:')

col_name_one=input('firstnewcolumn:')

col_name_two=input('secondnewcolumn:')

#將CSV數(shù)據(jù)添加到dataframe中

df=pd.read_csv(filename)

#拆分列

df[[col_name_one,col_name_two]]=df[col_to_split].str.split(",",expand=True)

#創(chuàng)建新csv文件

df.to_csv('split_data.csv')

合并不同的數(shù)據(jù)集

假設(shè)您有一個(gè)帳戶列表和與其關(guān)聯(lián)的訂單，并希望查看訂單歷史以及關(guān)聯(lián)的帳戶詳細(xì)信息。一個(gè)很好的方法就是通過合并數(shù)據(jù)到一個(gè)CSV文件。

importpandasaspd

#獲取文件名并定義用戶輸入

left_filename=input('LEFTfilename:')

right_filename=input('RIGHTfilename:')

join_type=input('jointype(outer,inner,left,right):')

join_column_name=input('columnname(i.e.Account_ID):')

#讀取文件到dataframes

df_left=pd.read_csv(left_filename)

df_right=pd.read_csv(right_filename)

#加入dataframes

joined_data=pd.merge(left=df_left,right=df_right,how=join_type,on=join_column_name)

#創(chuàng)建新的csv文件

joined_data.to_csv('joined_data.csv')

最后

這些腳本可以有效