5.4格式不一致數(shù)據(jù)的處理學(xué)習(xí)內(nèi)容1.字符格式不一致數(shù)據(jù)的處理2.日期格式不一致數(shù)據(jù)的處理5.4格式不一致數(shù)據(jù)的處理

在實(shí)際的工作中，因?yàn)槿斯げ僮骰蛘呦到y(tǒng)設(shè)計(jì)的缺陷，導(dǎo)致收集的數(shù)據(jù)集可能存在數(shù)據(jù)格式不一致的情況，例如姓名的大小寫(xiě)字母和空格的不一致，日期格式的不一致等。5.4.1字符格式不一致的處理示例：數(shù)據(jù)集（data/names.txt）01importpandasaspd02df=pd.read_csv("data/names.txt",sep=',')03df問(wèn)題：拼音大小寫(xiě)混亂！5.4格式不一致數(shù)據(jù)的處理

5.4.1字符格式不一致的處理示例：數(shù)據(jù)集（data/names.txt）04df['拼音']=df['拼音'].map(str.strip)#去除'拼音'列字符串前后的空格05df['拼音']=df['拼音'].map(str.title)#將'拼音'列字符串首字母變?yōu)榇髮?xiě)字母06df經(jīng)過(guò)第4-5行處理，詩(shī)人的拼音字符格式統(tǒng)一了，全部設(shè)置為首字母大寫(xiě)。5.4格式不一致數(shù)據(jù)的處理

5.4.2日期格式不一致的處理日期是數(shù)據(jù)集中的常用字典，而且日期常常有很多種表達(dá)格式。比如，2021年7月1日是中國(guó)共產(chǎn)黨建黨100周年，對(duì)于這個(gè)日期可以有五種不同的表達(dá)格式：5.4格式不一致數(shù)據(jù)的處理

5.4.2日期格式不一致的處理pandas提供了to_datetime()方法來(lái)進(jìn)行批量的日期格式轉(zhuǎn)換01importpandasaspd02df=pd.DataFrame({'原日期':['20210701','2021/07/01','2021.07.01','01-July-21','07/01/2021']})03df['轉(zhuǎn)換后的日期']=pd.to_datetime(df['原日期'])04df第2行代碼產(chǎn)生DataFrame對(duì)象df，初始值包括了5種不同的日期格式。第3行代碼利用pandas的to_datetime()方法統(tǒng)一日期格式，并賦值給新的列'轉(zhuǎn)換后的日期'。第4行代碼輸出變換后的df的結(jié)果。5.4格式不一致數(shù)據(jù)的處理

5.4.2日期格式不一致的處理有時(shí)候?yàn)榱私y(tǒng)計(jì)的需要，還需要將日期按年，月，日進(jìn)行分割。Series對(duì)象提供了dt對(duì)象來(lái)獲取日期的上述屬性：表5.4.1

dt對(duì)象的屬性說(shuō)明序號(hào)參數(shù)說(shuō)明1year年2month月3day日4quarter季度5is_leap_year是否是閏年6day_name()星期5.4格式不一致數(shù)據(jù)的處理

5.4.2日期格式不一致的處理05df['年'],df['月'],df['日']=df['轉(zhuǎn)換后的日期'].dt.year,df['轉(zhuǎn)換后的日期'].dt.month,df['轉(zhuǎn)換后的日期'].dt.day06df['季度']=df['轉(zhuǎn)換后的日期'].dt.quarter07df['星期']=df['轉(zhuǎn)換后的日期'].dt.day_name()08df['閏年']=df['轉(zhuǎn)換后的日期'].dt.is_leap_year09df5.4格式不一致數(shù)據(jù)的處理

5.4.2日期格式不一致的處理

以電影數(shù)據(jù)集（data/movies3.csv）為例，對(duì)日期格式不一致的數(shù)據(jù)進(jìn)行處理。01importpandasaspd02df=pd.read_csv('data/movies3.csv')03df