數(shù)據(jù)挖掘技術(shù)與應(yīng)用1掌握DataFrame的常用操作目錄讀寫不同數(shù)據(jù)源的數(shù)據(jù)2轉(zhuǎn)換與處理時(shí)間序列數(shù)據(jù)3pandas提供了讀取與存儲(chǔ)關(guān)系型數(shù)據(jù)庫數(shù)據(jù)的函數(shù)與方法。除了pandas庫外，還需要使用SQLAlchemy庫建立對(duì)應(yīng)的數(shù)據(jù)庫連接。SQLAlchemy配合相應(yīng)數(shù)據(jù)庫的Python連接工具（例如MySQL數(shù)據(jù)庫需要安裝mysqlclient或者pymysql庫），使用create_engine函數(shù)，建立一個(gè)數(shù)據(jù)庫連接。creat_engine中填入的是一個(gè)連接字符串。在使用Python的SQLAlchemy時(shí)，MySQL和Oracle數(shù)據(jù)庫連接字符串的格式如下

數(shù)據(jù)庫產(chǎn)品名+連接工具名：//用戶名:密碼@數(shù)據(jù)庫IP地址:數(shù)據(jù)庫端口號(hào)/數(shù)據(jù)庫名稱？charset=數(shù)據(jù)庫數(shù)據(jù)編碼讀寫數(shù)據(jù)庫數(shù)據(jù)1.數(shù)據(jù)庫數(shù)據(jù)讀取read_sql_table只能夠讀取數(shù)據(jù)庫的某一個(gè)表格，不能實(shí)現(xiàn)查詢的操作。

pandas.read_sql_table(table_name,con,schema=None,index_col=None,coerce_float=True,columns=None)read_sql_query則只能實(shí)現(xiàn)查詢操作，不能直接讀取數(shù)據(jù)庫中的某個(gè)表。

pandas.read_sql_query(sql,con,index_col=None,coerce_float=True)read_sql是兩者的綜合，既能夠讀取數(shù)據(jù)庫中的某一個(gè)表，也能夠?qū)崿F(xiàn)查詢操作。

pandas.read_sql(sql,con,index_col=None,coerce_float=True,columns=None)讀寫數(shù)據(jù)庫數(shù)據(jù)1.數(shù)據(jù)庫數(shù)據(jù)讀取參數(shù)名稱說明sqlortable_name接收string。表示讀取的數(shù)據(jù)的表名或者sql語句。無默認(rèn)。con接收數(shù)據(jù)庫連接。表示數(shù)據(jù)庫連接信息。無默認(rèn)index_col接收int，sequence或者False。表示設(shè)定的列作為行名，如果是一個(gè)數(shù)列則是多重索引。默認(rèn)為None。coerce_float接收boolean。將數(shù)據(jù)庫中的decimal類型的數(shù)據(jù)轉(zhuǎn)換為pandas中的float64類型的數(shù)據(jù)。默認(rèn)為True。columns接收list。表示讀取數(shù)據(jù)的列名。默認(rèn)為None。讀寫數(shù)據(jù)庫數(shù)據(jù)1.數(shù)據(jù)庫數(shù)據(jù)讀取pandas三個(gè)數(shù)據(jù)庫數(shù)據(jù)讀取函數(shù)的參數(shù)幾乎完全一致，唯一的區(qū)別在于傳入的是語句還是表名。數(shù)據(jù)庫數(shù)據(jù)讀取有三個(gè)函數(shù)，但數(shù)據(jù)存儲(chǔ)則只有一個(gè)to_sql方法。DataFrame.to_sql(name,con,schema=None,if_exists=’fail’,index=True,index_label=None,dtype=None)讀寫數(shù)據(jù)庫數(shù)據(jù)2.數(shù)據(jù)庫數(shù)據(jù)存儲(chǔ)參數(shù)名稱說明name接收string。代表數(shù)據(jù)庫表名。無默認(rèn)。con接收數(shù)據(jù)庫連接。無默認(rèn)。index接收boolean。表示是否將行索引作為數(shù)據(jù)傳入數(shù)據(jù)庫。默認(rèn)True。index_label接收string或者sequence。代表是否引用索引名稱，如果index參數(shù)為True此參數(shù)為None則使用默認(rèn)名稱。如果為多重索引必須使用sequence形式。默認(rèn)為None。dtype接收dict。代表寫入的數(shù)據(jù)類型（列名為key，數(shù)據(jù)格式為values）。默認(rèn)為None。文本文件是一種由若干行字符構(gòu)成的計(jì)算機(jī)文件，它是一種典型的順序文件。csv是一種逗號(hào)分隔的文件格式，因?yàn)槠浞指舴灰欢ㄊ嵌禾?hào)，又被稱為字符分隔文件，文件以純文本形式存儲(chǔ)表格數(shù)據(jù)（數(shù)字和文本）。讀寫文本文件1.文本文件讀取使用read_table來讀取文本文件。pandas.read_table(filepath_or_buffer,sep=’\t’,header=’infer’,names=None,index_col=None,dtype=None,engine=None,nrows=None)使用read_csv函數(shù)來讀取csv文件。pandas.read_csv(filepath_or_buffer,sep=’,’,header=’infer’,names=None,index_col=None,dtype=None,engine=None,nrows=None)讀寫文本文件1.文本文件讀取read_table和read_csv常用參數(shù)及其說明。讀寫文本文件1.文本文件讀取參數(shù)名稱說明filepath接收string。代表文件路徑。無默認(rèn)。sep接收string。代表分隔符。read_csv默認(rèn)為“,”，read_table默認(rèn)為制表符“[Tab]”。header接收int或sequence。表示將某行數(shù)據(jù)作為列名。默認(rèn)為infer，表示自動(dòng)識(shí)別。names接收array。表示列名。默認(rèn)為None。index_col接收int、sequence或False。表示索引列的位置，取值為sequence則代表多重索引。默認(rèn)為None。dtype接收dict。代表寫入的數(shù)據(jù)類型（列名為key，數(shù)據(jù)格式為values）。默認(rèn)為None。engine接收c或者python。代表數(shù)據(jù)解析引擎。默認(rèn)為c。read_table和read_csv函數(shù)中的sep參數(shù)是指定文本的分隔符的，如果分隔符指定錯(cuò)誤，在讀取數(shù)據(jù)的時(shí)候，每一行數(shù)據(jù)將連成一片。header參數(shù)是用來指定列名的，如果是None則會(huì)添加一個(gè)默認(rèn)的列名。encoding代表文件的編碼格式，常用的編碼有utf-8、utf-16、gbk、gb2312、gb18030等。如果編碼指定錯(cuò)誤數(shù)據(jù)將無法讀取，IPython解釋器會(huì)報(bào)解析錯(cuò)誤。讀寫文本文件1.文本文件讀取文本文件的存儲(chǔ)和讀取類似，結(jié)構(gòu)化數(shù)據(jù)可以通過pandas中的to_csv函數(shù)實(shí)現(xiàn)以csv文件格式存儲(chǔ)文件。DataFrame.to_csv(path_or_buf=None,sep=’,’,na_rep=”,columns=None,header=True,index=True,index_label=None,mode=’w’,encoding=None)讀寫文本文件2.文本文件儲(chǔ)存參數(shù)名稱說明參數(shù)名稱說明path_or_buf接收string。代表文件路徑。無默認(rèn)。index接收boolean，代表是否將行名（索引）寫出。默認(rèn)為True。sep接收string。代表分隔符。默認(rèn)為“,”。index_labels接收sequence。表示索引名。默認(rèn)為None。na_rep接收string。代表缺失值。默認(rèn)為“”。mode接收特定string。代表數(shù)據(jù)寫入模式。默認(rèn)為w。columns接收list。代表寫出的列名。默認(rèn)為None。encoding接收特定string。代表存儲(chǔ)文件的編碼格式。默認(rèn)為None。header接收boolean，代表是否將列名寫出。默認(rèn)為True。pandas提供了read_excel函數(shù)來讀取“xls”“xlsx”兩種Excel文件。pandas.read_excel(io,sheetname=0,header=0,index_col=None,names=None,dtype=None)讀寫Excel文件參數(shù)名稱說明io接收string。表示文件路徑。無默認(rèn)。sheetname接收string、int。代表excel表內(nèi)數(shù)據(jù)的分表位置。默認(rèn)為0。header接收int或sequence。表示將某行數(shù)據(jù)作為列名。默認(rèn)為infer，表示自動(dòng)識(shí)別。names接收int、sequence或者False。表示索引列的位置，取值為sequence則代表多重索引。默認(rèn)為None。index_col接收int、sequence或者False。表示索引列的位置，取值為sequence則代表多重索引。默認(rèn)為None。dtype接收dict。代表寫入的數(shù)據(jù)類型（列名為key，數(shù)據(jù)格式為values）。默認(rèn)為None。1.Excel文件讀取將文件存儲(chǔ)為Excel文件，可以使用to_excel方法。其語法格式如下。DataFrame.to_excel(excel_writer=None,sheetname=None’,na_rep=”,header=True,i