項目五數(shù)據(jù)預(yù)處理任務(wù)一NumPy數(shù)值計算例5-1代碼錄入行號代碼行1importnumpyasnp2#創(chuàng)建一個整數(shù)類型的NumPy數(shù)組3int_array=np.array([1,2,3,4],dtype=32)4#創(chuàng)建一個浮點類型的NumPy數(shù)組5float_array=np.array([1.1,2.2,3.3,4.4],dtype=np.float64)6#創(chuàng)建一個復(fù)數(shù)類型的NumPy數(shù)組7complex_array=np.array([1+2j,3+4j],dtype=plex128)8print(int_array)9print(float_array)10print(complex_array)運行結(jié)果[1234][1.12.23.34.4][1.+2.j3.+4.j]例5-2代碼錄入行號代碼行1importnumpyasnp2#定義一個自定義dtype3custom_dtype=np.dtype([4('姓名','U10'),#長度為10的Unicode字符串5('年齡',32),#32位整數(shù)字段6('體重',np.float64)#雙精度浮點數(shù)字段7])8#使用自定義dtype創(chuàng)建結(jié)構(gòu)化數(shù)組9data=np.array([10('王歡',30,65.5),11('蘭英',25,75.0),12('付杰',35,85.5)13],dtype=custom_dtype)14#訪問結(jié)構(gòu)化數(shù)組中的字段15print(data['姓名'])#訪問'姓名'字段16print(data['年齡'])#訪問'年齡'字段17print(data['體重'])#訪問'體重'字段運行結(jié)果['王歡''蘭英''付杰'][302535][65.575.85.5]例5-3代碼錄入行號代碼行1importnumpyasnp2#預(yù)設(shè)字節(jié)順序3dt=np.dtype('<i8')4print(dt)運行結(jié)果int64例5-4代碼錄入行號代碼行1importnumpyasnp2#創(chuàng)建一個一維數(shù)組3a=np.array([1,2,3])4print(a)5#輸出：[123]6#創(chuàng)建一個二維數(shù)組7b=np.array([[1,2,3],[4,5,6]])8print(b)9#輸出：10#[[123]11#[456]]12#指定生成數(shù)組的數(shù)據(jù)類型13c=np.array([1,2,3],dtype=complex)14print(c)15#輸出：[1.+0.j2.+0.j3.+0.j]16#使用ndmin指定數(shù)組的最小維數(shù)17d=np.array([1,2,3],ndmin=2)18print(d)19#輸出：20#[[123]]運行結(jié)果[123][[123][456]][1.+0.j2.+0.j3.+0.j][[123]]例5-5代碼錄入行號代碼行1importnumpyasnp2#創(chuàng)建一個2x3的整數(shù)數(shù)組3a=np.array([[1,2,3],[4,5,6]])4print("數(shù)組:\n",a)5print("維度:",a.ndim)#維度6print("形狀:",a.shape)#形狀7print("元素總數(shù):",a.size)#元素總數(shù)8print("元素數(shù)據(jù)類型:",a.dtype)#元素數(shù)據(jù)類型9print("每個元素的大小:",a.itemsize)#每個元素的大小運行結(jié)果數(shù)組:[[123][456]]維度:2形狀:(2,3)元素總數(shù):6元素數(shù)據(jù)類型:int64每個元素的大小:8例5-6代碼錄入行號代碼行1importnumpyasnp2#創(chuàng)建一個形狀為(3,)的一維全零數(shù)組3a=np.zeros(3)4#創(chuàng)建一個3x3的二維全零數(shù)組5b=np.zeros((3,3))6print(a)7print(b)運行結(jié)果[0.0.0.][[0.0.0.][0.0.0.][0.0.0.]]例5-7代碼錄入行號代碼行1importnumpyasnp2#創(chuàng)建一個2x2的未初始化的數(shù)組3a=np.empty((2,2))4print(a)運行結(jié)果[[1.1.][1.1.]]例5-8代碼錄入行號代碼行1importnumpyasnp2#創(chuàng)建一個形狀為(4,)的一維全一數(shù)組3a=np.ones(4)4#創(chuàng)建一個4x4的二維全一數(shù)組5b=np.ones((4,4))6print(a)7print(b)運行結(jié)果[1.1.1.1.][[1.1.1.1.][1.1.1.1.][1.1.1.1.][1.1.1.1.]]例5-9代碼錄入行號代碼行1importnumpyasnp2#創(chuàng)建一個NumPy數(shù)組3arr=np.array([0,1,2,3,4,5,6,7,8,9])4#切片操作示例5sub_arr=arr[2:7:2]#從索引2開始到索引7（不包含7），步長為26print(sub_arr)運行結(jié)果[246]例5-10代碼錄入行號代碼行1importnumpyasnp2arr=np.array([0,1,2,3,4,5,6,7,8,9])3#使用負數(shù)索引切片4last_elements=arr[-4:-1]#取最后四個元素中的前三個5print(last_elements)運行結(jié)果[678]例5-11代碼錄入行號代碼行1importnumpyasnp2arr=np.array([0,1,2,3,4,5,6,7,8,9])3#省略start，表示從數(shù)組開始位置切片4a=arr[:5]#從開始到索引5（不包含5）5print(a)6#省略end，表示切片到數(shù)組末尾7b=arr[5:]#從索引5開始到數(shù)組末尾8print(b)9#同時省略start和end，表示切片整個數(shù)組，可以用step來取每隔幾個元素的值10c=arr[::2]#取所有索引為偶數(shù)的元素11print(c)運行結(jié)果[01234][56789][02468]例5-12代碼錄入行號代碼行1importnumpyasnp2#創(chuàng)建一個二維NumPy數(shù)組3arr_2d=np.array([[0,1,2],[3,4,5],[6,7,8],[9,10,11]])4#取第1到3行（不包含第3行），第0到2列（不包含第2列）的子數(shù)組5sub_arr_2d=arr_2d[1:3,0:2]6print(sub_arr_2d)運行結(jié)果[[34][67]]例5-13代碼錄入行號代碼行1importnumpyasnp2arr=np.array([0,1,2,3,4,5,6,7,8,9])3#改變數(shù)組的形狀，不改變數(shù)據(jù)4reshaped_arr=arr.reshape(2,5)#將一維數(shù)組重塑為2行5列的二維數(shù)組5print(reshaped_arr)運行結(jié)果[[01234][56789]]例5-14代碼錄入行號代碼行1importnumpyasnp2#拼接兩個數(shù)組3arr1=np.array([1,2,3])4arr2=np.array([4,5,6])5concatenated_arr=np.concatenate((arr1,arr2))6print(concatenated_arr)運行結(jié)果[123456]例5-15代碼錄入行號代碼行1importnumpyasnp2#創(chuàng)建一個二維數(shù)組3array=np.array([[1,2,3],[4,5,6],[7,8,9]])4#使用.T屬性進行轉(zhuǎn)置5transposed_array=array.T6print("使用.T屬性轉(zhuǎn)置后的數(shù)組:")7print(transposed_array)8#或者使用np.transpose()函數(shù)進行轉(zhuǎn)置9transposed_array_func=np.transpose(array)10print("使用np.transpose()函數(shù)轉(zhuǎn)置后的數(shù)組:")11print(transposed_array_func)運行結(jié)果使用.T屬性轉(zhuǎn)置后的數(shù)組:[[147][258][369]]使用np.transpose()函數(shù)轉(zhuǎn)置后的數(shù)組:[[147][258][369]]例5-16代碼錄入行號代碼行1importnumpyasnp2a=np.array([1,2,3])3b=np.array([4,5,6])4#方法15c=a+b6#方法27c=np.add(a,b)8print(c)9c=a-b10#或11c=np.subtract(a,b)12print(c)13c=a*b14#或15c=np.multiply(a,b)16print(c)17c=a/b18#或19c=np.divide(a,b)20print(c)運行結(jié)果[579][-3-3-3][41018][0.250.40.5]例5-17代碼錄入行號代碼行1importnumpyasnp2#示例1:標量的冪運算3base=24exponent=35result=np.power(base,exponent)6print(result)7#示例2:數(shù)組的冪運算，使用相同的指數(shù)8base_array=np.array([1,2,3,4])9exponent=210result_array=np.power(base_array,exponent)11print(result_array)12#示例3:數(shù)組的冪運算，使用指數(shù)數(shù)組13base_array=np.array([1,2,3,4])14exponent_array=np.array([0,1,2,3])15result_array=np.power(base_array,exponent_array)16print(result_array)運行結(jié)果8[14916][12964]例5-18代碼錄入行號代碼行1importnumpyasnp2score=np.array([[88,80],[67,83],[74,75],[67,79],[56,76]])3print(score)4print('根據(jù)行取最大值:\n',score.max(axis=0))#根據(jù)行取最大值5print('根據(jù)行取最小值:\n',score.min(axis=0))#根據(jù)行取最小值6print('根據(jù)列求和:\n',score.sum(axis=1))#根據(jù)列求和7print('根據(jù)行求和:\n',score.sum(axis=0))#根據(jù)行求和8print('根據(jù)行求平均數(shù):\n',score.mean(axis=0))#根據(jù)行求平均數(shù)9print('根據(jù)行求標準差:\n',score.std(axis=0))#根據(jù)行求標準差運行結(jié)果[[8880][6783][7475][6779][5676]]根據(jù)行取最大值:[8883]根據(jù)行取最小值:[5675]根據(jù)列求和:[168150149146132]根據(jù)行求和:[352393]根據(jù)行求平均數(shù):[70.478.6]根據(jù)行求標準差:[10.518555032.87054002]例5-19代碼錄入行號代碼行1importnumpyasnp2arr=np.array([1,2,3,4,5])3median=np.median(arr)4print(median)#輸出數(shù)組的中位數(shù)5std_dev=np.std(arr)6print(std_dev)#輸出數(shù)組的標準差7variance=np.var(arr)8print(variance)#輸出數(shù)組的方差9max_value=np.max(arr)10min_value=np.min(arr)11print(max_value,min_value)#輸出數(shù)組的最大值和最小值運行結(jié)果3.01.41421356237309512.051例5-20代碼錄入行號代碼行1importnumpyasnp2#創(chuàng)建一個二維數(shù)組3arr_2d=np.array([[13,7,5],[8,14,3],[12,4,9]])4#計算數(shù)組中的元素最大值（沿著行的方向，即axis=0）5column_max=np.max(arr_2d,axis=0)6print(column_max)#輸出每列的最大值7#計算數(shù)組中的元素最小值（沿著行的方向，即axis=0）8column_min=np.min(arr_2d,axis=0)9print(column_min)#輸出每列的最小值運行結(jié)果[13149][843]【學中做】行號代碼行1importnumpyasnp2#定義收盤價列表3closing_prices=[100,102,99,101,98,103,105,107,104,106]4#1.計算平均價格5average_price=np.mean(closing_prices)6print(f"平均價格:{average_price:.2f}")7#2.找出最高價和最低價8max_price=np.max(closing_prices)9min_price=np.min(closing_prices)10print(f"最高價:{max_price}")11print(f"最低價:{min_price}")12#3.計算標準差13std_dev=np.std(closing_prices)14print(f"標準差:{std_dev:.2f}")運行結(jié)果平均價格:102.50最高價:107最低價:98標準差:3.02【任務(wù)拓展】編寫一個示例，展示如何利用廣播機制對兩個形狀不同的數(shù)組進行數(shù)學運算。行號代碼行1importnumpyasnp2#創(chuàng)建一個2x3的二維數(shù)組3a=np.array([[1,2,3],4[4,5,6]])5#創(chuàng)建一個長度為3的一維數(shù)組（行向量）6b=np.array([10,20,30])7#創(chuàng)建一個長度為2的一維數(shù)組（列向量需重塑）8c=np.array([100,200]).reshape(2,1)9#示例1:a與b相加（列廣播）10result1=a+b11print("示例1:a+b=")12print(result1)13#示例2:a與c相加（行廣播）14result2=a+c15print("\n示例2:a+c=")16print(result2)17#示例3:更復(fù)雜的運算（乘法和加法結(jié)合）18result3=a*b+c19print("\n示例3:a*b+c=")20print(result3)運行結(jié)果示例1:a+b=[[112233][142536]]示例2:a+c=[[101102103][204205206]]示例3:a*b+c=[[110220330][204225246]]任務(wù)二Pandas數(shù)據(jù)結(jié)構(gòu)例5-21代碼錄入行號代碼行1importpandasaspd2#從列表創(chuàng)建Series3my_series=pd.Series([1,2,3,4,5])4print(my_series)5#根據(jù)索引值讀取數(shù)據(jù)6print(my_series[1])運行結(jié)果0112233445dtype:int642例5-22代碼錄入行號代碼行1importpandasaspd2#從列表創(chuàng)建Series，自定義索引3my_series=pd.Series([6,7,8],index=['X','Y','Z'])4print(my_series)5#根據(jù)索引值讀取數(shù)據(jù)6print(my_series['Z'])運行結(jié)果X6Y7Z8dtype:int648例5-23代碼錄入行號代碼行1importpandasaspd2#從字典創(chuàng)建Series，這里字典的鍵自動成為索引3my_dict=pd.Series({1:'a',2:'b',3:'c'})4print(my_dict)5#根據(jù)索引值讀取數(shù)據(jù)6print(my_dict[3])運行結(jié)果1a2b3cdtype:objectc例5-24代碼錄入行號代碼行1importpandasaspd2#通過列表創(chuàng)建DataFrame3data=[['張明',14,88],['李麗',13,92],['王強',14,95]]4df=pd.DataFrame(data,columns=['姓名','年齡','分數(shù)'])5print(df)運行結(jié)果1姓名年齡分數(shù)20張明148831李麗139242王強1495例5-25代碼錄入行號代碼行1importpandasaspd2#從字典的列表創(chuàng)建DataFrame3data=[{'姓名':'張明','年齡':14,'分數(shù)':88},{'姓名':'李麗','年齡':13,'分數(shù)':92},{'姓名':'王強','年齡':14,'分數(shù)':95}]4df=pd.DataFrame(data)5print(df)6#通過loc屬性返回指定行的數(shù)據(jù)7df.loc[0:1]#返回第一行和第二行運行結(jié)果姓名年齡分數(shù)0張明14881李麗13922王強1495姓名年齡分數(shù)0張明141李麗例5-26代碼錄入行號代碼行1importpandasaspd2#從字典的字典創(chuàng)建DataFrame，并指定行索引3data={'A':[1,2],'B':[3,4]}4df=pd.DataFrame(data,index=['Row1','Row2'])5print(df)運行結(jié)果ABRow113Row224例5-27代碼錄入行號代碼行1importpandasaspd2#創(chuàng)建學生成績單3data=[{'姓名':'張明','年齡':14,'分數(shù)':88},{'姓名':'李麗','年齡':13,'分數(shù)':92},{'姓名':'王強','年齡':14,'分數(shù)':95}]4df=pd.DataFrame(data)5#將列標簽重命名6df.rename(columns={'姓名':'名字','分數(shù)':'成績'},inplace=True)7print(df)8#將行標簽重命名9df.rename(index={0:'學生1',1:'學生2',2:'學生3'},inplace=True)10print(df)運行結(jié)果名字年齡成績0張明14881李麗13922王強1495名字年齡成績學生1張明1488學生2李麗1392學生3王強1495例5-28代碼錄入行號代碼行1importpandasaspd2#創(chuàng)建學生成績單3data=[{'姓名':'張明','年齡':14,'分數(shù)':88},{'姓名':'李麗','年齡':13,'分數(shù)':92},{'姓名':'王強','年齡':14,'分數(shù)':95}]4df=pd.DataFrame(data)5#在第二列位置插入新列'性別'，值為['男','女','男']6df.insert(1,'性別',['男','女','男'])7print(df)運行結(jié)果姓名性別年齡分數(shù)0張明男14881李麗女13922王強男1495例5-29代碼錄入行號代碼行1importpandasaspd2#創(chuàng)建學生成績單3data=[{'姓名':'張明','年齡':14,'分數(shù)':88},{'姓名':'李麗','年齡':13,'分數(shù)':92},{'姓名':'王強','年齡':14,'分數(shù)':95}]4df=pd.DataFrame(data)5#刪除名為'年齡'的列6df.drop(columns='年齡',inplace=True)7print(df)8#刪除索引為1的行9df.drop(index=1,inplace=True)10print(df)運行結(jié)果姓名分數(shù)0張明881李麗922王強95姓名分數(shù)0張明882王強95例5-30代碼錄入行號代碼行1importpandasaspd2#上面創(chuàng)建的學生成績單3data=[{'姓名':'張明','年齡':14,'分數(shù)':88},{'姓名':'李麗','年齡':13,'分數(shù)':92},{'姓名':'王強','年齡':14,'分數(shù)':95}]4df=pd.DataFrame(data)5#使用head()方法查看前兩行數(shù)據(jù)6print(df.head(2))7#使用tail()方法查看后兩行數(shù)據(jù)8print(df.tail(2))運行結(jié)果姓名年齡分數(shù)0張明14881李麗1392姓名年齡分數(shù)1李麗13922王強1495【學中做】行號代碼行1importpandasaspd2data={3'資產(chǎn)名稱':['聯(lián)想電腦','碎紙機','空調(diào)','小轎車'],4'資產(chǎn)原值':[4000,3000,2500,300000],5'殘值率':[0.05,0.05,0.05,0.05],6'殘值額':[200,150,125,15000],7'期限（月）':[60,60,60,120],8'累計折舊':[316.65,237.50,197.90,4750.00],9'本月折舊':[63.33,47.50,39.58,2375.00]}10df=pd.DataFrame(data)11df['期末凈值']=df['資產(chǎn)原值']-df['累計折舊']print(df)任務(wù)三Pandas函數(shù)調(diào)用例5-31代碼錄入行號代碼行1importpandasaspd2#創(chuàng)建一個客戶交易記錄的DataFrame3df=pd.DataFrame({4'客戶id':[101,102,101,103,102,101],5'交易日期':['2023-01-01','2023-01-02','2023-01-01','2023-01-03','2023-01-02','2023-01-01'],6'交易金額':[100,200,50,300,150,50]7})8print("原始交易記錄:")9print(df)10#檢測重復(fù)的交易記錄11duplicates=df.duplicated()12print("\n重復(fù)的交易記錄:")13print(duplicates)14#根據(jù)客戶ID和交易日期檢測重復(fù)的交易記錄15duplicates_subset=df.duplicated(subset=['客戶id','交易日期'])16print("\n根據(jù)客戶ID、交易日期檢測重復(fù)的交易記錄:")17print(duplicates_subset)運行結(jié)果原始交易記錄:客戶id交易日期交易金額01012023-01-0110011022023-01-0220021012023-01-015031032023-01-0330041022023-01-0215051012023-01-0150重復(fù)的交易記錄:0False1False2False3False4False5Truedtype:bool根據(jù)客戶ID、交易日期檢測重復(fù)的交易記錄:0False1False2True3False4True5Truedtype:bool例5-32代碼錄入行號代碼行1#刪除重復(fù)的交易記錄2transactions_no_duplicates=df.drop_duplicates(subset=['客戶id','交易日期'])3print("\n處理后的交易記錄（無重復(fù)）:")4print(transactions_no_duplicates)運行結(jié)果處理后的交易記錄（無重復(fù)）:客戶id交易日期交易金額01012023-01-0110011022023-01-0220031032023-01-03300例5-33代碼錄入行號代碼行1importpandasaspd2#創(chuàng)建一個包含缺失值的DataFrame3df=pd.DataFrame({4'A':[1,2,None,4],5'B':[5,None,None,8],6'C':[9,10,11,None]7})8#使用isnull()檢測缺失值9is_null=df.isnull()10print(is_null)11#使用notnull()檢測非缺失值12non_is_null=df.notnull()13print(non_is_null)運行結(jié)果ABC0FalseFalseFalse1FalseTrueFalse2TrueTrueFalse3FalseFalseTrueABC0TrueTrueTrue1TrueFalseTrue2FalseFalseTrue3TrueTrueFalse例5-34代碼錄入行號代碼行1importpandasaspd2#創(chuàng)建一個包含缺失值的DataFrame3df=pd.DataFrame({4'A':[1,2,None,4],5'B':[5,None,None,8],6'C':[9,10,11,None]7})8#刪除包含至少一個缺失值的行9rows=df.dropna()10#刪除包含至少一個缺失值的列11columns=df.dropna(axis=1)12#僅當行中全部都是缺失值時才刪除該行13all_rows=df.dropna(how='all')14#保留至少有2個非空元素的行15thresh=df.dropna(thresh=2)16print('刪除包含至少一個缺失值的行\(zhòng)n',rows)17print('刪除包含至少一個缺失值的列\(zhòng)n',columns)18print('僅當行中全部都是缺失值時才刪除該行\(zhòng)n',all_rows)19print('保留至少有2個非空元素的行\(zhòng)n',thresh)運行結(jié)果刪除包含至少一個缺失值的行ABC01.05.09.0刪除包含至少一個缺失值的列EmptyDataFrameColumns:[]Index:[0,1,2,3]僅當行中全部都是缺失值時才刪除該行ABC01.05.09.012.0NaN10.02NaNNaN11.034.08.0NaN保留至少有2個非空元素的行ABC01.05.09.012.0NaN10.034.08.0NaN例5-35代碼錄入行號代碼行1importpandasaspd2df=pd.DataFrame({3'A':[1,2,None,4],4'B':[5,None,None,8],5'C':[9,10,11,None]6})7#使用0填充所有的NaN值8df_filled=df.fillna(0)9print(df_filled)運行結(jié)果ABC01.05.09.012.00.010.020.00.011.034.08.00.0例5-36代碼錄入行號代碼行1importpandasaspd2importnumpyasnp3df=pd.DataFrame({4'A':[1,2,0,4],5'B':[5,-1,-1,8],6'C':[9,10,11,99]7})8print(df)9df_astype=df.astype('float')10print(df_astype)運行結(jié)果ABC015912-11020-11134899ABC01.05.09.012.0-1.010.020.0-1.011.034.08.099.0例5-37代碼錄入行號代碼行1importpandasaspd2#初始化兩個DataFrame對象3df1=pd.DataFrame({'A':[1,2],'B':[3,4]})4df2=pd.DataFrame({'C':[5,6],'D':[7,8]})5#橫向合并兩個DataFrame對象6result=pd.concat([df1,df2],axis=1)7#輸出合并后的DataFrame8print(df1)9print(df2)10print(result)運行結(jié)果AB013124CD057168ABCD0135712468例5-38代碼錄入行號代碼行1importpandasaspd2#初始化兩個DataFrame對象3df1=pd.DataFrame({'A':[1,2],'B':[3,4]})4df2=pd.DataFrame({'A':[5,6],'B':[7,8]})5#縱向合并兩個DataFrame對象6result=pd.concat([df1,df2],axis=0)7#輸出合并后的