第python讀取mnist數(shù)據(jù)集方法案例詳解mnist手寫數(shù)字數(shù)據(jù)集在機器學(xué)習(xí)中非常常見，這里記錄一下用python從本地讀取mnist數(shù)據(jù)集的方法。

數(shù)據(jù)集格式介紹

這部分內(nèi)容網(wǎng)絡(luò)上很常見，這里還是簡明介紹一下。網(wǎng)絡(luò)上下載的mnist數(shù)據(jù)集包含4個文件：

前兩個分別是測試集的image和label，包含10000個樣本。后兩個是訓(xùn)練集的，包含60000個樣本。.gz表示這個一個壓縮包，如果進行解壓的話，會得到.ubyte格式的二進制文件。

上圖是訓(xùn)練集的label和image數(shù)據(jù)的存儲格式。兩個文件最開始都有magicnumber和numberofimages/items兩個數(shù)據(jù)，有用的是第二個，表示文件中存儲的樣本個數(shù)。另外要注意的是數(shù)據(jù)的位數(shù)，有32位整型和8位整型兩種。

.gz格式的文件讀取

需要importgzip

讀取訓(xùn)練集的代碼如下：

defload_mnist_train(path,kind='train'):

path:數(shù)據(jù)集的路徑

kind:值為train，代表讀取訓(xùn)練集

labels_path=os.path.join(path,'%s-labels-idx1-ubyte.gz'%kind)

images_path=os.path.join(path,'%s-images-idx3-ubyte.gz'%kind)

#使用gzip打開文件

withgzip.open(labels_path,'rb')aslbpath:

#使用struct.unpack方法讀取前兩個數(shù)據(jù)，代表高位在前，I代表32位整型。lbpath.read(8)表示一次從文件中讀取8個字節(jié)

#這樣讀到的前兩個數(shù)據(jù)分別是magicnumber和樣本個數(shù)

magic,n=struct.unpack('II',lbpath.read(8))

#使用np.fromstring讀取剩下的數(shù)據(jù)，lbpath.read()表示讀取所有的數(shù)據(jù)

labels=np.fromstring(lbpath.read(),dtype=np.uint8)

withgzip.open(images_path,'rb')asimgpath:

magic,num,rows,cols=struct.unpack('IIII',imgpath.read(16))

images=np.fromstring(imgpath.read(),dtype=np.uint8).reshape(len(labels),784)

returnimages,labels

讀取測試集的代碼類似。

非壓縮文件的讀取

如果在本地對四個文件解壓縮之后，得到的就是.ubyte格式的文件，這時讀取的代碼有所變化。

defload_mnist_train(path,kind='train'):

path:數(shù)據(jù)集的路徑

kind:值為train，代表讀取訓(xùn)練集

labels_path=os.path.join(path,'%s-labels-idx1-ubyte'%kind)

images_path=os.path.join(path,'%s-images-idx3-ubyte'%kind)

#不再用gzip打開文件

withopen(labels_path,'rb')aslbpath:

#使用struct.unpack方法讀取前兩個數(shù)據(jù)，代表高位在前，I代表32位整型。lbpath.read(8)表示一次從文件中讀取8個字節(jié)

#這樣讀到的前兩個數(shù)據(jù)分別是magicnumber和樣本個數(shù)

magic,n=struct.unpack('II',lbpath.read(8))

#使用np.fromfile讀取剩下的數(shù)據(jù)

labels=np.fromfile(lbpath,dtype=np.uint8)

withgzip.open(images_path,'rb')asimgpath:

magic,num,rows,cols=struct.unpack('IIII',imgpath.read(16))

images=np.fromfile(imgpath,dtype=