Python財經(jīng)應(yīng)用：編程基礎(chǔ)、數(shù)據(jù)分析與可視化第四章使用模塊和庫編程中國農(nóng)業(yè)大學(xué)李輝01

模塊的使用與創(chuàng)建02

包的創(chuàng)建與使用03

常見標準庫的使用04

常見第三方庫的使用05

財經(jīng)數(shù)據(jù)獲取與分析庫01

模塊的使用與創(chuàng)建02

包的創(chuàng)建與使用03

常見標準庫的使用04

常見第三方庫的使用05

財經(jīng)數(shù)據(jù)獲取與分析庫4.4常見第三方庫的使用第四章使用模塊和庫編程Python語言有數(shù)十萬第三方庫，覆蓋幾乎所有的信息技術(shù)領(lǐng)域。這些第三方庫是由專家、工程師和愛好者開發(fā)和維護。這些第三方庫構(gòu)成了Python計算生態(tài)。通過PyPI官網(wǎng)（/）可以查找和瀏覽第三方庫的基本信息。了解要使用的第三方庫的基本信息后，這些第三方庫需要先安裝才能使用。有多種方式對這些第三方庫進行安裝和管理。本章重點介紹使用pip安裝和管理Python第三方庫。常見第三方庫的使用常見第三方庫的使用——第三方庫的安裝下載和安裝第三方模塊使用Python提供的包管理工具pip命令實現(xiàn)：參數(shù)說明如下：命令：用指定要執(zhí)行的命令。常用命令有install（用于安裝第三方模塊）、uninstall（用于卸載已經(jīng)安裝的第三方模塊）、list（用于顯示已經(jīng)安裝的第三方模塊）等。模塊名：可選參數(shù)，用于指定要安裝或者卸載的模塊名，當命令為install或者uninstall時不能省略。pip<命令>[模塊名]常見第三方庫的使用——第三方庫的安裝例如：安裝第三方的NumPy模塊（用于科學(xué)計算）。首先，定位到pip.exe所在目錄，它通常在Python的安裝根目錄下的Scripts文件夾路徑中，然后，在命令窗口中輸入以下代碼：執(zhí)行上述代碼時，將在線安裝NumPy模塊，安裝完成之后，將顯示以下界面。pipinstallnumpy常見第三方庫的使用——第三方庫的安裝利用pip進行包的安裝、升級、卸載：1）指定安裝的軟件包版本，通過使用==、>=、<=、>、<來指定一個版本號。pip

install

pandas==2.02）升級包，升級包到當前最新的版本，可以使用-U或者–upgrade。pip

install

-U

pandas3）搜索包。pip

search

"pandas"常見第三方庫的使用——第三方庫的安裝利用pip進行包的安裝、升級、卸載：4）列出已安裝的包。

pip

list5）卸載包。pip

uninstallpandas常見第三方庫的使用——第三方庫的安裝利用pip進行包的安裝、升級、卸載：6）導(dǎo)出包到文本文件，可以用pipfreeze>

requirements.txt，將需要的模塊導(dǎo)出到文件里，然后在另一個地方pipinstall-rrequirements.txt再導(dǎo)入。當某個包安裝完畢后，可在PyCharm中，可以通過“File”“Settings”查看已經(jīng)安裝包常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫科學(xué)計算與數(shù)據(jù)分析庫1.NumPyNumPy（NumericalPython）是Python的一種開源的數(shù)值計算擴展，可用來存儲和處理大型矩陣，支持大量的維度數(shù)組與矩陣運算，此外也針對數(shù)組運算提供大量的數(shù)學(xué)函數(shù)庫。NumPy包括一個強大的N維數(shù)組對象Array；比較成熟的（廣播）函數(shù)庫；用于整合C/C++和Fortran代碼的工具包；實用的線性代數(shù)、傅里葉變換和隨機數(shù)生成函數(shù)。NumPy庫是Python的數(shù)值計算擴展，其內(nèi)部使用C語言編寫，對外采用Python語言進行封裝，因此基于NumPy的Python程序可以達到接近C語言的處理速度。NumPy是其他Python數(shù)據(jù)分析庫的基礎(chǔ)依賴庫，已經(jīng)成為科學(xué)計算事實上的“標準庫”。許多科學(xué)計算庫（包括Matplotlib、Pandas、Scipy和Sympy等）均基于NumPy庫。通過在Windows命令行界面執(zhí)行“pipinstallnumpy”命令可以安裝最新版本的NumPy及其依賴包。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫科學(xué)計算與數(shù)據(jù)分析庫2.ScipyScipy是一個開源的Python算法庫和數(shù)學(xué)工具包，基于NumPy的科學(xué)計算庫，用于數(shù)學(xué)、科學(xué)、工程學(xué)等領(lǐng)域，很多有一些高階抽象和物理模型需要使用Scipy。Scipy包含的模塊有最優(yōu)化、線性代數(shù)、積分、插值、特殊函數(shù)、快速傅里葉變換、信號處理和圖像處理、常微分方程求解和其他科學(xué)與工程中常用的計算。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫科學(xué)計算與數(shù)據(jù)分析庫3.PandasPandas是Python語言的一個擴展程序庫，用于數(shù)據(jù)分析。Pandas是一個開放源碼、BSD許可的庫，提供高性能、易于使用的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具。Pandas名字衍生自術(shù)語“paneldata”（面板數(shù)據(jù)）和“Pythondataanalysis”（Python數(shù)據(jù)分析）。Pandas一個強大的分析結(jié)構(gòu)化數(shù)據(jù)的工具集，基礎(chǔ)是NumPy（提供高性能的矩陣運算）。Pandas可以從各種文件格式比如CSV、JSON、SQL、MicrosoftExcel導(dǎo)入數(shù)據(jù)。Pandas可以對各種數(shù)據(jù)進行運算操作，比如歸并、再成形、選擇，還有數(shù)據(jù)清洗和數(shù)據(jù)加工特征。通過在Windows命令行界面執(zhí)行“pipinstallpandas”命令可以安裝最新版本的Pandas及其依賴包。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫數(shù)據(jù)可視化庫1.MatplotlibMatplotlib是提供數(shù)據(jù)繪圖功能的Python第三方庫，廣泛用于科學(xué)計算的二維數(shù)據(jù)可視化，可以繪制100多種的數(shù)據(jù)可視化效果。通過在Windows命令行界面執(zhí)行“pipinstallmatplotlib”命令可以安裝最新版本的Matplotlib及其依賴包。2.SeabornSeaborn是基于Matplotlib進行再封裝開發(fā)的第三方庫，并且支持NumPy和Pandas。Seaborn能夠?qū)y(tǒng)計類數(shù)據(jù)進行有效的可視化展示，它提供了一批高層次的統(tǒng)計類數(shù)據(jù)的可視化展示效果。通過在Windows命令行界面執(zhí)行“pipinstallseaborn”命令可以安裝最新版本的Seaborn及其依賴包。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫數(shù)據(jù)可視化庫3.PyechartsPyecharts是一個用于生成Echarts圖表的類庫。Echarts是百度開源的一個數(shù)據(jù)可視化庫，用Echarts生成的圖可視化效果非常棒。使用Pyecharts庫可以在Python中生成Echarts數(shù)據(jù)圖。4.VTKVTK（/）是一套三維的數(shù)據(jù)可視化工具，它由C++編寫，包涵了近千個類幫助我們處理和顯示數(shù)據(jù)。它在Python下有標準的綁定，不過其API和C++相同，不能體現(xiàn)出Python作為動態(tài)語言的優(yōu)勢。因此開發(fā)了一套TVTK庫對標準的VTK庫進行包裝，提供了Python風格的API、支持Trait屬性和NumPy的多維數(shù)組。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫數(shù)據(jù)可視化庫5.MayaviMayavi基于VTK開發(fā)的Python第三方庫，可以方便快速繪制三維可視化圖形。Mayavi也稱為Mayavi2。通過在Windows命令行界面執(zhí)行“pipinstallmayavi”命令可以安裝最新版本的Mayavi及其依賴包。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫用戶圖形界面（GUI）相關(guān)庫1.PyQtPyQt是一個創(chuàng)建GUI應(yīng)用程序的工具包。它是Python編程語言和Qt庫的成功融合。Qt庫是最強大的庫之一。pyqt實現(xiàn)了一個Python模塊集。它有超過300類，將近6000個函數(shù)和方法。它是一個多平臺的工具包，可以運行在所有主要操作系統(tǒng)上，包括UNIX、Windows和macOS。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫用戶圖形界面（GUI）相關(guān)庫2.wxPythonwxPython是一個用于wxWidgets（用C++編寫）的Python包裝器，這是一個流行的跨平臺GUI工具包。由RobinDunn和HarriPasanen共同開發(fā)，wxPython被實現(xiàn)為一個Python擴展模塊。它可以從官方網(wǎng)站下載。wxPythonAPI中的主要模塊包括一個核心模塊。它由wxObject類組成，它是API中所有類的基礎(chǔ)。wxPythonAPI具有GDI（圖形設(shè)備接口）模塊。它是一組用于繪制小部件的類。像字體，顏色，畫筆等類是其中的一部分。所有容器窗口類都在Windows模塊中定義。通過在Windows命令行界面執(zhí)行“pipinstallwxPython”命令可以安裝最新版本的wxPython及其依賴包。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫用戶圖形界面（GUI）相關(guān)庫3.PyGTKPyGTK是一組用Python和C編寫的包裝器，用于GTK+GUI庫。它是GNOME項目的一部分。它提供了用Python構(gòu)建桌面應(yīng)用程序的全面工具。其他流行的GUI庫的Python綁定也可用。PyQt是QT庫的Python端口。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫Web開發(fā)相關(guān)庫1.DjangoDjango是Python生態(tài)中最流行的開源Web應(yīng)用框架。Django采用MTV模式（Model模型、Template模板、View視圖）模型，可以高效地實現(xiàn)快速Web網(wǎng)站開發(fā)。通過在Windows命令行界面執(zhí)行“pipinstalldjango”命令可以安裝最新版本的Django及其依賴包。2.PyramidPyramid是一個通用、開源的PythonWeb應(yīng)用程序開發(fā)框架。Pyramid的特色是靈活性，開發(fā)者可以靈活選擇所使用的數(shù)據(jù)庫、模板風格、URL結(jié)構(gòu)等內(nèi)容。通過在Windows命令行界面執(zhí)行“pipinstallpyramid”命令可以安裝最新版本的Pyramid及其依賴包。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫Web開發(fā)相關(guān)庫3.FlaskFlask是一個使用Python編寫的輕量級Web應(yīng)用框架。其WSGI工具箱采用Werkzeug，模板引擎則使用Jinja2。Flask使用BSD授權(quán)。通過在Windows命令行界面執(zhí)行“pipinstallflask”命令可以安裝最新版本的Flask及其依賴包。4.FastAPIFastAPI是一個現(xiàn)代的，快速（高性能）PythonWeb框架?；跇藴实腜ython類型提示，使用Python3.6+構(gòu)建API的Web框架。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫機器學(xué)習(xí)相關(guān)庫1.Scikit-learnScikit-learn（以前稱為Scikits.learn，也稱為Sklearn）是針對Python編程語言的免費軟件機器學(xué)習(xí)庫。它具有各種分類，回歸和聚類算法，包括支持向量機、隨機森林、梯度提升、k均值和DBSCAN，并且旨在與Python數(shù)值科學(xué)庫NumPy和Scipy聯(lián)合使用。通過在Windows命令行界面執(zhí)行“pipinstallscikit-learn”命令可以安裝最新版本的Scikit-learn及其依賴包。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫機器學(xué)習(xí)相關(guān)庫2.TensorFlowTensorFlow是一個基于數(shù)據(jù)流編程（dataflowprogramming）的符號數(shù)學(xué)系統(tǒng)，被廣泛應(yīng)用于各類機器學(xué)習(xí)（machinelearning）算法的編程實現(xiàn)，其前身是谷歌的神經(jīng)網(wǎng)絡(luò)算法庫distbelief。Tensor（張量）指N維數(shù)組，F(xiàn)low（流）指基于數(shù)據(jù)流圖的計算，TensorFlow描述張量從流圖的一端流動到另一端的計算過程。TensorFlow擁有多層級結(jié)構(gòu)，可部署于各類服務(wù)器、PC終端和網(wǎng)頁并支持GPU和TPU高性能數(shù)值計算，被廣泛應(yīng)用于谷歌內(nèi)部的產(chǎn)品開發(fā)和各領(lǐng)域的科學(xué)研究。通過在Windows命令行界面執(zhí)行“pipinstalltensorflow”命令可以安裝最新版本的TensorFlow及其依賴包。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫機器學(xué)習(xí)相關(guān)庫3.TheanoTheano是為執(zhí)行深度學(xué)習(xí)中大規(guī)模神經(jīng)網(wǎng)絡(luò)算法的運算而設(shè)計的機器學(xué)習(xí)庫，用于處理多維數(shù)組。Theano是一個偏向底層開發(fā)的庫，偏向于學(xué)術(shù)研究。通過在Windows命令行界面執(zhí)行“pipinstalltheano”命令可以安裝最新版本的Theano及其依賴包。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫機器學(xué)習(xí)相關(guān)庫4.PaddlePaddlePaddlePaddle（飛槳）以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件、豐富的工具組件于一體，是中國首個自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺。5.PyTorchPyTorch是一個開源的Python機器學(xué)習(xí)庫，基于Torch，用于自然語言處理等應(yīng)用程序。2017年1月，由Facebook人工智能研究院（FAIR）基于Torch推出了PyTorch。它是一個基于Python的可續(xù)計算包，提供兩個高級功能：具有強大的GPU加速的張量計算（如NumPy）；包含自動求導(dǎo)系統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫其他1.PillowPillow是Python中的圖像處理庫（PythonImageLibrary，PIL），提供了廣泛的文件格式支持，強大的圖像處理能力，主要包括圖像儲存、圖像顯示、格式轉(zhuǎn)換以及基本的圖像處理操作等。通過在Windows命令行界面執(zhí)行“pipinstallpillow”命令可以安裝最新版本的Pillow及其依賴包。2.OpenCVOpenCV（OpenComputerVisionLibrary，開源計算機視覺庫）是應(yīng)用最廣泛的計算機視覺庫之一。opencv-python是OpenCV的PythonAPI，由于后臺是采用C／C++編寫的代碼，因而運行速度快，是Python生態(tài)環(huán)境中執(zhí)行計算密集型任務(wù)的計算機視覺處理的最佳選擇。通過在Windows命令行界面執(zhí)行“pipinstallopencv-python”命令可以安裝最新版本的opencv-python及其依賴包。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫其他3.WeRoBotWeRoBot是一個微信公眾號開發(fā)框架，也稱為微信機器人框架。WeRoBot可以解析微信服器發(fā)來的消息，并將消息轉(zhuǎn)換成Message或者Event類型。其中，Message表示用戶發(fā)來的消息，如文本消息、圖片消息；Event則表示用戶觸發(fā)的事件，如關(guān)注事件、掃描二維碼事件。在消解析、轉(zhuǎn)換完成后，WeRoBot會將消息轉(zhuǎn)交給Handler進行處理，并將Handler的返回值返回給微信服務(wù)器，進而實現(xiàn)完整的微信機器人功能。通過在Windows命令行界面執(zhí)行“pipinstallwerobot”命令可以安裝最新版本的WeRoBot及其依賴包。常見第三方庫的使用——科學(xué)計算與數(shù)據(jù)可視化分析庫其他4.MyQRMyQR是一個能夠產(chǎn)生基本二維碼、藝術(shù)二維碼和動態(tài)效果二維碼的Python第三方庫。通過在Windows命令行界面執(zhí)行“pipinstallmyqr”命令可以安裝最新版本的MyQR及其依賴包。5.PyInstallerPyInstaller是最常用的Python程序打包和發(fā)布第三方庫，用于將Python源程序生成直接運行的程序。生成的可執(zhí)行程序可以分發(fā)到對應(yīng)的Windows或macOSX平臺上運行。通過在Windows命令行界面執(zhí)行“pipinstallpyinstaller”命令可以安裝最新版本的PyInstaller及其依賴包。常見第三方庫的使用——中文處理相關(guān)庫1.中文分詞庫jieba的使用jieba是目前最好的Python中文分詞工具，是中文文本處理和分析不可或缺的利器。在文本處理中，常常需要通過分詞，將連續(xù)的字序列按照一定的規(guī)范重新組合成詞序列。在英文的句子中，單詞之間是以空格作為自然分界符的，因而分詞相對容易。而中文句子中單詞之間沒有形式上的分界符，因而中文分詞比較復(fù)雜和困難，使用Python第三方庫jieba可以方便地實現(xiàn)中文分詞。jieba庫支持如下三種分詞模式：精確模式：試圖將句子最精確地切開，不存在冗余單詞，適合文本分析。全模式：把句子中所有的可以成詞的詞語都掃描出來，速度非?？?，會存在冗余單詞，但是不能解決歧義。搜索引擎模式：在精確模式的基礎(chǔ)上，對長詞再次切分，提高召回率，適合用于搜索引擎分詞。常見第三方庫的使用——中文處理相關(guān)庫2.詞云庫WordCloud的使用在文本分析中，當統(tǒng)計關(guān)鍵字（詞）的頻率后，可以通過詞云圖（也稱為文字云）對文本中出現(xiàn)頻率較高的“關(guān)鍵詞”予以視覺化的展現(xiàn)，從而突出文本中的主旨。使用Python第三方庫WordCloud可以方便地得到詞云圖。在Windows命令提示符窗口中，輸入命令行命令“pipinstallwordcloud”，以安裝WordCloud庫。注意：使用該方法需要本地計算機安裝了MicrosoftVisualC++14.0編譯器，否則安裝會失敗，下載該編譯器的網(wǎng)址為：/visual-cpp-build-tools/常見第三方庫的使用——中文處理相關(guān)庫2.詞云庫WordCloud的使用WordCloud庫的核心是WordColoud類，該庫的所有功能都封裝在WordCloud類中。使用WordCloud庫生成詞云圖，一般遵循以下步驟：1）實例化一個WordCloud對象，例如，wc=WordCloud()。2）調(diào)用wc.generate(text)，對文本text進行分詞，并生成詞云圖。3）調(diào)用wc.to_file("wc.png")，把生成的詞云圖輸出到圖像文件wc.png。在生成詞云時，WordCloud默認會以空格或標點為分隔符對目標文本text進行分詞處理。默認情況下，WordCloud對象使用默認參數(shù)創(chuàng)建詞云圖。創(chuàng)建WordCloud實例對象時，用戶可以通過參數(shù)控制詞云圖的繪制。常見第三方庫的使用——中文處理相關(guān)庫3.其他的文本處理與分析相關(guān)庫（1）PDFMinerPDFMiner是一個Python的PDF解析器，可以從PDF文檔中提取信息。與其他PDF工具不同，它側(cè)重于獲取和分析PDF文件中的文本數(shù)據(jù)。PDFMiner允許獲取某一頁中文本的準確位置和一些諸如字體、行數(shù)的信息。它包括一個PDF轉(zhuǎn)換器，可把PDF文件轉(zhuǎn)換成HTML等格式。還有一個擴展的PDF解析器，可以用于除文本分析以外的其他用途。（2）OpenPyXLOpenPyXL是一個開源項目，它可讀寫Excel文檔。OpenPyXL不僅能夠同時讀取和修改Excel文檔，而且可以對Excel文件內(nèi)單元格進行詳細設(shè)置，包括單元格樣式等內(nèi)容，甚至還支持圖表插入、打印設(shè)置等內(nèi)容，也可讀寫xltm、xltx、xlsm、xlsx等類型的文件。它可以處理數(shù)據(jù)量較大的Excel文件。常見第三方庫的使用——中文處理相關(guān)庫3.其他的文本處理與分析相關(guān)庫（3）python-docxpython-docx是用于創(chuàng)建和更新MicrosoftWord（.docx）文件的Python庫，支持讀取、查詢以及修改doc、docx等格式文件。（4）NLTKNLTK（NaturalLan