1、高級(jí)大數(shù)據(jù)人才培養(yǎng)Python程序設(shè)計(jì)BIG DATA張 燕總主編張雪萍主編唐萬梅副主編景雪琴副主編2 of 56高級(jí)大數(shù)據(jù)人才培養(yǎng)12 . 1阿里云12 . 212 . 3騰訊云百度云12 . 4萬物云12 . 5習(xí)題環(huán)境云第十二章與云結(jié)合3 of 3112.1阿里云第十二章 與云結(jié)合12.1.1阿里云計(jì)算體系架構(gòu)阿里云的核心系統(tǒng)是底層的大 規(guī)模分布式計(jì)算系統(tǒng)（飛天系 統(tǒng)）、分布式文件系統(tǒng)、分布協(xié)同服務(wù)、安全管理、遠(yuǎn)程過 程調(diào)用、資源管理和任務(wù)調(diào)度， 在核心系統(tǒng)之上構(gòu)建了彈性計(jì) 算服務(wù)、開放存儲(chǔ)服務(wù)、開放結(jié)構(gòu)化數(shù)據(jù)服務(wù)、開放數(shù)據(jù)處 理服務(wù)和關(guān)系型數(shù)據(jù)庫服務(wù)等。阿里云計(jì)算體系架構(gòu)如圖12-1所

2、示。4 of 3112.1阿里云第十二章 與云結(jié)合12.1.1 阿里云計(jì)算體系架構(gòu)1. 彈性計(jì)算服務(wù)彈性計(jì)算服務(wù)（Elastic Compute Service，ECS）是以阿里云自主研發(fā)的大型分布式操作系統(tǒng)為基礎(chǔ)，基于虛擬化等云計(jì)算技術(shù)，將普通基礎(chǔ)資源整合在一起，以集群的方式給各行各業(yè)提供的計(jì)算能力服務(wù)。阿里云彈性計(jì)算服務(wù)系統(tǒng)架構(gòu)主要包括虛擬化平臺(tái)與分布式存儲(chǔ)、控制系統(tǒng)、運(yùn)維及監(jiān)控系統(tǒng)。2. 開放存儲(chǔ)服務(wù)開放存儲(chǔ)服務(wù)（Open Storage Service，OSS）是阿里云對(duì)外提供的海量、安全、低成本、高可靠的云存儲(chǔ)服務(wù)。用戶可以通過簡單的REST接口，在任何時(shí)間、任何地點(diǎn)上傳和下載數(shù)據(jù)，

3、也可以使用Web頁面對(duì)數(shù)據(jù)進(jìn)行管理。OSS提供Java、Python、PHP SDK來簡化用戶的編程?；贠SS，用戶可以搭建各種多媒體分享網(wǎng)站和網(wǎng)盤，以及進(jìn)行個(gè)人和企業(yè)數(shù)據(jù)備份。5 of 3112.1阿里云第十二章 與云結(jié)合12.1.1 阿里云計(jì)算體系架構(gòu)3. 開放結(jié)構(gòu)化數(shù)據(jù)服務(wù)開放結(jié)構(gòu)化數(shù)據(jù)服務(wù)（Open Table Service，OTS）又稱表格存儲(chǔ)（Table Store），它是構(gòu)建在阿里云飛天系統(tǒng)之上的NoSQL數(shù)據(jù)存儲(chǔ)服務(wù)，提供海量結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和實(shí)時(shí)訪問。4. 開放數(shù)據(jù)處理服務(wù)開放數(shù)據(jù)處理服務(wù)（Open Data Processing Service，ODPS）4,5是基于阿

4、里云完全自主知識(shí)產(chǎn)權(quán)的云計(jì)算平臺(tái)構(gòu)建的數(shù)據(jù)存儲(chǔ)與分析平臺(tái)。ODPS提供了大規(guī)模數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)分析服務(wù)。用戶可以使用ODPS平臺(tái)上提供的數(shù)據(jù)模型工具與服務(wù)。ODPS也支持用戶自己發(fā)布數(shù)據(jù)分析工具。5. 關(guān)系型數(shù)據(jù)庫服務(wù)關(guān)系型數(shù)據(jù)庫服務(wù)（Relational Database Service，RDS）又稱為阿里云云數(shù)據(jù)庫RDS 版，是一種安全可靠、伸縮靈活的按需云數(shù)據(jù)庫服務(wù)。RDS是一種高度可用的托管服務(wù)， 具有自動(dòng)監(jiān)控、備份及容災(zāi)功能。其提供3種數(shù)據(jù)庫引擎：MySQL、SQL Server及PostgreSQL。6 of 3112.1阿里云第十二章 與云結(jié)合12.1.2 CLI Python版阿

5、里云命令行工具（Alibaba Cloud CLI）是基于阿里云開放API建立的管理工具。借助此工具，可以通過調(diào)用阿里云開放API來管理阿里云產(chǎn)品。該命令行工具與阿里云開放API一一對(duì)應(yīng)，靈活性高且易于擴(kuò)展?？苫谠撁钚泄ぞ邔?duì)阿里云原生API進(jìn)行封裝，擴(kuò)展出想要的功能。1. 安裝CLI及SDKCLI需要在Python環(huán)境中運(yùn)行。它要求系統(tǒng)為Windows，并要求安裝Python 2.7.x。7 of 3112.1阿里云第十二章 與云結(jié)合12.1.2CLI Python版2. 配置CLI1）公共云用戶配置CLI安裝好CLI后，需要先配置Access Key ID和Access Key Ssec

6、ret，這是調(diào)用Open API 的必要信息。所以，首先在可聯(lián)網(wǎng)的設(shè)備上創(chuàng)建Access Key。此外，還可以配置購買的阿里云產(chǎn)品的區(qū)域信息和CLI默認(rèn)的輸出格式，如text、table或JSON。（1）創(chuàng)建Access Key。登錄阿里云管理控制臺(tái)官網(wǎng)：/。單擊accesskeys，按操作提示輸入短信校驗(yàn)碼等，最后單擊“確定”，則Access Key創(chuàng)建成功。8 of 3112.1阿里云第十二章 與云結(jié)合12.1.2CLI Python版2. 配置CLI1）公共云用戶配置CLI（1） 創(chuàng)建Access Key。（2） 配置CLI。在

7、Windows環(huán)境下，執(zhí)行如上命令，從而打開并填寫所列參數(shù)。在Linux/UNIX或MacOS環(huán)境下，執(zhí)行如下命令，從而打開并填寫所列參數(shù)。9 of 31專有域用戶配置CLI，需要先配置安全證書。證書是工具和阿里云基礎(chǔ)服務(wù)之間必需的憑證， 求都必須包含這些信息。所以首先要在可聯(lián)網(wǎng)的設(shè)備上創(chuàng)建Access Key。還可以配置專有云和專有域的 RegionId及CLI默認(rèn)的輸出格式，如text、。ccess Key。有域用戶需要申請(qǐng)兩個(gè)賬號(hào)：User ID（UID）和Business ID（BID）。 有自己對(duì)應(yīng)的Access Key ID 和Access Key Secret。UID賬號(hào)用于執(zhí)行

8、管產(chǎn)的操作。BID賬號(hào)用于執(zhí)行與費(fèi)用相關(guān)的操作，如創(chuàng)建、刪除、變配阿里BID賬號(hào)無法管理阿里云資產(chǎn)。因此，在進(jìn)行不同的操作時(shí)，要使用相應(yīng)ss Key ID和 Access Key Secret 來配置命令行工具。12.1阿里云第十二章 與云結(jié)合12.1.2CLI Python版2. 配 置 CLI 2）專有云、安裝好CLI后所有命令的請(qǐng)除證書外， table或JSON（1）創(chuàng)建A 專有云和專UID和BID都理阿里云資云資產(chǎn)等，但賬號(hào)的Acce10 of 3112.1阿里云第十二章 與云結(jié)合12.1.2CLI Python版2. 配置CLI2）專有云、專有域用戶配置CLI（1） 創(chuàng)建Access

9、 Key。（2） 添加專有云和專有域的RegionId。專有云和專有域的RegionId與公網(wǎng)默認(rèn)的可能不同。在配置CLI之前，專有云和專有域用戶需要把自己的RegionId添加到CLI的 endpoints.xml 文檔中。另外，專有云用戶同時(shí)還需要修改其接入點(diǎn)（endpoint）的信息。用戶在購買專有云和專有域時(shí)，即會(huì)獲得其專有云和專有域的RegionId?？墒褂萌缦旅畈樵冏钚碌腞egionId。注意：在公網(wǎng)賬號(hào)下，該查詢結(jié)果顯示公網(wǎng)所支持的RegionId。在專有云和專有域賬號(hào)下，該查詢結(jié)果顯示購買的專有云或?qū)Ｓ杏蛩С值腞egionId。11 of 31息：nId及接入點(diǎn)信息，Reg

10、ionId和接入點(diǎn)信息兩種方法添加RegionId和修改接入點(diǎn)信息。Id和修改接入點(diǎn)信息。ints.xml文件并找到RegionIds：Windows ackagesaliyunsdkcore；Linux系統(tǒng)的參ackages/aliyunsdkcore。12.1阿里云第十二章 與云結(jié)合12.1.2CLI Python版2）專有云、專有域用戶配置CLI（1） 創(chuàng)建Access Key。（2） 添加專有云和專有域的RegionId。A. 添加專有云的RegionId和修改接入點(diǎn)信阿里云CLI默認(rèn)不包含專有云用戶的Regio 寫在SDK里面。專有云用戶可以通過以下方法一：通過直接修改文件來添加Re

11、gion 找到aliyunsdkcore這個(gè)SDK下面的endpo 系統(tǒng)的參考路徑為C:Python27Libsite-p 考路徑為/usr/local/lib/python2.7/site-p 按照如右上格式添加RegionId:修改接入點(diǎn)信息時(shí)，只需要將DomainName修改為專有云用戶的DomainName即可?？陕?lián)系專有云用戶的產(chǎn)品經(jīng)理查詢?cè)撔畔?。以修改ECS產(chǎn)品的接入點(diǎn)為例，按照右下方法進(jìn)行修改：12 of 3112.1阿里云第十二章 與云結(jié)合12.1.2CLI Python版2）專有云、專有域用戶配置CLI（1） 創(chuàng)建Access Key。（2） 添加專有云和專有域的Region

12、Id。A. 添加專有云的RegionId和修改接入點(diǎn)信息：方法二：通過CLI添加RegionId和修改接入點(diǎn)信息。可通過CLI添加RegionId和修改接入點(diǎn)信息，但只有v1.0.7以上版本的CLI才支持此功能。專有云用戶必須同時(shí)設(shè)置RegionId和接入點(diǎn)，這主要是為了防止用戶遺漏其中某一部分而導(dǎo)致修改失敗和工具無法使用。13 of 31的RegionId，RegionId的信息寫在SDK中。專有域用gionId。RegionId。的endpoints.xml文件并找到RegionIds：Windows ibsite-packagesaliyunsdkcore；Linux系統(tǒng)的參7/site

13、-packages/aliyunsdkcore。12.1阿里云第十二章 與云結(jié)合12.1.2CLI Python版2）專有云、專有域用戶配置CLI（1） 創(chuàng)建Access Key。（2） 添加專有云和專有域的RegionId。B. 添加專有域的RegionId：阿里云CLI默認(rèn)不包含專有域用戶戶可以通過以下兩種方法添加Re 方法一：通過直接修改文件來添加找到aliyunsdkcore這個(gè)SDK下面系統(tǒng)的參考路徑為C:Python27L 考路徑為/usr/local/lib/python2.按照如下格式添加RegionId：14 of 3112.1阿里云第十二章 與云結(jié)合12.1.2CLI Py

14、thon版2）專有云、專有域用戶配置CLI（1） 創(chuàng)建Access Key。（2） 添加專有云和專有域的RegionId。B. 添加專有域的RegionId：方法二：通過CLI添加RegionId。通過CLI添加時(shí)，只有v1.0.7以上版本的CLI才支持此功能。專有域用戶不要對(duì)EndPoint 做任何修改。15 of 3112.1阿里云第十二章 與云結(jié)合12.1.2CLI Python版2）專有云、專有域用戶配置CLI（1） 創(chuàng)建Access Key。（2） 添加專有云和專有域的RegionId。（3） 配置CLI的參數(shù)。在Windows環(huán)境下，執(zhí)行如下命令，從

15、而打開并填寫所列參數(shù)。在Linux/UNIX和MacOS環(huán)境下，執(zhí)行如下命令，從而打開并填寫所列參數(shù)。16 of 3112.1阿里云12.1.2CLI Python版3. 阿里云Python SDK列表阿里云各產(chǎn)品對(duì)應(yīng)的Python SDK如下表所示。第十二章 與云結(jié)合產(chǎn) 品Python SDK賬號(hào)登錄aliyun-python-sdk-aas云解析 DNSaliyun-python-sdk-alidns批量計(jì)算aliyun-python-sdk-batchcompute備案aliyun-python-sdk-bsnCDNaliyun-python-sdk-cdn數(shù)據(jù)風(fēng)控aliyun-pyth

16、on-sdk-cf云監(jiān)控aliyun-python-sdk-cms容器服務(wù)aliyun-python-sdk-cs域名aliyun-python-sdk-domain分布式關(guān)系型數(shù)據(jù)庫服務(wù)aliyun-python-sdk-drds云服務(wù)器ECSaliyun-python-sdk-ecs彈性伸縮aliyun-python-sdk-ess功能測試aliyun-python-sdk-ft阿里綠網(wǎng)aliyun-python-sdk-green高性能計(jì)算aliyun-python-sdk-hpcHTTPDNSaliyun-python-sdk-httpdns物聯(lián)網(wǎng)套件aliyun-python-sdk

17、-iot密鑰管理服務(wù)aliyun-python-sdk-kms媒體轉(zhuǎn)碼aliyun-python-sdk-mts云數(shù)據(jù)庫Memcache版aliyun-python-sdk-ocs云推送aliyun-python-sdk-push訪問控制aliyun-python-sdk-ram云數(shù)據(jù)庫RDS版aliyun-python-sdk-rds資源編排aliyun-python-sdk-ros負(fù)載均衡aliyun-python-sdk-slb專有網(wǎng)絡(luò)VPCaliyun-python-sdk-vpc阿里云STSaliyun-python-sdk-sts云盾aliyun-python-sdk-yundun

18、17 of 3112.1阿里云第十二章 與云結(jié)合12.1.2CLI Python版4. 腳本使用示例1）使用Shell腳本這里以Linux系統(tǒng)為例介紹在阿里云CLI中如何使用Shell腳本。該示例腳本集成了常見的幾個(gè)操作方式，包括單個(gè)執(zhí)行及批量執(zhí)行。示例腳本的使用方法如下。（1） 安裝并配置命令行工具。（2） 下載ECS的Shell腳本ecs.tar.gz，（官網(wǎng)地址：http:/aliyun-cli.oss-cn- hangzhou. aliyuncs. com）。（3） 執(zhí)行如下命令，解壓下載的文件：在二級(jí)目錄可以選擇單個(gè)或批量查詢磁盤ID、鏡像ID，還可批量導(dǎo)出文件等，如右下所示：18

19、of 31鏡像信息詢已訂閱的鏡像市場鏡像信息（鏡像ID和鏡像名稱）?？扇?。12.1阿里云第十二章 與云結(jié)合12.1.2CLI Python版4. 腳 本 使 用 示 例1） 使 用 Shell 腳 本 2）查詢已訂閱的鏡像市場可以利用CLI通過如下腳本查選擇下載腳本或編輯腳本內(nèi)腳本內(nèi)容如右：編輯或下載腳本并賦權(quán)（chmod +x）后，可以通過如下格式直接執(zhí)行腳本，從而在腳本所在目錄下生成包含已訂閱鏡像的信息文件imagesInfoCN.txt。有關(guān)阿里云CLI Python版的詳細(xì)資料請(qǐng)參見：/document_detail/29993.html?s

20、pm=a2c4g.11174283.6.541.3PAK02。19 of 56高級(jí)大數(shù)據(jù)人才培養(yǎng)12 . 1阿里云12 . 2騰訊云12 . 3百度云12 . 4萬物云12 . 5習(xí)題環(huán)境云第十二章與云結(jié)合20 of 3112.2騰訊云第十二章 與云結(jié)合12.2.1騰訊云總體架構(gòu)騰訊云總體架構(gòu)如圖12-2所示。騰訊云提供云服務(wù)器、云數(shù)據(jù)庫、云對(duì)象存儲(chǔ)、Web彈性引擎、內(nèi)存持久化存儲(chǔ)、CDN、域名注冊(cè)等多種云服務(wù)。21 of 3112.2騰訊云第十二章 與云結(jié)合12.2.1騰訊云總體架構(gòu)1. 云服務(wù)器云虛擬機(jī)（Cloud Virtual Machine，CVM）8即云服務(wù)器。它運(yùn)行在騰訊數(shù)據(jù)中心

21、，提供了可以彈性伸縮的計(jì)算服務(wù)，可以根據(jù)業(yè)務(wù)需要來構(gòu)建和托管軟件系統(tǒng)。云服務(wù)器向用戶提供彈性的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。用戶可以使用云服務(wù)器API對(duì)云服務(wù)器進(jìn)行相關(guān)操作，如創(chuàng)建、銷毀、更改帶寬、重啟等。2. 云數(shù)據(jù)庫云數(shù)據(jù)庫（Cloud Data Base，CDB）是騰訊云提供的關(guān)系型數(shù)據(jù)庫云服務(wù)，基于PCI-e SSD存儲(chǔ)介質(zhì)，提供高達(dá)37000 QPS的強(qiáng)悍性能。CDB支持MySQL、SQL Server、TDSQL（兼容mariaDB）引擎，主從實(shí)時(shí)熱備，并提供數(shù)據(jù)庫運(yùn)維全套解決方案。3. 云對(duì)象存儲(chǔ)云對(duì)象存儲(chǔ)（Cloud Object Storage，COS）8是騰訊云為企業(yè)和個(gè)人開發(fā)者提

22、供的一種能夠存儲(chǔ)海量數(shù)據(jù)的分布式存儲(chǔ)服務(wù)，用戶可隨時(shí)通過互聯(lián)網(wǎng)對(duì)大量數(shù)據(jù)進(jìn)行批量存儲(chǔ)和處理。騰訊COS具有高擴(kuò)展性、低成本、可靠和安全等特點(diǎn)，能提供專業(yè)的數(shù)據(jù)存儲(chǔ)服務(wù)。可以使用控制臺(tái)、API、SDK等多種方式連接到騰訊云對(duì)象存儲(chǔ)，實(shí)時(shí)存儲(chǔ)和管理業(yè)務(wù)數(shù)據(jù)。22 of 3112.2騰訊云第十二章 與云結(jié)合12.2.1騰訊云總體架構(gòu)4. 云彈性引擎云彈性引擎（Cloud Elastic Engine，CEE）7是一種Web引擎服務(wù)，它提供已部署好PHP、Nginx等的基礎(chǔ)Web環(huán)境，用戶僅需要上傳自己的代碼，即可輕松地完成Web 服務(wù)的搭建。5. 云內(nèi)存持久化存儲(chǔ)云內(nèi)存持久化存儲(chǔ)（Cloud Mem

23、cache，CMEM）7是騰訊云平臺(tái)提供的極高性能、內(nèi)存級(jí)、持久化、分布式的key-value存儲(chǔ)服務(wù)。CMEM支持memcached協(xié)議，能力比memcached強(qiáng)，適用memcached、ttserver的地方都適用CMEM。CMEM解決了內(nèi)存數(shù)據(jù)可靠性、分布式及一致性問題，讓海量訪問業(yè)務(wù)的開發(fā)變得簡單快捷。23 of 3112.2騰訊云第十二章 與云結(jié)合12.2.2騰訊云Python訪問可以使用控制臺(tái)、API、SDK 等多種方式訪問騰訊云，下面以COS Python SDK為例說明。COS的XML Python SDK目前可以支持Python2.6、Python2.7及Python3.x

24、。（1） pip安裝SDK：pip install-U cos-python-sdk-v5；（2） 從/ tencentyun/cos-python-sdk-v5下載源代碼，通過setup手動(dòng)安裝SDK：python setup.py install。示例代碼詳見P：352-35424 of 56高級(jí)大數(shù)據(jù)人才培養(yǎng)12 . 1阿里云12 . 2騰訊云12 . 3百度云12 . 4萬物云12 . 5習(xí)題環(huán)境云第十二章與云結(jié)合25 of 3112.3百度云第十二章 與云結(jié)合12.3.1百度云架構(gòu)百度云是百度基于十多年技術(shù)積累，為公有云需求者提供的穩(wěn)定、高可用、可擴(kuò)

25、展的云計(jì)算服務(wù)。百度云可提供云服務(wù)器、內(nèi)容分發(fā)網(wǎng)絡(luò)、關(guān)系型數(shù)據(jù)庫、對(duì)象存儲(chǔ)等服務(wù)， 同時(shí)提供智能大數(shù)據(jù)天算、智能多媒體天像、智能物聯(lián)網(wǎng)天工、人工智能天智四大智能平臺(tái)解決方案。百度云系統(tǒng)架構(gòu)如圖12-3所示。百度云基于百度數(shù)據(jù)中心，使用集 群操作系統(tǒng)對(duì)服務(wù)器進(jìn)行統(tǒng)一運(yùn)維 管理。百度云通過虛擬機(jī)和軟件定 義網(wǎng)絡(luò)，實(shí)現(xiàn)了多租戶隔離及跨機(jī) 房組網(wǎng)。百度云擁有多種存儲(chǔ)技術(shù)， 可針對(duì)客戶不同應(yīng)用場景提供量身定制的解決方案。26 of 3112.3百度云第十二章 與云結(jié)合12.3.1百度云架構(gòu)大數(shù)據(jù)技術(shù)是百度的強(qiáng)項(xiàng)。百度云擁有MapReduce、機(jī)器學(xué)習(xí)、OLAP分析等不同的大數(shù)據(jù)分析技術(shù)?？蛻艨梢詫?duì)原始日

26、志批量抽取信息，然后利用機(jī)器學(xué)習(xí)平臺(tái)做模型訓(xùn)練；還可以對(duì)結(jié)構(gòu)化后的信息進(jìn)行實(shí)時(shí)表，從而有助于決策。分析，根據(jù)關(guān)注點(diǎn)的不同產(chǎn)生不同的報(bào)百度云還擁有許多人工智能技術(shù)。上百位頂尖科學(xué)家的研究成果通過百度云向客戶開放。在當(dāng)前業(yè)界最熱門的深度學(xué)習(xí)領(lǐng)域，從文本到語音再到圖像，客戶可以通過百度云享受世界一流的人工智能技術(shù)所帶來的技術(shù)飛躍，使自己的業(yè)務(wù)變得更加智能。1百度云服務(wù)器百度云服務(wù)器是基于百度多年積累的虛擬化、分布式集群等技術(shù)構(gòu)建的云端計(jì)算服務(wù)。它支持彈性伸縮，具有分鐘級(jí)豐富靈活的計(jì)費(fèi)模式，搭配鏡像、快照、云安全等增值服務(wù)，可提供超高效費(fèi)比的高性能云服務(wù)。27 of 3112.3百度云第十二章 與云結(jié)

27、合12.3.1百度云架構(gòu)2. 百度機(jī)器學(xué)習(xí)百度機(jī)器學(xué)習(xí)（Baidu Machine Learning，BML）是百度自主研發(fā)的新一代機(jī)器學(xué)習(xí)平臺(tái)，基于百度內(nèi)部應(yīng)用多年的機(jī)器學(xué)習(xí)算法庫，提供實(shí)用的行業(yè)大數(shù)據(jù)解決方案。BML打通機(jī)器學(xué)習(xí)全流程，只需要簡單的界面操作即可完成復(fù)雜的機(jī)器學(xué)習(xí)任務(wù)。同時(shí)，BML也提供API供用戶使用。3. 百度應(yīng)用引擎百度應(yīng)用引擎（Baidu App Engine，BAE）10是國內(nèi)商業(yè)運(yùn)營時(shí)間最久的PaaS平臺(tái)， 提供彈性、分布式的應(yīng)用托管服務(wù)，支持Python、PHP、Java等各種應(yīng)用，幫助開發(fā)者一站式輕松開發(fā)并部署應(yīng)用程序（Web應(yīng)用及移動(dòng)應(yīng)用）。28 of 31

28、系包含3種存儲(chǔ)系統(tǒng)：分布式KV存儲(chǔ)、分布式對(duì)象存儲(chǔ)和分布式塊存象存儲(chǔ)（Baidu Object Storage，BOS）支持單文件最大5TB的文本任何類型的數(shù)據(jù)存儲(chǔ)。BOS Python SDK開發(fā)包目前支持Python2.7 s:/cloud.baidu. com/doc/Developer/index.html上下載開發(fā)包源動(dòng)安裝（python setup.py install）。作的基本數(shù)據(jù)單元是Object。每個(gè)Object包含Key、Meta和Data。ct的名字；Meta是用戶對(duì)該Object的描述，由一系列Name-Valuebject的數(shù)據(jù)。12.3百度云第十二章 與云結(jié)合12

29、.3.1百度云架構(gòu)4百度存儲(chǔ)目前百度的存儲(chǔ)體儲(chǔ)。其中，百度對(duì)多媒體、二進(jìn)制等可從官網(wǎng)地址http 代碼，通過setup 手在BOS中，用戶操其中，Key是Obje 對(duì)組成；Data是O可以通過如右上代碼進(jìn)行Object上傳：在上述代碼中，data為流對(duì)象，對(duì)不同類型的Object采用不同的處理方法：從字符串中上傳的使用StringIO返回，從文件中的上傳的使用open()返回。因此，BOS提供了封裝好的接口，方便用戶進(jìn)行快速上傳。關(guān)于BOS Python SDK的詳細(xì)資料請(qǐng)參見：、。/doc/BOS/Python-SDK.html#.E7.AE.80

30、.E5.8D.95.E4.B8.8A.E4.BC.A0。29 of 31BA內(nèi)部多年數(shù)據(jù)庫技術(shù)的積累和最佳實(shí)踐方案逐步對(duì)外開放的云數(shù)據(jù)庫具有高可用、高性能、在線擴(kuò)容等特點(diǎn)。百度云數(shù)據(jù)庫 引擎：MySQL、SQL Server、PostgreSQL。目前SQL Server單機(jī)機(jī)版RDS性能保持一致，提供完整的數(shù)據(jù)備份方案，并且提供和雙理監(jiān)控功能，以減輕用戶的運(yùn)維負(fù)擔(dān)。系統(tǒng)計(jì)算系統(tǒng)可以分為批量計(jì)算、實(shí)時(shí)計(jì)算和迭代計(jì)算3個(gè)平臺(tái)，已成廣告、大數(shù)據(jù)、LBS、移動(dòng)、O2O等幾乎全部的核心業(yè)務(wù)。百度大12.3百度云第十二章 與云結(jié)合12.3.1百度云架構(gòu)5百度云數(shù)據(jù)庫百度云數(shù)據(jù)庫是百度D 云數(shù)據(jù)庫產(chǎn)品。百

31、度RDS支持3種數(shù)據(jù)庫 版已正式發(fā)布，與雙機(jī)版一致的數(shù)據(jù)庫管6百度大數(shù)據(jù)計(jì)算 目前，百度的大數(shù)據(jù)功應(yīng)用于百度搜索、數(shù)據(jù)計(jì)算系統(tǒng)架構(gòu)如圖12-4所示，其中，批量計(jì)算平臺(tái)和迭代計(jì)算平臺(tái)已經(jīng)在百度云中以BMR產(chǎn)品的形式對(duì)外提供大數(shù)據(jù)計(jì)算能力。30 of 3112.3百度云第十二章 與云結(jié)合12.3.2BAE Python部署B(yǎng)AE應(yīng)用部署支持Python、PHP、Java、Node.js及Nginx靜態(tài)環(huán)境等多種語言，并支持一鍵部署DuerOS bot SDK。BAE提供的python-web和python-worker部署類型支持所有的Python框架。其中，python-web用于傳統(tǒng)Web類型

32、的HTTP應(yīng)用，而python-worker用于版本如下：python2.7-web: python-2.7.3 + lighttpd-1.5； python2.7-worker: python-2.7.3。任務(wù)，具體每個(gè)部署運(yùn)行在一個(gè)獨(dú)立的容器中，未修改或封禁任何函數(shù)和模塊，開發(fā)者面對(duì)的是原生的Python環(huán)境。注意：Python執(zhí)行單元環(huán)境支持本地存儲(chǔ)，但對(duì)于以下情況，臨時(shí)文件將被全部清空。（1） 部署發(fā)布新版后，臨時(shí)文件將被全部清空。（2） 部署暫停后再重新啟動(dòng)，臨時(shí)文件將被清空。通過“空應(yīng)用”創(chuàng)建的部署，重啟后臨時(shí)文件將被清空。因此我們要使用MySQL、MongoDB或Redis保存需

33、要長久保存的數(shù)據(jù)。對(duì)于大文件存儲(chǔ)場景，可通過API調(diào)用BOS資源進(jìn)行存儲(chǔ)。通過“應(yīng)用模板”創(chuàng)建的部署支持本地文件永久存儲(chǔ)，重啟后文件不清空。31 of 3112.3百度云第十二章 與云結(jié)合12.3.2BAE Python部署2python-worker部署類型以下為Python連接MySQL的代碼示例。1python-web部署類型注意：python-worker部署類型主要用于長期運(yùn)行的任務(wù)，建議的程序執(zhí)行結(jié)構(gòu)為一個(gè)無限循環(huán)。因故程序退出時(shí)，系統(tǒng)會(huì)自動(dòng)嘗試重啟3次。32 of 56高級(jí)大數(shù)據(jù)人才培養(yǎng)12 . 1阿里云12 . 212 . 3騰訊云百度云12 . 4萬物云12 . 5習(xí)題環(huán)境云

34、第十二章與云結(jié)合33 of 3112.4萬物云第十二章 與云結(jié)合12.4.1功能及應(yīng)用萬物云向用戶提供一個(gè)簡單易用的集智能硬件數(shù)據(jù)接入、存儲(chǔ)、處理及應(yīng)用于一體的數(shù)據(jù)托管服務(wù)平臺(tái)，旨在降低物聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用的技術(shù)門檻及運(yùn)營成本，滿足物聯(lián)網(wǎng)產(chǎn)品原型開發(fā)、商業(yè)運(yùn)營和規(guī)模發(fā)展各階段的需求，特別是物聯(lián)網(wǎng)項(xiàng)目初創(chuàng)團(tuán)隊(duì)和中小規(guī)模運(yùn)營物聯(lián)網(wǎng)項(xiàng)目公司的需求。萬物云提供快捷方便的硬件接入方式，支持主流物聯(lián)網(wǎng)設(shè)備通信協(xié)議TCP/IP、HTTP及輕量級(jí)通信協(xié)議MQTT，支持JSON數(shù)據(jù)格式協(xié)議。其數(shù)據(jù)上報(bào)使用了間斷式連接，可大大減少設(shè)備上的代碼足跡，降低數(shù)據(jù)帶寬和流量。目前，已有近900個(gè)用戶登錄萬物云。其入庫數(shù)據(jù)已達(dá)八

35、位數(shù)，并成功用于燃?xì)鈭?bào)警云平臺(tái)、路燈伴侶、環(huán)境貓、PM2.5云監(jiān)測平臺(tái)、“我的PM2.5”室內(nèi)空氣監(jiān)測儀、環(huán)境云等多個(gè)應(yīng)用。34 of 3112.4萬物云第十二章 與云結(jié)合12.4.2數(shù)據(jù)服務(wù)及訪問萬物云訪采用RESTful接口，請(qǐng)求和響應(yīng)均采用JSON格式。1. 萬物云數(shù)據(jù)服務(wù)1）添加并注冊(cè)設(shè)備（Add Device）一次性完成設(shè)備添加和設(shè)備注冊(cè)并獲取設(shè)備安全碼。每臺(tái)設(shè)備只需添加注冊(cè)一次，正常則返回結(jié)果代碼0及設(shè)備安全碼；重復(fù)請(qǐng)求則返回結(jié)果代碼4（設(shè)備已注冊(cè)）及設(shè)備安全碼。（1）服務(wù)地址及端。TCP服務(wù)：06：8913。MQTT服務(wù)：MQTT_SERVER: 61.1

36、47.166.206：8905。HTTP服務(wù)：06:8911/HardWareApi/addDevice/v 1.0。（2）數(shù)據(jù)格式協(xié)議。35 of 3112.4萬物云第十二章 與云結(jié)合12.4.2數(shù)據(jù)服務(wù)及訪問1. 萬 物 云 數(shù) 據(jù) 服 務(wù)1）添加并注冊(cè)設(shè)備（Add Device） 2）上報(bào)設(shè)備數(shù)據(jù)（Put Data）調(diào)用服務(wù)的前提：（1） 該設(shè)備在萬物云平臺(tái)上已被導(dǎo)入。（2） 在萬物云平臺(tái)用戶中心應(yīng)用管理頁面下與設(shè)備關(guān)聯(lián)的應(yīng)用數(shù)據(jù)表已被創(chuàng)建。（3） 已獲得設(shè)備安全碼。TCP服務(wù)：短連接：06:8913。長連接：61.147.16

37、6.206:5588。MQTT服務(wù)：MQTT_SERVER: 06:8905。HTTP服務(wù)：06:8911/HardWareApi/putData/v0.1。36 of 3112.4萬物云第十二章 與云結(jié)合12.4.2數(shù)據(jù)服務(wù)及訪問1. 萬 物 云 數(shù) 據(jù) 服 務(wù)1）添加并注冊(cè)設(shè)備（Add Device） 2） 上 報(bào) 設(shè) 備 數(shù) 據(jù) （Put Data） 3）上報(bào)設(shè)備數(shù)據(jù)單次連接上報(bào)多條數(shù)據(jù)調(diào)用服務(wù)的前提同2）。TCP服務(wù)：06:8950。37 of 3112.4萬物云第十二章 與云結(jié)合12.4.2數(shù)據(jù)服務(wù)及

38、訪問1. 萬 物 云 數(shù) 據(jù) 服 務(wù)1）添加并注冊(cè)設(shè)備（Add Device） 2） 上 報(bào) 設(shè) 備 數(shù) 據(jù) （Put Data） 3）上報(bào)設(shè)備數(shù)據(jù)單次連接上報(bào)多條數(shù)據(jù)4）獲取設(shè)備安全碼（Get SecKey）查詢已注冊(cè)（或在萬物云平臺(tái)導(dǎo)入）設(shè)備的設(shè)備安全碼。TCP服務(wù)：06:8913。MQTT服務(wù)：MQTT_SERVER: 06:8905。HTTP服務(wù): 06:8911/HardWareApi/getSecKey/v 1.0。38 of 3112.4萬物云第十二章 與云結(jié)合12.4.2數(shù)據(jù)服務(wù)及訪問1.萬物云

39、數(shù)據(jù)服務(wù)2. Python直接調(diào)用RESTful接口訪問萬物云平臺(tái)設(shè)備數(shù)據(jù)下面以環(huán)境貓為例說明Python如何通過直接調(diào)用RESTful接口訪問萬物云設(shè)備數(shù)據(jù)。對(duì)環(huán)境貓HTTP設(shè)備的數(shù)據(jù)查詢接口說明如下。1）實(shí)時(shí)數(shù)據(jù)查詢接口接口：:8920/devicedata/seckey?count=返回條數(shù)。接口說明：通過設(shè)備seckey和指定返回?cái)?shù)據(jù)條數(shù)，查詢?cè)O(shè)備最新上報(bào)數(shù)據(jù)。參數(shù)說明：seckey設(shè)備的seckey；設(shè)備安全驗(yàn)證碼。count返回?cái)?shù)據(jù)條數(shù)；返回設(shè)備條數(shù)。返回結(jié)果格式：設(shè)備最新上報(bào)數(shù)據(jù)。返回說明：返回設(shè)備當(dāng)前指定條數(shù)的最新上報(bào)數(shù)據(jù)。3

40、9 of 3112.4萬物云第十二章 與云結(jié)合12.4.2數(shù)據(jù)服務(wù)及訪問1.萬物云數(shù)據(jù)服務(wù)2. Python直接調(diào)用RESTful接口訪問萬物云平臺(tái)設(shè)備數(shù)據(jù)1） 實(shí)時(shí)數(shù)據(jù)查詢接口2） 統(tǒng)計(jì)數(shù)據(jù)查詢接口接口：:8920/deviceavg/seckey?type=統(tǒng)計(jì)類型&time= 開始時(shí)間&num=統(tǒng)計(jì)時(shí)段個(gè)數(shù)。接口說明：查詢指定設(shè)備在指定時(shí)段內(nèi)的分段數(shù)值統(tǒng)計(jì)。參數(shù)說明：seckey設(shè)備seckey；設(shè)備安全驗(yàn)證碼。type指定返回?cái)?shù)據(jù)的統(tǒng)計(jì)時(shí)段類型。time統(tǒng)計(jì)時(shí)段起始點(diǎn)，格式為YYYYMMDDHHmmss。num指定返回統(tǒng)計(jì)時(shí)段的個(gè)數(shù)，

41、整型。返回結(jié)果格式：設(shè)備數(shù)據(jù)數(shù)值型字段的分時(shí)段統(tǒng)計(jì)數(shù)值，包括最大值、最小值、平均值和總和。返回說明：返回n組設(shè)備數(shù)據(jù)表中所有數(shù)值型字段的分時(shí)段統(tǒng)計(jì)數(shù)值，包括最大值、最小值、平均值和總和。40 of 3112.4萬物云第十二章 與云結(jié)合12.4.2數(shù)據(jù)服務(wù)及訪問1. 萬物云數(shù)據(jù)服務(wù)2. Python直接調(diào)用RESTful接口訪問萬物云平臺(tái)設(shè)備數(shù)據(jù)1） 實(shí)時(shí)數(shù)據(jù)查詢接口2） 統(tǒng)計(jì)數(shù)據(jù)查詢接口3） 歷史數(shù)據(jù)查詢接口接口：:8920/devicedata/設(shè)備seckey?num= 時(shí)間間隔&time=開始時(shí)間&type=查詢方向。接口說明：以tim

42、e為時(shí)間起點(diǎn)，以type為方向，以num為時(shí)間跨度，查詢這個(gè)時(shí)間段內(nèi)的數(shù)據(jù)。如果這個(gè)時(shí)間段內(nèi)的數(shù)據(jù)超過1000條，則僅返回1000條。參數(shù)說明：num必傳參數(shù)，表示獲取數(shù)據(jù)的時(shí)間間隔，整型，單位為毫秒。time非必傳參數(shù)，表示起始時(shí)間，默認(rèn)為當(dāng)前時(shí)間，格式為yyy MMddHHmmss。type非必傳參數(shù)，可取0或1默認(rèn)為0，1表示向后查詢，0表示向前查詢。返回結(jié)果格式：設(shè)備最新上報(bào)數(shù)據(jù)。返回說明：以time為時(shí)間起點(diǎn)，以type為方向，以num為時(shí)間跨度，查詢這個(gè)時(shí)間段內(nèi)的數(shù)據(jù)。41 of 3112.4萬物云第十二章 與云結(jié)合12.4.2數(shù)據(jù)服務(wù)及訪問1. 萬物云數(shù)據(jù)服務(wù)2. Python直

43、接調(diào)用RESTful接口訪問萬物云平臺(tái)設(shè)備數(shù)據(jù)Python通過直接調(diào)用RESTful接口訪問環(huán)境貓數(shù)據(jù)的代碼詳見P：364-365運(yùn)行結(jié)果如下:（1）查詢接口為:8920/devicedata/5kEauQsZ6LbQgruyic8 x8mO_OZQ_1gGOPui SobcA3GU? count=1：42 of 3112.4萬物云第十二章 與云結(jié)合12.4.2數(shù)據(jù)服務(wù)及訪問1. 萬物云數(shù)據(jù)服務(wù)2. Python直接調(diào)用RESTful接口訪問萬物云平臺(tái)設(shè)備數(shù)據(jù)運(yùn)行結(jié)果如下:（2）查詢接口為:8920/devicedata/5kEauQsZ6LbQgruyic8 x8mO_OZQ_1gGOPuiSobcA3GU?type=1&time=201