第18課數(shù)據(jù)分析與處理數(shù)據(jù)分析與處理0102了解常見的數(shù)據(jù)處理工具，會在物聯(lián)網(wǎng)服務(wù)平臺中查看和下載數(shù)據(jù)。了解物聯(lián)系統(tǒng)中處理數(shù)據(jù)的方法，能夠利用程序處理簡單的數(shù)據(jù)。學(xué)習(xí)目標(biāo)數(shù)據(jù)分析與處理問題情景物聯(lián)系統(tǒng)傳感器與互聯(lián)網(wǎng)物聯(lián)網(wǎng)服務(wù)平臺數(shù)據(jù)分析與處理了解近場通信的奧秘了解常見的數(shù)據(jù)處理工具01學(xué)習(xí)內(nèi)容02體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)03了解處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)一、了解常見的數(shù)據(jù)處理工具在人類文明的歷程中，人們對數(shù)據(jù)處理工具的改進(jìn)一直沒有停止過，從早期的算盤到機(jī)械式計(jì)算機(jī)，再到電子計(jì)算機(jī)和計(jì)算器。處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的不斷發(fā)展，數(shù)據(jù)產(chǎn)生的速度越來越快，數(shù)據(jù)種類也越來越多。人們主要借助計(jì)算機(jī)中的工具處理數(shù)據(jù)，比較常用的有《WPS表格》等電子表格軟件和FineBI、Hadoop等專用的數(shù)據(jù)分析軟件。隨著編程語言的發(fā)展，人們開始借助編程工具處理數(shù)據(jù)。一、了解常見的數(shù)據(jù)處理工具常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理1.常見的數(shù)據(jù)處理工具有哪些？2.利用程序處理數(shù)據(jù)有什么優(yōu)勢？數(shù)據(jù)分析與處理學(xué)習(xí)活動1你使用過哪些數(shù)據(jù)處理工具？處理過什么數(shù)據(jù)？常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理1.電子表格軟件（如WPS表格）處理物聯(lián)花盆的環(huán)境數(shù)據(jù)、學(xué)生身高數(shù)據(jù)等；2.Python中的pandas、numpy模塊用于物聯(lián)花盆系統(tǒng)數(shù)據(jù)的整理、排序等；3.物聯(lián)網(wǎng)服務(wù)平臺匯總、存儲和轉(zhuǎn)發(fā)各系統(tǒng)傳感器采集及互聯(lián)網(wǎng)獲取的數(shù)據(jù)。常見的數(shù)據(jù)處理工具：常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理二、從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)物聯(lián)網(wǎng)服務(wù)平臺通?？梢蕴峁﹥煞N數(shù)據(jù)下載方式：以數(shù)據(jù)文件的形式下載和通過API調(diào)用。API各類接口常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理學(xué)習(xí)活動2體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)。常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理方式一：以數(shù)據(jù)文件的形式下載，用電子表格軟件進(jìn)行處理。第1步：登錄在線MQTT服務(wù)器。/常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理第2步：點(diǎn)擊項(xiàng)目管理，去到17課活動3創(chuàng)建的項(xiàng)目，查看主題。常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理第3步：下載數(shù)據(jù)。常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理第4步：查看數(shù)據(jù)。常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理方式二：通過API調(diào)用數(shù)據(jù)，可以實(shí)現(xiàn)自動從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)。主要代碼常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理第1步：導(dǎo)入requests模塊（注意要先切換到python模式下）。常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理第2步：編寫代碼。物聯(lián)網(wǎng)服務(wù)平臺賬號密碼主題ID物聯(lián)網(wǎng)服務(wù)平臺接口網(wǎng)址常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理第3步：運(yùn)行代碼返回結(jié)果。常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理物聯(lián)系統(tǒng)中的原始數(shù)據(jù)可能會出現(xiàn)數(shù)據(jù)缺失、數(shù)據(jù)重復(fù)、數(shù)據(jù)格式錯誤等問題。數(shù)據(jù)缺失：部分?jǐn)?shù)據(jù)未記錄致字段空缺，可填充前后數(shù)據(jù)平均值處理。數(shù)據(jù)重復(fù)：同樣數(shù)據(jù)多次記錄，完全重復(fù)刪其一，互補(bǔ)則補(bǔ)全留優(yōu)。數(shù)據(jù)格式錯誤：單位或數(shù)據(jù)類型不一致，需甄別并修正異常數(shù)據(jù)格式。常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理數(shù)據(jù)異常的處理方法有哪些？數(shù)據(jù)分析與處理數(shù)據(jù)清洗：去重、填補(bǔ)缺失值、修正錯誤數(shù)據(jù)，保證數(shù)據(jù)準(zhǔn)確無冗余。數(shù)據(jù)驗(yàn)證：依據(jù)范圍、邏輯和數(shù)據(jù)類型規(guī)則，篩查異常數(shù)據(jù)。數(shù)據(jù)平滑：采用移動平均、指數(shù)平滑等方式，減弱異常波動影響。異常值檢測處理：運(yùn)用統(tǒng)計(jì)法、機(jī)器學(xué)習(xí)算法識別異常，針對性處理。數(shù)據(jù)異常的處理方法數(shù)據(jù)分析與處理三、了解處理數(shù)據(jù)的一般方法在進(jìn)行數(shù)據(jù)處理前，要明確數(shù)據(jù)處理的目標(biāo)和思路。通過對環(huán)境數(shù)據(jù)的分析，能夠進(jìn)一步了解當(dāng)前環(huán)境情況。在Python中可以借助pandas、numpy等數(shù)據(jù)處理模塊處理數(shù)據(jù)。在計(jì)算機(jī)中正確安裝Python后，可以在命令提示符中分別輸入pipinstallpandas和pipinstallnumpy來安裝pandas庫和numpy庫。常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理學(xué)習(xí)活動3對從API獲取的數(shù)據(jù)進(jìn)行整理、獲取最值、篩選光照及分組求土壤濕度均值。常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理第一步：數(shù)據(jù)格式轉(zhuǎn)換：從API取數(shù)據(jù)，經(jīng)json解析后轉(zhuǎn)為DataFrame類型，便于編程處理。常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理第二步：溫度最值獲?。豪胹ort_values方法對溫度數(shù)據(jù)排序，獲取最高和最低溫度值。常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理第三步：光照數(shù)據(jù)篩選：按設(shè)備ID和光照強(qiáng)度閾值篩選數(shù)據(jù)，確定不同位置光照時(shí)間。pandas模塊也支持多條件篩選。常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理第四步：土壤濕度計(jì)算：依據(jù)設(shè)備ID分組，用mean函數(shù)求每組土壤濕度平均值。常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理完整代碼：注意常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理結(jié)果：常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理同學(xué)們，想一想，數(shù)據(jù)分析的常用思路和方法有哪些呢？數(shù)據(jù)分析與處理數(shù)據(jù)分析的常用思路和方法統(tǒng)計(jì)分析法：通過求一組數(shù)據(jù)的最大值、最小值、平均值等方式進(jìn)行分析處理。對比分析法：通過對比不同數(shù)據(jù)，分析其異同。例如,可以對不同區(qū)域的溫度數(shù)據(jù)進(jìn)行對比。分組分析法：將數(shù)據(jù)根據(jù)某個(gè)條件分成若干組，再對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和對比分析。例如，先根據(jù)設(shè)備ID進(jìn)行分組，再進(jìn)行對應(yīng)的分析處理。常見的數(shù)據(jù)處理工具體驗(yàn)從物聯(lián)網(wǎng)服務(wù)平臺獲取數(shù)據(jù)處理數(shù)據(jù)的一般方法數(shù)據(jù)分析與處理1.嘗試使用電子表格軟件對數(shù)據(jù)分析處理，說一說哪種處理方式更好。拓展與提升數(shù)據(jù)分析與處理雖然利用電子表格軟件也可以進(jìn)行數(shù)據(jù)分析處理，但是通過編程能高效處理大量數(shù)據(jù)，并實(shí)現(xiàn)更為直觀的數(shù)據(jù)可視化。數(shù)據(jù)分析與處理2.海王星是利用數(shù)據(jù)進(jìn)行預(yù)測而非依靠觀測發(fā)現(xiàn)的行星。請通過互聯(lián)網(wǎng)查閱關(guān)于海王星被發(fā)現(xiàn)的資料，結(jié)合自己的理解談?wù)剶?shù)據(jù)分析處理在科學(xué)研究活動中的重要作用。拓展與提升數(shù)據(jù)分析與處理在現(xiàn)代科學(xué)研究中，數(shù)據(jù)分析已經(jīng)成為不可或缺的一部分。它不僅可以提高科學(xué)研究的效率和質(zhì)量，還可以為科學(xué)家們提供更多的啟示和思路。在未來，隨著數(shù)據(jù)采集和計(jì)算技術(shù)的不斷發(fā)展，數(shù)據(jù)分析在科學(xué)研究中的應(yīng)用將會更加廣泛和深入。數(shù)據(jù)分析與處理假設(shè)你要監(jiān)測家中植物生長環(huán)境，利用所學(xué)知識，設(shè)計(jì)一個(gè)數(shù)據(jù)處理方案。用Python模擬從API獲取溫度、光