人工智能與職業(yè)教育目錄0102人工智能產(chǎn)業(yè)結(jié)構(gòu)與現(xiàn)狀人工智能高職層次崗位分析崗位能力與工作流程數(shù)據(jù)類人才成長(zhǎng)路線AI中60%左右的工作都花在數(shù)據(jù)上面，包括數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注、數(shù)據(jù)處理分析等①數(shù)據(jù)采集：從傳感器和其他待測(cè)設(shè)備等模擬和數(shù)字被測(cè)單元中自動(dòng)采集信息的過程線上行為數(shù)據(jù)：頁面數(shù)據(jù)、交互數(shù)據(jù)、表單數(shù)據(jù)、會(huì)話數(shù)據(jù)等數(shù)據(jù)內(nèi)容：應(yīng)用日志、電子文檔、機(jī)器數(shù)據(jù)、語音數(shù)據(jù)、社交媒體數(shù)據(jù)等數(shù)據(jù)來源：商業(yè)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、傳感器數(shù)據(jù)數(shù)據(jù)采集與大數(shù)據(jù)采集的區(qū)別：來源廣泛、數(shù)據(jù)量巨大數(shù)據(jù)類型豐富，包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化分布式數(shù)據(jù)庫數(shù)據(jù)采集技術(shù)：互聯(lián)網(wǎng)數(shù)據(jù)采集：Python的爬蟲技術(shù)（scrapy框架）日志采集：Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe數(shù)據(jù)標(biāo)注2-1AI中60%左右的工作都花在數(shù)據(jù)上面，包括數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注、數(shù)據(jù)處理分析等②數(shù)據(jù)標(biāo)注：圖像、文本、語音等數(shù)據(jù)標(biāo)注語音標(biāo)注工具–Praat、語音數(shù)據(jù)標(biāo)注平臺(tái)數(shù)據(jù)標(biāo)注2-2②數(shù)據(jù)標(biāo)注：圖像、文本、語音等數(shù)據(jù)標(biāo)注Labelme適用于圖像分割任務(wù)的數(shù)據(jù)集制作IAT–ImageAnnotationTool等LabelImg適用于圖像檢測(cè)任務(wù)的數(shù)據(jù)集制作yolo_mark、Vatic、Sloth、Annotorious、RectLabel、VoTT等數(shù)據(jù)處理2-1③數(shù)據(jù)處理：數(shù)據(jù)處理是根據(jù)數(shù)據(jù)分析目的，將收集到的數(shù)據(jù)，用適當(dāng)?shù)奶幚矸椒ㄟM(jìn)行加工、整理，形成適合數(shù)據(jù)分析的要求樣式，它是數(shù)據(jù)分析前必不可少的工作，并且在整個(gè)數(shù)據(jù)分析工作量中占據(jù)了大部分比例。數(shù)據(jù)處理包括數(shù)據(jù)清洗、數(shù)據(jù)抽取、數(shù)據(jù)合并、數(shù)據(jù)計(jì)算、數(shù)據(jù)分組等操作。數(shù)據(jù)變量：字符型數(shù)據(jù)、數(shù)值型數(shù)據(jù)、日期型數(shù)據(jù)數(shù)據(jù)清洗：數(shù)據(jù)清洗就是將多余重復(fù)的數(shù)據(jù)篩選清除，將缺失的數(shù)據(jù)補(bǔ)充完整，將錯(cuò)誤的數(shù)據(jù)糾正或刪除。數(shù)據(jù)抽?。河址Q數(shù)據(jù)拆分、是指保留、抽取原數(shù)據(jù)表中某些字段、記錄的部分信息，形成一個(gè)新字段、新記錄。主要方法有字段拆分和隨機(jī)抽樣。隨機(jī)抽樣方法主要有簡(jiǎn)單隨機(jī)抽樣、分層抽樣、系統(tǒng)抽樣等。數(shù)據(jù)合并：是指綜合數(shù)據(jù)表中某幾個(gè)字段的信息或不同的記錄數(shù)據(jù)，組合成一個(gè)新字段、新記錄數(shù)據(jù)，主要有兩種操作：字段合并、記錄合并。字段合并，是將某幾個(gè)字段合并為一個(gè)新字段。記錄合并，也稱為縱向合并，是將具有共同的數(shù)據(jù)字段、結(jié)構(gòu)，不同的數(shù)據(jù)表記錄信息，合并到一個(gè)新的數(shù)據(jù)表中。數(shù)據(jù)處理2-2③數(shù)據(jù)處理：數(shù)據(jù)處理是根據(jù)數(shù)據(jù)分析目的，將收集到的數(shù)據(jù)，用適當(dāng)?shù)奶幚矸椒ㄟM(jìn)行加工、整理，形成適合數(shù)據(jù)分析的要求樣式，它是數(shù)據(jù)分析前必不可少的工作，并且在整個(gè)數(shù)據(jù)分析工作量中占據(jù)了大部分比例。數(shù)據(jù)處理包括數(shù)據(jù)清洗、數(shù)據(jù)抽取、數(shù)據(jù)合并、數(shù)據(jù)計(jì)算、數(shù)據(jù)分組等操作。數(shù)據(jù)分組：數(shù)據(jù)分組，根據(jù)分析的目的將數(shù)值型數(shù)據(jù)進(jìn)行等距或非等距分組，這個(gè)過程也稱為數(shù)據(jù)離散化，一般用于查看分布，如消費(fèi)分布、收入分布、年齡分布等。其中，用于繪制分布圖X軸的分組變量，是不能改變其順序的，一般按分組區(qū)間從小到大進(jìn)行排列，這樣才能觀察數(shù)據(jù)的分布規(guī)律。在SPSS里可使用可視分箱進(jìn)行數(shù)據(jù)分組。數(shù)據(jù)標(biāo)準(zhǔn)化：數(shù)據(jù)標(biāo)準(zhǔn)化是將數(shù)據(jù)按比例縮放，使之落在一個(gè)特定區(qū)間。常用的數(shù)據(jù)標(biāo)準(zhǔn)化方法有0-1標(biāo)準(zhǔn)化和Z標(biāo)準(zhǔn)化。0-1標(biāo)準(zhǔn)化：將結(jié)果落到[0-1]之間Z標(biāo)準(zhǔn)化：標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化，經(jīng)過處理的數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布，即均值為0，標(biāo)準(zhǔn)差為1工具：kettle數(shù)據(jù)清洗、預(yù)處理編程語言：python的numpy庫和pandas庫進(jìn)行數(shù)據(jù)處理數(shù)據(jù)類人才成長(zhǎng)路線—數(shù)據(jù)分析與可視化④數(shù)據(jù)分析與可視化AI技術(shù)人才成長(zhǎng)路線人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)的關(guān)系①人工智能:以電腦解決問題人工智能比喻成的孩子大腦，機(jī)器學(xué)習(xí)就是讓孩子去掌握認(rèn)知能力的過程，而深度學(xué)習(xí)是這過程中很有效率的一種教學(xué)體系。人工智能是目的，是結(jié)果；深度學(xué)習(xí)、機(jī)器學(xué)習(xí)是方法，是工具。②機(jī)器學(xué)習(xí)：一種實(shí)現(xiàn)人工智能的方法機(jī)器學(xué)習(xí)是人工智能的一種途徑或子集，它強(qiáng)調(diào)“學(xué)習(xí)”而不是計(jì)算機(jī)程序。一臺(tái)機(jī)器使用復(fù)雜的算法來分析大量的數(shù)據(jù)，識(shí)別數(shù)據(jù)中的模式，并做出一個(gè)預(yù)測(cè)——不需要人在機(jī)器的軟件中編寫特定的指令。在錯(cuò)誤地將奶油泡芙當(dāng)成橙子之后，系統(tǒng)的模式識(shí)別會(huì)隨著時(shí)間的推移而不斷改進(jìn)，因?yàn)樗鼤?huì)像人一樣從錯(cuò)誤中吸取教訓(xùn)并糾正自己。通過機(jī)器學(xué)習(xí)，一個(gè)系統(tǒng)可以從自身的錯(cuò)誤中學(xué)習(xí)來提高它的模式識(shí)別能力。③深度學(xué)習(xí)：一種實(shí)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù)深度學(xué)習(xí)是一種特殊的機(jī)器學(xué)習(xí)，深度學(xué)習(xí)適合處理大數(shù)據(jù)，而數(shù)據(jù)量比較小的時(shí)候，用傳統(tǒng)機(jī)器學(xué)習(xí)方法也許更合適。深度學(xué)習(xí)使得機(jī)器學(xué)習(xí)能夠?qū)崿F(xiàn)眾多的應(yīng)用，并拓展了人工智能的領(lǐng)域范圍。④強(qiáng)化學(xué)習(xí)：另一種實(shí)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù)打敗李世石的alphaGO用強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)的AI關(guān)鍵術(shù)語—機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)的分類AI關(guān)鍵術(shù)語—機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)的工作流機(jī)器學(xué)習(xí)的目的是從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)，以便對(duì)新的、未見過的數(shù)據(jù)做出盡可能好的預(yù)測(cè)AI關(guān)鍵術(shù)語—深度學(xué)習(xí)感知器多層感知器和反向傳播算法AI關(guān)鍵術(shù)語—深度學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)（DNN）最常用的深度學(xué)習(xí)模型與架構(gòu)：卷積神經(jīng)網(wǎng)絡(luò)(CNN)、深度置信網(wǎng)絡(luò)(DBN)、受限玻爾茲曼機(jī)(RBM)、遞歸神經(jīng)網(wǎng)絡(luò)(RNN&LSTM&GRU)、遞歸張量神經(jīng)網(wǎng)絡(luò)(RNTN)、自動(dòng)編碼器(AutoEncoder)、生成對(duì)抗網(wǎng)絡(luò)(GAN)最常用的深度學(xué)習(xí)框架：Tensorflow(Google)、Pytorch(Facebook)、MXNet、Keras等AI關(guān)鍵術(shù)語—強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)(Reinforcementlearning,RL)是機(jī)器學(xué)習(xí)中的一個(gè)領(lǐng)域，強(qiáng)調(diào)如何基于環(huán)境而行動(dòng)，以取得最大化的預(yù)期利益；其靈感來源于心理學(xué)中的行為主義理論，即有機(jī)體如何在環(huán)境給予的獎(jiǎng)勵(lì)或懲罰的刺激下，逐步形成對(duì)刺激的預(yù)期，產(chǎn)生能獲得最大利益的習(xí)慣性行為。智能體通過強(qiáng)化學(xué)習(xí)，可以知道自己在什么狀態(tài)下，應(yīng)該采取什么樣的動(dòng)作使得自身獲得最大獎(jiǎng)勵(lì)；因此，強(qiáng)化學(xué)習(xí)實(shí)際上是智能體在與環(huán)境進(jìn)行交互的過程中，學(xué)會(huì)最佳決策序列。由于智能體與環(huán)境的交互方式與人類與環(huán)境的交互方式類似，可以認(rèn)為強(qiáng)化學(xué)習(xí)是一套通用的學(xué)習(xí)框架，可用來解決通用人工智能的問題。因此強(qiáng)化學(xué)習(xí)也被稱為通用人工智能的機(jī)器學(xué)習(xí)方法。目錄0102人工智能產(chǎn)業(yè)結(jié)構(gòu)現(xiàn)狀人工智能高職層次崗位分析崗位能力與工作流程2017LenovoInternal.Allrightsreserved.AI產(chǎn)業(yè)高職層次工作任務(wù)分析獲得能力畫像無人機(jī)獲取原圖人工標(biāo)注/修正模型訓(xùn)練模型目標(biāo)檢測(cè)結(jié)果反饋?zhàn)詣?dòng)化標(biāo)注平臺(tái)客戶最初提供了200多張鳥巢標(biāo)注圖片，通過自動(dòng)化標(biāo)注平臺(tái)，將樣本標(biāo)注迭代到了7000多張數(shù)據(jù)采集數(shù)據(jù)標(biāo)注數(shù)據(jù)處理(采集、清洗、格式轉(zhuǎn)換、預(yù)處理)AI開放創(chuàng)新平臺(tái)AI前端開發(fā)AIPython應(yīng)用開發(fā)AI測(cè)試AI運(yùn)維聯(lián)想AI賦能垂直行業(yè)案例—電力巡檢缺陷檢測(cè)—工作流程聚焦崗位高職AI各崗位工作流程數(shù)據(jù)清洗數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)格式轉(zhuǎn)換數(shù)據(jù)標(biāo)注人臉框的標(biāo)注人臉關(guān)鍵點(diǎn)的標(biāo)注數(shù)據(jù)入庫模型訓(xùn)練目標(biāo)檢測(cè)(AI應(yīng)用系統(tǒng))基于人臉識(shí)別的訪客統(tǒng)計(jì)格式轉(zhuǎn)換數(shù)據(jù)處理(采集、清洗、格式轉(zhuǎn)換、標(biāo)注等)AI開發(fā)者平臺(tái)數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)格式轉(zhuǎn)換