數(shù)據(jù)處理技術(shù)基礎(chǔ)第一章數(shù)據(jù)標(biāo)注實(shí)訓(xùn)高等院校公共課系列精品教材01數(shù)據(jù)清洗PARTONE01不完整數(shù)據(jù)數(shù)據(jù)在采集或標(biāo)注的過程中均會(huì)出現(xiàn)不同情況的數(shù)據(jù)缺失，這就是不完整數(shù)據(jù)，其常見的處理方法包括以下兩種。（1）填補(bǔ)數(shù)據(jù)：總體數(shù)據(jù)量不大，但缺失的數(shù)據(jù)很重要，需要重新填補(bǔ)數(shù)據(jù)。（2）刪除數(shù)據(jù)：當(dāng)遇到數(shù)據(jù)規(guī)模很大，數(shù)據(jù)缺失部分占比很小，或者缺失的數(shù)據(jù)無法填補(bǔ)等情況時(shí)，需要根據(jù)實(shí)際情況對(duì)缺失的數(shù)據(jù)進(jìn)行整體刪除。需要注意的是，針對(duì)數(shù)據(jù)不完整問題，優(yōu)先考慮的是填補(bǔ)數(shù)據(jù)，減少對(duì)采集數(shù)據(jù)量的影響。數(shù)據(jù)清洗的常見操作02噪聲數(shù)據(jù)噪聲數(shù)據(jù)常見于各種數(shù)據(jù)中，其對(duì)模型的影響要根據(jù)實(shí)際情況進(jìn)行分析。在數(shù)據(jù)標(biāo)注領(lǐng)域中，噪聲數(shù)據(jù)主要集中在異常值的處理中。異常值是指超過明確取值范圍的值。我們可以通過簡(jiǎn)單的規(guī)則來檢查噪聲數(shù)據(jù)，或者使用不同屬性間的約束、外部數(shù)據(jù)來檢查和清洗噪聲數(shù)據(jù)。01重復(fù)的數(shù)據(jù)在進(jìn)行數(shù)據(jù)標(biāo)注前，數(shù)據(jù)重復(fù)會(huì)產(chǎn)生重復(fù)的標(biāo)注動(dòng)作，造成標(biāo)注資源的浪費(fèi)。數(shù)據(jù)去重操作一般在其他數(shù)據(jù)清洗操作之后，原因在于清洗其他數(shù)據(jù)仍然會(huì)造成小概率出現(xiàn)重復(fù)數(shù)據(jù)的可能性。03格式不合規(guī)的數(shù)據(jù)項(xiàng)目需求格式與原始數(shù)據(jù)不一致，當(dāng)出現(xiàn)偏差較大時(shí)也需要清洗數(shù)據(jù)。02錯(cuò)誤數(shù)據(jù)一些數(shù)據(jù)自身存在客觀性錯(cuò)誤，如錯(cuò)別字、多余字符、知識(shí)性錯(cuò)誤等。一般處理方式為更改其錯(cuò)誤或刪除該條數(shù)據(jù)。數(shù)據(jù)清洗的常見操作數(shù)據(jù)清洗操作詳解非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)一般指不完整、不規(guī)則、沒有結(jié)構(gòu)層級(jí)的數(shù)據(jù)。采集到的原始數(shù)據(jù)大多數(shù)為非結(jié)構(gòu)化數(shù)據(jù)。與結(jié)構(gòu)化數(shù)據(jù)相比，非結(jié)構(gòu)化數(shù)據(jù)的來源非常廣泛，生產(chǎn)速度更快，因此其清洗更為困難。在數(shù)據(jù)標(biāo)注領(lǐng)域中，非結(jié)構(gòu)化數(shù)據(jù)常見于數(shù)據(jù)標(biāo)注之前。通過對(duì)非結(jié)構(gòu)化數(shù)據(jù)的標(biāo)注，生產(chǎn)出包含原始數(shù)據(jù)信息及標(biāo)注信息的結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)，以便在后續(xù)的數(shù)據(jù)分析及模型訓(xùn)練時(shí)使用。常見的非結(jié)構(gòu)化數(shù)據(jù)包括文本、圖片、音頻、視頻、網(wǎng)頁及各種傳感器數(shù)據(jù)等。1）文本數(shù)據(jù)清洗任何數(shù)據(jù)的清洗都要根據(jù)項(xiàng)目需求進(jìn)行具體分析。如果是針對(duì)中文文本的自然語言處理項(xiàng)目，則要根據(jù)項(xiàng)目需求與數(shù)據(jù)量級(jí)，處理文本中出現(xiàn)的不相關(guān)英文字符、特殊符號(hào)及無意義的數(shù)值。圖1-2所示為未經(jīng)清洗的文本數(shù)據(jù)。數(shù)據(jù)清洗操作詳解在進(jìn)行數(shù)據(jù)標(biāo)注前，需要清洗與需求數(shù)據(jù)不相關(guān)的文本數(shù)據(jù)，可以讓數(shù)據(jù)更整潔，使標(biāo)注任務(wù)更明確。這里使用的工具是文本編輯器，還可以自行選擇軟件工具，這里不做更多介紹。那么如何對(duì)該文本數(shù)據(jù)進(jìn)行清洗，這里介紹一種強(qiáng)大的文本處理方法——正則表達(dá)式。正則表達(dá)式是由普通字符和特殊字符（特殊字符也被稱為“元字符”）組成的。例如，a到z之間的字母、0到9之間的數(shù)字或任意漢字都被稱為“普通字符”。元字符具有特殊含義，用來表示一些特定的匹配規(guī)則。常見的元字符如表1-1所示。數(shù)據(jù)清洗操作詳解數(shù)據(jù)清洗操作詳解表1-1中列舉了一些常見的元字符。要特別注意的是，“[abc]”主要強(qiáng)調(diào)的是“[]”，其中可以自行輸入想要匹配的字符，但是僅匹配其中的一個(gè)字符。例如，“[abc]”表示匹配a、b、c中的任意一個(gè)字母；“[a-z]”表示匹配任意小寫字母，“[A-Z]”表示匹配任意大寫字母，“[0-9]”表示匹配任意數(shù)字；“[^abc]”表示匹配除a、b、c外的任意字符?！癧\u4e00-\u9fa5]”表示中文全部范圍的Unicode編碼用來匹配任意漢字。除了表中的元字符，還有一些其他元字符，如換頁符、制表符等。普通字符與元字符能夠匹配任意的單一字符，但當(dāng)某個(gè)字符重復(fù)出現(xiàn)多次或特定次數(shù)時(shí)，可以通過組合限定符進(jìn)行匹配。數(shù)據(jù)清洗操作詳解數(shù)據(jù)清洗操作詳解此外，還有分組、選擇及轉(zhuǎn)義。（1）分組是指用圓括號(hào)“()”把一個(gè)子模式括起來，表示這個(gè)子模式作為一個(gè)整體進(jìn)行匹配。（2）選擇是指用豎線“|”把兩個(gè)子模式分開，表示匹配這兩個(gè)子模式中的任意一個(gè)。（3）轉(zhuǎn)義是指在一個(gè)特殊含義的字符前面加上反斜杠“\”，表示取消這個(gè)字符原本的含義，按照字面值進(jìn)行匹配。下面用實(shí)例說明。利用正則表達(dá)式匹配書名，首先打開“查找與替換”對(duì)話框，選中“正則表達(dá)式”單選按鈕。這里通過字符《.*?》匹配了文本中的5個(gè)書名。其中，“.”為正則表達(dá)式的普通字符，表示匹配除換行符外的任何字符；“*”為正則表達(dá)式中的限定符，表示匹配零次或多次前面的子表達(dá)式；“?”也是正則表達(dá)式中的限定符，表示匹配零次或一次前面的子表達(dá)式，這樣就匹配了書名號(hào)中的任意字符，如圖1-3所示。數(shù)據(jù)清洗操作詳解如果去掉“?”限定符，則會(huì)匹配更多長(zhǎng)度的字符，造成匹配不當(dāng)，如圖1-4所示。同樣可以通過“查找與替換”對(duì)話框?qū)ξ谋具M(jìn)行清洗，如圖1-5所示，先通過“\r\n”匹配回車符和換行符，大部分工具都可以顯示回車符和換行符。數(shù)據(jù)清洗操作詳解如圖1-6所示，通過“&#[0-9]{5};”匹配文本中固定模式的字符，將其全部替換為空值。數(shù)據(jù)清洗操作詳解如圖1-7所示，特殊字符集網(wǎng)址等其他特殊字符均可通過匹配替換的方式清除，但是這里要注意的是數(shù)據(jù)清洗的成本。數(shù)據(jù)清洗不僅要考慮數(shù)據(jù)質(zhì)量，也要考慮數(shù)據(jù)清洗的成本，對(duì)于圖1-6這種出現(xiàn)極少的情況可以選擇不清洗，在數(shù)據(jù)標(biāo)注過程中手動(dòng)刪除即可。數(shù)據(jù)清洗的方法靈活多樣，正則表達(dá)式的使用方法同樣靈活，這里無法詳細(xì)介紹正則表達(dá)式的全部?jī)?nèi)容，僅展示正則表達(dá)式的強(qiáng)大效果。正則表達(dá)式支持諸多工具，用戶可以進(jìn)行有效實(shí)踐，具體內(nèi)容還需要通過閱讀相關(guān)資料繼續(xù)深入了解。2）圖片、音頻、視頻等數(shù)據(jù)清洗針對(duì)圖片、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)，常見的數(shù)據(jù)清洗操作為去重或去除固定條件下的內(nèi)容。重復(fù)數(shù)據(jù)會(huì)給標(biāo)注任務(wù)帶來負(fù)擔(dān)，固定條件外的數(shù)據(jù)（如大小不足要求的數(shù)據(jù)）同樣會(huì)造成標(biāo)注資源的浪費(fèi)。圖片、音頻、視頻等數(shù)據(jù)在計(jì)算機(jī)中是二進(jìn)制編碼，可以通過腳本語言進(jìn)行清洗操作。針對(duì)常見的數(shù)據(jù)去重等清洗操作，可以使用去重工具進(jìn)行。這里使用的去重工具為DuplicateCleanerPro，如圖1-8所示。數(shù)據(jù)清洗操作詳解數(shù)據(jù)清洗操作詳解通過設(shè)置搜索規(guī)則完成對(duì)重復(fù)圖片的搜索，如圖1-9、圖1-10所示，選擇要處理的文件，如圖1-11所示，最終完成對(duì)數(shù)據(jù)的清洗。類似的數(shù)據(jù)清洗工具還有很多，用戶可以根據(jù)實(shí)際情況選擇使用。數(shù)據(jù)清洗操作詳解2.結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)也被稱為“行數(shù)據(jù)”，即以二維表結(jié)構(gòu)來邏輯表達(dá)和實(shí)現(xiàn)的數(shù)據(jù)。與非結(jié)構(gòu)化數(shù)據(jù)相比，結(jié)構(gòu)化數(shù)據(jù)更易于查看與搜索，但是也有更嚴(yán)格的數(shù)據(jù)格式要求。因此，對(duì)二維表的數(shù)據(jù)清洗更為復(fù)雜，如圖1-13（a）所示，這里使用Excel進(jìn)行數(shù)據(jù)清洗，Excel適用于小規(guī)模數(shù)據(jù)、數(shù)據(jù)屬性較多的情況；還可以使用腳本語言等進(jìn)行更為精細(xì)的處理，最終達(dá)到如圖1-13（b）所示的效果，具體操作方法不再詳述。02數(shù)據(jù)安全PARTTWO數(shù)據(jù)安全的概念數(shù)據(jù)安全是指通過采取必要措施，確保數(shù)據(jù)處于有效保護(hù)和合法利用的狀態(tài)，以及具備保障持續(xù)安全狀態(tài)的能力。目前，隨著信息技術(shù)的飛速發(fā)展，對(duì)數(shù)據(jù)的要求及數(shù)據(jù)的價(jià)值都在逐漸增加。因此，保障信息資產(chǎn)將會(huì)變得愈發(fā)重要。一個(gè)完善的數(shù)據(jù)安全體系本身就具有寶貴的價(jià)值，不但可以降低數(shù)據(jù)安全風(fēng)險(xiǎn)，還可以提升產(chǎn)品的競(jìng)爭(zhēng)優(yōu)勢(shì)。數(shù)據(jù)具有多樣性，不同數(shù)據(jù)的保密要求及實(shí)施辦法也不盡相同。從數(shù)據(jù)安全角度考慮，這里將數(shù)據(jù)分為以下幾類。（1）個(gè)人及企業(yè)數(shù)據(jù)：如個(gè)人隱私、肖像及企業(yè)財(cái)務(wù)敏感數(shù)據(jù)等。（2）業(yè)務(wù)數(shù)據(jù)：?jiǎn)挝粡氖赂黜?xiàng)業(yè)務(wù)產(chǎn)生的有價(jià)值的數(shù)據(jù)。（3）重要數(shù)據(jù)：涉及公共生命安全、國家安全的機(jī)密數(shù)據(jù)。這里僅按照數(shù)據(jù)安全受限的等級(jí)進(jìn)行一個(gè)簡(jiǎn)要分類，其保密等級(jí)要根據(jù)業(yè)務(wù)需求進(jìn)行具體劃分。數(shù)據(jù)安全流程包括安全策略的規(guī)劃、構(gòu)建與執(zhí)行，為訪問數(shù)據(jù)提供身份驗(yàn)證、授權(quán)等操作，以及對(duì)過程的監(jiān)管與治理等。目前尚且無法對(duì)所有的隱私和保密要求提出一套通用的數(shù)據(jù)安全實(shí)施辦法。010302業(yè)務(wù)需求數(shù)據(jù)標(biāo)注領(lǐng)域中涉及的數(shù)據(jù)眾多，其中不乏一些隱私或機(jī)密數(shù)據(jù)。針對(duì)不同的標(biāo)注項(xiàng)目，要全面分析對(duì)數(shù)據(jù)安全的業(yè)務(wù)需求。通過對(duì)業(yè)務(wù)需求的分析及工作流程，針對(duì)可能出現(xiàn)的安全風(fēng)險(xiǎn)環(huán)節(jié)提出安全保證措施。監(jiān)管需求在考慮業(yè)務(wù)需求的同時(shí)，還要實(shí)時(shí)關(guān)注政府的監(jiān)管需求。明確政府制定的法律法規(guī)，完善業(yè)務(wù)需求之外的安全控制。監(jiān)管需求適用于任何數(shù)據(jù)，可以在業(yè)務(wù)需求之前完善。評(píng)估當(dāng)前風(fēng)險(xiǎn)在明確各個(gè)項(xiàng)目安全需求的同時(shí)，還要評(píng)估當(dāng)前風(fēng)險(xiǎn)，不同的安全需求可能需要不同的保護(hù)措施。也就是要評(píng)估現(xiàn)有的安全保護(hù)措施能否支持當(dāng)前項(xiàng)目的安全需求，并以此進(jìn)行改進(jìn)，降低安全風(fēng)險(xiǎn)。數(shù)據(jù)安全措施的制定流程1．分析數(shù)據(jù)安全需求010302制定數(shù)據(jù)安全制度在制定數(shù)據(jù)安全制度時(shí)要基于業(yè)務(wù)規(guī)范和法律法規(guī)要求，如因未遵守公司制度導(dǎo)致數(shù)據(jù)泄露可能要承擔(dān)相應(yīng)的法律責(zé)任。常見的數(shù)據(jù)安全制度包括簽訂保密協(xié)議、數(shù)據(jù)存儲(chǔ)介質(zhì)的管理等。細(xì)化數(shù)據(jù)保密等級(jí)根據(jù)業(yè)務(wù)需求和監(jiān)管需求對(duì)保密等級(jí)提出分級(jí)方案，一般可以細(xì)化為從外部公開到絕密的一系列保密等級(jí)。數(shù)據(jù)標(biāo)注領(lǐng)域中的數(shù)據(jù)來源廣泛，提出一個(gè)簡(jiǎn)單明確的分級(jí)方案尤為重要。需要注意的是，數(shù)據(jù)聚合會(huì)導(dǎo)致數(shù)據(jù)敏感性的變化，因此要明確數(shù)據(jù)聚合帶來的保密等級(jí)影響。定義角色權(quán)限數(shù)據(jù)訪問權(quán)限要根據(jù)角色進(jìn)行定義，如用戶、管理員或數(shù)據(jù)專員等。數(shù)據(jù)標(biāo)注領(lǐng)域涉及的角色會(huì)比其他領(lǐng)域涉及的角色更多，因此要根據(jù)不同角色進(jìn)行細(xì)化的權(quán)限分配。此外，還要額外考慮信任環(huán)境，因?yàn)樾湃苇h(huán)境會(huì)發(fā)生變化數(shù)據(jù)安全措施的制定流程2．制定數(shù)據(jù)安全標(biāo)準(zhǔn)0102密級(jí)的分配與管理根據(jù)保密等級(jí)分級(jí)方案，對(duì)角色進(jìn)行密級(jí)分配。要考慮角色權(quán)限變更或角色終止訪問權(quán)限、監(jiān)控權(quán)限級(jí)別等方面；還要根據(jù)密級(jí)等級(jí)對(duì)數(shù)據(jù)進(jìn)行分類，針對(duì)安全漏洞的檢測(cè)及如何處理檢測(cè)到的數(shù)據(jù)泄露做好管控。數(shù)據(jù)安全制度的實(shí)施在制定完數(shù)據(jù)安全制度后，要根據(jù)數(shù)據(jù)安全制度，追蹤整個(gè)數(shù)據(jù)安全流程，衡量其中管理法規(guī)是否符合規(guī)定，當(dāng)發(fā)現(xiàn)潛在不符合規(guī)定的問題時(shí)要及時(shí)上報(bào)并妥善修正。在發(fā)布新的管理法規(guī)或現(xiàn)有管理法規(guī)變更后，要對(duì)數(shù)據(jù)安全流程進(jìn)行重新評(píng)估。數(shù)據(jù)安全措施的制定流程3．實(shí)施數(shù)據(jù)安全管控1.系統(tǒng)手段在數(shù)據(jù)標(biāo)注領(lǐng)域中，標(biāo)注系統(tǒng)是在線管理角色的主要方式，包括對(duì)角色進(jìn)行有效的密級(jí)分配、訪問控制及監(jiān)控異常日志等。系統(tǒng)管理一般由專業(yè)人員進(jìn)行構(gòu)建及監(jiān)控，需要確保系統(tǒng)不會(huì)出現(xiàn)安全漏洞，包括及時(shí)檢測(cè)并修復(fù)出現(xiàn)的安全漏洞，通常采用的手段為構(gòu)建防火墻或安裝入侵監(jiān)測(cè)軟件。2．?dāng)?shù)據(jù)手段在數(shù)據(jù)標(biāo)注領(lǐng)域中，數(shù)據(jù)的移動(dòng)過程有很多，如任務(wù)試標(biāo)、任務(wù)派發(fā)及質(zhì)檢打回等。根據(jù)項(xiàng)目需求，也并非都是在線任務(wù)，離線任務(wù)占比也相對(duì)較高。通過對(duì)敏感信息脫敏與數(shù)據(jù)加密，可以有效地降低數(shù)據(jù)移動(dòng)過程中的安全風(fēng)險(xiǎn)。常用的數(shù)據(jù)手段如下。保證數(shù)據(jù)安全的手段01數(shù)據(jù)脫敏數(shù)據(jù)脫敏是指在保證數(shù)據(jù)原有特征及與其他數(shù)據(jù)關(guān)聯(lián)性的原則下，對(duì)數(shù)據(jù)中的姓名、電話及身份證號(hào)等敏感信息，通過掩碼、刪除、替換等方法進(jìn)行變更，從而在隱去敏感信息的同時(shí)不會(huì)影響數(shù)據(jù)的測(cè)試及應(yīng)用。03數(shù)字水印數(shù)字水印是指在音頻、視頻或圖片數(shù)據(jù)這類的噪聲耐受信號(hào)中隱蔽地嵌入包含版權(quán)、標(biāo)識(shí)及身份等信息的特殊標(biāo)記，通常用于數(shù)據(jù)源追蹤、版權(quán)保護(hù)及篡改檢測(cè)等。02數(shù)據(jù)加密數(shù)據(jù)加密是指通過特定的密鑰及算法將數(shù)據(jù)轉(zhuǎn)換為復(fù)雜代碼以保障數(shù)據(jù)安全。與數(shù)據(jù)脫敏相比，數(shù)據(jù)加密會(huì)失去數(shù)據(jù)的原有特征，需要通過密鑰及算法進(jìn)行解密才可以使用。此外，數(shù)據(jù)脫敏還會(huì)更改原始數(shù)據(jù)，其過程一般不可逆，而數(shù)據(jù)加密、解密過程通常是可逆過程。常用的加密方法如下。保證數(shù)據(jù)安全的手段1）設(shè)備管理筆記本電腦、移動(dòng)硬盤、平板電腦及智能手機(jī)等移動(dòng)設(shè)備由于人為原因可

能會(huì)造成數(shù)據(jù)丟失、被盜及黑客入侵等情況，極大地提高了數(shù)據(jù)安全風(fēng)險(xiǎn)；因此要盡可能使用移動(dòng)設(shè)備遠(yuǎn)程連接數(shù)據(jù)源，數(shù)據(jù)要盡可能存儲(chǔ)在安全的環(huán)境中，并且要對(duì)移動(dòng)設(shè)備中的重要數(shù)據(jù)進(jìn)行及時(shí)清理。此外，安裝安全軟件和加密軟件，對(duì)重要數(shù)據(jù)進(jìn)行加密可以有效防止黑客攻擊造成的數(shù)據(jù)泄露。保證數(shù)據(jù)安全的手段3．管理手段保證數(shù)據(jù)安全的手段3．管理手段2）人員管理幾乎不可能保證數(shù)據(jù)的絕對(duì)安全，但是如果具有較強(qiáng)的數(shù)據(jù)安全意識(shí)并且結(jié)合安全管理手段，就可以極大