面向新工科高等院校大數(shù)據(jù)專業(yè)系列教材大數(shù)據(jù)可視化（第2版）大數(shù)據(jù)可視化（第2版）第14章數(shù)據(jù)可視化評測國家統(tǒng)計局發(fā)布2021年人口數(shù)據(jù)后，各省份也陸續(xù)發(fā)布當?shù)氐臄?shù)據(jù)。廣東、山東兩省人口過億，在全國仍排前兩位；河南人口居于第三位，江蘇超過四川，分別居于四、五位。另外，多個省份發(fā)布了2021年出生人口相關(guān)數(shù)據(jù)，其中廣東連續(xù)多年坐穩(wěn)第一生育大省位置。河南、山東兩省居于第二、三位。國家統(tǒng)計局的數(shù)據(jù)顯示，2021年末全國人口141260萬人，比上年末僅增加48萬人，一度引起社會高度關(guān)注。那么，這一大背景下，全國的人口版圖發(fā)生怎樣的變化，各地的人口變化又呈現(xiàn)出怎樣的趨勢呢？【導(dǎo)讀案例】2021年的中國30省人口分析隨著可視化研究、技術(shù)和應(yīng)用的發(fā)展，對可視化技術(shù)和系統(tǒng)進行有效的評測變得越來越有必要。如果可視化方法及結(jié)果缺乏嚴謹?shù)脑u測實驗，就很難對該方法和相關(guān)技術(shù)的進一步應(yīng)用提供有說服力的證據(jù)。另一方面，用于進行評測的用戶實驗對于可視化研究至關(guān)重要。研究者需要比較技術(shù)的優(yōu)劣，了解新技術(shù)優(yōu)缺點的具體體現(xiàn)等。第14章數(shù)據(jù)可視化評測但是，這類評測在可視化研究中一直沒有引起足夠的重視。研究者們更專注于研發(fā)新的可視化技術(shù)，而進行嚴格的評測不但難度大，而且很費時間。通常，可視化評測所涉及的手段屬于人機交互（HCI）領(lǐng)域的專業(yè)技能，一些可視化研究者并不具備這方面的專業(yè)訓(xùn)練，這也是造成評測被忽略的重要原因之一。第14章數(shù)據(jù)可視化評測可視化方法、技術(shù)和系統(tǒng)的用戶實驗面臨諸多挑戰(zhàn)和難題，這些挑戰(zhàn)也是實證性研究所共有的。例如，如何定義研究目的和問題并選擇適當?shù)姆椒ǎ绾卧O(shè)計實驗，如何保證嚴謹?shù)臄?shù)據(jù)采集和分析過程?？梢暬夹g(shù)的目標是幫助用戶分析和解讀數(shù)據(jù)，因此其用戶實驗最終需要回答的問題是：可視化技術(shù)是否能夠更好地幫助用戶解讀某些數(shù)據(jù)。某些時候，由于用于評測的數(shù)據(jù)集太小、參與用戶不是目標人群、實驗任務(wù)設(shè)計不當?shù)纫蛩?，用戶實驗并不能有效地回答研究所要解決的問題。可視化研究者需要具備良好的實證性研究的相關(guān)技能，以便更好地設(shè)計和執(zhí)行可視化技術(shù)的用戶實驗。第14章數(shù)據(jù)可視化評測01評測流程02評測方法目錄/CONTENTS03用戶實驗PART01評測流程雖然根據(jù)不同的研究對象和目標，評測所采用的具體方法會發(fā)生改變，但是這些方法大體都遵循一個基本流程，其中包含了實證性研究通常需要的幾個環(huán)節(jié)。14.1評測流程（1）明確研究目的并定義研究問題。在進行評測之前，研究者首先需要明確評測的目的；其次，需要圍繞研究目的進一步清晰地定義研究所要解決的具體問題。研究目的通常是概括性的。例如，某研究是為了從用戶角度了解某種可視化技術(shù)是否比以前的方法更有優(yōu)勢。研究問題是具體和清晰的，是對于研究目的的進一步細化和可操作化的定義。一項研究可能包含多個不同的問題：對比以往的代表性方法，新技術(shù)是否能幫助目標用戶更高效地完成代表任務(wù)A和B，原因是什么？用戶對新技術(shù)的滿意度是否更高，為什么？定義具體和明確的研究問題有助于研究者形成好的研究方案。14.1評測流程（2）提出研究假設(shè)。針對所要解決的問題，在執(zhí)行實驗方案之前，應(yīng)該結(jié)合相關(guān)的理論或者以往的研究結(jié)果給出研究假設(shè)。研究假設(shè)應(yīng)盡量避免使用寬泛的命題，因為太寬泛的命題難以驗證。對于可視化技術(shù)來說，相對更好的命題是“用戶在使用可視化系統(tǒng)A時，能比使用可視化系統(tǒng)B時更高效地對某類特定數(shù)據(jù)進行聚類分析”。這個假設(shè)事實上對很多評測因素進行了限定：用戶所要完成的任務(wù)是聚類分析；要評測的指標是效率，即用戶完成聚類分析所花的時間和正確率。如果能建立具體的研究假設(shè)，接下來的研究方案設(shè)計和實施就會更具有針對性。14.1評測流程（3）設(shè)計研究方案和具體方法。在研究假設(shè)的基礎(chǔ)上，可以著手設(shè)計研究的具體方案并且選擇合適的方法。研究方案中應(yīng)對比幾種已有的技術(shù)，它們代表哪些用戶，用戶的代表性任務(wù)是什么，衡量不同技術(shù)的指標有哪些，如何采集數(shù)據(jù)等，都是研究方案應(yīng)該逐步明確的。14.1評測流程（4）收集和分析數(shù)據(jù)。在實驗執(zhí)行的過程中，需要避免潛在的問題，保證結(jié)果的可靠性。這其中有很多細節(jié)值得注意。例如，對參與的用戶進行必要的指導(dǎo)，安排必要的練習以及提供適當?shù)姆答?。此外，現(xiàn)有技術(shù)已經(jīng)能夠很好地保證某些用戶數(shù)據(jù)采集的實時性和客觀性，比如任務(wù)的完成時間和正確率等，應(yīng)當充分利用這些技術(shù)，保證數(shù)據(jù)采集的有效性，確保針對不同類型的數(shù)據(jù)選擇正確的方法。14.1評測流程（5）驗證研究假設(shè)并得出結(jié)論。得到實驗結(jié)果之后，需要判斷研究假設(shè)是否成立，或者是否有足夠的證據(jù)來支持或推翻研究假設(shè)，進而得到研究的主要結(jié)論。14.1評測流程PART02評測方法在與可視化相近的人機交互領(lǐng)域，已經(jīng)發(fā)展出很多成熟的評測方法，其中大多數(shù)方法已經(jīng)被應(yīng)用到數(shù)據(jù)可視化系統(tǒng)的評測中。最常見的方法包括用戶實驗、專家評估、案例研究、指標評估、眾包和標注等。14.2評測方法專家評估通常需要領(lǐng)域內(nèi)專家級用戶的參與，這些專家對所使用的數(shù)據(jù)和需要完成的目標任務(wù)非常了解，能夠?qū)梢暬夹g(shù)在多大程度上適用于這樣的數(shù)據(jù)和任務(wù)做出比較準確的判斷?？梢暬夹g(shù)評測的參與者也包含可視化專家，他們對可視化設(shè)計有豐富的知識，并具有可視化工具開發(fā)經(jīng)驗。專家對可視化的有效性有自己的評判標準，并依據(jù)這些標準做出自己的判斷。14.2.1專家評估很多可視化研究者也試圖通過描述可視化技術(shù)和系統(tǒng)如何幫助解決一個現(xiàn)實問題并完成目標任務(wù)來證明其有效性。案例研究的關(guān)鍵在于，案例必須是真實的和有實際需求的，這樣才能對用戶具有說服力，使他們有信心嘗試使用該技術(shù)去解決實際問題。案例中的共享數(shù)據(jù)可能會帶來隱私泄露，而單純的隱私保護又會破壞數(shù)據(jù)的實用性，降低其分析價值。為此，一些研究者通過可視分析方法來實現(xiàn)兼顧實用性的隱私保護方法。14.2.2案例研究對于可視化的子模塊，如布局和交互等，可以通過一些指標來對它們的部分特性進行評估。以圖的布局算法為例，算法的時間復(fù)雜度、生成結(jié)果的易讀性或美觀程度都可以被用來檢驗生成的結(jié)果，但這些指標只能客觀地從某個角度進行量化評估。實際上，人的主觀認知十分復(fù)雜且具有多樣性。對于喜好程度等依賴認知的評估來說，根據(jù)經(jīng)驗得出的一個或一組指標無法全面地模擬出主觀認知的過程，因此也不能完全取代用戶實驗得出的真實實驗結(jié)果。為了提高指標評估的效果，可以通過交互地調(diào)節(jié)指標計算函數(shù)中的參數(shù)來定制精確的評估指標。14.2.3指標評估眾包指的是一個公司或機構(gòu)把過去由員工執(zhí)行的工作任務(wù)，外包給非特定的（通常是大量的）大眾志愿者的做法。就是通過網(wǎng)絡(luò)，以用戶的真實使用感受為出發(fā)點，來做產(chǎn)品的開發(fā)需求調(diào)研。眾包的任務(wù)通常由個人來承擔，也可能需要多人協(xié)作完成。當評測者需要完成的任務(wù)比較簡單，需要的樣本量又比較大時，就可以采用眾包的方式在平臺上招募大量參與用戶，可以設(shè)置一些條件來篩選參與者。眾包的實驗過程必須考慮到參與用戶使用的設(shè)備、實驗環(huán)境的差異，以求順利地得到評測數(shù)據(jù)。14.2.4眾包數(shù)據(jù)標注是大部分算法得以有效運行的關(guān)鍵環(huán)節(jié)，是對未經(jīng)處理過的語音、圖片、文本、視頻等數(shù)據(jù)進行加工處理，從而轉(zhuǎn)變成機器可識別信息的過程。評估結(jié)果的準確性需要基于標準答案。在一些情況下，標準答案來自人工標注的結(jié)果。目前，主流的機器學(xué)習方式以有監(jiān)督的深度學(xué)習為主，這對標注數(shù)據(jù)有著強依賴性需求。未經(jīng)標注處理過的原始數(shù)據(jù)多以非結(jié)構(gòu)化數(shù)據(jù)為主，這些數(shù)據(jù)難以被機器識別和學(xué)習。只有經(jīng)過標注處理后的結(jié)構(gòu)化數(shù)據(jù)才能被算法模型訓(xùn)練使用。14.2.5數(shù)據(jù)標注數(shù)據(jù)標注的類型主要是圖像標注、語音標注、3D點云標注和文本標注。（1）圖像標注。是對未經(jīng)處理的圖片數(shù)據(jù)進行加工處理，轉(zhuǎn)換為機器可識別信息，然后輸送到算法和模型里完成調(diào)用。常見的圖像標注方法有語義分割、矩形框標注、多邊形標注、關(guān)鍵點標注、點云標注、3D立方體標注、2D/3D融合標注、目標追蹤等。

圖14-2圖像標注14.2.5數(shù)據(jù)標注（2）語音標注。是標注員把語音中包含的文字信息、各種聲音先“提取”出來，再進行轉(zhuǎn)寫或者合成，標注后的數(shù)據(jù)主要用于機器學(xué)習，使計算機可以擁有語音識別能力。常見的語音標注類型有語音轉(zhuǎn)寫、語音切割、語音清洗、情緒判斷、聲紋識別、音素標注、韻律標注、發(fā)音校對等。圖14-3語音標注14.2.5數(shù)據(jù)標注（3）3D點云標注。點云數(shù)據(jù)一般由激光雷達等3D掃描設(shè)備獲取空間若干點的信息，包括XYZ位置信息、RGB顏色信息和強度信息等，是一種多維度的復(fù)雜數(shù)據(jù)集合。3D點云數(shù)據(jù)可以提供豐富的幾何、形狀和尺度信息，并且不容易受到光照強度變化和其他物體遮擋等影響，可以很好地了解機器的周圍環(huán)境。常見的3D點云標注類型有3D點云目標檢測標注、3D點云語義分割標注、2D3D融合標注、點云連續(xù)幀標注等（圖14-4）。14.2.5數(shù)據(jù)標注

圖14-43D點云標注14.2.5數(shù)據(jù)標注（4）文本標注。是對文本進行特征標記的過程，它是可視化評測得以有效運營的關(guān)鍵環(huán)節(jié)之一。通過人工貼標方式，把需要機器識別的文本（數(shù)據(jù)）打上具體的語義、構(gòu)成、語境、目的、情感等數(shù)據(jù)標簽，為系統(tǒng)提供大量學(xué)習樣本，讓其不斷地學(xué)習這些數(shù)據(jù)的特征，最終實現(xiàn)計算機自主識別。通過標注訓(xùn)練數(shù)據(jù)，可以教會機器識別文本中所隱含的意圖或者情感，使其可以更好地理解語言。14.2.5數(shù)據(jù)標注常見的文本標注有光學(xué)字符識別（OCR）轉(zhuǎn)寫、詞性標注、命名實體標注、語句泛化、情感分析、句子編寫、槽位提取、意圖匹配、文本判斷、文本匹配、文本信息抽取、文本清洗、機器翻譯等。14.2.5數(shù)據(jù)標注PART03用戶實驗通過收集用戶使用數(shù)據(jù)來進行評估的方法被稱為用戶實驗，這是常見的數(shù)據(jù)可視化系統(tǒng)的評審方法之一，它提供了一種科學(xué)可靠的方法來評估可視化的效果。實現(xiàn)一個可視化系統(tǒng)的目的是為了輔助用戶完成數(shù)據(jù)的理解、分析等任務(wù)。最終實現(xiàn)的系統(tǒng)能否滿足用戶的需求？用戶在使用時是否容易上手？完成任務(wù)的過程是否有了效率或準確率的提升？這一系列問題的答案都是評估一個可視化系統(tǒng)優(yōu)劣的標準。用戶實驗流程主要有4個步驟；確定實驗?zāi)繕恕蕚鋵嶒?、進行實驗和分析結(jié)果并討論。14.3用戶實驗用戶實驗的目標是探索未知內(nèi)容、驗證猜想、評估對象或者對一組對象進行比較。（1）探索未知內(nèi)容；由于人在感知、經(jīng)驗等方面的差異，研究者滿意的內(nèi)容不一定也能被大部分用戶所接受。比如一套符合設(shè)計師審美的配色方案，可能在色盲用戶看來是完全無法區(qū)分并使用的；再比如同樣的數(shù)據(jù)和可視化系統(tǒng)，有經(jīng)驗的專家可能會發(fā)現(xiàn)更多有用的信息。在用戶使用的過程中暴露缺點、發(fā)現(xiàn)亮點，是用戶實驗的重要作用。14.3.1確定實驗?zāi)繕耍?）驗證猜想：憑借經(jīng)驗，研究者能提出一些論斷，比如兩個變量之間存在相關(guān)性等。然而，其正確與否需要實踐，也就是需要用戶實驗的結(jié)果來檢驗。（3）評估對象：用戶實驗可以從用戶的角度證明實驗對象的優(yōu)劣。（4）對比多個對象：當研究者希望從多種方案中選出最合適的方案時，可以依據(jù)用戶實驗的結(jié)果對它們進行比較。14.3.1確定實驗?zāi)繕?.實驗研究對象無論基于哪個目標，在實驗的最開始，研究者都需要明確實驗的研究對象。這里的研究對象可以是系統(tǒng)，也可以是具體的可視化方法或交互設(shè)計。如果實驗?zāi)繕藶閷Ρ榷鄠€對象，那么研究者需要對相關(guān)工作進行調(diào)研，考慮不同的特點，盡可能全面地選擇具有代表性的對象進行實驗。注意，實驗對象不是越多越好。每個對象的樣本數(shù)據(jù)不應(yīng)過少，這就意味著對象數(shù)量的增加會增大對樣本的需求，造成一定的負擔。14.3.1確定實驗?zāi)繕?.實驗任務(wù)規(guī)劃接下來，研究者需要根據(jù)目標進行實驗規(guī)劃：用戶需要完成什么任務(wù)，以及如何評估任務(wù)的完成效果。定義合適的測試任務(wù)的前提是了解可視化技術(shù)所支持的用戶任務(wù)，對測試任務(wù)的選擇也決定了用戶實驗及其結(jié)論所適用的范圍。很多研究從不同的角度提出了可視化任務(wù)的分類。例如可以有下列9個任務(wù)。14.3.1確定實驗?zāi)繕耍?）鑒定：基于可視化中顯示出來的特性鑒別特定物體。如從CT醫(yī)學(xué)影像中找到腫瘤。（2）定位：確定物體的位置。如在氣象數(shù)據(jù)中找到風暴的中心和移動的路線。（3）區(qū)別：區(qū)分一個物體。如區(qū)分高度超過某個閾值的物體和其余物體。（4）分類；對物體分類。如按照物體不同的材料質(zhì)地或形狀進行分類。14.3.1確定實驗?zāi)繕耍?）聚類；將相似的物體按照彼此關(guān)系歸類。例如，在社交網(wǎng)絡(luò)中按照朋友關(guān)系將人群分成不同的社區(qū)。一個相似的操作是分割，也就是區(qū)分不同的物體。（6）排名；將一組物體按照一定規(guī)則排序。如按照數(shù)值或時間順序排列。（7）比較：查看兩個或更多物體之間的相似之處和不同之處。（8）聯(lián)系；表現(xiàn)兩個或更多物體之間的關(guān)系。例如，通過氣象數(shù)據(jù)可視化，將溫度與地理位置聯(lián)系起來。14.3.1確定實驗?zāi)繕耍?）關(guān)聯(lián)：找到兩個或更多物體之間的因果或互動關(guān)系。例如，發(fā)現(xiàn)貸款利率與經(jīng)濟增長之間的關(guān)系?？梢暬夹g(shù)可幫助用戶在不同的程度上完成上述9大任務(wù)。由于新的數(shù)據(jù)和分析手段不斷出現(xiàn)，通過可視化技術(shù)可完成的任務(wù)類型也會越來越多。在實踐過程中，可以按照實際情況定義適合的測試任務(wù)。14.3.1確定實驗?zāi)繕搜芯空哌€需要對各類任務(wù)的難度進行斟酌。如果測試任務(wù)的難度過大，大部分參與者無法完成，將會造成所得到的數(shù)據(jù)量過少；反之，如果測試任務(wù)的難度太小，則往往無法展示出研究成果的優(yōu)勢。在一些研究中，評測會通過調(diào)整一些實驗變量，在不同的難度下對參與者進行測試，比如控制數(shù)據(jù)集的大小和信息量等。14.3.1確定實驗?zāi)繕?.實驗任務(wù)指標在定義任務(wù)時，也需要確定判斷任務(wù)完成的效率和準確率的指標。例如，是否需要準確地鑒定某個物體每一次的出現(xiàn)？在聚類或排序時，多大的誤差是可以接受的？當定位地圖上的一個物體時，需要精確到國家、城市還是經(jīng)緯度坐標？所選擇的測試任務(wù)和測量指標會影響研究結(jié)果的內(nèi)部效度和外部效度。14.3.1確定實驗?zāi)繕藘?nèi)部效度和外部效度是判斷實證性研究有效性的基本指標。內(nèi)部效度指研究者實際測量的和想要測量的指標之間的貼切程度。二者越接近，研究的內(nèi)部效度越高；二者差異越大，研究的內(nèi)部效度越低。內(nèi)部效度越低，研究的有效性也就越低。外部效度指研究結(jié)論有效范圍的大小。研究結(jié)論的適用范圍越大，研究的外部效度越高；反之，則外部效度越低。研究者應(yīng)當在保證研究的內(nèi)部效度的前提下，找到內(nèi)部效度和外部效度之間的平衡點。14.3.1確定實驗?zāi)繕嗽谠O(shè)計評測方案時，必須全面、嚴謹?shù)乜紤]到各種可能影響評測效度的因素，如自變量和因變量的定義、目標用戶和任務(wù)的選擇、可視化技術(shù)所指向的數(shù)據(jù)及其特性和測量指標的選擇。對于這些因素的選擇，決定了評測的內(nèi)部效度和外部效度。參與用戶、目標任務(wù)、數(shù)據(jù)和評測指標4個方面是設(shè)計可視化評測方案必須考慮的重要因素。14.3.1確定實驗?zāi)繕藶榱吮ＷC實驗的順利進行，研究者在實驗前需要做好一系列準備工作，包括實驗用數(shù)據(jù)的準備、參與用戶募集與實驗流程設(shè)計。14.3.2準備實驗1.數(shù)據(jù)可視化技術(shù)通常是針對某一類或者某些類數(shù)據(jù)而設(shè)計和實現(xiàn)的。數(shù)據(jù)類型和用于用戶測試的數(shù)據(jù)大小往往會影響可視化技術(shù)的效果。例如，對于網(wǎng)絡(luò)數(shù)據(jù)，網(wǎng)絡(luò)的大小和密度會影響可視化的有效性。在理想情況下，可視化技術(shù)的用戶測試中使用的數(shù)據(jù)應(yīng)該首先適用于測試的可視化技術(shù)；其次，數(shù)據(jù)應(yīng)該具有代表性并且包含不同屬性的數(shù)據(jù)集。在測試中包含不同屬性的數(shù)據(jù)集可以幫助研究者充分了解某種可視化技術(shù)的適用范圍和有效性。14.3.2準備實驗數(shù)據(jù)的屬性通常包括下列幾個方面。（1）數(shù)據(jù)類型。一種可視化技術(shù)通常適用于一種類型的數(shù)據(jù)，例如點線圖技術(shù)適用于網(wǎng)絡(luò)數(shù)據(jù)。在評測中也可能需要包含某種類型不同屬性的數(shù)據(jù)，以便了解數(shù)據(jù)屬性對于特定的可視化技術(shù)的效果是否有影響。（2）數(shù)據(jù)量。其大小會影響技術(shù)的有效性。一種可視化技術(shù)能有效地展示幾百個數(shù)據(jù)點并不代表它也能可視化上百萬個數(shù)據(jù)點。實際上，很多現(xiàn)有的可視化技術(shù)都不具備可擴展性。因此，如果必要，評測中使用的數(shù)據(jù)集應(yīng)當包括常見大小的數(shù)據(jù)集以及某些極端尺寸的數(shù)據(jù)集。14.3.2準備實驗（3）數(shù)據(jù)維度。有些可視化技術(shù)通常適用于具有固定維度的目標數(shù)據(jù)，但是對于某些可視化技術(shù)，例如多維數(shù)據(jù)可視化技術(shù)，評測中非常重要的一項是對高維度數(shù)據(jù)的可擴展性。因此，可視化評測需要考慮包括不同維度的數(shù)據(jù)集。14.3.2準備實驗（4）數(shù)據(jù)多元性。數(shù)據(jù)中變量的數(shù)目也對可視化技術(shù)的有效性提出了要求，應(yīng)根據(jù)實際應(yīng)用選擇對一元或多元數(shù)據(jù)進行評測。有時也需要通過評測，了解可視化技術(shù)能有效處理的最大變量數(shù)。例如，對用于顯示多變量時變趨勢的流圖，它能有效顯示的變量數(shù)目是一個非常重要的評測指標。14.3.2準備實驗（5）數(shù)據(jù)結(jié)構(gòu)?？梢允呛唵瘟斜恚部梢允菑?fù)雜網(wǎng)絡(luò)結(jié)構(gòu)?？梢暬夹g(shù)通常為某一種特定結(jié)構(gòu)的數(shù)據(jù)而設(shè)計，但也存在為多種結(jié)構(gòu)數(shù)據(jù)所設(shè)計的可視化技術(shù)。另一方面，數(shù)據(jù)集可能存在次級結(jié)構(gòu)。例如，網(wǎng)絡(luò)數(shù)據(jù)中存在層次結(jié)構(gòu)，此時，評測需要包括所適用的各種結(jié)構(gòu)的數(shù)據(jù)。（6）數(shù)據(jù)范圍。數(shù)據(jù)集中的對象可能跨越很大的范圍，評測中不但需要包括所有可能的數(shù)值范圍，更要重點測試極值情況下可視化的性能。14.3.2準備實驗（7）數(shù)據(jù)分布。具有兩個含義：數(shù)據(jù)值和數(shù)據(jù)屬性（如時間和空間屬性）。某種可視化技術(shù)也許能有效處理均勻分布的數(shù)據(jù)，但卻無法處理其他分布的數(shù)據(jù)。地圖數(shù)據(jù)可視化方法可以克服地理數(shù)據(jù)的分布不平衡。在評測中，不但需要包括適用領(lǐng)域中常見的數(shù)據(jù)分布，也需要測試極端分布的情況。14.3.2準備實驗數(shù)據(jù)的特性很多，在評測中全面地測試各種情況需要收集或生成大量的測試數(shù)據(jù)。幸運的是，大多數(shù)可視化技術(shù)針對的目標數(shù)據(jù)在大部分特性上都有所限制，也就是說，一種可視化技術(shù)僅適用于某種或者某幾種特性的數(shù)據(jù)，從而極大地減少了需要測試的情況。在一些領(lǐng)域，研究人員對特定的數(shù)據(jù)進行了歸類和整理，以方便于評測。14.3.2準備實驗2.用戶除數(shù)據(jù)以外，參與用戶同樣需要精挑細選?？梢暬夹g(shù)對用戶的有效性往往是因人而異的，因此需要通過評測了解某種可視化方法或技術(shù)能否為目標用戶帶來更多好處。在設(shè)計一個可視化評測時，能準確地描述并選擇目標用戶是至關(guān)重要的。14.3.2準備實驗在選擇參與用戶時需要考慮的主要因素列舉如下。（1）對應(yīng)用領(lǐng)域的熟悉程度。指用戶對于可視化技術(shù)所面向的數(shù)據(jù)和專業(yè)領(lǐng)域的熟悉程度。經(jīng)驗豐富的專家和新手用戶對于可視化工具會有不同的要求和期望。例如，對于醫(yī)學(xué)影像數(shù)據(jù)可視化，新手用戶需要系統(tǒng)提供更多的注釋信息和提示。（2）對測試任務(wù)的熟悉程度。指用戶對于所要完成的任務(wù)的熟悉程度。對于任務(wù)的熟悉與對領(lǐng)域的熟悉是相互獨立的概念。一個對于應(yīng)用領(lǐng)域非常熟悉的用戶有可能對要完成的任務(wù)卻毫無經(jīng)驗。14.3.2準備實驗（3）對數(shù)據(jù)的熟悉程度。主要指數(shù)據(jù)類型，如網(wǎng)絡(luò)型、層次型、高維型、時變型等。用戶是否曾經(jīng)接觸過同類型或者相似的數(shù)據(jù)？用戶是否已經(jīng)對這樣的數(shù)據(jù)有一個合理的認知模型？（4）對可視化技術(shù)的熟悉程度。用戶是首次使用被評測的可視化技術(shù)嗎？用戶對這個技術(shù)的熟悉程度如何？用戶是否使用過相關(guān)的可視化技術(shù)？對可視化技術(shù)的熟悉程度決定了評測中用戶是否需要一個學(xué)習的過程。14.3.2準備實驗（5）對可視化環(huán)境的熟悉程度。用戶是否曾經(jīng)用過評測的可視化系統(tǒng)？這直接關(guān)系到用戶對測試任務(wù)的實現(xiàn)程度。同樣的技術(shù)在不同環(huán)境下的實現(xiàn)對用戶將造成不同的體驗。例如，離線的可視化系統(tǒng)和通過瀏覽器打開的在線系統(tǒng)在操作方式上具有很大的區(qū)別。14.3.2準備實驗在理想狀態(tài)下，研究者應(yīng)當選擇與所測試技術(shù)的目標用戶相似的參與者參加評測。另外，參與者群體應(yīng)盡可能覆蓋實際目標用戶的年齡范圍、背景差異等，以給出全面的評測結(jié)果。在此基礎(chǔ)上，研究者可以選擇盡量多的群體參與評測，從而更好地了解可視化技術(shù)對哪些用戶更有效，以及背后的人因?qū)W上的原因。14.3.2準備實驗3.實驗設(shè)計實驗設(shè)計指的是對整個實驗流程進行規(guī)劃。在設(shè)計時需要注意三條原則。（1）重復(fù)：實驗通常會受到不確定性的影響。重復(fù)實驗有利于降低不確定性。（2）隨機：通過如隨機數(shù)表、抽簽等方式，將參與用戶分配到不同的組中，以隨機順序?qū)嶒?。這樣可以降低實驗之外的因素帶來的影響。14.3.2準備實驗（3）局部控制：將可能影響實驗的因素分開討論。例如，如果對原有的可視化方法分別做了交互和布局上的改進，那么為了具體觀察這兩部分改進帶來的影響，應(yīng)當分別實驗原有方法-只做交互改進的方法、只做布局改進的方法和做這兩種改進的方法。14.3.2準備實驗此外，當實驗的對象不止一個時，為了保證每個對象的參與用戶群體相同，每個參與用戶需要對不同的對象分別實驗。然而，在多次實驗中，參與用戶可能會累積經(jīng)驗或產(chǎn)生疲勞感。為了降低類似因素帶來的影響，研究者需要對每個參與用戶使用對象的順序進行規(guī)劃。14.3.2準備實驗拉丁方是一種常見的解決方法（見表14-1），它是一個n×n的表格，內(nèi)部有n個元素，分別在表格的每行每列只出現(xiàn)一次，這就保證了實驗的均衡。假設(shè)有n個實驗對象，具體的實驗步驟是；將參與用戶分為n個一組，組內(nèi)隨機排序，按照表14-1中的內(nèi)容，依次對每個實驗對象完成實驗。14.3.2準備實驗表14-1使用拉丁方安排一組（n個）參與用戶對n個實驗對象分別完成實驗14.3.2準備實驗在正式實驗開始之前，通過預(yù)先進行的小規(guī)模試點來檢查實驗設(shè)計、環(huán)境是否存在缺陷，了解用戶在實際操作時可能會遇到的問題，及時進行實驗優(yōu)化，避免浪費時間和金錢。如果在試點實驗中涉及干擾實際實驗的內(nèi)容，比如試點實驗會向參與用戶透露實際實驗中要用到的信息，那么在實際實驗時，研究者應(yīng)招募沒有參與過試點實驗的新用戶。14.3.3開展實驗為了幫助參與用戶專注于任務(wù)，需要提供一個良好的實驗環(huán)境。在正式實驗中，需要先向參與用戶全面地介紹整個實驗，包括實驗?zāi)康?、實驗流程、實驗中可能用到的設(shè)備或系統(tǒng)的使用方法、需要完成的任務(wù)和評價標準等。在做任務(wù)之前，參與用戶可以通過完成一些類似的練習來熟悉實驗。14.3.3開展實驗在任務(wù)過程中，研究者應(yīng)盡可能提供自動化的輔助，包括流