3GB/TXXXXX—XXXX人工智能社會(huì)實(shí)驗(yàn)設(shè)計(jì)指南1范圍本文件提供了人工智能社會(huì)實(shí)驗(yàn)設(shè)計(jì)的基本方法準(zhǔn)則，給出了人工智能社會(huì)實(shí)驗(yàn)方法體系、設(shè)計(jì)原則、適用場(chǎng)景、操作方案。本文件適用于人工智能社會(huì)實(shí)驗(yàn)相關(guān)應(yīng)用主體、研究主體和技術(shù)主體等相關(guān)方開(kāi)展人工智能社會(huì)實(shí)驗(yàn)的設(shè)計(jì)工作。2規(guī)范性引用文件本文件沒(méi)有規(guī)范性引用文件。3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。將特定人工智能技術(shù)引入真實(shí)社會(huì)，形成人工智能應(yīng)用場(chǎng)景，采用實(shí)驗(yàn)性方法，科學(xué)跟蹤和分析人工智能應(yīng)用場(chǎng)景中微觀個(gè)人、中觀組織、宏觀社會(huì)系統(tǒng)的發(fā)展變化，全面研判人工智能應(yīng)用的實(shí)際影響和潛在風(fēng)險(xiǎn)，進(jìn)而提出促進(jìn)智能社會(huì)發(fā)展與治理的政策建議的過(guò)程。自然實(shí)驗(yàn)naturalexperiment借助由自然事件、重大政策、偶然事件等外生因素創(chuàng)設(shè)的人工智能應(yīng)用場(chǎng)景，尋找其對(duì)于社會(huì)群體的近似隨機(jī)干預(yù)效果，進(jìn)而將樣本劃分為實(shí)驗(yàn)組和對(duì)照組，觀測(cè)和采集不同分組受試者的表現(xiàn)數(shù)據(jù)，比較分析實(shí)驗(yàn)組和對(duì)照組的組間差異，判斷人工智能應(yīng)用對(duì)被試對(duì)象產(chǎn)生影響程度的社會(huì)實(shí)驗(yàn)方法。實(shí)地實(shí)驗(yàn)fieldexperiment由實(shí)驗(yàn)者自主構(gòu)造人工智能應(yīng)用場(chǎng)景，并隨機(jī)將其分配給被試對(duì)象，確定實(shí)驗(yàn)組和對(duì)照組，觀測(cè)和采集不同分組受試者的表現(xiàn)數(shù)據(jù)，比較分析實(shí)驗(yàn)組和對(duì)照組的組間差異，判斷人工智能應(yīng)用對(duì)被試對(duì)象產(chǎn)生影響程度的社會(huì)實(shí)驗(yàn)方法。調(diào)查實(shí)驗(yàn)surveyexperimentGB/TXXXXX—XXXX4研究者通過(guò)將自主構(gòu)造的人工智能應(yīng)用場(chǎng)景描述信息嵌入到問(wèn)卷調(diào)查中，并隨機(jī)分配給被試對(duì)象，確定實(shí)驗(yàn)組和對(duì)照組，觀測(cè)和采集不同分組受試者應(yīng)答問(wèn)卷的表現(xiàn)差異，判斷基于描述信息模擬的人工智能應(yīng)用場(chǎng)景對(duì)被試對(duì)象產(chǎn)生影響程度的社會(huì)實(shí)驗(yàn)方法。計(jì)算實(shí)驗(yàn)computationalexperiment通過(guò)計(jì)算仿真建模，對(duì)難以在真實(shí)社會(huì)中構(gòu)造或開(kāi)展追蹤觀測(cè)的人工智能應(yīng)用場(chǎng)景進(jìn)行模擬，再現(xiàn)社會(huì)系統(tǒng)的基本環(huán)境、不同類型主體的行為特征與交互關(guān)系，通過(guò)對(duì)模擬樣本動(dòng)態(tài)變化的比較分析，揭示人工智能技術(shù)應(yīng)用影響社會(huì)活動(dòng)演化規(guī)律的社會(huì)實(shí)驗(yàn)方法。4通用規(guī)則4.1遵循科研倫理宜嚴(yán)格謹(jǐn)慎遵循尊重、不傷害、有利、公正等基本科研倫理，充分尊重被試對(duì)象的自主性，確保被試者的知情同意權(quán)、數(shù)據(jù)信息隱私權(quán)得到有效保護(hù)，降低被試對(duì)象需要承擔(dān)的風(fēng)險(xiǎn)和傷害，充分保障研究的程序公正、回報(bào)公正、分配公正，強(qiáng)化對(duì)弱勢(shì)群體的保護(hù)，防止引發(fā)新的不平等現(xiàn)象。4.2遵照實(shí)驗(yàn)邏輯宜嚴(yán)格遵照“控制—對(duì)照—比較”的實(shí)驗(yàn)推理邏輯，明確區(qū)分實(shí)驗(yàn)組和對(duì)照組。實(shí)驗(yàn)組和對(duì)照組被試對(duì)象之間的關(guān)鍵差異為是否受到待檢驗(yàn)人工智能應(yīng)用場(chǎng)景干預(yù)的影響，并在其他變量上盡可能接近。4.3執(zhí)行隨機(jī)處理宜通過(guò)被試對(duì)象的隨機(jī)化處理，消除實(shí)驗(yàn)組和對(duì)照組在實(shí)驗(yàn)前存在的系統(tǒng)性差異，增強(qiáng)人工智能社會(huì)實(shí)驗(yàn)內(nèi)外部效度與信度，具體包括：a）在實(shí)驗(yàn)方案設(shè)計(jì)階段，宜根據(jù)問(wèn)題類型，綜合運(yùn)用簡(jiǎn)單隨機(jī)化、分層隨機(jī)化、區(qū)塊隨機(jī)化等隨機(jī)化方法，設(shè)計(jì)隨機(jī)化處理方案。b）在執(zhí)行實(shí)驗(yàn)設(shè)計(jì)階段，宜檢查是否存在實(shí)驗(yàn)組未接受干預(yù)和對(duì)照組接受干預(yù)等異常情況，并對(duì)相關(guān)被試對(duì)象進(jìn)行處理。c）對(duì)于自然實(shí)驗(yàn)等難以實(shí)現(xiàn)完全隨機(jī)化的實(shí)驗(yàn)類型，宜關(guān)注影響被試對(duì)象接受干預(yù)的因素，并在數(shù)據(jù)分析過(guò)程中加以控制。4.4規(guī)范設(shè)計(jì)流程宜根據(jù)不同場(chǎng)景和研究問(wèn)題的特點(diǎn)，選擇適配的實(shí)驗(yàn)方法（見(jiàn)第5章并有序開(kāi)展實(shí)驗(yàn)干預(yù)設(shè)計(jì)（見(jiàn)第6章）、指標(biāo)測(cè)量設(shè)計(jì)（見(jiàn)第7章）和數(shù)據(jù)處理設(shè)計(jì)（見(jiàn)第8章）。5實(shí)驗(yàn)方法選取GB/TXXXXX—XXXX5自然實(shí)驗(yàn)適用于智能技術(shù)作用在宏觀社會(huì)系統(tǒng)、中觀組織和微觀個(gè)人層面影響分析。如人工智能應(yīng)用場(chǎng)景政策規(guī)劃的社會(huì)影響評(píng)估、各類人工智能應(yīng)用平臺(tái)上線的效果評(píng)估、人工智能應(yīng)用相關(guān)突發(fā)事件的社會(huì)影響評(píng)估。實(shí)地實(shí)驗(yàn)適用于智能技術(shù)作用在中觀組織和微觀個(gè)人層面影響分析。如在機(jī)構(gòu)、行業(yè)或特定社會(huì)單元部署，對(duì)不同人工智能應(yīng)用功能的效能效果評(píng)估；在不同人工智能應(yīng)用條件中，對(duì)用戶行為和心理認(rèn)知的評(píng)估研究。5.3調(diào)查實(shí)驗(yàn)調(diào)查實(shí)驗(yàn)適用于智能技術(shù)作用在微觀個(gè)人層面的影響分析。如微觀個(gè)人對(duì)于現(xiàn)實(shí)世界中尚不存在的假想人工智能應(yīng)用場(chǎng)景的態(tài)度與認(rèn)知研究；微觀個(gè)人對(duì)于現(xiàn)實(shí)世界中大規(guī)模推廣成本較高或暫未實(shí)現(xiàn)大規(guī)模推廣、僅在小規(guī)模試點(diǎn)應(yīng)用的人工智能應(yīng)用場(chǎng)景的態(tài)度與認(rèn)知研究。5.4計(jì)算實(shí)驗(yàn)計(jì)算實(shí)驗(yàn)適用于智能技術(shù)作用在宏觀社會(huì)系統(tǒng)和中觀組織層面影響分析。如人工智能應(yīng)用場(chǎng)景的社會(huì)輿情演化、經(jīng)濟(jì)效益模擬、行業(yè)生態(tài)模擬研究；人工智能應(yīng)用場(chǎng)景下微觀個(gè)人心理認(rèn)知對(duì)宏觀社會(huì)系統(tǒng)和中觀組織的影響機(jī)制研究。6實(shí)驗(yàn)干預(yù)設(shè)計(jì)6.1明確干預(yù)變量宜根據(jù)不同地區(qū)、不同領(lǐng)域、不同場(chǎng)景條件，設(shè)計(jì)相匹配的人工智能應(yīng)用場(chǎng)景干預(yù)手段。干預(yù)變量可以為人工智能應(yīng)用本身或基于人工智能應(yīng)用衍生的新興制度、商業(yè)模式、政策措施等場(chǎng)景。干預(yù)形式可以為被試者在物理空間中接受的真實(shí)干預(yù)，或借助網(wǎng)頁(yè)、視頻等現(xiàn)代信息手段構(gòu)建的模擬干預(yù)。6.2開(kāi)展預(yù)實(shí)驗(yàn)正式開(kāi)展實(shí)驗(yàn)前，宜專門(mén)設(shè)計(jì)覆蓋一定規(guī)模樣本的預(yù)實(shí)驗(yàn)環(huán)節(jié)，用以了解樣本對(duì)實(shí)驗(yàn)干預(yù)的潛在反應(yīng)是否符合預(yù)期，避免樣本因感知實(shí)驗(yàn)干預(yù)過(guò)于困難、過(guò)于簡(jiǎn)單、過(guò)于不切實(shí)際等問(wèn)題而出現(xiàn)異常實(shí)驗(yàn)反應(yīng)。6.3科學(xué)選取被試宜根據(jù)實(shí)驗(yàn)的主要目的和內(nèi)容，結(jié)合研究對(duì)象的特征和可用資源，科學(xué)選取被試。如研究人工智能應(yīng)用場(chǎng)景對(duì)特定地區(qū)或特定領(lǐng)域總?cè)丝诋a(chǎn)生影響的社會(huì)實(shí)驗(yàn)，宜在綜合考慮總?cè)丝谝?guī)模、分布等因素基礎(chǔ)上，運(yùn)用科學(xué)的抽樣方法，選定具有代表性的被試對(duì)象。6.4隨機(jī)化分組宜根據(jù)研究問(wèn)題和被試對(duì)象的特點(diǎn)，設(shè)計(jì)適當(dāng)?shù)碾S機(jī)化分組處理方案，設(shè)計(jì)要點(diǎn)包括：a）宜優(yōu)先采用完全隨機(jī)化分組，通過(guò)隨機(jī)數(shù)生成等機(jī)制，確保每個(gè)被試對(duì)象被分配到實(shí)驗(yàn)組或?qū)φ战M的概率完全相同，最大限度消除選擇偏差。GB/TXXXXX—XXXX6b）若不能實(shí)現(xiàn)完全隨機(jī)化分組，宜根據(jù)被試對(duì)象的某些重要特征進(jìn)行分層選取，在分層內(nèi)實(shí)現(xiàn)隨機(jī)化分組。配醫(yī)院至實(shí)驗(yàn)組或?qū)φ战M，避免醫(yī)院水平等級(jí)差6.4干預(yù)效果評(píng)估宜設(shè)計(jì)專門(mén)環(huán)節(jié)，對(duì)實(shí)驗(yàn)干預(yù)效果進(jìn)行評(píng)估，以確保實(shí)驗(yàn)干預(yù)的科學(xué)性、有效性。針對(duì)不同類型的人工智能社會(huì)實(shí)驗(yàn)方法，實(shí)驗(yàn)干預(yù)效果評(píng)估關(guān)注的要點(diǎn)分別包括：——開(kāi)展自然實(shí)驗(yàn)時(shí)，宜重點(diǎn)關(guān)注被試對(duì)象分組的隨機(jī)化程度，即是否有混淆因素顯著影響了被試接受干預(yù)的概率，以及實(shí)際中的分組情況與理論上預(yù)期的分組情況存在多大程度的差異?！_(kāi)展實(shí)地實(shí)驗(yàn)時(shí)，宜重點(diǎn)關(guān)注被試對(duì)象對(duì)于實(shí)驗(yàn)干預(yù)的遵從程度，即受試者在多大程度上完全遵循實(shí)驗(yàn)者的安排。——開(kāi)展調(diào)查實(shí)驗(yàn)時(shí)，宜重點(diǎn)關(guān)注被試對(duì)象在閱讀實(shí)驗(yàn)干預(yù)材料時(shí)的專注程度和對(duì)實(shí)驗(yàn)干預(yù)材料的理解程度，確保實(shí)驗(yàn)對(duì)象準(zhǔn)確理解干預(yù)材料試圖傳遞的干預(yù)信息?！_(kāi)展計(jì)算實(shí)驗(yàn)時(shí)，宜重點(diǎn)關(guān)注仿真模型基礎(chǔ)參數(shù)設(shè)定的來(lái)源、依據(jù)及其與真實(shí)情況的擬合程度。7實(shí)驗(yàn)指標(biāo)測(cè)量設(shè)計(jì)7.1統(tǒng)計(jì)類指標(biāo)統(tǒng)計(jì)類指標(biāo)宜作為研究特定人工智能應(yīng)用場(chǎng)景對(duì)宏觀社會(huì)系統(tǒng)、中觀組織所產(chǎn)生影響的測(cè)量指標(biāo)，也可在研究人工智能應(yīng)用場(chǎng)景對(duì)中觀組織和微觀個(gè)人所產(chǎn)影響時(shí)，用以測(cè)量中觀組織和微觀個(gè)人所處的外部環(huán)境特征。統(tǒng)計(jì)類指標(biāo)包括但不限于：a）宏觀社會(huì)經(jīng)濟(jì)發(fā)展指標(biāo)，如國(guó)民經(jīng)濟(jì)統(tǒng)計(jì)指標(biāo)、社會(huì)發(fā)展統(tǒng)計(jì)指標(biāo)、人口普查統(tǒng)計(jì)指標(biāo)等。b）中觀組織、行業(yè)層面的專業(yè)數(shù)據(jù)統(tǒng)計(jì)指標(biāo)，如工商企業(yè)注冊(cè)相關(guān)數(shù)據(jù)統(tǒng)計(jì)指標(biāo)、全國(guó)稅收相關(guān)數(shù)據(jù)統(tǒng)計(jì)指標(biāo)、上市公司相關(guān)數(shù)據(jù)統(tǒng)計(jì)指標(biāo)、專利相關(guān)數(shù)據(jù)統(tǒng)計(jì)指標(biāo)。7.2調(diào)查類指標(biāo)調(diào)查類指標(biāo)宜作為研究特定人工智能應(yīng)用場(chǎng)景對(duì)中觀組織和微觀個(gè)人所產(chǎn)生影響的測(cè)量指標(biāo)。調(diào)查類指標(biāo)包括但不限于：a）被試對(duì)象的人口統(tǒng)計(jì)特征指標(biāo)：如被試對(duì)象的年齡、性別、地區(qū)、職業(yè)、政治面貌、婚姻狀況等指標(biāo)。b）被試對(duì)象的心理認(rèn)知指標(biāo)：如被試對(duì)象的態(tài)度、認(rèn)知、偏好與觀點(diǎn)類指標(biāo)，宜充分利用現(xiàn)有科學(xué)文獻(xiàn)已經(jīng)編制成熟并經(jīng)過(guò)反復(fù)檢測(cè)的量表進(jìn)行測(cè)量。7.3行為痕跡類指標(biāo)行為痕跡類指標(biāo)宜作為研究特定人工智能應(yīng)用場(chǎng)景對(duì)中觀組織和微觀個(gè)人的行為所產(chǎn)生影響的直接觀測(cè)指標(biāo)。行為痕跡類指標(biāo)包括但不限于：a）結(jié)構(gòu)化的行為痕跡指標(biāo)，如微觀個(gè)人被試對(duì)象使用智能技術(shù)應(yīng)用的時(shí)長(zhǎng)、地理空間足跡、社交媒體好友關(guān)系，中觀組織被試對(duì)象的研發(fā)投入、納稅額、專利申請(qǐng)等。GB/TXXXXX—XXXX7b）非結(jié)構(gòu)化的數(shù)字痕跡指標(biāo)，如被試對(duì)象對(duì)新聞消息的評(píng)論數(shù)據(jù)、被試對(duì)象在社交媒體發(fā)布的信息數(shù)據(jù)等。8實(shí)驗(yàn)數(shù)據(jù)處理設(shè)計(jì)8.1樣本描述分析設(shè)計(jì)對(duì)實(shí)驗(yàn)數(shù)據(jù)的處理，宜首先對(duì)被試對(duì)象的分組規(guī)則和基本統(tǒng)計(jì)結(jié)果進(jìn)行描述和分析，證明實(shí)驗(yàn)組與對(duì)照組在控制變量層面無(wú)顯著差異，并驗(yàn)證實(shí)驗(yàn)干預(yù)對(duì)被試對(duì)象的結(jié)果變量產(chǎn)生了影響。分析項(xiàng)目包括但不限于：a）觀測(cè)樣本數(shù)目b）各組變量數(shù)據(jù)的均值、中位數(shù)、四分位數(shù)、最大值、最小值c）各組變量數(shù)據(jù)的標(biāo)準(zhǔn)差、方差d）各組變量數(shù)據(jù)分布的偏度、峰度e)實(shí)驗(yàn)組和對(duì)照組被試對(duì)象涉及的不同變量數(shù)據(jù)的平均值差異比較結(jié)果8.2因果效應(yīng)分析設(shè)計(jì)對(duì)人工智能應(yīng)用場(chǎng)景干預(yù)的因果效應(yīng)的分析，宜根據(jù)實(shí)驗(yàn)場(chǎng)景和研究問(wèn)題的特點(diǎn)，選擇適當(dāng)?shù)臄?shù)理統(tǒng)計(jì)分析模型，如雙重差分模型、斷點(diǎn)回歸模型、工具變量模型、合成控制模型等。8.3因果機(jī)制分析設(shè)計(jì)在分析人工智能應(yīng)用場(chǎng)景干預(yù)的因果效應(yīng)基礎(chǔ)上，宜進(jìn)一步揭示人工智能應(yīng)用場(chǎng)景發(fā)揮作用的機(jī)制，