準(zhǔn)確性請(qǐng)參考原文人工智能安全的具體影響報(bào)告2025年10月日本人工智能安全研究所研究承包商：NRISecureTechnologies，Ltd.2目錄1研究背景和目的32研究方法52.1文獻(xiàn)研究72.1.1初步研究72.1.2詳細(xì)研究72.2訪談研究83研究成果93.1對(duì)道德和法律的影響133.1.1過度依賴生成性AI的心理和身體影響133.1.2產(chǎn)出偏差的社會(huì)影響203.1.3利用網(wǎng)絡(luò)攻擊233.1.4淫穢材料的制作和分發(fā)3.2對(duì)經(jīng)濟(jì)活動(dòng)的影響353.2.1對(duì)生成內(nèi)容的知識(shí)產(chǎn)權(quán)的關(guān)注353.2.2對(duì)就業(yè)和勞動(dòng)力市場的影響3.2.3生成內(nèi)容的擴(kuò)散的影響443.2.4對(duì)經(jīng)濟(jì)不平等的影響473.2.5對(duì)培訓(xùn)和機(jī)密信息泄露的關(guān)注503.3對(duì)信息空間的影響533.3.1錯(cuò)誤信息和傳播信息的產(chǎn)生和傳播3.3.2對(duì)多樣性的影響3.4對(duì)環(huán)境的影響633.4.1對(duì)環(huán)境的影響634今后的考慮664.1與AI安全的社會(huì)技術(shù)影響相關(guān)的當(dāng)前問題664.2關(guān)于解決人工智能安全的社會(huì)技術(shù)影響的思考70A附錄75A.1初步研究清單7531研究背景和目的人工智能正在迅速發(fā)展和普及，其對(duì)社會(huì)的影響正在顯著增長。在此情況下，AI安全研究院（以下簡稱“AISI”）于2024年9月發(fā)布了兩份關(guān)于AI安全的指南：《AI安全評(píng)估視角指南》（以下簡稱“評(píng)估視角指南”）和《AI安全紅色組隊(duì)方法指南》（以下簡稱“紅色組隊(duì)方法指南”）。此外，2025年3月對(duì)這些指南進(jìn)行了修訂。到目前為止，這些指南的創(chuàng)建涉及到對(duì)人工智能系統(tǒng)對(duì)最終用戶的直接影響進(jìn)行調(diào)查然而，人工智能系統(tǒng)的影響力不再局限于單個(gè)終端用戶;它正在擴(kuò)展到更廣泛的社會(huì)技術(shù)領(lǐng)域，影響機(jī)構(gòu)，社會(huì)系統(tǒng)和整個(gè)行業(yè)。在這里，“社會(huì)技術(shù)”是指關(guān)注與AI本身相關(guān)的技術(shù)要素和實(shí)現(xiàn)AI的AI系統(tǒng)之間的相互作用，以及圍繞AI和AI系統(tǒng)的社會(huì)要素之間近年來，各國的人工智能相關(guān)指南都提到了人工智能和人工智能系統(tǒng)的社會(huì)技術(shù)方面例如，美國國家標(biāo)準(zhǔn)與技術(shù)研究所（NIST）的人工智能風(fēng)險(xiǎn)管理框架指出，人工智能系統(tǒng)本質(zhì)上是社會(huì)技術(shù)的，人工智能的風(fēng)險(xiǎn)和好處可能來自于技術(shù)方面與社會(huì)因素之間的相互作用，這些因素與系統(tǒng)的使用方式、與其他人工智能系統(tǒng)、操作員的相互作用以及引入系統(tǒng)的社會(huì)背景有關(guān)。此外，與國際專家合作編寫的《2025年國際人工智能安全報(bào)告》也指出，不僅要關(guān)注技術(shù)方法，而且要將人工智能系統(tǒng)作為社會(huì)技術(shù)系統(tǒng)來實(shí)施，以識(shí)別、調(diào)查和防御人工智能系統(tǒng)造成的傷害?；谶@些情況，本研究側(cè)重于人工智能的社會(huì)技術(shù)方面。換句話說，這項(xiàng)研究調(diào)查了人工智能和已經(jīng)實(shí)施的人工智能系統(tǒng)如何與社會(huì)中的元素相互作用，以及它們可能對(duì)現(xiàn)實(shí)世界產(chǎn)生什么樣的此外，通過研究，目的是澄清人工智能的社會(huì)技術(shù)影響的實(shí)際情況，截至本研究時(shí)，正在或正在試圖對(duì)1美國國家標(biāo)準(zhǔn)與技術(shù)研究院“人工智能風(fēng)險(xiǎn)管理框架（AIRMF1.0）”/nistpubs/ai/NIST.AI.100-1.pdf2科學(xué)、創(chuàng)新和技術(shù)部和AI安全研究所《2025年國際AI安全報(bào)告》.uk/media/679a0c48a77d250007d313ee/International_AI_Safety_Report_2025_accessible_f.pdf4社會(huì)此外，根據(jù)通過研究獲得的內(nèi)容，目的是確定與未來人工智能安全措施相關(guān)的見解52研究方法這項(xiàng)研究主要集中在人工智能系統(tǒng)，包括處理多模態(tài)信息的基礎(chǔ)模型。在考慮人工智能系統(tǒng)的影響時(shí)，本研究不僅涉及人工智能系統(tǒng)可能對(duì)最終用戶產(chǎn)生的直接影響，還涉及最終用戶本身以外對(duì)周圍個(gè)人和社會(huì)的影響。在這項(xiàng)研究中，對(duì)公開信息進(jìn)行了文獻(xiàn)研究，然后采訪了可能與人工智能的社會(huì)技術(shù)影響有關(guān)的利益相關(guān)者。在文獻(xiàn)研究中，首先進(jìn)行了初步研究，然后進(jìn)行了詳細(xì)研究。雖然每項(xiàng)研究的方法將在隨后的章節(jié)中說明，但每項(xiàng)研究的目標(biāo)如下。首先，在文獻(xiàn)研究的初步研究階段，收集了概述當(dāng)前與AI安全相關(guān)的社會(huì)技術(shù)影響的案例和研究結(jié)果，旨在確定更詳細(xì)調(diào)查的問題。詳細(xì)研究階段調(diào)查了初步研究中強(qiáng)調(diào)的關(guān)鍵主題，以澄清其社會(huì)影響和相關(guān)利益攸關(guān)方。此外，還努力從收集到的個(gè)案中歸納出一般性專題，以便在本報(bào)告中以適當(dāng)?shù)脑敿?xì)程度加以介紹。訪談研究的目的是就文獻(xiàn)研究中確定的最重要的主題詳細(xì)了解日本的現(xiàn)狀。圖1顯示了每項(xiàng)研究的目標(biāo)及其關(guān)系。6圖1：研究目的與各研究的關(guān)系72.1文獻(xiàn)研究2.1.1初步研究在文獻(xiàn)研究中，首先進(jìn)行了初步研究，以掌握AI安全的社會(huì)技術(shù)影響的現(xiàn)狀，并確定應(yīng)詳細(xì)調(diào)查的目標(biāo)。對(duì)國內(nèi)外文獻(xiàn)（包括新聞報(bào)道、學(xué)術(shù)論文和報(bào)告）進(jìn)行了初步研究，以研究日本和國外已經(jīng)發(fā)生或可能發(fā)生的在初步研究中，通過使用來自與AI安全相關(guān)的社會(huì)技術(shù)影響的文獻(xiàn)（包括新聞報(bào)道、學(xué)術(shù)論文和報(bào)告）的關(guān)鍵詞（如虛假信息、工作環(huán)境和環(huán)境）探索公開信息，收集了與AI安全的文獻(xiàn)收集范圍包括國內(nèi)和國際來源，共收集了約50個(gè)為了優(yōu)先調(diào)查在研究時(shí)具有重大社會(huì)影響的案例，收集的案例中約有70%是基于新聞報(bào)道。對(duì)于收集的新聞報(bào)道、學(xué)術(shù)論文和報(bào)告，組織了每個(gè)來源的要點(diǎn)、社會(huì)技術(shù)影響和其他相關(guān)2.1.2詳細(xì)的研究在初步研究目標(biāo)中，對(duì)那些被認(rèn)為特別重要的目標(biāo)進(jìn)行了詳細(xì)研究，以澄清其對(duì)社會(huì)和受影響的利益攸關(guān)方的影響。在約50個(gè)初步研究目標(biāo)中，選擇了20個(gè)被評(píng)估為對(duì)AI具有高度影響力、發(fā)生可能性和特異性的文獻(xiàn)來源作為詳細(xì)研究目標(biāo)。對(duì)20個(gè)詳細(xì)的研究目標(biāo)進(jìn)行了適當(dāng)?shù)母爬?，并調(diào)整了每個(gè)項(xiàng)目的詳細(xì)程度，以便將其視為更廣泛的類別而不是個(gè)別情況。在詳細(xì)研究階段，除了前期研究中參考的文獻(xiàn)外，還查閱了與每個(gè)案例相關(guān)的國內(nèi)外相關(guān)文獻(xiàn)，以考察社會(huì)影響和受影響的利益相關(guān)者。8此外，對(duì)于20個(gè)選定的目標(biāo)，研究項(xiàng)目被重組為12個(gè)“研究專題”，考慮到詳細(xì)程度和內(nèi)容之間的重疊。第三章的研究結(jié)果是基于這些研究主題提出的。2.2訪談研究就特別重要的話題進(jìn)行了采訪，以詳細(xì)了解日本的情況。從被選中進(jìn)行詳細(xì)分析的主題中，選擇了五個(gè)具有高影響力，發(fā)生的可能性和與AI的強(qiáng)烈相關(guān)性，以及直接受影響的組織的存在或在日本這種影響的突出性。在五個(gè)選定的研究主題中，每個(gè)主題都選擇了兩個(gè)組織作為訪談研究對(duì)象（共十個(gè)對(duì)象）。換句話說，本研究是對(duì)10個(gè)組織的抽樣調(diào)查，請(qǐng)注意，本報(bào)告中的調(diào)查結(jié)果反映了受訪的每個(gè)組織的觀點(diǎn)。A.1中列出了訪談對(duì)象組織（行業(yè)）及對(duì)象組織授權(quán)披露的訪談紀(jì)要圖2顯示了研究目標(biāo)與每項(xiàng)研究的關(guān)系圖2：各項(xiàng)研究的研究對(duì)象和關(guān)系93研究成果本章介紹了隨著生成式人工智能的廣泛采用而產(chǎn)生本研究將研究結(jié)果依“倫理與法律”、“經(jīng)濟(jì)活動(dòng)”、“資訊空間”、“環(huán)境”四個(gè)類別進(jìn)行整理與呈現(xiàn)這一分類是基于表3中列出的“社會(huì)風(fēng)險(xiǎn)”的子類別日本經(jīng)濟(jì)產(chǎn)業(yè)省和總務(wù)省發(fā)布的《AI業(yè)務(wù)指南（1.1版）》附錄中的“AI風(fēng)險(xiǎn)示例的系統(tǒng)《人工智能商業(yè)指南》中定義的社會(huì)風(fēng)險(xiǎn)和本項(xiàng)目中討論的社會(huì)技術(shù)影響不一定是然而，兩者都有解決人工智能技術(shù)如何影響社會(huì)的目標(biāo)。因此，在組織本項(xiàng)目的調(diào)查結(jié)果表1列出了《AI商業(yè)指南（1.1版）》附錄中的社會(huì)風(fēng)險(xiǎn)子類別，以及與每個(gè)類別相對(duì)應(yīng)的研究主題如第2.1.2節(jié)所述，研究課題來源于詳細(xì)研究的結(jié)果在本章的每一節(jié)中，研究成果按研究主題進(jìn)行組織表1：本報(bào)告中介紹研究成果的研究主題類別研究課題對(duì)道德和法律過度依賴生成式AI產(chǎn)出偏差的社會(huì)影響利用網(wǎng)絡(luò)攻擊制作和分發(fā)淫穢材料對(duì)經(jīng)濟(jì)活動(dòng)的影響對(duì)生成內(nèi)容的知識(shí)產(chǎn)權(quán)的關(guān)注對(duì)就業(yè)和勞動(dòng)力市場的影響生成內(nèi)容激增的影響對(duì)經(jīng)濟(jì)不平等對(duì)培訓(xùn)和機(jī)密信息影響信息空間錯(cuò)誤信息和虛假信息對(duì)多樣性影響環(huán)境對(duì)環(huán)境此外，研究主題與人工智能檢查了安全性人工智能安全的關(guān)鍵要素是AISI發(fā)布的“評(píng)估視角指南”中確定的重要因素具體而言，這六個(gè)要素是：“以人為本”、“安全”、“公平”、“隱私保護(hù)”、“確保安全”和“透明度”。本研究中的主題對(duì)應(yīng)于AI安全的一個(gè)或多個(gè)關(guān)鍵要素下表2是一個(gè)矩陣，說明了研究主題與AI安全關(guān)鍵要素之間的關(guān)系。表中的圓圈“●”表示相應(yīng)的研究課題與AISafety的關(guān)鍵要素相關(guān)表2：顯示研究主題與AI安全關(guān)鍵要素之間關(guān)系的矩陣AI安全的關(guān)鍵要素人類-為中心安全公平隱私保護(hù)確保安全透明度研究課題心理和物理影響過度依賴生成式AI●●●社會(huì)影響力輸出偏置●●●剝削網(wǎng)絡(luò)攻擊●●生成和散發(fā)淫穢材料●●●●擔(dān)憂知識(shí)產(chǎn)權(quán)生成的權(quán)利內(nèi)容●●影響就業(yè)和勞動(dòng)力市場●影響增殖生成的內(nèi)容●經(jīng)濟(jì)影響不平等●●對(duì)培訓(xùn)和機(jī)密泄露的信息●●制造和傳播錯(cuò)誤信息，虛假信息●●●對(duì)多樣性●●影響環(huán)境●應(yīng)該注意的是，與AI安全相關(guān)的社會(huì)技術(shù)影響可能會(huì)隨著AI技術(shù)環(huán)境的變化和周圍社會(huì)環(huán)境的變化而迅速變化。因此，必須不斷審查研究主題及其內(nèi)容的分類。此外，如第2章所述，本研究進(jìn)行了文獻(xiàn)研究，包括案例研究和來自各個(gè)領(lǐng)域的專家知識(shí)，以及對(duì)參與生成AI相關(guān)工作的組織的采訪通過這樣做，從盡可能多的角度尋求對(duì)與AI安全相關(guān)的社會(huì)技術(shù)影響的全面然而，圍繞人工智能的技術(shù)和相關(guān)的社會(huì)環(huán)境正在發(fā)生迅速變化，因此，要研究的主題和具體項(xiàng)目不斷擴(kuò)大。因此，應(yīng)該指出的是，本研究中的研究主題和每個(gè)主題中的相應(yīng)內(nèi)容并不能確保此時(shí)的完全全面性。在接下來的章節(jié)中，根據(jù)“倫理與法律”、“經(jīng)濟(jì)活動(dòng)”、“信息空間”和“環(huán)境”的分類，介紹了與AI安全的社會(huì)技術(shù)影響相關(guān)的研究課題“此外，就每項(xiàng)研究課題，亦提供課題概述、文獻(xiàn)研究結(jié)果及訪問研究結(jié)果表3顯示了以下各節(jié)中每個(gè)研究主題表3：每項(xiàng)研究結(jié)果的項(xiàng)目項(xiàng)目報(bào)告詳情專題概述描述與人工智能安全相關(guān)的社會(huì)技術(shù)影響，包括存在何種影響，為什么他們被認(rèn)為是重要的。文獻(xiàn)研究結(jié)果根據(jù)每個(gè)研究主題調(diào)查時(shí)的公開信息描述研究結(jié)果。具體而言，描述與本主題相關(guān)的，目前預(yù)計(jì)對(duì)社會(huì)產(chǎn)生影響的程度和方式，以及哪些利益相關(guān)者參與了本主題。此外，A.1包括初步研究目標(biāo)清單。雖然新聞報(bào)道是根據(jù)“道德和法律”，“經(jīng)濟(jì)活動(dòng)”，“信息空間”和“環(huán)境”類別分類的，但學(xué)術(shù)論文和報(bào)告不分類，因?yàn)樗鼈兘?jīng)常在一個(gè)文檔中討論多個(gè)案例訪談研究結(jié)果描述那些被認(rèn)為對(duì)詳細(xì)了解其實(shí)際情況很重要的研究課題的訪談研究結(jié)果。具體而言，本節(jié)根據(jù)訪談對(duì)象組織，描述他們對(duì)每個(gè)研究主題當(dāng)前和未來影響的理解，每個(gè)部分都概述了面試目標(biāo)組織。此外，A.2（日語）提供了本項(xiàng)目中選定的訪談對(duì)象組織（行業(yè)）的列表，以及訪談對(duì)象授權(quán)出版的訪談?dòng)涗浗M織的3.1對(duì)倫理和法律3.1.1過度依賴生成型人工智能n專題概述隨著生成式人工智能的技術(shù)進(jìn)步及其輸出準(zhǔn)確性的顯著提高，它已被社會(huì)廣泛采用然而，盡管有這樣的便利性，一些人還是對(duì)過度依賴生成式人工智能的心理和身體影響在這里，解決了過度依賴生成AI的兩個(gè)社會(huì)技術(shù)影響，即心理和身體影響，以及生成AI的不適當(dāng)提示對(duì)認(rèn)知能力的影響。生成式人工智能的使用不僅在提高任務(wù)效率和質(zhì)量方面受到重視，而且還擴(kuò)展到尋求情感價(jià)值的最終用戶，例如陪伴或情感支持。然而，在向依賴生成AI的最終用戶提供不適當(dāng)提示的情況下，已經(jīng)證實(shí)在最壞的情況下會(huì)導(dǎo)致自殺此外，國內(nèi)外研究表明，學(xué)生過度依賴生成式人工智能可能會(huì)影響他們的批判性思維能力。由于這些問題不僅僅是技術(shù)問題，而是波及整個(gè)社會(huì)的重大社會(huì)技術(shù)挑戰(zhàn)，因此該主題被確定為本項(xiàng)目的研究目標(biāo)n文獻(xiàn)研究關(guān)于過度依賴生成AI的心理和身體影響的研究獲得了以下見解。第一，關(guān)于不適當(dāng)?shù)奶崾?，已?jīng)報(bào)告了多起案件。在2021年英國發(fā)生的一起事件中，一名男子與人工智能聊天機(jī)器人交換了5,000多條信息，并在其鼓勵(lì)下試圖暗殺伊麗莎白女王3號(hào)。此外，在2023年，一名比利時(shí)男子在與名為“Eliza”的人工智能聊天機(jī)器人進(jìn)行了為期六周的對(duì)話后自殺，聊天記錄中包含了生成人工智能的積極提示痕跡，例如提到“成為一個(gè)讀賣新聞》3日?qǐng)?bào)道，“當(dāng)然?！?..AI愛好者鼓勵(lì)謀殺女王”（日文）www.yomiuri.co.jp/world/20240212–OYT1T50014/天堂”4.此外，在2024年，美國佛羅里達(dá)州的一個(gè)案例中，一名14歲的男孩長期依賴聊天機(jī)器人最終導(dǎo)致他自殺。這些案例表明，生成式人工智能可能會(huì)加強(qiáng)最終用戶的情感依賴，并且在提供不適當(dāng)?shù)奶崾緯r(shí)，直接影響現(xiàn)實(shí)世界的行動(dòng)。這些情況并非偶然，而是被認(rèn)為是源于最終用戶心理狀態(tài)和人工智能設(shè)計(jì)特征的結(jié)構(gòu)性風(fēng)險(xiǎn)。電通公司（DentsuInc.）2025年8月，日本全國1,000名受訪者中約有65%表示有能力與人工智能分享情感特別是在年輕一代中，有一種強(qiáng)烈的傾向?qū)⑷斯ぶ悄芤暈椤靶睦碇С帧被颉皩?duì)話伙伴”，這證實(shí)了依賴性的高風(fēng)險(xiǎn)。VivekChavan和他的同事們是歐洲最大的科學(xué)和技術(shù)研究機(jī)構(gòu)Fraunhofer生產(chǎn)系統(tǒng)和設(shè)計(jì)技術(shù)研究所（FraunhoferIPK）的研究人員，他們警告說，情感表達(dá)的生成AI可以起到伴侶的作用，但也往往會(huì)造成過度依賴。此外，不與最終用戶和規(guī)格相矛盾的設(shè)計(jì)確保了持續(xù)的可用性，被指出是促進(jìn)依賴性形成的因素第二，關(guān)于對(duì)認(rèn)知能力的影響，也有許多研究報(bào)告。杭州師范大學(xué)進(jìn)行的一項(xiàng)元分析發(fā)現(xiàn)，使用生成式人工智能作為“智能導(dǎo)師”可以提高高階思維技能。這種效應(yīng)歸因于對(duì)學(xué)習(xí)者的促進(jìn)作用4日本廣播公司（NHK“一個(gè)繼續(xù)與生成AI對(duì)話的丈夫不再是“（日文）https://www3.nhk.or.jp/news/html/20230728/k10014145661000.html5紐約時(shí)報(bào)，“一個(gè)名叫丹妮莉絲·坦格利安的聊天機(jī)器人能為青少年的自殺負(fù)責(zé)嗎？"電子郵件/2024/10/23/technology/characterai-lawsuit-teen-suicide.html6有線電視新聞網(wǎng)（CNN），“沒有護(hù)欄?！斑@位母親認(rèn)為AI聊天機(jī)器人應(yīng)對(duì)她兒子的自殺負(fù)責(zé)”/2024/10/30/tech/teen-suicide-character-ai-lawsuit7Yahoo！新聞，“14歲的男孩死了，依賴于與AI聊天”-母親提供者;潛在的問題是什么？“（日文）https://news.yahoo.co.jp/expert/articles/7225ddf3ec2e66fae6a09bd6cc96313b2a44e6f88電通公司，64.9%的人可以與對(duì)話AI分享情感-與“最好的朋友”和“母親”一起成為“第三同伴”電子郵件www.dentsu.co.jp/news/release/2025/0703-010908.html[9]Chavan，Vivek，etal.《情感機(jī)器：倫理、文化和情感人工智能的興起》。arXiv預(yù)印本arXiv：2506.12437（2025）。/pdf/2506.12437通過個(gè)性化反饋進(jìn)行反思10.相反，麻省理工學(xué)院（MIT）媒體實(shí)驗(yàn)室的研究表明，對(duì)生成AI的依賴會(huì)導(dǎo)致大腦活動(dòng)和原創(chuàng)性下降，導(dǎo)致“認(rèn)知債”的積累，其特征是批判性思維能力下降。此外，不來梅大學(xué)進(jìn)行的一項(xiàng)研究顯示，使用生成式人工智能撰寫報(bào)告的學(xué)生在期末考試中的平均得分比非用戶低6.7分，負(fù)面影響在成績優(yōu)異的學(xué)生中尤為明顯。雖然生成式人工智能有可能根據(jù)其使用模式來提高學(xué)習(xí)效果，但過度依賴和不加批判的使用會(huì)帶來認(rèn)知能力下降的風(fēng)險(xiǎn)。微軟研究院和卡內(nèi)基梅隆大學(xué)（CMU）的聯(lián)合研究證實(shí)，對(duì)人工智能具有較高信任度的人表現(xiàn)出較弱的批判性思維，經(jīng)驗(yàn)表明，過度依賴生成式人工智能可能會(huì)降低智力活動(dòng)的質(zhì)量。與過度依賴生成式人工智能的心理和身體影響相關(guān)的潛在利益相關(guān)者包括，例如，人工智能開發(fā)人員，人工智能提供商，最終用戶，教育機(jī)構(gòu)和雇主，政府以及行政和國際組織。人工智能開發(fā)者、人工智能提供者和人工智能用戶的定義人工智能開發(fā)人員預(yù)計(jì)將在開發(fā)階段涉及心理學(xué)和教育專家，以防止心理依賴的加劇或生成人工智能的不當(dāng)指導(dǎo)，并將能夠檢測(cè)依賴跡象的功能納入設(shè)計(jì)中。人工智能提供商有責(zé)任在聊天機(jī)器人服務(wù)操作中實(shí)施防御機(jī)制，以防止不適當(dāng)?shù)恼T導(dǎo)。在教育機(jī)構(gòu)和雇主中，學(xué)習(xí)者和知識(shí)工作者是受影響的主要利益相關(guān)者。因此，認(rèn)為有必要發(fā)展AI10NatureHSSCommunications，“ChatGPT對(duì)學(xué)習(xí)成果和高階思維影響的元分析”/articles/s41599-025-04787-y11麻省理工學(xué)院（MIT）媒體實(shí)驗(yàn)室，“你的大腦在ChatGPT上：使用AI助手進(jìn)行論文寫作任務(wù)時(shí)認(rèn)知債務(wù)的積累電子郵件/publications/your-brain-on-chatgpt/12Wyndham，JanikOle，etal.“生成式AI使用和考試表現(xiàn)。arXiv預(yù)印本arXiv：2404.19699（2024）。/pdf/2404.1969913微軟研究，“生成式人工智能對(duì)批判性思維的影響：來自知識(shí)工作者調(diào)查的認(rèn)知努力和信心影響的電子郵件/en-us/research/wp-content/uploads/2025/01/lee_2025_ai_critical_thinking_survey.pdf掃盲教育和適當(dāng)?shù)脑u(píng)價(jià)設(shè)計(jì)。政府必須從監(jiān)管和體制角度解決這些問題文部科學(xué)?。∕EXT）提出了將學(xué)習(xí)過程評(píng)估和口頭陳述納入其中的教育政策，確定建立一個(gè)遏制人工智能依賴并保持批判性思維的教育體系是一項(xiàng)關(guān)鍵挑戰(zhàn)。最后，行政和國際組織被認(rèn)為有責(zé)任在促進(jìn)負(fù)責(zé)任地使用人工智能方面發(fā)揮關(guān)鍵作用，同時(shí)通過法規(guī)和指導(dǎo)方針減輕心理風(fēng)險(xiǎn)n訪談研究本研究課題的采訪對(duì)象是教育企業(yè)經(jīng)營者的內(nèi)部智囊團(tuán)、A公司和正在推進(jìn)AI利用和治理的B大學(xué)。A公司和B大學(xué)都擁有基于學(xué)生和教師使用生成式AI的真實(shí)經(jīng)驗(yàn)的數(shù)據(jù)，并積極對(duì)外交流他們的在本節(jié)中，提供了從訪談中獲得的摘要（受訪者的陳述）;關(guān)于每次訪談的詳細(xì)情況，請(qǐng)參閱A.2節(jié)（日語）中的記錄●A公司的訪談研究結(jié)果A公司是一家電信和教育公司的內(nèi)部智囊團(tuán)。它對(duì)學(xué)生和教師中生成人工智能的使用和影響進(jìn)行研究和分析，并通過自己的媒體和新聞機(jī)構(gòu)廣泛分享其研究結(jié)果，從而為改善教育/掃盲和相關(guān)領(lǐng)域做出廣泛貢獻(xiàn)根據(jù)A公司的評(píng)估，生成式人工智能在教育環(huán)境中的滲透率隨著年齡的增長而增加大學(xué)生，特別是處于求職期的大四學(xué)生，經(jīng)常使用AI撰寫報(bào)告和起草求職材料，職業(yè)學(xué)校和藝術(shù)大學(xué)也有使用AI的例子。高中生已經(jīng)開始使用ChatGPT搜索信息。此外，一些教師已經(jīng)決定在信息技術(shù)課上使用人工智能，這導(dǎo)致了制作視頻和編寫文檔等各種活動(dòng)。有一些情況下，初中正在嘗試引入AI進(jìn)行翻譯和研究性學(xué)習(xí)14文部科學(xué)省（MEXT），《關(guān)于在小學(xué)和中學(xué)教育中使用生成AI的指導(dǎo)方針》（日文）電子郵件www.mext.go.jp/content/20241226–mxt_shuukyo02–000030823_001.pdf得到父母的允許在小學(xué)，人工智能主要被教師用于創(chuàng)建行政文件，仍然很少有面向?qū)W生的學(xué)習(xí)用例學(xué)生使用的大多數(shù)AI功能都是基本的，例如組織信息，撰寫文本以及生成圖像或視頻。然而，在未來，人們對(duì)“自主學(xué)習(xí)加教師支持”的模式抱有期望，在這種模式下，人工智能可以可視化學(xué)生的學(xué)習(xí)日志，并幫助提供個(gè)性化的指導(dǎo)。此外，雖然使用人工智能可以幫助減少學(xué)生對(duì)寫更長文本的不情愿，但有些人擔(dān)心它可能會(huì)導(dǎo)致獨(dú)立思考的機(jī)會(huì)減少與此同時(shí)，有些人認(rèn)為，如果使用人工智能的優(yōu)點(diǎn)大于缺點(diǎn)，這種權(quán)衡是可以接受的。由于創(chuàng)造性的工作現(xiàn)在可以通過一次點(diǎn)擊完成，通過嘗試和錯(cuò)誤學(xué)習(xí)的人往往會(huì)做出更明智的決定，而那些沒有這種經(jīng)驗(yàn)的人可能會(huì)發(fā)現(xiàn)更難建立良好的判斷力。與其他技術(shù)一樣，也存在一種風(fēng)險(xiǎn)，即有動(dòng)力和堅(jiān)持不懈的學(xué)生將取得進(jìn)步，而那些沒有動(dòng)力和堅(jiān)持不懈的學(xué)生可能會(huì)落后，導(dǎo)致差距擴(kuò)大A公司指出，最大限度地發(fā)揮人工智能教育影響的關(guān)鍵是“從控制到自主”的轉(zhuǎn)變?！爸匾氖且?jiǎng)?chuàng)造一個(gè)環(huán)境，讓每個(gè)人都可以根據(jù)自己的動(dòng)機(jī)定制人工智能和學(xué)習(xí)。要實(shí)現(xiàn)這一點(diǎn)，日本必須擺脫“與所有人一樣做才是正確的”的傾向，樹立通過科學(xué)和邏輯推理獨(dú)立決策的態(tài)度。●B大學(xué)的訪談研究發(fā)現(xiàn)在B大學(xué)，關(guān)于使用生成式人工智能的政策已經(jīng)明確，該大學(xué)與一家主要的生成式人工智能服務(wù)提供商簽訂了企業(yè)合同，為所有學(xué)生提供付費(fèi)服務(wù)作為在大學(xué)使用生成AI的規(guī)則生成式人工智能在大學(xué)內(nèi)的具體用途包括擔(dān)任教學(xué)助理，負(fù)責(zé)英語課程的翻譯和路由器配置錯(cuò)誤的故障排除此外，生成式人工智能的使用正在增加，例如改進(jìn)畢業(yè)論文和報(bào)告的寫作，創(chuàng)建模型和數(shù)字原型，以及支持資格研究，目的是提高產(chǎn)出的質(zhì)量，使其能夠迅速創(chuàng)造。作為生成式人工智能對(duì)學(xué)生思維方式的積極影響，人們注意到，制定適當(dāng)?shù)膯栴}來向人工智能提問的過程有助于培養(yǎng)他們有效提問的能力，而事實(shí)檢查人工智能的回答可以進(jìn)行更實(shí)質(zhì)性的討論。雖然簡單地接受AI輸出而不進(jìn)行批判性思維并不能促進(jìn)技能發(fā)展，但仔細(xì)檢查和重建結(jié)果的學(xué)生有望提高他們的思維能力。因此，利用人工智能可以作為加深學(xué)生思維的機(jī)會(huì)。另一方面，一個(gè)負(fù)面的方面是，一些學(xué)生在沒有完全理解的情況下使用人工智能生成的內(nèi)容，并且人們擔(dān)心，特別是實(shí)驗(yàn)室進(jìn)度報(bào)告，可能會(huì)包含錯(cuò)誤信息。在這種情況下，作為一種對(duì)策，教師提出問題以檢查學(xué)生的理解情況，并讓學(xué)生獨(dú)立驗(yàn)證和解釋AI提供的信息被認(rèn)為是有效的。雖然目前還沒有明確的證據(jù)表明批判性或邏輯思維能力下降，但在一些情況下，在短時(shí)間內(nèi)提交了異常高質(zhì)量的報(bào)告，這表明過度依賴人工智能的支持可能會(huì)導(dǎo)致重要的思維過程被遺漏。雖然這些都是個(gè)案，需要進(jìn)行系統(tǒng)的調(diào)查，但得出的結(jié)論是，教師可以通過明確說明有關(guān)人工智能使用的假設(shè)并要求學(xué)生提供證據(jù)和解釋其結(jié)果來減輕思維能力下降的風(fēng)險(xiǎn)。總之，生成式人工智能是一種深化思維的工具，但也存在濫用的風(fēng)險(xiǎn)，將適當(dāng)?shù)膾呙そ逃c教師提問和反饋相結(jié)合，對(duì)于最大限度地發(fā)揮積極作用，同時(shí)最大限度地減少負(fù)面影響至關(guān)重要。在教育領(lǐng)域，人們已經(jīng)注意到，使用人工智能作為實(shí)踐培訓(xùn)和程序開發(fā)的助手此外，B大學(xué)還建立了一個(gè)人工智能中心，并正在討論如何將人工智能用于抽象和高級(jí)主題的教育目的。具備博士水平知識(shí)的生成式人工智能對(duì)于支持學(xué)術(shù)寫作特別有效，因?yàn)樗梢宰詣?dòng)糾正印刷錯(cuò)誤和初步篩選，使教師和學(xué)生能夠花更多時(shí)間進(jìn)行必要的討論和批判性檢查。對(duì)另一方面，將人工智能應(yīng)用于教育的一個(gè)挑戰(zhàn)是學(xué)習(xí)機(jī)會(huì)的差異，這取決于是否提供付費(fèi)服務(wù)。雖然B大學(xué)通過合同協(xié)議解決了差異問題，但人們?nèi)匀粨?dān)心，在沒有這種合同的機(jī)構(gòu)中，學(xué)生之間的差距可能會(huì)擴(kuò)大，或者那些在小學(xué)和中學(xué)教育中接觸過人工智能的學(xué)生之間的差距可能會(huì)擴(kuò)大。另一個(gè)問題是，目前的教育并沒有考慮到人工智能的整合，因?yàn)樗匀环浅Ｗ⒅赜?jì)算和漢字獲取等基礎(chǔ)技能。為了應(yīng)對(duì)這些挑戰(zhàn)，有人建議應(yīng)該實(shí)施政策，創(chuàng)造一個(gè)可以將人工智能引入教育環(huán)境的環(huán)境，包括提供人工智能工具作為免費(fèi)教育計(jì)劃的一部分，類似于個(gè)人電腦的分發(fā)方式。有人建議，通過這樣做，人工智能素養(yǎng)可以在所有年級(jí)和院系中平等發(fā)展，最大限度地減少差異，并使下一代教育能夠充分利用生成人工智能的優(yōu)勢(shì)●基于A公司和B大學(xué)從對(duì)A公司和B大學(xué)的采訪中可以證實(shí)，人工智能已經(jīng)在教育環(huán)境中得到了應(yīng)用，而且在大學(xué)機(jī)構(gòu)中的應(yīng)用尤其迅速。關(guān)于對(duì)思維能力的影響，有人擔(dān)心，如果在沒有完全理解的情況下使用AI輸出，學(xué)生的批判性思維和邏輯思維能力可能會(huì)下降。但是，通過提供適當(dāng)?shù)淖R(shí)字教育和設(shè)計(jì)假設(shè)使用AI的教育計(jì)劃，可以將這些負(fù)面影響最小化，并將積極影響最大化3.1.2產(chǎn)出偏差n專題概述生成式人工智能越來越多地應(yīng)用于教育、醫(yī)療保健和行政管理等廣泛領(lǐng)域。另一方面，生成式AI的輸出可能反映來自訓(xùn)練數(shù)據(jù)的偏差這種偏見有可能再現(xiàn)歷史和社會(huì)形成的歧視和不相稱現(xiàn)象，有可能助長基于種族、性別、宗教、殘疾、文化背景和其他因素的不公平待遇和陳規(guī)定型觀念。產(chǎn)出對(duì)社會(huì)多樣性的影響在對(duì)多樣性的影響中討論（第3.3.2節(jié)）。在此，本節(jié)特別側(cè)重于這種偏見如何可能導(dǎo)致社會(huì)歧視。人工智能生成輸出中的偏見問題不僅僅是一個(gè)技術(shù)問題。它深刻地影響著社會(huì)結(jié)構(gòu)和制度，可能影響到社會(huì)價(jià)值觀，如信息分配的公平性和少數(shù)群體的包容性，因此被認(rèn)為是一種重要的社會(huì)技術(shù)影響。特別是在與人們的生活和權(quán)利直接相關(guān)的領(lǐng)域，如招聘、教育和行政決策，如果在生成式人工智能的輸出中包含偏見，這種影響可能會(huì)制度化和結(jié)構(gòu)化，并有長期鞏固社會(huì)劣勢(shì)的風(fēng)險(xiǎn)。由于輸出偏差的社會(huì)影響被認(rèn)為是一種重要的社會(huì)技術(shù)影響，因此本課題被確定為本項(xiàng)目的研究對(duì)象。n文獻(xiàn)研究在這種情況下，歧視被定義為基于性別、種族/族裔和宗教等社會(huì)因素對(duì)人的不公平待遇，指的是對(duì)擁有和不擁有這些因素的人的這種待遇。以下描述了與性別、種族/民族和宗教這三個(gè)社會(huì)因素相關(guān)的歧視因生成式人工智能輸出中的偏見而產(chǎn)生的案例以及相關(guān)研究。首先，關(guān)于基于性別的歧視，聯(lián)合國教育、科學(xué)及文化組織（教科文組織）2024年發(fā)表的一項(xiàng)研究15證實(shí)，婦女與“家”等詞語密切相關(guān)，15聯(lián)合國教育、科學(xué)及文化組織（教科文組織“消除系統(tǒng)性偏見：調(diào)查大型語言模型中對(duì)婦女和女孩的偏見/ark:/48223/pf0000388971“孩子”，而男性與主要LLM中的“商業(yè)”和“職業(yè)”相關(guān)：GPT–2，ChatGPT和LLaMA1。此外，在專業(yè)背景下，男子往往與“教師”和“醫(yī)生”等專門職業(yè)聯(lián)系在一起，而婦女則被分配擔(dān)任“家庭傭工”和“廚師”等角色?！斑@種性別偏見不僅是代表性問題，而且在產(chǎn)生建議文本時(shí)也會(huì)出現(xiàn)。例如，在斯坦福大學(xué)開發(fā)的Alpaca中，“專業(yè)知識(shí)”和“正直”等詞語用于男性，而“美麗”和“令人愉悅”等詞語則用于女性。第二，與種族和族裔有關(guān)的歧視案件也得到證實(shí)。Birhane等人，認(rèn)知科學(xué)家指出，隨著多模態(tài)數(shù)據(jù)集的擴(kuò)展，黑人和拉丁裔人被錯(cuò)誤地歸類為罪犯的可能性增加。此外，斯坦福大學(xué)進(jìn)行的研究發(fā)現(xiàn)，與標(biāo)準(zhǔn)美式英語的使用者相比，非裔美國英語的使用者傾向于被分配較低地位的職業(yè)，并且更有可能在虛構(gòu)的刑事審判場景中受到更嚴(yán)厲的懲罰。這些結(jié)果表明，所使用的語言或方言本身有可能成為歧視的依據(jù)第三，關(guān)于基于宗教的歧視，經(jīng)驗(yàn)研究主要強(qiáng)調(diào)相關(guān)問題。在阿比德等人2021年的一項(xiàng)研究中，斯坦福大學(xué)的人工智能和機(jī)器學(xué)習(xí)研究人員證實(shí)，GPT–3在23%的情況下將“穆斯林”與“恐怖分子”聯(lián)系起來，在5%的情況下將“猶太人”與“金錢”聯(lián)系起來。這種偏見助長了對(duì)宗教的陳規(guī)定型觀念，并有加劇社會(huì)排斥和偏見的危險(xiǎn)。此外，還報(bào)告了交叉歧視案件。在圖像生成應(yīng)用程序Lensa中，亞洲女性的圖像往往是用16Wan，Yixin，etal.“凱利是一個(gè)溫暖的人，約瑟夫是一個(gè)榜樣”：性別偏見在法學(xué)碩士生成的參考信。arXiv預(yù)印本arXiv：2310.09219（2023）。/abs/2310.0921917Birhane，Abeba等人，“數(shù)據(jù)集縮放的黑暗面：評(píng)估多模態(tài)模型中的種族分類"2024年ACM公平、問責(zé)制和透明度會(huì)議記錄。2024./pdf/2405.04623odels18斯坦福大學(xué)HAI，“人工智能中的隱性種族主義：語言模型如何強(qiáng)化過時(shí)的刻板印象”/news/covstereotypes19Abid，Abubakar，MaheenFarooqi，andJamesZou.“大型語言模型中持續(xù)的反穆斯林偏見2021年AAAI/ACM人工智能，倫理和社會(huì)會(huì)議論文集2021年/pdf/2101.05783過度的性暗示，清楚地表明了代表性的傷害20。此外，華盛頓大學(xué)的研究表明，與白人男性相關(guān)的名字被認(rèn)為最有可能在簡歷評(píng)估中被錄用，而與女性和黑人男性相關(guān)的名字則不太可能受到青睞。這些發(fā)現(xiàn)表明，當(dāng)生成式人工智能的輸出被納入招聘和人事評(píng)估等具有社會(huì)重要性的決策過程時(shí)，歧視可能會(huì)變得制度化和結(jié)構(gòu)化。與生成式人工智能的輸出偏差的社會(huì)影響相關(guān)的潛在利益相關(guān)者包括，例如，人工智能開發(fā)人員，人工智能提供商和人工智能用戶。人工智能開發(fā)人員占據(jù)了一個(gè)位置，他們可以從技術(shù)上控制訓(xùn)練數(shù)據(jù)過程的收集、預(yù)處理和模型設(shè)計(jì)，這些過程是潛在的偏見來源。此外，由于生成式人工智能可能用于招聘或司法決策等可能產(chǎn)生重大社會(huì)后果的環(huán)境中，因此人工智能開發(fā)人員預(yù)計(jì)將根據(jù)潛在的傷害程度采取更高程度的謹(jǐn)慎態(tài)度人工智能提供商負(fù)責(zé)控制輸出并設(shè)置使用生成人工智能的服務(wù)的使用條款。因此，人工智能提供者與利益相關(guān)者就偏見造成的歧視問題密切相關(guān)。特別是在社會(huì)影響力巨大的人事評(píng)價(jià)、形象塑造等領(lǐng)域，承擔(dān)相當(dāng)大的責(zé)任。人工智能用戶也扮演著重要的角色，盡管他們的參與程度根據(jù)他們?nèi)绾问褂蒙扇斯ぶ悄芏兴煌?dāng)政府在決策過程中采用有偏見的產(chǎn)出時(shí)，這種偏見有可能長期嵌入同樣，當(dāng)創(chuàng)意專業(yè)人員將有偏見的生成性產(chǎn)出納入內(nèi)容制作時(shí)，歧視性表達(dá)可能會(huì)無意中傳播，并隨后作為文化規(guī)范復(fù)制。最后，最直接受到偏見影響的少數(shù)群體也不可避免地成為關(guān)鍵利益相關(guān)者，沒有他們的觀點(diǎn)設(shè)計(jì)或部署的人工智能系統(tǒng)缺乏合法性。20麻省理工學(xué)院技術(shù)評(píng)論，“病毒AI頭像應(yīng)用程序Lensa在未經(jīng)我同意的情況下脫掉了我的衣21華盛頓大學(xué)，“人工智能工具在根據(jù)感知的種族和性別對(duì)求職者的名字進(jìn)行排名時(shí)顯示出偏見”/news/2024/10/31/ai–bias–resume–screening–race–gender/3.1.3利用網(wǎng)絡(luò)攻擊n專題概述生成式人工智能正在教育、醫(yī)療保健和工業(yè)等廣泛領(lǐng)域得到創(chuàng)新應(yīng)用;然而，由于其多功能性，其被利用進(jìn)行網(wǎng)絡(luò)攻擊的風(fēng)險(xiǎn)正在迅速增加。自然語言生成、多模式處理和代碼生成等功能可能成為攻擊者的有效攻擊工具。因此，以前需要專業(yè)知識(shí)和大量工作的網(wǎng)絡(luò)攻擊正在自動(dòng)化和簡化，使任何人都可以輕松實(shí)施此外，利用生成式人工智能的網(wǎng)絡(luò)攻擊不僅僅是技術(shù)威脅;它們具有社會(huì)技術(shù)挑戰(zhàn)的性質(zhì)，破壞了公民和企業(yè)的信任基礎(chǔ)，并對(duì)機(jī)構(gòu)和經(jīng)濟(jì)產(chǎn)生連鎖反應(yīng)。例如，除了網(wǎng)絡(luò)釣魚和勒索軟件攻擊之外，還出現(xiàn)了新形式的網(wǎng)絡(luò)攻擊，例如使用deepfakes的假冒和身份驗(yàn)證繞過，直接影響金融，政府和醫(yī)療保健等關(guān)鍵部門。如上所述，利用生成人工智能進(jìn)行網(wǎng)絡(luò)攻擊超越了信息安全的傳統(tǒng)界限，是一個(gè)需要在技術(shù)、社會(huì)和機(jī)構(gòu)相互作用的領(lǐng)域考慮對(duì)策的主題。因此，本課題被確定為本課題的研究對(duì)象。n文獻(xiàn)研究利用生成式人工智能進(jìn)行網(wǎng)絡(luò)攻擊正在對(duì)包括公民和企業(yè)在內(nèi)的社會(huì)產(chǎn)生嚴(yán)重影響首先，關(guān)于對(duì)公民的影響，傳統(tǒng)的網(wǎng)絡(luò)釣魚詐騙通常通過不自然的語法或笨拙的措辭來檢測(cè)，這是網(wǎng)絡(luò)攻擊的指標(biāo)然而，隨著生成式人工智能的發(fā)展，生成高度自然和流暢的語言表達(dá)變得很容易，這迅速降低了這些檢測(cè)方法的有效性。根據(jù)ProofpointJapan，Inc.的一項(xiàng)調(diào)查，截至2025年2月，全球超過80%的新電子郵件攻擊變種以日本為目標(biāo)，其中許多利用網(wǎng)絡(luò)釣魚工具包“CoGUI”，其中包括規(guī)避功能。此外，通過生成式人工智能使網(wǎng)絡(luò)釣魚電子郵件更難檢測(cè)，導(dǎo)致身份驗(yàn)證憑據(jù)被盜和賬戶黑客攻擊等危害22。其次，關(guān)于對(duì)企業(yè)的影響，生成式人工智能實(shí)現(xiàn)的網(wǎng)絡(luò)攻擊的規(guī)模和精度都有顯著的飛躍CrowdStrike使用生成式AI確定了網(wǎng)絡(luò)攻擊的五個(gè)關(guān)鍵特征：“攻擊自動(dòng)化”，“有效的數(shù)據(jù)收集”，“定制”，“強(qiáng)化學(xué)習(xí)”和“員工目標(biāo)”23。在此背景下，冒充高管的有針對(duì)性的攻擊和針對(duì)組織機(jī)構(gòu)的欺騙攻擊變得更加容易。事實(shí)上，2024年在香港，一個(gè)涉及冒充CFO的deepfake的視頻通話騙局導(dǎo)致了大約2500萬美元的欺詐性轉(zhuǎn)移。此外，2024年5月，一名25歲的男子在日本被捕，原因是他使用生成式人工智能，通過組合獲得的設(shè)計(jì)信息25來創(chuàng)建勒索軟件。此外，生成式人工智能正在金融領(lǐng)域產(chǎn)生嚴(yán)重影響特別是，“合成身份欺詐”已成為一個(gè)關(guān)鍵問題。這種方法將真實(shí)的個(gè)人信息片段與人工智能生成的虛假信息結(jié)合起來，冒充真實(shí)的個(gè)人，獲取金融賬戶或信用卡。根據(jù)WakefieldResearch的一項(xiàng)調(diào)查，87%的目標(biāo)公司報(bào)告稱已向具有合成身份的客戶（為冒充真實(shí)個(gè)人而創(chuàng)建的假客戶）提供信貸，23%的公司報(bào)告稱每次事件的損失超過10萬美元。這種策略有可能破壞金融體系的核心，并有侵蝕社會(huì)信任基礎(chǔ)的風(fēng)險(xiǎn)與利用生成AI進(jìn)行網(wǎng)絡(luò)攻擊的擔(dān)憂相關(guān)的潛在利益相關(guān)者AI開發(fā)人員可以通過模型設(shè)計(jì)和訓(xùn)練數(shù)據(jù)選擇來影響輸出特性。因此，越來越難以避免對(duì)意外利用的責(zé)任。AI提供商被認(rèn)為負(fù)有直接責(zé)任22ProofpointJapan，Inc.，“日本現(xiàn)在是世界上最有針對(duì)性的國家-DDoS和電子郵件攻擊激增的現(xiàn)實(shí)”（日文）電子郵件/jp/blog/email-and-cloud-threats/Japan-is-now-the-most-targeted-country-in-the-world23CrowdStrike，“人工智能支持的網(wǎng)絡(luò)攻擊”電子郵件/en-us/cybersecurity-101/cyberattacks/ai-powered-cyberattacks/24有線電視新聞網(wǎng)（CNN），“財(cái)務(wù)工作者在與deepfake'首席財(cái)務(wù)官'進(jìn)行視頻通話后支付了2500萬美元”/2024/02/04/asia/deepfake-cfo-scam-hong-kong-intl-hnk/index.html25讀賣新聞》，“25歲男子因涉嫌使用生成AI制作病毒而被警視廳逮捕據(jù)稱向AI詢問設(shè)計(jì)信息”（日文）電子郵件www.yomiuri.co.jp/news/national/20240528-OYT1T50015/26推論，“防止合成身份欺詐的保護(hù)正在失敗”電子郵件/resource/wakefield-research-report/用于防止利用，在輸出控制、策略制定和內(nèi)容調(diào)整中發(fā)揮作用。雖然最終用戶可能成為受害者，但惡意行為者也會(huì)成為放大風(fēng)險(xiǎn)的攻擊者。一般企業(yè)運(yùn)營商面臨的風(fēng)險(xiǎn)包括有針對(duì)性的攻擊和身份驗(yàn)證基礎(chǔ)設(shè)施的破壞。此外，政府和國際組織等治理機(jī)構(gòu)也是重要的作為人工智能安全研究所（AISI），AISI致力于通過建立人工智能安全評(píng)估標(biāo)準(zhǔn)和促進(jìn)國際合作來防止人工智能開發(fā)的風(fēng)險(xiǎn)。n訪談研究就這一主題與信息安全供應(yīng)商C公司和D公司兩家公司都提供信息安全解決方案，旨在解決來自外部惡意行為者的網(wǎng)絡(luò)攻擊，并積極分享有關(guān)在網(wǎng)絡(luò)攻擊中濫用生成人工智能的信息。鑒于這些因素，它們被確定為進(jìn)行這些面談的適當(dāng)組織。在本節(jié)中，提供了從訪談中獲得的摘要（受訪者的陳述）;關(guān)于每次訪談的詳細(xì)情況，請(qǐng)參閱A.2節(jié)（日語）中的記錄?！馛公司的訪談研究結(jié)果公司C提供解決方案，以保護(hù)企業(yè)和個(gè)人免受各種在線威脅，如垃圾郵件，惡意軟件和互聯(lián)網(wǎng)欺詐。此外，他們通過自己的媒體渠道和與新聞機(jī)構(gòu)廣泛分享他們的專業(yè)知識(shí)，為提高信息安全素養(yǎng)做出了廣泛貢獻(xiàn)根據(jù)C公司的觀察，還沒有任何案例表明，利用生成式人工智能大大增加了網(wǎng)絡(luò)攻擊的復(fù)雜性。另一方面，已經(jīng)證實(shí)，生成式AI正在被用于提高攻擊的規(guī)模和效率。自從生成式人工智能服務(wù)被廣泛采用以來，網(wǎng)絡(luò)釣魚攻擊的數(shù)量大幅增加，這些攻擊在消息中使用的語言略有不同，聽起來更自然。因此，攻擊者可以通過電子郵件過濾措施并提高成功率。這種增長在日本等國家尤其明顯，因?yàn)檎Z言障礙以前使網(wǎng)絡(luò)釣魚攻擊變得更加困難。人們還認(rèn)為，由于這些攻擊只涉及生成聽起來自然的日語文本，因此不僅需要像WormGPT這樣的專門犯罪工具，而且還需要合法的通用工具。像ChatGPT這樣的服務(wù)正在被利用。此外，作為一種新型威脅，惡意軟件已經(jīng)出現(xiàn)，使用LLM在受感染的設(shè)備上實(shí)時(shí)生成攻擊命令截至2025年夏天，已經(jīng)確定了兩種類型：通過API連接到外部公共AI服務(wù)的類型，以及在PC上本地運(yùn)行的類型。然而，在這個(gè)階段，這些類型的惡意軟件只是實(shí)時(shí)生成代碼，類似于人類可能執(zhí)行的代碼。他們還沒有進(jìn)行與傳統(tǒng)方法顯著不同的高級(jí)攻擊，并且很可能仍處于概念驗(yàn)證（proof–of–concept）階段。隨著惡意行為者利用人工智能，攻擊變得越來越復(fù)雜，人類更難檢測(cè)到。因此，對(duì)策必須通過開發(fā)能夠檢測(cè)微妙的視覺和聽覺異常的人工智能技術(shù)來解決人工智能驅(qū)動(dòng)的網(wǎng)絡(luò)攻擊的“日益復(fù)雜”和“不斷擴(kuò)大的數(shù)量和速度”。此外，隨著攻擊規(guī)模越來越大，內(nèi)容的變化使得基于簽名的防御變得無效，預(yù)計(jì)防御者利用人工智能實(shí)時(shí)檢測(cè)和阻止異常行為的重要性將繼續(xù)增加。此外，人們“無法檢測(cè)到攻擊”的假設(shè)將變得越來越重要，通過官方應(yīng)用程序或書簽持續(xù)訪問服務(wù)等行為將變得更加重要。此外，作為產(chǎn)學(xué)官合作的一部分，除了IP地址等傳統(tǒng)的威脅情報(bào)外，還報(bào)告還指出，有必要開發(fā)技術(shù)和框架來驗(yàn)證內(nèi)容的可信度，并考慮采取法律措施來解決人工智能的利用問題?！馜公司的訪談研究結(jié)果公司D提供解決方案，以保護(hù)企業(yè)和個(gè)人免受垃圾郵件和惡意軟件等互聯(lián)網(wǎng)威脅。此外，通過自己的媒體和新聞機(jī)構(gòu)廣泛分享其專業(yè)知識(shí)，該公司為提高信息安全素養(yǎng)做出了重大貢獻(xiàn)關(guān)于D公司觀察到的威脅，隨著生成式人工智能服務(wù)的普及，釣魚電子郵件的急劇增加已經(jīng)得到證實(shí)。具體而言，D公司觀察到，2024財(cái)年的釣魚電子郵件數(shù)量達(dá)到2023財(cái)年的7至8倍此外，人們注意到，日本等國家––以前受到語言障礙的保護(hù)（因?yàn)檎Z言差異使來自國外的攻擊更難成功）––已成為主要目標(biāo)，2024年大約80%的新網(wǎng)絡(luò)釣魚電子郵件是用日語寫的應(yīng)該注意的是，網(wǎng)絡(luò)釣魚電子郵件包括針對(duì)最終用戶的電子郵件、針對(duì)公司員工的電子郵件以及無法明確識(shí)別目標(biāo)的電子郵件（可能同時(shí)針對(duì)兩者）。所有這些類別都顯示出類似的增長，并且沒有證據(jù)表明只有針對(duì)特定群體的攻擊隨著生成AI的傳播而增加此外，網(wǎng)絡(luò)釣魚電子郵件的主要目的仍然是竊取身份驗(yàn)證憑據(jù)，這些攻擊的總體目標(biāo)與傳統(tǒng)網(wǎng)絡(luò)釣魚方法相比沒有顯著此外，還觀察到一種新的攻擊，其中生成人工智能被用來復(fù)制高管（如公司總裁）的聲音，作為使用生成型人工智能應(yīng)對(duì)網(wǎng)絡(luò)攻擊的對(duì)策，已經(jīng)指出需要解決“攻擊的數(shù)量和速度具體而言，建議實(shí)施全球標(biāo)準(zhǔn)的技術(shù)措施，如反欺騙電子郵件協(xié)議（DMARC等）和電話號(hào)碼欺騙對(duì)策（STIR/SHAKEN等），除了支持強(qiáng)大身份驗(yàn)證的技術(shù)（eKYC等）之外和欺詐檢測(cè)。此外，為了進(jìn)一步加強(qiáng)防御，關(guān)于攻擊方法的快速信息共享至關(guān)重要，并且需要實(shí)現(xiàn)系統(tǒng)之間協(xié)作的此外，隨著人工智能代理的廣泛采用，管理數(shù)據(jù)訪問權(quán)限將變得更加重要。一個(gè)新的挑戰(zhàn)是需要對(duì)人工智能用戶進(jìn)行安全培訓(xùn)，以防止通過網(wǎng)絡(luò)釣魚和相關(guān)攻擊進(jìn)行權(quán)限升級(jí)●基于與C公司和D公司從對(duì)C公司和D公司的采訪結(jié)果來看，已經(jīng)證實(shí)生成式AI已經(jīng)被用于網(wǎng)絡(luò)攻擊，實(shí)現(xiàn)了攻擊量的增加和攻擊質(zhì)量的提高此外，據(jù)證實(shí)，此前受到語言障礙保護(hù)的日本，現(xiàn)在正成為面臨最緊迫和重大損害的國家之一考慮到攻擊者一方環(huán)境的這些變化，認(rèn)為企業(yè)和最終用戶有必要進(jìn)一步加強(qiáng)他們的對(duì)策。除了實(shí)施基本措施外，重要的是更新現(xiàn)有框架，如威脅信息共享，并考慮引入利用生成式人工智能的解決方案3.1.4淫穢物品的制作和分發(fā)n專題概述人工智能的快速發(fā)展使得任何人都可以輕松生成淫穢材料，而這在以前需要手動(dòng)編輯和高級(jí)技術(shù)技能。因此，侵犯兒童和婦女權(quán)利以及性剝削等嚴(yán)重社會(huì)問題變得更加明顯。本節(jié)討論了人工智能自動(dòng)生成和分發(fā)淫穢材料的社會(huì)影響。它不僅應(yīng)該被理解為“非法內(nèi)容生成”問題，而且應(yīng)該被理解為一個(gè)社會(huì)技術(shù)問題，凸顯了道德挑戰(zhàn)、監(jiān)管差距和治理缺陷。特別是，人工智能生成的針對(duì)兒童的內(nèi)容，在國際上被稱為“人工智能生成的兒童性虐待材料（AI–CSAM）”,已被認(rèn)為是一個(gè)重大問題，無論所描繪的兒童是真實(shí)的還是虛構(gòu)的，都存在監(jiān)管缺陷對(duì)婦女的傷害也很突出。未經(jīng)同意使用社交媒體上的圖像生成的Deepfake色情作品正在數(shù)千萬人中流傳。此外，這種損害還引發(fā)了社會(huì)抗議和法律改革運(yùn)動(dòng)，導(dǎo)致國際法規(guī)得到加強(qiáng)。如上所述，使用人工智能生成和傳播淫穢材料不僅直接侵犯了個(gè)人尊嚴(yán)和權(quán)利，而且影響了社會(huì)規(guī)范和法律體系。因此，本課題被確定為本課題的研究對(duì)象。n文獻(xiàn)研究利用人工智能生成和傳播淫穢材料的現(xiàn)象在國內(nèi)和國際上都在迅速加劇，尤其是對(duì)兒童和婦女權(quán)利的侵犯以及性傷害。關(guān)于兒童，現(xiàn)在可以在短時(shí)間內(nèi)生成針對(duì)未成年人的色情圖像，報(bào)告顯示，日本警方的相關(guān)咨詢數(shù)量在2024年已經(jīng)超過100起。在美國，27讀賣新聞，“從畢業(yè)相冊(cè)中修改的假性圖像正在社交媒體上分享–其中一些實(shí)際上是由小學(xué)，初中和高中學(xué)生創(chuàng)建的。國家警察廳目前正在調(diào)查人工智能生成的內(nèi)容網(wǎng)站?！埃ㄈ瘴模╇娮余]件www.yomiuri.co.jp/national/20250831–OYT1T50010/在社交媒體上發(fā)布的未成年人圖像被生成人工智能轉(zhuǎn)換為淫穢材料的情況激增，執(zhí)法機(jī)構(gòu)正在加強(qiáng)打擊28。此外，在國際層面上，調(diào)查報(bào)告顯示，AI-CSAM的廣泛生產(chǎn)與實(shí)際兒童非常相似，使用開源生成AI和其他培訓(xùn)技術(shù)（如LoRA29）生成?！斑€證實(shí)，大規(guī)模訓(xùn)練數(shù)據(jù)集中包括了實(shí)際兒童的淫穢材料（例如，LAION）30，表明開發(fā)階段的數(shù)據(jù)管理不足導(dǎo)致了不適當(dāng)?shù)纳?。這樣一來，不僅傷害了“真正的孩子”，而且由人工智能生成的描繪“不存在的孩子”的色情也在蔓延。在日本，如下文所述，風(fēng)險(xiǎn)正在擴(kuò)大到現(xiàn)行法律法規(guī)未涵蓋的領(lǐng)域。對(duì)婦女的傷害也是一個(gè)不容忽視的嚴(yán)重問題。根據(jù)牛津大學(xué)的一份報(bào)告，在線平臺(tái)上公開的deepfake模型超過35,000個(gè)，下載量超過1500萬這些模特中的許多人在未經(jīng)同意的情況下操縱女性的面部照片以生成性材料，導(dǎo)致全球范圍內(nèi)廣泛的侵犯隱私和報(bào)復(fù)性色情案件。從社交媒體和其他來源獲得的日常照片被利用，個(gè)人經(jīng)常遭受無意的傷害。人們擔(dān)心，這些受害者將面臨長期的心理負(fù)擔(dān)和社會(huì)損害。這種情況對(duì)法律規(guī)定產(chǎn)生了重大影響。在韓國，由于涉及未成年女性受害者的案件，2024年9月頒布了一項(xiàng)法律修正案，將擁有、觀看、購買和儲(chǔ)存性深度偽造材料定為刑事犯罪。在英國，《在線安全法》于2023年制定，規(guī)定社交媒體和搜索服務(wù)有義務(wù)處理非法內(nèi)容，并規(guī)定允許域外使用28福布斯，“戀童癖者正在使用AI將兒童的社交媒體照片變成CSAM”/sites/thomasbrewster/2025/04/08/pedophiles-use-ai-to-turn-kids-social-media-photos-into-csam/29普利策中心，人工智能，“非法論壇正在將兒童照片變成虐待內(nèi)容”/stories/ai-illegal-forums-are-turning-photos-children-abusive-content30《衛(wèi)報(bào)》，“研究發(fā)現(xiàn)，人工智能圖像生成器在兒童性虐待圖片上接受了訓(xùn)練”/technology/2023/dec/20/ai-image-generators-child-sexual-abuse31ACM數(shù)字圖書館，“DeepfakesonDemand：Theriseofaccessiblenon-consensualdeepfakeimagegenerators”/doi/10.1145/3715275.373210732美聯(lián)社，“在韓國，deepfake色情破壞了婦女的生活，加深了性別沖突”/article/south-korea-deepfake-porn-women-df98e1a6793a245ac14afe8ec2366101應(yīng)用程序33.此外，在2025年，英國宣布禁止擁有和分發(fā)生成CSAM34的人工智能工具，對(duì)違反者處以監(jiān)禁，從而加強(qiáng)了對(duì)人工智能生成的兒童色情制品的監(jiān)管。與此同時(shí)，日本在全國立法方面落后雖然鳥取縣于2024年修訂了《鳥取縣青少年健康發(fā)展條例》，禁止制作、制作和分發(fā)兒童色情制品和類似材料35，但其范圍僅限于“真正的兒童”。明治大學(xué)的一位教授指出，生成的“不存在的孩子”的圖像可能不屬于懲罰范圍36，這表明現(xiàn)行法律的漏洞目前正在促進(jìn)剝削。與使用生成式AI生成和分發(fā)淫穢材料相關(guān)的潛在利益相關(guān)者包括AI開發(fā)人員，AI提供商和最終用戶。人工智能開發(fā)人員直接參與數(shù)據(jù)集的選擇和模型設(shè)計(jì)，因此防止不適當(dāng)?shù)臄?shù)據(jù)包含和確保透明度至關(guān)重要。人工智能提供商對(duì)輸出控制和內(nèi)容審核負(fù)有重要責(zé)任，這與防止非法生成材料的分發(fā)直接相關(guān)最終用戶包括犯罪者和受害者，未成年人和婦女特別容易受到傷害。此外，政府和立法機(jī)構(gòu)的任務(wù)是建立法律框架。n訪談研究關(guān)于這一主題的采訪是與兒童保護(hù)組織E公司和互聯(lián)網(wǎng)巡邏組織F公司進(jìn)行的。選擇E公司作為訪談對(duì)象，是因?yàn)榧俣ㄔ摴玖私怅P(guān)于AICSAM的當(dāng)前情況，選擇F公司是因?yàn)樵摴具M(jìn)行互聯(lián)網(wǎng)巡邏，并假定該公司了解AI生成的淫穢材料的分發(fā)狀況。在本節(jié)中，提供了從訪談中獲得的摘要（受訪者的陳述）;關(guān)于每次訪談的詳細(xì)情況，請(qǐng)參閱A.2節(jié)（日語）中的記錄33西村朝日律師事務(wù)所，《關(guān)于英國網(wǎng)絡(luò)安全法的說明：適用范圍和主要合規(guī)要求的概述（2023年12月13日發(fā)電子郵件/ja/knowledge/newsletters/europe_23121334英國政府，“英國在保護(hù)兒童免受網(wǎng)上掠奪者的侵害方面處于領(lǐng)先電子郵件.uk/government/news/britains-leading-the-way-protecting-children-from-online-predators35鳥取縣，《關(guān)于鳥取縣青少年健康發(fā)展條例的修正》www.pref.tottori.lg.jp/320988.htm36明治大學(xué)，《關(guān)于生成型AI引發(fā)的網(wǎng)絡(luò)犯罪的法律框架》電子郵件/life/vol539_ishii-tetsuya●E公司訪談研究結(jié)果選擇E公司作為訪談對(duì)象，是因?yàn)榧俣ㄔ摴玖私怅P(guān)于AI-CSAM的當(dāng)前情況，選擇F公司是因?yàn)樵摴具M(jìn)行互聯(lián)網(wǎng)巡邏，并假定該公司了解AI生成的淫穢材料的分發(fā)狀況另一方面，美國的NCMEC（NationalCenterforMissingExploitedChildren）和英國的IWF（InternetWatchFoundation）等組織的報(bào)告證實(shí)，海外的咨詢量迅速增加，日本的咨詢量也在增加雖然討論仍在進(jìn)行中，但CSAM目前分為五個(gè)級(jí)別1）完全真實(shí)的圖像2）部分真實(shí)的圖像（由AI處理3）文本和音頻4）動(dòng)畫，以及（5）所有其他形式的CSAM。反措施的優(yōu)先次序被認(rèn)為是從(1)至（5）。特別是，“部分真實(shí)兒童”（只使用真實(shí)兒童的面部或身體的深度偽造）會(huì)造成特別嚴(yán)重的傷害。然而，由于現(xiàn)行的《管制和懲治與兒童賣淫和兒童色情制品有關(guān)的行為及保護(hù)兒童法》是以“真正的兒童”為基礎(chǔ)的，因此其對(duì)不存在的兒童和部分真正的兒童的適用性仍然不明確，據(jù)信執(zhí)法機(jī)構(gòu)在執(zhí)行該法時(shí)遇到了困難此外，盡管《刑法典》第175條禁止傳播淫穢材料，但處罰相對(duì)較輕，缺乏威懾力，這被視為一個(gè)問題。據(jù)報(bào)告，作為一項(xiàng)對(duì)策，E公司建議有關(guān)政府當(dāng)局修訂《管制和懲罰與兒童賣淫和兒童色情制品有關(guān)的行為及保護(hù)兒童法》，或頒布一項(xiàng)新的法律，以便除了描繪真實(shí)兒童的材料外，模擬或非常類似真實(shí)兒童的材料也將受到管制。此外，E公司還提議在警察局內(nèi)設(shè)立一個(gè)專門的人工智能-兒童社會(huì)資產(chǎn)評(píng)估部門，擴(kuò)大咨詢服務(wù)并使其更容易獲得，為兒童受害者建立支助系統(tǒng)，向兒童提供人工智能和兒童社會(huì)資產(chǎn)評(píng)估掃盲教育，并采取技術(shù)措施防止人工智能學(xué)習(xí)或產(chǎn)生兒童社會(huì)資產(chǎn)評(píng)估。從短期來看，E公司認(rèn)為，利用當(dāng)?shù)卣囊?guī)定，鼓勵(lì)更多的平臺(tái)運(yùn)營商加入像“TakeItDown”這樣的自愿下架系統(tǒng)將是有效的。在國際合作方面，E公司正在與各國的非政府組織和政府交流信息，并指出，如前所述，主要問題是有關(guān)法案中兒童色情制品的定義。一些國家正在考慮對(duì)從人工智能開發(fā)人員到平臺(tái)等廣泛的利益相關(guān)者進(jìn)行監(jiān)管，E公司指出，可能有必要通過優(yōu)先考慮“受害者易于使用”的操作來重組國內(nèi)系統(tǒng)。"●對(duì)F公司的訪談研究發(fā)現(xiàn)F公司于2025年3月至6月對(duì)封閉社區(qū)和匿名公告板進(jìn)行了調(diào)查，發(fā)現(xiàn)了250多起通過編輯真實(shí)兒童圖像制作的deepfake色情案件，其中包括20起涉及小學(xué)受害者的案件。此外，通過與新聞和研究機(jī)構(gòu)的合作，識(shí)別圖像是否為真實(shí)兒童的準(zhǔn)確率達(dá)到95-99%。雖然大多數(shù)受害者都是名人，但從2023年左右開始，涉及普通初中和高中生的案件迅速增加，而且隨著從靜止圖像轉(zhuǎn)向視頻生成，情況變得更加嚴(yán)重。生成的deepfake色情圖片和視頻正在網(wǎng)站上出售，甚至有人提供制作deepfake色情的服務(wù)。關(guān)于報(bào)告，如果知道受害者的從屬關(guān)系，則向?qū)W校、教育委員會(huì)和當(dāng)?shù)鼐靾?bào)告。對(duì)于隸屬關(guān)系不明的案件，向互聯(lián)網(wǎng)熱線和國家失蹤和被剝削兒童中心舉報(bào)然而，有人擔(dān)心，即使刪除了圖像，原始圖像也可能保留下來并再次被濫用此外，在許多情況下，犯罪者是與受害者關(guān)系密切的人-例如同學(xué)-他們擁有受害者的圖像，導(dǎo)致受害者對(duì)周圍的人產(chǎn)生懷疑。此外，根據(jù)現(xiàn)行法律規(guī)定，往往難以以誹謗為由提出披露請(qǐng)求，使受害者別無選擇，只能通過民事訴訟解決問題由此給受害者造成的經(jīng)濟(jì)負(fù)擔(dān)也被視為一個(gè)重大問題。從監(jiān)管角度來看，建立有效的法律框架并加強(qiáng)國際執(zhí)法合作作為應(yīng)對(duì)措施非常重要。從技術(shù)角度來看，有必要限制對(duì)能夠生成CSAM的服務(wù)的訪問，確保對(duì)數(shù)據(jù)集進(jìn)行培訓(xùn)，不含淫穢內(nèi)容，并采取措施防止產(chǎn)生淫穢內(nèi)容?！窕谂cE公司和F公司上述與E及F公司的訪問結(jié)果顯示，在人工智能制作的淫穢材料中，CSAM（AI-CSAM）的制作被視為特別嚴(yán)重的問題。根據(jù)海外專門機(jī)構(gòu)的報(bào)告，AI-CSAM病例正在增加。在日本，雖然受訪組織感覺到了增長的趨勢(shì)，但仍然難以獲得統(tǒng)計(jì)信息，這突出表明了進(jìn)一步研究國內(nèi)實(shí)際情況的重要性。與此同時(shí)，一個(gè)重大挑戰(zhàn)是，目前的法律規(guī)定只適用于涉及真實(shí)兒童的淫穢材料，難以打擊人工生成的內(nèi)容。因此，必須推進(jìn)對(duì)人工智能進(jìn)一步擴(kuò)散的法律規(guī)定的討論，并首先實(shí)施防止產(chǎn)生淫穢材料的輸出控制措施。3.2對(duì)經(jīng)濟(jì)活動(dòng)3.2.1對(duì)生成內(nèi)容的知識(shí)產(chǎn)權(quán)的關(guān)注n專題概述生成式AI可以快速生成各種形式的生成內(nèi)容-包括文本，圖像，音頻和視頻-并推動(dòng)了創(chuàng)意工作和娛樂的重大創(chuàng)新。與此同時(shí)，國內(nèi)和國際的案例報(bào)告中，版權(quán)作品被用作未經(jīng)許可的訓(xùn)練數(shù)據(jù)這些案件可能導(dǎo)致侵犯版權(quán)和損害品牌價(jià)值。也有未經(jīng)授權(quán)使用一個(gè)人的臉或聲音的情況，侵犯了形象權(quán)和肖像權(quán)，甚至導(dǎo)致人身傷害，如“喪失人格"?！按送?，已經(jīng)出現(xiàn)了用生成AI重新創(chuàng)建死者的服務(wù)雖然這種服務(wù)可能有積極的方面，例如支持失去親人的家庭，但它們也帶來新的道德風(fēng)險(xiǎn)，包括人格扭曲和商業(yè)剝削。如上所述，對(duì)生成式人工智能產(chǎn)出的權(quán)利相關(guān)擔(dān)憂構(gòu)成了一個(gè)社會(huì)技術(shù)問題，超越了現(xiàn)有的法律框架，如版權(quán)、宣傳權(quán)和肖像權(quán)。由于這種擔(dān)憂可能會(huì)威脅到文化原創(chuàng)性和個(gè)人尊嚴(yán)，因此將此主題確定為本項(xiàng)目的研究目標(biāo)n文獻(xiàn)研究本節(jié)討論了三個(gè)領(lǐng)域與生成人工智能相關(guān)的權(quán)利問題：侵犯版權(quán)和文化價(jià)值，宣傳權(quán)和肖像權(quán)，以及與重新創(chuàng)造死者相關(guān)的倫理問題首先，在版權(quán)方面，一個(gè)具有象征意義的例子是中國法院判決人工智能生成的“奧特曼風(fēng)格”圖像侵犯版權(quán)37，以及美國的訴訟，其中華特迪士尼公司和NBC環(huán)球媒體起訴Midjourney模仿角色38。這些案例說明了現(xiàn)實(shí)37讀賣新聞》，“中國法院命令人工智能提供商支付侵犯”奧特曼“類圖像版權(quán)的賠償金”（日文）電子郵件www.yomiuri.co.jp/culture/subcul/20240415-OYT1T50069/38日經(jīng)，“迪斯尼和其他人起訴美國。侵犯版權(quán)的AI創(chuàng)業(yè)公司，主要電影制片廠的第一家”（日文）/article/DGXZQOGN11DXI0R10C25A6000000/人工智能可能會(huì)剝奪權(quán)利人的經(jīng)濟(jì)利益，損害品牌價(jià)值?！凹妨ぷ魇绎L(fēng)格”圖像的傳播被批評(píng)為文化挪用;雖然風(fēng)格元素不受日本現(xiàn)行法律的保護(hù)39，但美國的立法辯論認(rèn)為風(fēng)格應(yīng)該受到保護(hù)40。在新聞和出版方面，《紐約時(shí)報(bào)》起訴OpenAI和微軟未經(jīng)授權(quán)對(duì)其文章進(jìn)行培訓(xùn)，而《華盛頓郵報(bào)》則開發(fā)了一種合同模式，允許通過合作伙伴關(guān)系使用文章，這表明媒體公司和人工智能開發(fā)人員正在探索新的權(quán)利關(guān)系。在音樂方面，美國唱片工業(yè)協(xié)會(huì)已對(duì)人工智能音樂生成服務(wù)提起訴訟，包括日本作家、作曲家和出版商權(quán)利協(xié)會(huì)（JASRAC）在內(nèi)的日本組織已向日本政府文化事務(wù)廳提交意見，反映了對(duì)版權(quán)保護(hù)的日益推動(dòng)。個(gè)人創(chuàng)作者也受到嚴(yán)重影響;在日本藝術(shù)工作者綜合協(xié)會(huì)的一項(xiàng)調(diào)查中，超過90%的人報(bào)告說遇到了侵權(quán)行為。二是未經(jīng)授權(quán)使用他人臉部、聲音侵犯形象權(quán)、肖像權(quán)的案件根據(jù)日本宣傳權(quán)利保護(hù)組織的一項(xiàng)調(diào)查，主要社交網(wǎng)絡(luò)服務(wù)上有8萬多個(gè)帖子被識(shí)別為“試圖通過AI成為某人”或“讓AI唱歌”等標(biāo)題，總瀏覽量達(dá)到2.6億46。其他案件包括一首模仿歌手德雷克和威肯聲音的人工智能生成的歌曲，在提出撤下請(qǐng)求之前播放量超過1000萬次，以及一則虛假廣告39日經(jīng)xTECH，“人工智能生成的文本和圖像的版權(quán)會(huì)發(fā)生什么變化？文化廳的觀點(diǎn)”（日文）/atcl/nxt/column/18/02737/061600037/40日經(jīng)，“人工智能生成的吉卜力風(fēng)格的圖像在全球傳播，引發(fā)了關(guān)于保護(hù)”藝術(shù)風(fēng)格“的新辯論”（日文）電子郵件/article/DGXZQOGN28CZL0Y5A320C2000000/41，《紐約時(shí)報(bào)》抨擊OpenAI，要求對(duì)文章重復(fù)使用造成數(shù)十億美元的損失》（日文）/article/DGXZQOGN27CXP0X21C23A2000000/42Nikkei，“OpenAIpartnerswiththeWashingtonPosttousearticlesinsearch”（日文）/article/DGXZQOGN22DXC0S5A420C2000000/43日經(jīng)新聞，“全球音樂巨頭起訴兩家人工智能初創(chuàng)公司，指控侵犯版權(quán)”（日文）/article/DGXZQOGN250JB0V20C24A6000000/44日本作家、作曲家和出版商權(quán)利協(xié)會(huì)（JASRAC），“向文化廳提交關(guān)于”人工智能和版權(quán)概念“草案的意見”電子郵件www.jasrac.or.jp/information/release/24/02_3.html45GeneralIncorporatedAssociationArtsWorkersJapan，“Comprehensivecreatorsurvey10：AIliteracy（results）”https://artsworkers.jp/questionnaire/20230608/46日本宣傳權(quán)保護(hù)組織，“關(guān)于人工智能時(shí)代的肖像權(quán)和宣傳權(quán)涉嫌侵權(quán)案件的首次調(diào)查：行業(yè)首次大規(guī)模調(diào)查揭示的現(xiàn)狀和未來挑戰(zhàn)”（日文）http://www.japrpo.or.jp/img/pressrelease20250624.pdf47.第47章意外發(fā)現(xiàn)這些案件嚴(yán)重影響了個(gè)人的聲譽(yù)和合同關(guān)系。在日本，演員的聲音數(shù)據(jù)在未經(jīng)許可的情況下被用于訓(xùn)練數(shù)據(jù)，合作社呼吁法律保護(hù)“聲音權(quán)”?！?8公眾也受到影響，有報(bào)告稱，社交媒體帖子未經(jīng)同意被用于培訓(xùn)，個(gè)人被強(qiáng)迫出現(xiàn)在性或暴力內(nèi)容中，如淫穢材料的制作和傳播所述（第3.1.4節(jié)）。這種未經(jīng)授權(quán)的使用造成了一種被稱為“喪失人格”的人身傷害，即一個(gè)人的身份和人格完整被稀釋到個(gè)人無法控制的程度，破壞了自我核查的基礎(chǔ)。第三，研究了與使用生成式AI重新創(chuàng)建死者的服務(wù)相關(guān)的倫理問題。雖然再創(chuàng)造可能有助于對(duì)喪親家庭的悲傷照顧和與歷史人物有關(guān)的文化資產(chǎn)的保護(hù)，但已確定的風(fēng)險(xiǎn)是，人格扭曲和依賴，掩蓋悲傷。劍橋大學(xué)的研究警告說，高度準(zhǔn)確的人工智能復(fù)制可能會(huì)以不必要的方式影響個(gè)人，并造成嚴(yán)重的心理困擾。人們還擔(dān)心將死者用于商業(yè)目的以獲取利潤。從法律角度來看，關(guān)于如何定位死者的同意和死者家屬的權(quán)威，仍然存在一些懸而未決的問題49?？的螤柎髮W(xué)的研究進(jìn)一步指出，雖然生成式人工智能可以根據(jù)有關(guān)死者的信息創(chuàng)建新內(nèi)容，但數(shù)據(jù)的出處和上下文可能會(huì)丟失，從而增加了生成與實(shí)際人員不一致的陳述的風(fēng)險(xiǎn)。與人工智能生成的輸出中的權(quán)利相關(guān)的潛在利益相關(guān)者包括，例如，人工智能開發(fā)者，創(chuàng)作者和權(quán)利持有者，以及政府和監(jiān)管機(jī)構(gòu)。人工智能開發(fā)人員直接參與選擇與權(quán)利相關(guān)的訓(xùn)練數(shù)據(jù)創(chuàng)作者和權(quán)利持有人面臨收入損失47CenterforPerformers'RightsAdministration，“GenerativeAIandperformance-trendsintheUnitedStatesregardingthe電子郵件www.cpra.jp/cpra_article/article/000762.html48日本演員聯(lián)盟，“關(guān)于使用生成式人工智能技術(shù)的提案”（日語）/about/post-14576.html[49]Hollanek，Tomasz，andKatarzynaNowaczyk-Basiliska.Griefbots，deadbots，postmortemavatars：OnresponsibleapplicationsofgenerativeAIinthedigitalafterlifeindustry.哲學(xué)技術(shù)37.2（2024）：63。/article/10.1007/s13347-024-00744-w50Morris，MeredithRingel，andJedR.布魯貝克“生成的幽靈：預(yù)測(cè)AI來世的利益和風(fēng)險(xiǎn)2025CHIConferenceonHumanFactorsinComputingSystems會(huì)議論文2025年/doi/10.1145/3706598.3713758機(jī)會(huì)和專業(yè)地位的下降，最終用戶可能無意中導(dǎo)致侵權(quán)。政府和監(jiān)管當(dāng)局正在推進(jìn)體制措施-例如，日本政府文化事務(wù)廳發(fā)布了準(zhǔn)則51，日本報(bào)紙出版商編輯協(xié)會(huì)發(fā)布了聲明52、53-而國際監(jiān)管協(xié)調(diào)仍然是一項(xiàng)挑戰(zhàn)。51日本政府文化廳，《人工智能與版權(quán)指南清單》（日文）www.bunka.go.jp/seisaku/chosakuken/pdf/94097701_01.pdf52JapanNewspaperPublishersEditorsAssociation，“StatementonunauthorizeduseofnewscontentbygenerativeAI”電子郵件www.pressnet.or.jp/statement/broadcasting/240717_15523.html53JapanNewspaperPublishersEditorsAssociation，“StatementontheprotectionofnewscontentinthecontextofgenerativeAI”（日文）電子郵件www.pressnet.or.jp/statement/broadcasting/250604_15900.html3.2.2對(duì)就業(yè)和勞動(dòng)力市場的影響n專題概述隨著生成式人工智能技術(shù)的不斷進(jìn)步，它可以攝取和產(chǎn)生的數(shù)據(jù)類型因此，許多公司正在將生成式人工智能應(yīng)用于各種業(yè)務(wù)運(yùn)營，以提高效率，從而帶來就業(yè)和勞動(dòng)力市場的變化雖然人工智能的普及對(duì)勞動(dòng)力市場帶來了積極影響-例如上述效率提高-但國內(nèi)外的研究和案例也指出了潛在的負(fù)面影響，包括如果人工智能取代人類勞動(dòng)力可能會(huì)導(dǎo)致的失業(yè)如上所述，生成式人工智能的廣泛采用被認(rèn)為對(duì)勞動(dòng)力市場既有積極影響，也有消極影響。因此，企業(yè)在多大程度上利用了生成型人工智能，勞動(dòng)力市場如何變化，掌握當(dāng)前的情況-利用案例研究和相關(guān)研究-是很重要的。此外，由于失業(yè)等事件可能會(huì)產(chǎn)生重大的社會(huì)影響，因此組織可能的對(duì)策也至關(guān)重要?；谶@些原因，本課題被確定為本項(xiàng)目的研究目標(biāo)。n文獻(xiàn)研究關(guān)于人工智能對(duì)勞動(dòng)力市場的影響，我們首先介紹了相關(guān)的案例研究，說明了其積極影響，如運(yùn)營效率和創(chuàng)造新的就業(yè)機(jī)會(huì)，以及其負(fù)面影響，包括人工智能取代現(xiàn)有工作時(shí)產(chǎn)生的失業(yè)然后，我們介紹了相關(guān)的研究成果，最后，考慮利益相關(guān)者誰可能會(huì)受到這些影響。首先，我們介紹了與這種影響有關(guān)的案例研究。據(jù)NSSolutionsCorporation稱，生成式人工智能簡化了翻譯和創(chuàng)建電子表格公式等間接任務(wù)，在推出后的三個(gè)月內(nèi)減少了9,500多個(gè)工作小時(shí)。與此同時(shí)，新加坡星展銀行（DBS）54NSSolutionsCorporation，“StreamliningindirecttaskswithgenerativeAI：9，500hourssavedinthreemonths”電子郵件/casestudy/02908.html40宣布人工智能將接管某些工作，并計(jì)劃到2028年裁員4,000人。這些例子說其次，我們提出了與這種影響有關(guān)的研究結(jié)果。內(nèi)閣府、日本政府和哈佛商學(xué)院發(fā)表的報(bào)告指出，在評(píng)估人工智能對(duì)勞動(dòng)力市場的影響時(shí)，考慮以下兩個(gè)方面至關(guān)重要。第一個(gè)方面是“替代性”，即生成式人工智能完全取代人類的工作和任務(wù)，沒有人類參與的空間隨著計(jì)算機(jī)性能的提高，人們傳統(tǒng)上處理的許多文書工作已經(jīng)變得不那么勞動(dòng)密集了。隨著生成式人工智能的采用，這些文書工作可以進(jìn)一步簡化，有些可能幾乎完全自動(dòng)化。當(dāng)任務(wù)不再需要人類以這種方式輸入時(shí)，人工智能有效地替代了工人。第二個(gè)方面是“互補(bǔ)”方面，人工智能簡化了人類的工作，提高了生產(chǎn)力，甚至可以刺激創(chuàng)造新的就業(yè)機(jī)會(huì)。麻省理工學(xué)院（MIT）研究人員的一項(xiàng)實(shí)驗(yàn)表明，使用人工智能提高了撰寫報(bào)告和電子郵件等任務(wù)的生產(chǎn)力，這表明人工智能可以補(bǔ)充人類任務(wù)和職業(yè)。換句話說，人工智能接管了工人的部分職責(zé)，使人類和人工智能能夠合作。在許多職業(yè)具有很強(qiáng)的替代性的行業(yè)中，生成式人工智能可以帶來重大的積極影響，例如通過提高效率降低成本，但它也可能導(dǎo)致嚴(yán)重的負(fù)面影響，特別是這些角色的工人失業(yè)。即使在互補(bǔ)性很強(qiáng)的職業(yè)中，一些任務(wù)仍然會(huì)被簡化或自動(dòng)化，因此就業(yè)可能會(huì)在一定程度上下降。盡管如此，正如汽車的發(fā)明創(chuàng)造了機(jī)械師等新職業(yè)一樣，人工智能也可能產(chǎn)生全新的工作崗位。55BCCNEWSJAPAN，“新加坡主要銀行星展銀行將通過采用人工智能削減4，000個(gè)工作崗位”（日文）/japanese/articles/c8x4qlydnkzo56日本政府內(nèi)閣府，《2024年世界經(jīng)濟(jì)趨勢(shì)I》（日文）https://www5.cao.go.jp/j-j/sekai_chouryuu/sh24-01/s1_24_1_1.html57哈佛商學(xué)院，“置換還是互補(bǔ)？人工智能對(duì)勞動(dòng)力市場的影響”/ris/Publication%20Files/25-039_05fbec84-1f23-459b-8410-e3cd7ab6c88a.pdf58內(nèi)閣府，日本政府，“新形式資本主義的宏偉設(shè)計(jì)和行動(dòng)計(jì)劃，2023年修訂草案”（日文）https://www5.cao.go.jp/keizai-shimon//kaigi/minutes/2023/0616/shiryo_01-3.pdf41例如，來自MatsuoInstitute，Inc.注意到人們對(duì)“即時(shí)工程師”這一新職業(yè)的興趣日益濃厚，需求也在上升--例如，美國的Anthropic公司正在積極招聘此類職位。與廣泛采用生成式人工智能引起的勞動(dòng)力市場變化的影響相關(guān)的潛在利益相關(guān)者包括，例如，人工智能開發(fā)人員，人工智能提供商，人工智能用戶和最終用戶。人工智能開發(fā)人員的相關(guān)性在于，許多公司將人工智能應(yīng)用于各種業(yè)務(wù)運(yùn)營的能力被認(rèn)為在很大程度上取決于人工智能模型的性能。人工智能提供商被視為相關(guān)利益相關(guān)者，因?yàn)橐獙⑷斯ぶ悄芟到y(tǒng)嵌入應(yīng)用程序，產(chǎn)品，現(xiàn)有系統(tǒng)，業(yè)務(wù)流程等，它的作用是將人工智能系統(tǒng)與公司的內(nèi)部運(yùn)營相結(jié)合。人工智能用戶和最終用戶在其核心活動(dòng)是處理信息和數(shù)據(jù)的辦公室工作的行業(yè)中尤其重要，例如信息通信部門，金融和保險(xiǎn)，教育和學(xué)習(xí)支持服務(wù)。這是因?yàn)閲鴥?nèi)外進(jìn)行的研究已經(jīng)按行業(yè)和職業(yè)估計(jì)了勞動(dòng)力互補(bǔ)率，以評(píng)估勞動(dòng)力的可替代性，而上述以辦公室工作為中心的行業(yè)中的任務(wù)是人工智能表現(xiàn)強(qiáng)勁的領(lǐng)域，表明勞動(dòng)力可替代性水平很高60，61。n訪談研究就這一主題與金融服務(wù)部門的G公司和IT服務(wù)部門的H公司進(jìn)行了訪談。G和H都被選為面試目標(biāo)，因?yàn)樗麄冊(cè)谶\(yùn)營中積極采用生成式人工智能。以下是訪談的摘要（受訪者的陳述）;完整的訪談?dòng)涗浾?qǐng)參見附錄A.2（日文）?！馟公司的訪談研究結(jié)果在G公司，員工在內(nèi)部使用生成式人工智能來完成日常任務(wù)，如起草電子郵件、翻譯、摘要和網(wǎng)絡(luò)搜索，以及59MatsuoInstitute，Inc.，“面向人工智能時(shí)代的人力資源開發(fā)”（日文）www.meti.go.jp/shingikai/mono_info_service/digital_jinzai/pdf/008_05_00.pdf60大和研究所，“人工智能對(duì)日本勞動(dòng)力市場的影響（第二部分）”（日文）www.dir.co.jp/report/research/economics/japan/20231211_024139.pdf61國際勞工組織，“人工智能與就業(yè)”/static/english/intserv/working-papers/wp140/index.html#ID0E4C42基于檢索增強(qiáng)生成（RAG）的工作流。在其