目錄CONTENTS背景介紹安全分析模型訓(xùn)練未來展望大模型技術(shù)突破讓人工智能進(jìn)入大規(guī)模應(yīng)用階段以ChatGPT為代表的語言大模型技以ChatGPT為代表的語言大模型技類媲美的語言能力。類媲美的語言能力。★AlphaGo擊敗圍棋世界★★應(yīng)用數(shù)量少★大模型安全風(fēng)險(xiǎn)案例 大模型安全風(fēng)險(xiǎn)分析個(gè)人隱私知識產(chǎn)權(quán)訓(xùn)練數(shù)據(jù)惡意行為個(gè)人隱私一．當(dāng)用戶使用大模型服務(wù)時(shí)，用戶輸入的信息會被記錄下來，并可能被永久存儲，包括用戶輸入的所有敏感信息和個(gè)人身份信息等。二．如果大模型服務(wù)本身的安全防護(hù)措施不夠，非常容易導(dǎo)致敏感信息和個(gè)人身份信息的泄露。譬如，3月份ChatGPT被曝出現(xiàn)bug會導(dǎo)致用戶對話數(shù)據(jù)、支付信息丟失泄露。三．如果這些信息被用來作為訓(xùn)練數(shù)據(jù)，那就可以隨時(shí)面臨著被泄露的風(fēng)險(xiǎn)。四．用戶需要避免在與大模型服務(wù)的對話中輸入敏感信息或個(gè)人身份信息。知識產(chǎn)權(quán)一．訓(xùn)練大模型的數(shù)據(jù)大都來自公開的文本數(shù)據(jù)集，但是公開不代表不受知識產(chǎn)權(quán)保護(hù)。二．網(wǎng)上公開的數(shù)據(jù)集也可能包含用戶的個(gè)人信息。三．用戶輸入的數(shù)據(jù)也可能被用來做訓(xùn)練，導(dǎo)致用戶知識產(chǎn)權(quán)丟失。四．如果用戶輸入的數(shù)據(jù)本身就有知識產(chǎn)權(quán)問題，那模型本身也會侵權(quán)。訓(xùn)練數(shù)據(jù)一．大模型使用從各種來源收集的數(shù)據(jù)集進(jìn)行訓(xùn)練，包括代碼庫、百科、社交媒體、公共論壇等，龐大的數(shù)據(jù)使得大模型具有我們今天看到的優(yōu)秀性能。二．高質(zhì)量數(shù)據(jù)是訓(xùn)練出高質(zhì)量模型的基礎(chǔ)。低質(zhì)量或錯(cuò)誤數(shù)據(jù)會導(dǎo)致模型提供錯(cuò)誤的結(jié)果。訓(xùn)練數(shù)據(jù)的準(zhǔn)備及其關(guān)鍵，需要防止錯(cuò)誤甚至惡意數(shù)據(jù)被用來訓(xùn)練，更要防止數(shù)據(jù)投毒。三．從海量訓(xùn)練數(shù)據(jù)中發(fā)現(xiàn)并篩除錯(cuò)誤甚至惡意數(shù)據(jù)也是一個(gè)巨大的技術(shù)和成本挑戰(zhàn)。惡意行為一．大模型本身也會犯錯(cuò)誤，譬如一本正經(jīng)的胡說八道。如果用戶輕信大模型輸出的結(jié)果，有可能帶來不可挽回的巨大損失。二．最近，已經(jīng)有人利用大模型的能力進(jìn)行違法犯罪行為，包括編寫惡意軟件、生成釣魚電子郵件、冒充真實(shí)的人或者組織騙取他人信息等。三．隨著與大模型對接的服務(wù)不斷增加，大模型控制物理世界和網(wǎng)絡(luò)世界的能力不斷增加，大模型本身的不可靠性也會隨時(shí)給網(wǎng)絡(luò)世界和物理世界的用戶帶來巨大風(fēng)險(xiǎn)。聚焦垂直領(lǐng)域一．盡管通用大模型已經(jīng)達(dá)到優(yōu)秀高中畢業(yè)生甚至未來能達(dá)到優(yōu)秀本科畢業(yè)生的水平，但是很多場景下，通用大模型無法提供實(shí)際業(yè)務(wù)應(yīng)用中所需要的專業(yè)能力二．由于專業(yè)能力的訓(xùn)練需要專業(yè)的知識和數(shù)據(jù)，而專業(yè)的知識和數(shù)據(jù)大都屬于私有數(shù)據(jù)，鑒于安全和知識產(chǎn)權(quán)等因素，無法提供給外部廠商用于訓(xùn)練通用大模型三．因此，基于專業(yè)知識和數(shù)據(jù)訓(xùn)練安全可靠的垂直領(lǐng)域大模型勢在必行。模型訓(xùn)練機(jī)制一．訓(xùn)練數(shù)據(jù)：需要高質(zhì)量專業(yè)訓(xùn)練數(shù)據(jù)，需要有完善的機(jī)制剔除掉問題數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)等。二．價(jià)值對齊：需要通過訓(xùn)練數(shù)據(jù)和訓(xùn)練過程完成價(jià)值對齊，確保模型符合預(yù)期。三．基礎(chǔ)模型：如果垂直領(lǐng)域大模型是基于基礎(chǔ)通用大模型進(jìn)行訓(xùn)練的，需要做好基礎(chǔ)模型的檢查，避免因?yàn)榛A(chǔ)模型本身帶來的問題。安全防護(hù)一．系統(tǒng)安全：確保系統(tǒng)本身的安全，防止信息泄露和安全攻擊二．?dāng)?shù)據(jù)防護(hù)：建立訓(xùn)練與反饋數(shù)據(jù)質(zhì)監(jiān)機(jī)制，在模型迭代過程中防止數(shù)據(jù)投毒等行為。三．權(quán)限管理：建立完善的模型行為權(quán)限管理機(jī)制，防止模型本身的不可控甚至惡意行為。未來展望一．隨著經(jīng)濟(jì)的發(fā)展，數(shù)字經(jīng)濟(jì)占GDP的比重越來越高，中國逐步進(jìn)入數(shù)智經(jīng)濟(jì)時(shí)代，利用AI技術(shù)提升生產(chǎn)力為大勢所趨。隨著各行業(yè)、各領(lǐng)域?qū)I需求的日益增長，與實(shí)體經(jīng)濟(jì)深度融合的新模式不斷涌現(xiàn)。二．在應(yīng)用大模型的過程中，需要在模型層面應(yīng)理解“通”與“?！钡南鄬π?，