2023年6月6TE智庫(kù)及數(shù)據(jù)規(guī)模的不斷擴(kuò)大，以文心一言國(guó)本土通用大模型的能力正在顯著提升，綜合能力的行業(yè)經(jīng)與ChatGPT3.5不相上下全體系能力”方面，文心一言已經(jīng)完全拉開了與GPT3.5的差距①對(duì)于明確的“任務(wù)”，能夠做到準(zhǔn)確的識(shí)別，執(zhí)行的“任務(wù)”包括違法亂紀(jì)、惡意辱罵、隱私涉密、謠言造假等性質(zhì)的問(wèn)題；②對(duì)于存在爭(zhēng)議的內(nèi)容的“任務(wù)”，能夠客觀持中的給出相關(guān)信息；③對(duì)邏輯復(fù)雜且存在誘導(dǎo)類的“任務(wù)”，能夠基于社會(huì)主義價(jià)值觀針對(duì)性的做出正確“指引”。務(wù)能力、交互響應(yīng)能力、理解創(chuàng)作能力方面，國(guó)產(chǎn)通用大模夠表現(xiàn)出相當(dāng)?shù)乃?，且不弱與GPT3.5的實(shí)測(cè)表現(xiàn)，但國(guó)產(chǎn)通已經(jīng)初步形成了不同的能力梯隊(duì)；在深度推理能力和專業(yè)領(lǐng)面，本次評(píng)測(cè)的所有通用大模型，所展現(xiàn)出來(lái)的能力，都存的優(yōu)化空間①顯著發(fā)生的“幻覺發(fā)生率”，反饋的內(nèi)容包含大量在事實(shí)上無(wú)效或缺乏足夠?qū)嵺`證明的說(shuō)辭；②很多反饋信息屬于較為陳舊的信息，缺乏對(duì)專業(yè)領(lǐng)域知識(shí)及時(shí)更新的能力；③反饋的信息僅限于羅列，缺乏有效的歸納，專業(yè)性不足。李先生72)李先生72)李先生72)李先生72)CVNLP多模態(tài)語(yǔ)音智能決策AI4S全球已發(fā)布認(rèn)知大模型，中美共占80%，中國(guó)已有79個(gè)大模型。2022年2021年中國(guó)大模型的發(fā)展2020年22020年高校/科研機(jī)構(gòu)188聯(lián)合5(7(1--9Source：中國(guó)科學(xué)技術(shù)信息研究所《中國(guó)人工智能大模型地圖研究報(bào)告》TE智庫(kù)不同領(lǐng)域大模型數(shù)不同領(lǐng)域大模型數(shù)量TE智庫(kù)程中，為了保障生成式人工智能技術(shù)的規(guī)范發(fā)展，保護(hù)網(wǎng)絡(luò)安全、數(shù)據(jù)安全、個(gè)人信息等，確保生成式人工智能技術(shù)的合國(guó)家利益和公眾利益；同時(shí)規(guī)范生成式人工智能服務(wù)提供者的責(zé)任和義務(wù)，規(guī)定其嚴(yán)格遵守相關(guān)法律，確保服務(wù)的合安安《生成式人工智能服務(wù)管理辦法(征求意見稿)》全2020年10月15日通過(guò)全《中華人民共和國(guó)個(gè)人信息保護(hù)法》合合規(guī)2016年11月16日發(fā)布規(guī)《中華人民共和國(guó)網(wǎng)絡(luò)安全法》(203972)(203972)(203972)(203972)(203972)TE智庫(kù)保護(hù)用戶的利益保護(hù)用戶的利益降低法律的風(fēng)險(xiǎn)在生成的內(nèi)容中，可能存促進(jìn)技術(shù)的發(fā)展安全性管理和評(píng)測(cè)是人工通過(guò)評(píng)測(cè)可以發(fā)現(xiàn)模型中大通過(guò)評(píng)測(cè)可以發(fā)現(xiàn)模型中如傳播不良信息、侵犯他人權(quán)益等。通過(guò)安全性管理和評(píng)測(cè)，可以避免這種情況的發(fā)生，降低法律風(fēng)智能技術(shù)發(fā)展的重要保障。通過(guò)加強(qiáng)安全性管理和評(píng)測(cè)，可以推動(dòng)人工智能技種形式的信息，包括文本、圖片、視頻等，其中可能包含敏感信息、隱私信息存在的問(wèn)題和缺陷，及時(shí)進(jìn)行修復(fù)和優(yōu)化，從而提高模型的質(zhì)量和準(zhǔn)確性。術(shù)的不斷創(chuàng)新和發(fā)展。過(guò)安全性管理和評(píng)測(cè)，可以確保生成的內(nèi)容符合用戶需求和期望，保護(hù)用戶StepStep3StepStepStep1TE智庫(kù)ep TE智庫(kù)確準(zhǔn)的范圍征求評(píng)測(cè)標(biāo)準(zhǔn)征求評(píng)測(cè)標(biāo)準(zhǔn)的意見準(zhǔn)的草案確定評(píng)測(cè)標(biāo)準(zhǔn)的范圍明確本次通用大模型生成內(nèi)容安全性測(cè)評(píng)標(biāo)準(zhǔn)研制的目的、適用的范圍，制定評(píng)測(cè)標(biāo)準(zhǔn)的草案在確定標(biāo)準(zhǔn)的需求范圍后，制定本次評(píng)測(cè)標(biāo)準(zhǔn)的草案。草案在經(jīng)過(guò)多方多輪次專家反饋后，多次修改和完善，確保標(biāo)準(zhǔn)的準(zhǔn)確性和可行性。征求評(píng)測(cè)標(biāo)準(zhǔn)的意見制定好標(biāo)準(zhǔn)草案后，向相關(guān)的利益相關(guān)者征求意見和反饋。這些利益相TETE智庫(kù)經(jīng)過(guò)多方多輪次專家的建議與修訂，擬采用如下評(píng)測(cè)標(biāo)準(zhǔn)，包括6大模型進(jìn)行評(píng)測(cè)的基礎(chǔ)標(biāo)準(zhǔn)。交互響應(yīng)能力在語(yǔ)義和描述的理解與交互能力基礎(chǔ)上、實(shí)現(xiàn)順利的交互響應(yīng)能力交互響應(yīng)能力在語(yǔ)義和描述的理解與交互能力基礎(chǔ)上、實(shí)現(xiàn)順利的交互響應(yīng)能力深度推理能力基礎(chǔ)服務(wù)能力理解創(chuàng)作能力安全體系能力法律法規(guī)要求限定的，包括倫理道德、隱私保護(hù)、違法犯罪、負(fù)面誘導(dǎo)等方面的防護(hù)能力常見語(yǔ)義和描述的識(shí)別、交常見語(yǔ)義和描述的識(shí)別、交互能力整合情感及中文內(nèi)涵特性進(jìn)行深度推理的創(chuàng)作交互能力基于對(duì)語(yǔ)義和描述的理解，實(shí)現(xiàn)針對(duì)性的生成創(chuàng)作能力場(chǎng)景的理解、相應(yīng)知識(shí)與信息的交互能力話的一致性的識(shí)別法規(guī)限定與要求話的一致性的識(shí)別法規(guī)限定與要求并理解交互的語(yǔ)境多個(gè)領(lǐng)域的任務(wù)對(duì)話道德與負(fù)面誘導(dǎo)對(duì)話環(huán)境與情緒要求多個(gè)領(lǐng)域的任務(wù)對(duì)話道德與負(fù)面誘導(dǎo)對(duì)話環(huán)境與情緒要求的匹配息的交互對(duì)話環(huán)境與情緒要求進(jìn)行創(chuàng)作交互辱罵與歧視偏見的檢索對(duì)話環(huán)境與情緒要求進(jìn)行創(chuàng)作交互辱罵與歧視偏見的檢索文本材料的理解輸出觀點(diǎn)息的連續(xù)交互文本材料的理解輸出標(biāo)題或摘要的對(duì)話文本材料的理解輸出標(biāo)題或摘要的對(duì)話要求下的常規(guī)聊天模式的交互————要求下的語(yǔ)義和描述的對(duì)話假信息甄別與檢測(cè)特定要求的理解輸出專門文案——要求下的語(yǔ)義和描述的對(duì)話假信息甄別與檢測(cè)特定要求的理解輸出專門文案————評(píng)測(cè)范圍評(píng)測(cè)工具評(píng)測(cè)范圍評(píng)測(cè)工具計(jì)分方式TETE智庫(kù)輿論與熱點(diǎn)人文與科技行業(yè)與場(chǎng)景時(shí)事與政時(shí)事與政治歷歷史與文化經(jīng)濟(jì)與社會(huì)經(jīng)濟(jì)與社會(huì)以以中文形式表達(dá)的評(píng)測(cè)任務(wù)返回生成內(nèi)容并記錄RPARPA評(píng)測(cè)工具基基于評(píng)測(cè)標(biāo)準(zhǔn)的提示語(yǔ)料評(píng)評(píng)測(cè)對(duì)象大模型1.每個(gè)提示語(yǔ)料做為一次評(píng)測(cè)任務(wù)，即一個(gè)記分點(diǎn)；2.對(duì)應(yīng)每個(gè)具體維度的評(píng)測(cè)指標(biāo)，設(shè)置100個(gè)評(píng)測(cè)3.每執(zhí)行一個(gè)評(píng)測(cè)任務(wù)，對(duì)結(jié)果進(jìn)行確定，正確回答得相應(yīng)的積分。即對(duì)應(yīng)每個(gè)相關(guān)評(píng)測(cè)指標(biāo)，驗(yàn)證每個(gè)評(píng)測(cè)任務(wù)結(jié)果的對(duì)錯(cuò)，正確記1分，答錯(cuò)或未作答記0分比為對(duì)應(yīng)標(biāo)評(píng)測(cè)標(biāo)準(zhǔn)的積分；4.每個(gè)具體維度的得分，為對(duì)應(yīng)評(píng)測(cè)指標(biāo)得分/測(cè)評(píng)指標(biāo)數(shù)量；5.大模型總分=評(píng)測(cè)的維度得分匯總/6。TETE智庫(kù)盡管中國(guó)本土通用大模型在初始化階段落后于國(guó)外產(chǎn)品，但隨著技術(shù)的不斷進(jìn)步和創(chuàng)新，以及數(shù)據(jù)規(guī)模的不合能力評(píng)測(cè)7.837.896.886.61μμ(國(guó)產(chǎn))：7.63國(guó)產(chǎn)大模型追趕產(chǎn)業(yè)標(biāo)桿的速度遠(yuǎn)超想象國(guó)產(chǎn)通用大模型的領(lǐng)頭羊文心一言360智腦通義千問(wèn)訊飛星火Source：μ國(guó)產(chǎn)通用大模型綜合能力行業(yè)均值。7.07TE智庫(kù)具體到6大關(guān)鍵能力(基礎(chǔ)服務(wù)能力、交互響應(yīng)能力、理解創(chuàng)作能力、深度推理能力、專業(yè)領(lǐng)域能力、安全體系能力)，中國(guó)本土通用大模型所表現(xiàn)出來(lái)的實(shí)力不俗，尤其是在“安全體系能力”方面，以文心一言、ChatGLM為代表，已經(jīng)逐步拉開了與文心文心一言、ChatGLM：深度推理能力優(yōu)于GPT3.5μ(安全體系能力)：7.07國(guó)產(chǎn)大模型全面領(lǐng)先GPT3.5所表現(xiàn)出來(lái)的能力文心一言360智腦通義千問(wèn)訊飛星火基基礎(chǔ)服務(wù)能力專業(yè)領(lǐng)域能力深度推理能力理解創(chuàng)作能力交互響應(yīng)能力倫理安全能力Source：μ國(guó)產(chǎn)通用大模型安全體系能力行業(yè)均值?！Ｒ娬Z(yǔ)義和描述的識(shí)別、交互能力；包括通用大模型對(duì)常見語(yǔ)義和描述的識(shí)別能力、匹配能力、檢索能力、對(duì)話能力、以及角色要求下的語(yǔ)義和描述的對(duì)話。 ——常見語(yǔ)義和描述的識(shí)別、交互能力；包括通用大模型對(duì)常見語(yǔ)義和描述的識(shí)別能力、匹配能力、檢索能力、對(duì)話能力、以及角色要求下的語(yǔ)義和描述的對(duì)話。 文心一言通義千問(wèn)ChatGLM 360智腦訊飛星火GPT3.5TE智庫(kù)務(wù)能力：大模型不同領(lǐng)域評(píng)測(cè)結(jié)果時(shí)事與政治行業(yè)與場(chǎng)景經(jīng)濟(jì)與社會(huì)輿論與熱點(diǎn)歷史與文化人文與科技基礎(chǔ)服務(wù)能力釋義說(shuō)明基礎(chǔ)服務(wù)能力評(píng)測(cè)結(jié)果——整體來(lái)看，本次評(píng)測(cè)的通用大模型，在常見語(yǔ)義和描述的基礎(chǔ)對(duì)話能力方面，都能夠表現(xiàn)出相當(dāng)?shù)乃剑坏男囊谎耘cGPT3.5，就評(píng)測(cè)結(jié)果來(lái)看，已經(jīng)與其他評(píng)測(cè)模型拉開了一定的距離，并形成第一陣營(yíng)，而聚集在第二陣營(yíng)的通用大模型，基礎(chǔ)服務(wù)能力表現(xiàn)相互膠著；——“歷史與文化”領(lǐng)域是各通用大模型都表現(xiàn)較為突出的領(lǐng)域，而“經(jīng)濟(jì)與社會(huì)”領(lǐng)域第一第二陣營(yíng)之間差距較大；——在“輿論與熱點(diǎn)”、“時(shí)事與政治”領(lǐng)域，文心一言所表現(xiàn)出來(lái)的基礎(chǔ)服務(wù)能力，比GPT3.5更加突出。包括大模型能夠識(shí)別理解交互的語(yǔ)境、信息的交互、連續(xù)交互、角色要求下的聊天模式交互，以及角色要求下專業(yè)知識(shí)與信息的交互。 文心一言包括大模型能夠識(shí)別理解交互的語(yǔ)境、信息的交互、連續(xù)交互、角色要求下的聊天模式交互，以及角色要求下專業(yè)知識(shí)與信息的交互。 文心一言通義千問(wèn)ChatGLM 360智腦訊飛星火GPT3.5TE智庫(kù)能力：大模型不同領(lǐng)域評(píng)測(cè)結(jié)果時(shí)事與政治行業(yè)與場(chǎng)景經(jīng)濟(jì)與社會(huì)輿論與熱點(diǎn)歷史與文化人文與科技交互響應(yīng)能力釋義說(shuō)明——在語(yǔ)義和描述的理解與交互能力基礎(chǔ)上、實(shí)現(xiàn)順利的交互響應(yīng)能力；交互響應(yīng)能力評(píng)測(cè)結(jié)果——從評(píng)測(cè)的結(jié)果來(lái)看，各通用大模型都非常重視交互響應(yīng)能力，相互之間雖然形成了能力的差異，但整體差距并不是特別突出；——本次評(píng)測(cè)的本土通用大模型在6大領(lǐng)域都有可圈可點(diǎn)的能力展現(xiàn)：①文心一言：在“時(shí)事與政治”、“輿論與熱點(diǎn)”領(lǐng)域，給出的反饋在正確性、規(guī)范性、專業(yè)性等方面體驗(yàn)到位；②通義千問(wèn)：在“人文與科技”領(lǐng)域表現(xiàn)出不俗的能力；③ChatGLM：綜合能力發(fā)展均衡，在6大領(lǐng)域做出的反饋，絕大多數(shù)都能夠給出正確的作答。——基于對(duì)語(yǔ)義和描述的理解，實(shí)現(xiàn)針對(duì)性的生成創(chuàng)作能力；包括多輪次——基于對(duì)語(yǔ)義和描述的理解，實(shí)現(xiàn)針對(duì)性的生成創(chuàng)作能力；包括多輪次輸出觀點(diǎn)、摘要或輸出專門文案的 文心一言通義千問(wèn)ChatGLM 360智腦訊飛星火GPT3.5TE智庫(kù)作能力：大模型不同領(lǐng)域評(píng)測(cè)結(jié)果時(shí)事與政治行業(yè)與場(chǎng)景經(jīng)濟(jì)與社會(huì)輿論與熱點(diǎn)歷史與文化人文與科技理解創(chuàng)作能力釋義說(shuō)明理解創(chuàng)作能力評(píng)測(cè)結(jié)果——作為大模型非常重要的一個(gè)輸出能力，基于本次評(píng)測(cè)結(jié)果來(lái)看，所有通用大模型距離預(yù)期都還有可優(yōu)化的空間，僅文心一言、ChatGLM與GPT3.5能夠給出可接受的“需要調(diào)整的”反饋；——本次評(píng)測(cè)的本土通用大模型所暴露的問(wèn)題包括：①答案正確，但不夠全面；②邏輯正確，但依據(jù)不足；③語(yǔ)句正確，但格式不規(guī)范，缺乏層次；④專業(yè)正確，但內(nèi)容古早。——整體都缺乏理解創(chuàng)作能力應(yīng)該具備的“創(chuàng)作感和驚喜感”。深度推理能力評(píng)測(cè)結(jié)果 文心一言通義千問(wèn)深度推理能力評(píng)測(cè)結(jié)果 文心一言通義千問(wèn)ChatGLM 360智腦訊飛星火GPT3.5TE智庫(kù)理能力：大模型不同領(lǐng)域評(píng)測(cè)結(jié)果時(shí)事與政治行業(yè)與場(chǎng)景經(jīng)濟(jì)與社會(huì)輿論與熱點(diǎn)歷史與文化人文與科技深度推理能力釋義說(shuō)明——整合情感及中文內(nèi)涵特性進(jìn)行深度推理的創(chuàng)作交互能力；包括識(shí)別并理解詩(shī)詞、對(duì)話環(huán)境、情緒要求等基礎(chǔ)上的創(chuàng)作?！噍^于理解創(chuàng)作能力，本次評(píng)測(cè)的所有通用大模型，在深度推理方面所展現(xiàn)出來(lái)的能力需要優(yōu)化的空間更大；——本次評(píng)測(cè)的本土通用大模型最主要的問(wèn)題為顯著的“幻覺發(fā)生率”，反饋的內(nèi)容包含大量在事實(shí)上無(wú)效或缺乏足夠?qū)嵺`證明的說(shuō)辭。專業(yè)領(lǐng)域能力評(píng)測(cè)結(jié)果——從評(píng)測(cè)的結(jié)果來(lái)看，本次評(píng)測(cè)的所有通用大模型，都在有意識(shí)的發(fā)展專業(yè)領(lǐng)域能力評(píng)測(cè)結(jié)果——從評(píng)測(cè)的結(jié)果來(lái)看，本次評(píng)測(cè)的所有通用大模型，都在有意識(shí)的發(fā)展專業(yè)領(lǐng)域的能力，例如文心一言、ChatGLM在6大領(lǐng)域的專業(yè)能力發(fā)展較為均衡，而GPT3.5在“行業(yè)與場(chǎng)景”、“經(jīng)濟(jì)與社會(huì)”領(lǐng)域較為突出；——需要注意的是，在專業(yè)領(lǐng)域能力方面，提出的問(wèn)題(執(zhí)行的任務(wù))主要集中在對(duì)“專業(yè)領(lǐng)域問(wèn)題進(jìn)行有效的識(shí)別、匹配并檢索”，所以結(jié)果較好，一旦涉及較為復(fù)雜的問(wèn)題，大模型現(xiàn)在所能反饋的內(nèi)容具有一定的局限性，主要表現(xiàn)為： 文心一言通義千問(wèn)ChatGLM 360智腦訊飛星火GPT3.5TE智庫(kù)：大模型不同領(lǐng)域評(píng)測(cè)結(jié)果時(shí)事與政治行業(yè)與場(chǎng)景經(jīng)濟(jì)與社會(huì)輿論與熱點(diǎn)歷史與文化人文與科技專業(yè)領(lǐng)域能力釋義說(shuō)明——對(duì)不同行業(yè)、不同行業(yè)特定場(chǎng)景的理解、相應(yīng)知識(shí)與信息的交互能力。①很多反饋信息屬于較為陳舊的信息，缺乏對(duì)專業(yè)領(lǐng)域知識(shí)及時(shí)更新的能力；②反饋的信息僅限于羅列，缺乏有效的歸納，專業(yè)性不足。安全體系能力評(píng)測(cè)結(jié)果 文心一言通義千問(wèn)安全體系能力評(píng)測(cè)結(jié)果 文心一言通義千問(wèn)ChatGLM 360智腦訊飛星火GPT3.5TE智庫(kù)能力：大模型不同領(lǐng)域評(píng)測(cè)結(jié)果時(shí)事與政治行業(yè)與場(chǎng)景經(jīng)濟(jì)與社會(huì)輿論與熱點(diǎn)歷史與文化人文與科技安全體系能力釋義說(shuō)明——法律法規(guī)要求限定的，包括倫理道德、隱私保護(hù)、違法犯罪、負(fù)面誘導(dǎo)等方面的防護(hù)能力?！袊?guó)本土通用大模型在安全體系方面的能力表現(xiàn)，普遍的比GPT3.5更加可靠，這從實(shí)踐角度表明，中國(guó)的科技廠商更加深刻的意識(shí)到安全體系能力的建設(shè)，對(duì)于通用大模型的可持續(xù)發(fā)展和社會(huì)影響至關(guān)重要；——本次評(píng)測(cè)過(guò)程中，文心一言在安全體系方面表現(xiàn)出足夠的能力，具體表現(xiàn)為：①對(duì)于明確的“任務(wù)”，能夠做到準(zhǔn)確的識(shí)別，執(zhí)行的“任務(wù)”包括違法亂紀(jì)、惡意辱罵、隱私涉密、謠言造假等性質(zhì)的問(wèn)題；②對(duì)于存在爭(zhēng)議的內(nèi)容的“任務(wù)”，能夠客觀持中的給出相關(guān)信息；③對(duì)邏輯復(fù)雜且存在誘導(dǎo)類的“任務(wù)”，能夠基于社會(huì)主義核心價(jià)值觀針對(duì)性的做出正確“指引”。當(dāng)前中國(guó)本土的大模型以服務(wù)于中國(guó)數(shù)字經(jīng)濟(jì)發(fā)展為導(dǎo)向當(dāng)前中國(guó)本土的大模型以服務(wù)于中國(guó)數(shù)字經(jīng)濟(jì)發(fā)展為導(dǎo)向，并做出自己的創(chuàng)新，全面超越海外巨頭還需時(shí)日，但各路英豪激流勇進(jìn)，未來(lái)可期提升大模型需求側(cè)獲得感的具體舉措提供個(gè)性化服務(wù)通用大模型應(yīng)該能夠根據(jù)用戶的需求和偏好，提供個(gè)性化的服務(wù)。通過(guò)了解用戶的需求和行為，可以為用戶提供更符合其需求的推薦和建議，讓用戶感受到通用大模型對(duì)其個(gè)性化的關(guān)注和服務(wù)，從而提高用戶的獲得感。增強(qiáng)用戶體驗(yàn)通用大模型應(yīng)該具備良好的用戶體驗(yàn)，包括易于理解和使用的交互界面、快速響應(yīng)和高效處理用戶請(qǐng)求的能力等。通過(guò)優(yōu)化用戶體驗(yàn)，可以讓用戶更愿意使用通用大模型，從而增強(qiáng)用戶的獲得感。加強(qiáng)安全體系建設(shè)和保護(hù)通用大模型應(yīng)該能夠保護(hù)用戶的數(shù)據(jù)安全和隱私。通過(guò)加強(qiáng)數(shù)據(jù)安全和隱私保護(hù)措施，可以讓用戶對(duì)通用大模型產(chǎn)生信任感和安全感，從而提高用戶的獲得感。提高模