測評報告20231分析2目錄CONTENTS目錄CONTENTS34?微軟宣布將GPT-4接入Office全家桶大語言模型探索階段大語言模型爆發(fā)階段大語言模型誕生階段大語言模型探索階段大語言模型爆發(fā)階段的DALL-E模型5NotonAI 9CopilotGBard ChatGPTNotonAI 9CopilotGBard ChatGPTWPSAI國外 OMetastability.aistanforduniversityChatBotChatBotAl21studiovicuna-13b言犀言犀6核心要素基礎(chǔ)要素基礎(chǔ)要素7GPT-3和LaMDA的數(shù)據(jù)顯示，在模型參數(shù)規(guī)模不超過100億-680億時，大模型的很多能力（如計(jì)的計(jì)算量約為4.5ExaFLOPS，而完整訓(xùn)練需要9500次迭代，完整訓(xùn)練的計(jì)算量即為430ZettaFLOPS大量且豐富的數(shù)據(jù)集特別是任務(wù)所訓(xùn)練的模型適用于更多以前未經(jīng)訓(xùn)練的任務(wù)。影響非常重要，只有通過這種能力，我們才能高效地實(shí)現(xiàn)模8未公開，推測為超過5000億?百度研發(fā)的Ernie和華為研發(fā)的盤古目前?國際領(lǐng)先的大模型GPT-4據(jù)推測參數(shù)規(guī)模量級可達(dá)5千億以上9訓(xùn)練方式基礎(chǔ)模型自研閉源元模型：典型代表包括OpenAI的GPT3.5、GPT4等，國基礎(chǔ)模型在開源模型基礎(chǔ)上微調(diào)的模型：典型代表包括清華大學(xué)的ChatGLM-6B、商湯科技圍的廣度，要求云服務(wù)提供商持續(xù)進(jìn)行產(chǎn)品功行動&解決方案行動&解決方案搜索搜索人類情感理解和識別其他高階能力數(shù)學(xué)法律視覺識別概念抽象文字理解人類情感理解和識別其他高階能力數(shù)學(xué)法律視覺識別概念抽象文字理解大語言模型170%2345%gpt-3.5-turboclaudegpt-3.5-turbovicuna-13B天工3.5ChatGLM-6BOSS9577555752.根據(jù)第一、二章研究內(nèi)容和本次測評的評價維度，本次問題部分共300題，具體分布如下：875578554075753355安全和隱私問題是大語言模型研發(fā)的共識和底線安全和隱私問題是大語言模型研發(fā)的共識和底線195.50%278.68%375.50%472.63%568.33%665.07%764.59%848.50%934.74%-0.71%大語言模型綜合測試結(jié)果1ChatGPT274.98%368.29%468.24%566.82%6天工3.562.03%753.74%89ChatGLM50.09%43.08%數(shù)據(jù)說明：測評結(jié)果僅基于上文所列模型，測評截止時間為2023年5月25日91.67%90.00%95.00%90.00%86.67%83.33%70.00%91.67%90.00%95.00%90.00%86.67%83.33%70.00%?商務(wù)寫作題部分，大語言模型表現(xiàn)均較為突出，其中訪談提綱和郵件寫作都獲得了接近滿分的成績，而比較之下悉的領(lǐng)域。細(xì)分題目類別得分率僅為75%。75.00%50.00%ChatGPTChatGPTClaudeClaudeSagevicunaSagevicuna-13B天工3.5????通義千問訊飛星火天工3.5????通義千問訊飛星火MossChatGLMMossChatGLM83.33%73.33%58.33%83.33%83.33%66.67%66.67%83.33%73.33%58.33%83.33%83.33%66.67%66.67%?在十個模型中寫作得分最高的為ChatGPT和天工3.5，得分率88.33%90.00%60.00%30.00%88.33%60.00%60.00%?在十個模型中語義理解得分最高的為文心一言，得分率85%，得分第二的為ChatGPT，得分率為81.25%。85.00%75.00%67.50%65.00%30.00%ChatGPTChatGPTClaudeClaudeSagevicuna-13B天工3.5????通義千問Sagevicuna-13B天工3.5????通義千問訊飛星火MossChatGLMMossChatGLM40%45%80%68.37%68.37%66.33%62.24%63.27%68.37%68.37%66.33%62.24%63.27%?在十個模型中編程得分最高的為Claude，得分率73.47%，國內(nèi)產(chǎn)品表現(xiàn)最好的為文心一言，得分率為68.37%。?在四個題目分類中，大語言模型表現(xiàn)最好的題目分類為錯誤提示和修復(fù)，整體得分率為82.5%，而表現(xiàn)最差的是難度相對較高的代碼自動補(bǔ)全類題目，整體得90.00%60.00%30.00%60.00%60.00%?在十個模型中知識得分最高的為文心一言，得分率73.33%，得分第二的為ChatGPT，得分率為72.67%。90.00%70.67%67.33%70.67%67.33%65.33%60.67%59.33%44.00%30.00%44.00%ChatGPTChatGPTClaudeClaudeSagevicunaSagevicuna-13B天工3.5????通義千問訊飛星火天工3.5????通義千問訊飛星火MossChatGLMMossChatGLM86%90%90%ChatGPT85%90%90%82.67%96.67%93.3%68%80%80%ChatGPT63.57%78.57%55%70%70%ChatGPT64.28%ChatGPT46.88%56.25%62.25%24%20%60%ChatGPT83.33%.76.67%56.67%56.67%60.00%33.33%33%83.33%.76.67%56.67%56.67%60.00%33.33%33%?在十個模型中翻譯題得分最高的為Clau?在三個題目分類中，大語言模型呈現(xiàn)很大的差異化分布，即英文寫作題獲得最高分率80%，而英文閱讀理解僅獲得得分率46%。90.00%60.00%30.00%79%90%ChatGPT80.00%80%ChatGPT46.00%90.00%80.00%5286%60.00%60.00%.5286%60.00%60.00%.?在十個模型中邏輯推理題得分最高的為ChatGPT得分率61.43%，國內(nèi)產(chǎn)品文心一言和訊飛星火，得分率60%。?在五個題目分類中，大語言模型整體得分都低于基礎(chǔ)能力，得分最高的為幽默題，而得分最低的為商務(wù)制表題。邏輯推理題整體得分率邏輯推理細(xì)分題目得分率90.00%60.00%30.00%0.00%86%GPT4邏輯題目得分率國內(nèi)產(chǎn)品邏輯題目最高得分率