中文大模型基準測評報告2024年度中文大模型階段性進展評估2024.4.3精準量化AGI進展，定義人類邁向AGI的路線圖AccuratelyquantifyingtheprogressofAGI,definingtheroadmapforhumanity'sjourneytowardsAGI.一、國內大模型關鍵進展2023-2024年大模型關鍵進展2024年值得關注的中文大模型全景圖二、測評體系中文大模型基準SuperCLUE介紹測評體系、方法及示例說明三、大模型綜合測評結果SuperCLUE模型象限國內外大模型總體表現(xiàn)及競爭格局大模型對戰(zhàn)勝率、成熟度指數(shù)及開源格局評測與人類一致性分析四、通用維度測評詳細分析及示例介紹十大能力詳細測評分數(shù)測評結果及示例五、SuperCLUE2.0專項與行業(yè)基準測評各行業(yè)、專項、多模態(tài)測評基準未來兩個月基準發(fā)布計劃六、優(yōu)秀模型案例介紹優(yōu)秀模型案例介紹第12024年4月大模型關鍵進展1.2023-2024大模型關鍵進展2.2023-2024大模型關鍵進展 自2022年11月30日ChatGPT發(fā)布以來，AI大模型在全球范圍內掀起了有史以來規(guī)模最大的人工智能浪潮。國內學術和產(chǎn)業(yè)界在過去一年也有了實質性的突破。大致可以分為三個階段，即準備期（ChatGPT發(fā)布后國內產(chǎn)學研迅速形成大模型共識）、成長期（國內大模型數(shù)量和質量開始逐漸增長）、爆發(fā)期（各行各業(yè)開源閉源大模型層出不窮，形成百模大戰(zhàn)的競爭態(tài)勢）。SuperCLUE：AI大模型2023-2024年關鍵進展OpenAI發(fā)布GPT-4Turbo、OpenAI發(fā)布文生視頻 Meta開源智譜AI發(fā)布GLM-阿里云開源Qwen-X.AI開源Grok-MnMax發(fā)布MnMax發(fā)布OpenAI發(fā)布GPT-Meta開源Google發(fā)布Claude3Google開源 小米發(fā)布大模型Google多模態(tài)大模型 6

12 2024年1-2 2024年3-4 BluBlueLYi-34B醫(yī)療醫(yī)療MedGPT汽車教育金融工業(yè)文化零售交通AInno-部分領域軒轅大模型COSMO-華佗GP妙想大模型SMore左醫(yī)GPT京醫(yī)千詢測評體系1.SuperCLUE介紹2.測評體系3.SuperCLUE介紹CLUE（TheChineseLanguageUnderstandingEvaluation）是致力于科學、客觀、中立的語言模型評測基準，發(fā)起于2019年。陸續(xù)推出CLUE、FewCLUE、KgCLUE、DataCLUE等廣為引用的測評基準。SuperCLUE是大模型時代CLUE基準的發(fā)展和延續(xù)。聚焦于通用大模型的綜合性測評。傳統(tǒng)語言模型測評往往局限于學術范圍的單輪選擇題，SuperCLUE根據(jù)多年的測評經(jīng)驗，基于通用大模型在學術、產(chǎn)業(yè)與用戶側的廣泛應用，構建了多層次、多維度的綜合性測評基準。

在人工智能大模型開發(fā)的競爭日益激烈的今天，模型開發(fā)方主導的評測可能存在偏向自家產(chǎn)品的風險。與之形成鮮明對比的是，Su在人工智能大模型開發(fā)的競爭日益激烈的今天，模型開發(fā)方主導的評測可能存在偏向自家產(chǎn)品的風險。與之形成鮮明對比的是，SuperCLUE作為一個完全獨立的第三方評測機構，承諾提供無偏倚的客觀評測結果。SuperCLUE采用先進的自動化評測技術，有效消除人為因素帶來的不確定性，確保每一項評測都公正無私。通過這種方法，SuperCLU幫助用戶準確理解各種AI模型的真實性能，支持他們做出更明智的選擇。不同于傳統(tǒng)測評通過選擇題形式的測評，SuperCLUE目標是與真實用戶體驗目標保持一致，所以納入了開放主觀問題的測評。通過多維度多視角多層次的評測體系以及對話的形式，真實模擬大模型的應用場景，真實有效的考察模型生成能力。同時，SuperCLUE通過構建多輪對話場景，更深層次考察大模型在真實多輪對話場景的應用效果。對大模型的上下文、記憶、對話能力全方位評測。不同于傳統(tǒng)學術領域的評測，SuperCLUE從通用基準維度的選擇、安全和智能體專項測評的設計，到行業(yè)大模型測評基準的推出，所有評測的目的都是為產(chǎn)業(yè)和應用服務。真實反應通用大模型與產(chǎn)業(yè)應用之間的差距，引導大模型提升技術落地效果，在通用能力的基礎上更好的進行垂直領域的應用。Math6Code3AgentSafetyRAGRole200K多輪開放式SuperCLUE-多輪開放式SuperCLUE-三大能力客觀題SuperCLUE- 測評方法為更真實反應大模型能力，本次測評采用多維度、多視角的綜合性測評方案，由十大基礎任務組成，題目為多輪開放式簡答題。評測集共2194以下為評測集與測評方法簡述。包括三段論、關系推理、樸素推理等在內的中文邏包括三段論、關系推理、樸素推理等在內的中文邏微積分及數(shù)學多步推理算

評測流程：我們采用高級AI模型（例如GPT-4評測流程：我們采用高級AI模型（例如GPT-4Turbo）來評估不同任務的表現(xiàn)，根據(jù)設定的評價標準進行打分（1-5分）假設在一個具體的題目中，模型A本要求3分、推理準確性4分、結論合理性5分。首先，因此，該題目的具體得分為4為100分。這樣，每個任務的得分都能清晰地反映模型考察長文處理能力的數(shù)據(jù)集，包括全文摘要、線索基礎語義理解數(shù)據(jù)集，包括但不限于信息抽取、意基礎知識類數(shù)據(jù)集，包括但不限于歷史、地理、科考察模型角色模擬扮演能力，包括語言風格、行為考察模型角色模擬扮演能力，包括語言風格、行為包括但不限于廣告文案、技術寫作、公文寫作、文包括但不限于違法犯罪、財產(chǎn)隱私、偏見歧視、臟 （通義千問

2023年闖入大眾視野。ChatGPT類的人工智Midjourney、StableDiffusion、DALL·E2等文生圖工具更是引起廣泛的創(chuàng)意試驗，社交媒體平臺上涌現(xiàn)大量用戶創(chuàng)意生成的人工智能圖像內容。工具的進步使創(chuàng)意得以解放，人們不再需要依托繪畫技巧便可以制作、創(chuàng)造、實現(xiàn)腦海中的豐富意象。Gen-2為代表的文生影像工具雖不像前兩者一樣廣為流傳，但也因其便捷、快速、直觀的運動影像生成能力而引起影視行業(yè)的驚嘆和關注。這里提及的各種人工智能工具擁有一個普遍特點——在短時間內快速、頻繁地更新、迭代，生成能力隨著數(shù)據(jù)的豐富而無限向真得了突飛猛進的發(fā)展，但在分發(fā)渠道上，依然有很多問請針對所提供的文檔《全面數(shù)字化生存視域下“人工智能引擎電影”（AIEM）的出現(xiàn)與發(fā)展_陳洪偉》，從文中抽取與“人工智能引擎電影”（AIEM）密切相關的信息，撰寫一篇不超過500字的中文摘要。在摘要中，需闡明AIEM在全面數(shù)字化生存背景下的出現(xiàn)原因，該領域的技術進步和發(fā)展態(tài)勢，以及其對影視產(chǎn)業(yè)未來可能帶來的影響和變革。摘要應依據(jù)文章提供的論點和實例，按照邏輯順序，先后介紹AIEM的概念基礎、技術演進、行業(yè)應用和前景展望。

（AIEM）應運而生。AIEM是數(shù)字電影發(fā)展的深化產(chǎn)物，其誕生與成長根植于信息的數(shù)字化與信息化進程。信息的數(shù)字化始于將傳統(tǒng)非比特信息（如膠片電影編碼為數(shù)字信息，實現(xiàn)信息的傳播；數(shù)字信息化則表現(xiàn)為在數(shù)字信息領域內完成信息的生成與傳播，無需傳統(tǒng)信息手段介入。電影產(chǎn)業(yè)中，從傳輸數(shù)字化到內容數(shù)字化、流程數(shù)字化的演進，為AIEM的孕育提供了土壤。AIEM作為一種高度數(shù)字化、依賴比特信息交互構建并傳播的電影形式，其核心特征體現(xiàn)在：（1）原子信息低依賴性，通過算法驅動實時渲染，顯著降低了對現(xiàn)實世界物質材料的依賴，釋放了創(chuàng)作自由度；（2）實時渲染技術使得導演能夠即時觀察和調整創(chuàng)作效果，極大提升了制作效率；（3）融合真人電影與動畫電影的生產(chǎn)工藝，通過算法彌合了二者間的藝術界限，創(chuàng)造出更豐富多元的影像世界；（4）運轉高效，流程再造，如引入實時渲染、非線性編輯等工具，簡化并加速了電影制作過程；（5）分發(fā)渠道全數(shù)字化，AIEM內容能便捷地在各類數(shù)字化平臺發(fā)行，且易于轉化為VR版??，實現(xiàn)多維度分發(fā)。AIEM的出現(xiàn)與技術進步不僅革新了電影制作工藝，也對影視產(chǎn)業(yè)未來帶來了深遠影響與變革。首先，三維影像數(shù)字資產(chǎn)的重要性日益凸顯，成為AIEM重要支撐。加大對數(shù)字資產(chǎn)庫的建設和管理力度，有利于在全面數(shù)字化時代搶占先機。其次，算法在AIEM制作中的主導地位愈發(fā)顯著，掌握并研發(fā)先進的算法技術，以及培養(yǎng)能夠駕馭算法進行影視創(chuàng)作的專業(yè)人才，將成為產(chǎn)業(yè)競爭的關鍵。最后，AIEM的全面數(shù)字化特性使其天然適配新興的數(shù)字化內容分發(fā)渠道，如設備，有望重塑內容分發(fā)格局，催生新的盈利模式，提升傳輸效率，助力打擊盜版現(xiàn)象。綜上所述，人工智能引擎電影（AIEM）作為全面數(shù)字化生存背景下電影發(fā)展的新形態(tài)，憑借其原子信息低依賴性、算法驅動、實時渲染、流程再造及全數(shù)字化分發(fā)等特性，正在深刻改變電影制作工藝，推動影視產(chǎn)業(yè)向更高效、多元、沉浸式的方向發(fā)展。同時，對三維影像數(shù)字資產(chǎn)的重視、算法技術的創(chuàng)新與人才培養(yǎng)，以及順應數(shù)字化內容分發(fā)趨勢，將是AIEM引領影視產(chǎn)業(yè)未來變革的重要著力點。

基于“符合基??要求”基于“推理準確性”AIEM出現(xiàn)的原因邏輯推理-測評方法邏輯推理-測評方法（ （gpt4-turbo-要確定W，X，Y和Z的類型（真實者或虛偽者），我們可以根據(jù)他們的說法以及給定的規(guī)則進行邏輯分析。

信息7：Z說：“W

首先考慮W說："X和我是同一類型。最后，Z說："W是虛偽者。如果Z是真實者，那么W真實者（根據(jù)3），這時Z說W是虛偽者與WWZ

依據(jù)給定的規(guī)則，可以通過對話和邏輯推斷出每個居民的真實身份。W說和他是同一類型，假設W是真實者，那么X也是真實者。X說Y與他不同類型，那么如果是真實者，是虛偽者。說Z是虛偽者，假設是真實者，則Z是虛偽者，但Z說W是虛偽者，這就與假設WW是虛偽者，則X是真實者，Y作為X的相反，是虛偽者，Y說Z是虛偽者，但因為Y是虛偽者，則Z為真實者，Z說W是虛偽者證實了我們的假設。所以得出W和是虛偽者，和Z是真實者。AI助手的回答是邏輯清晰且正確的。它遵循了用戶的問題意圖，對給定的信息進行了合理的邏輯分析，并得出了正確的結論?；凇胺匣??要求”：AI助手的回答遵循了用戶atifactorily得5分；邏輯推理-測評方法邏輯推理-測評方法（

（gpt4-turbo-如果W是虛偽者（根據(jù)Z的說法，假設Z是真實者），X應該不是與W如果假設Z說的是真的（即W是虛偽者），那么Y的話是假的，因為假如Y真的，則W和X是同一類型，和W為虛偽者矛盾，因為如果W和X同類型，按W話兩者都應該為真實者或虛偽者，但W如果為虛偽者則不能使X也為虛偽者（W和X不能都是虛偽者，因為X說Y和我是不同類型，如果X也是虛偽者，則意味著Y也是虛偽者，這與他們都知道對方身份的前提矛盾）。如果我們錯在分析邏輯上，對此表示道歉?；谛滦畔⒌拇_切分析應聚焦于這些人的陳述之間的邏輯一致性及沖突。我的先前分析嘗試建立在部分重疊的假設上，這可能沒有清晰解釋真實情況。

基于信息6修改后的新情況，我們應該重新評估每個居民的類型。首先，如果假設Y是真實者，則W和X應當是同一類型。但如果Y是虛偽者，W和X應當是不同類型。同時我們有Z的聲明：“W是虛偽者?！爆F(xiàn)在必須要解決的問題是的聲明是否真實。假設Z是真實者，那么W是虛偽者。這意味著X不能和W同一類型，因此X是真實者。根據(jù)X的說法，Y是虛偽者，這與我們的前提假設Y是真實者矛盾。因此，Y必須是虛偽者。如果Y是虛偽者，那么W和X不是同一類型。并且，根據(jù)上面的推理，Z應當是真實者。由于Z說W是虛偽者，這意味著X是真實者。這樣，所有的聲明都是有一致性的，因此我們可以確定，W和Y是虛偽者，而X和Z是真實者。 defassert

fromtypingimportList,Dict,Union,defanalyze_complex_data(records:List[Dict[str,Union[str,List[float]]]])->Tuple[str,float,float,float,str,float,float,float]:>>>{"user_id":"user1","transactions":[100.0,200.0,{"user_id":"user2","transactions":[150.0,250.0,{"user_id":"user3","transactions":[50.0,150.0,{"user_id":"user4","transactions":[120.0,220.0,("user2",250.0,350.0,150.0,"user3",150.0,250.0,>>>{"user_id":"user1","transactions":[500.0,600.0,700.0,{"user_id":"user2","transactions":[300.0,400.0,500.0,{"user_id":"user3","transactions":[100.0,200.0,300.0,{"user_id":"user4","transactions":[200.0,300.0,400.0,("user1",650.0,800.0,500.0,"user3",250.0,400.0,100.0)

{"user_id":"user1","transactions":[100.0,200.0,{"user_id":"user2","transactions":[150.0,250.0,{"user_id":"user3","transactions":[50.0,150.0,{"user_id":"user4","transactions":[120.0,220.0,])==("user2",250.0,350.0,150.0,"user3",150.0,250.0,assert{"user_id":"user1","transactions":[400.0,500.0,{"user_id":"user2","transactions":[100.0,200.0,{"user_id":"user3","transactions":[200.0,300.0,{"user_id":"user4","transactions":[300.0,400.0,])==("user1",500.0,600.0,400.0,"user2",200.0,300.0,assert{"user_id":"user1","transactions":[150.0,200.0,{"user_id":"user2","transactions":[100.0,150.0,200.0,{"user_id":"user3","transactions":[200.0,250.0,300.0,{"user_id":"user4","transactions":[300.0,350.0,400.0,])==("user4",375.0,450.0,300.0,"user2",175.0,250.0,assert{"user_id":"user1","transactions":[150.0,180.0,{"user_id":"user2","transactions":[400.0,450.0,500.0,{"user_id":"user3","transactions":[200.0,240.0,280.0,{"user_id":"user4","transactions":[300.0,330.0,360.0,])==('user2',475.0,550.0,400.0,'user1',183.33,220.0,（m3-70B-fromtypingimportList,Dict,Union,defanalyze_complex_data(records:List[Dict[str,Union[str,List[float]]]])->Tuple[str,float,float,float,str,float,float,float]:user_avg_transactions={}forrecordinrecords:user_id=record["user_id"]transactions=record["transactions"]avg_transaction=round(sum(transactions)/len(transactions),2)max_transaction=round(max(transactions),2)min_transaction=round(min(transactions),user_avg_transactions[user_id]=(avg_transaction,max_transaction,sorted_users=sorted(user_avg_transactions.items(),key=lambdax:x[1][0],reverse=True)max_user_id,max_avg,max_max,max_min=sorted_users[0]min_user_id,min_avg,min_max,min_min=sorted_users[-return(max_user_id,max_avg,max_max,max_min,min_user_id,min_avg,min_max,

ValueError:notenoughvaluestounpack(expected4,gotmax_user_id,max_avg,max_max,max_min={"user_id":"user1","transactions":[500.0,600.0,700.0,{"user_id":"user2","transactions":[300.0,400.0,500.0,{"user_id":"user3","transactions":[100.0,200.0,300.0,{"user_id":"user4","transactions":[200.0,300.0,400.0,[('user1',(650.0,800.0,500.0)),('user2',(450.0,600.0,300.0)),('user4',500.0,200.0)),('user3',(250.0,400.0,('user1(650.0,800.0,max_user_id,max_avg,max_max,max_min=```第3大模型通用能力測評及結果1.SuperCLUE模型象限2.國內外大模型總體表現(xiàn)3.評測與人類一致性驗證4.6.大模型對戰(zhàn)勝率分布圖7.SuperCLUE8.SuperSuperCLUE測評層級

調用檢索規(guī)劃bug

推

代 知

語 長文 生理 創(chuàng)

角 傳 工扮 安 使測評模型列表測評模型列表1.GPT-4-Turbo-2024年1月25日發(fā)布的GPT-4-turbo17.Claude3-官方發(fā)布的API版本；Claude3-2.GPT-4-Turbo-2024年4月9日發(fā)布的GPT-4-turbo官方發(fā)布的1.0API版本Gemini-3.GPT-4(官網(wǎng)GPT-4官方發(fā)布的API版本：skylark3-pro-官方付費使用的文心一言V4.0的API20.qwen-1.5-14b-開源1.5代14B的Chat5.GLM-官方公開發(fā)布的GLM-4的API21.Llama-3-8B-官方開源的3代8B的Chat官方公開發(fā)布的API版本：qwen-max-22.XVERSE-13B-開源的XVERSE-13B-7.騰訊Hunyuan-騰訊混元官方公開發(fā)布的API版本：Hunyuan-23.qwen-1.5-7b-開源1.5代7B的Chat官方小范圍內測API百度千帆平臺的Llama3的70B官方公開發(fā)布的星火V3.5的API25.GPT-3.5-Turbo-2024年1月25日發(fā)布的GPT-3.5-turbo26.Baichuan2-13B-Chat-開源的第二代13B的Chat版本11.MiniMax-官方小范圍內測API版本，版本號為27.ChatGLM3-開源的第三代6B官方小范圍內測API28.gemma-7b-開源的7B13.qwen-1.5-72b-開源1.5代72B的Chat29.Chinese-Alpaca2-yiming官方小范圍內測API30.Llama-2-13B-官方開源的2代13B的Chat15.階躍星辰step-1-官方公開發(fā)布API版本：step-1-31.Llama-2-7B-官方開源的2代7B的Chat16.360gpt-官方公開發(fā)布API版本：360gpt-32.Llama-3-70B-在POE平臺的Llama3的70BSuperCLUE模型象限 Llama-3-70B-360gpt-pro GLM-4 Claude3-Opus騰訊Hunyuan-pro GPT-4(官網(wǎng)) Baichuan3MiniMax_Abab6.1GPT-3.5-Turbo-0125Gemini-proLlama-3-8B-InstructBaichuan2-13B-ChatLlama-3-70B-Instruct(千帆)ChatGLM3-6Bgemma-7b-itLlama-2-13B-ChatLlama-2-7B-Chat來源：SuperCLUE,2024年4月301兩個維度的組成?；A能力，包含：專業(yè)與技能、語言與知識（不包括角色扮演）2四個象限的含義。它們代表大模型所處的不同階段與定位，其中【潛力探索者】代表模型正在技術探索階段擁有較大潛力；【技術領跑者】代表模型聚焦基礎技術研究；【實用主義者】代表模型在場景應用上處于領先定位；【卓越領導者】代表模型在基礎和場景應用上處于領先位置，引領國內大模型發(fā)展。國內外大模型總體表現(xiàn)國內外大模型SuperCLUE基準得分

海外模 國內模

國內對外大模型總體發(fā)展態(tài)勢來源：SuperCLUE,2024年4月30

GPT4Turbo領跑，國內奮起直追GPT4Turbo7913分的絕對優(yōu)勢領跑SuperCLUE基準測試，展現(xiàn)出強大的語言理解、生成和推理能力。國內大模型發(fā)展迅速，但與GPT4仍存在差距，例如百度文心一言40、Baichuan3和GLM-4與GPT-4Turbo均相差5分以上。國內企業(yè)需持續(xù)投入研發(fā)，縮小差距，提升模型性能。國內梯隊初現(xiàn)，頭部企業(yè)引領發(fā)展國內大模型市場形成多梯隊格局，頭部企業(yè)憑借快速迭代、技術積累或資源優(yōu)勢，引領國內大模型發(fā)展。例如大廠模型以文心一言40、通義千問21和騰訊Hunyuanpro分別以72的分數(shù)位居國內模型前列。大模型創(chuàng)業(yè)公司的代表如GLM4、Baichuan3、Moonshot和Minimax均超過70分位于大模型第一梯隊。隨著技術進步和應用場景拓展，國內市場競爭將加劇，推動技術創(chuàng)新和產(chǎn)業(yè)升級。開源力量崛起，生態(tài)日益繁榮Llama3Qwen15等開源大模型系列表現(xiàn)優(yōu)異，例如Llama-370B-Instruct獲得6877分、qwen1572b-chat獲6807，接近第一梯隊。開源模型的崛起推動技術開放與普及，豐富大模型生態(tài)，為各行各業(yè)帶來更多應用可能性。評測與人類一致性驗證1評測與人類一致性驗證1SuperCLUEVSChatbotArenaChatbotArena是當前英文領域較為權威的大模型排行榜，由LMSYSOrg開放組織構建，它以公眾匿名投票的方式，對各種大型語言模型進行對抗評測。其中，斯皮爾曼相關系數(shù)：0.91P值：5.50e-6；皮爾遜相關系數(shù):0.87P值：5.74e-5說明SuperCLUE基準測評的成績，與人類對模型的評估（以大眾匿名投票的ChatbotArena為典型代表），具有高度一致性。評測與人類一致性驗證2評測與人類一致性驗證2：自動化評價可靠性的人工評估

4月SuperCLUE采用自動化評價的測評方式。為驗證自動化評價的可靠性，SuperCLUE團隊在進行正式測評之前，從2000道題目中針對4個模型，每個模型隨機抽取了100道題目進行人工復審。審核內容及標準包括：評價質量分為：優(yōu)秀，良好，及格，不及格完全不符合自己的判斷：不及格（60以下基本符合自己的判斷：及格（60或以上）或良好（75或以上特別符合自己的判斷：評價的特別好：優(yōu)秀（85或以上最后統(tǒng)計可靠性指標，將基本符合、特別符合的結果認定為是可靠性較高的評價。

最終各模型可靠性指標結果如下： 模型模型模型 模型模型模型 通過4個模型的可靠性分析驗證，我們發(fā)現(xiàn)可靠性數(shù)據(jù)分別為96.00%93.14%、92.93%、93.14%，其中可靠性最低的模型3有92.93%，最高為模型1的96.00%。平均有93.80%的可靠性。所以，經(jīng)過驗證，SuperCLUE自動化評價有較高的可靠性國內大模型競爭格局國內大模型競爭格局國內大模型綜合表現(xiàn)-SuperCLUE 通過SuperCLUE測評結果發(fā)現(xiàn)，國內大模型的第一梯隊有了更多新的模型加入。Baichuan3在本次測評中表現(xiàn)不俗拔得頭籌，頭部模型如文心一言40、通義千問21、GLM4繼續(xù)引領國內大模型的研發(fā)進度，騰訊Hunyuan-pro首次進入國內大模型第一梯隊表現(xiàn)出較強的競爭力。Moonshot(Kimi)、從容大模型V1.5、Mimimax-abab6.1表現(xiàn)同樣可圈可點。

從國內從國內TOP20大模型的數(shù)量來看，創(chuàng)業(yè)公司稍占優(yōu)勢，高于大廠的大模型數(shù)量10%。從大廠和創(chuàng)業(yè)公司的平均成績來看，大廠與創(chuàng)業(yè)公司差值約3.95分，較2月份差距在快速縮小。這說明進入2024年創(chuàng)業(yè)公司的大模型研發(fā)有了更強競爭力。從大廠和創(chuàng)業(yè)公司的平均成績來看，大廠與創(chuàng)業(yè)公司差值約3.95分，較2月份差距在快速縮小。這說明進入2024年創(chuàng)業(yè)公司的大模型研發(fā)有了更強競爭力。

國內大模型歷月前三甲國內大模型歷月前三甲過去10個月國內模型在SuperCLUE基準上的前三 24年2 文心一言 GLM- 通義千問11 文心一言 Yi-34B-9 ChatGLM2-7 ChatGLM- 訊飛星火5 360智 訊飛星 ChatGLM-

前三甲競爭激烈24年4GLM-通義千問通過統(tǒng)計過去10個月國內模型在SuperCLUE基準上的前三名，可以發(fā)現(xiàn)，每個月前三甲的競爭非常激烈，共有13個大模型取得過前三名。出現(xiàn)頻次最高的有文心一言24年4GLM-通義千問1212 文心一言 通義千問 10 文心一言曾經(jīng)取得過SuperCLUE月榜首位的大模型有5個。分別是文心一言、BlueLM、SenseChat、Baichuan、360智腦。其中，百度的文心一言登頂SuperCLUE月榜的次數(shù)最多，分別在7月、11月、12月、24年2月取得了Supe10 文心一言88 Baichuan2-13B- Minimax- 6 360智 6 360智 文心一 訊飛星大模型對戰(zhàn)勝率分布圖大模型對戰(zhàn)勝率分布圖來源：SuperCLUE,2024年4月30

我們統(tǒng)計了所有大模型在測評中與GPT4官網(wǎng)的對戰(zhàn)勝率。模型在每道題上的得分與GPT-4官網(wǎng)相比計算差值，得到勝（05分）、平（差值在-0.5～+0.5分之間）、負（差值低于-0.5）整體勝率表現(xiàn)從勝率來看，全球領跑者GPT4Turbo0125勝率為26876104，說明GPT4Turbo-0125在整體能力上明顯優(yōu)于GPT4。而國內模型中，通義千問21的勝率為國內最高，為2489%。勝率超過20%的模型還有騰訊Hunyuan-pro、Baichuan3、GLM-4、從容大模型V15、Moonshot(Kimi)等大模型。開源模型勝率情況在200億參數(shù)量級的開源模型中qwen1514bchat的勝率排在首位，展現(xiàn)出不俗能力。排在2至4位的是Baichuan213BChat-v2、XVERSE-13B-L、qwen-1.5-7b-chat，同樣表現(xiàn)可圈可點。在基礎題目上與GPT4的差距不大從勝率分布數(shù)據(jù)可以發(fā)現(xiàn)，70%的模型的和率都在50%以上。這說明國內外大部分模型在基礎題目上與GPT4的水平相近，隨著任務難度的提升，不同模型的表現(xiàn)才會有區(qū)分度。后續(xù)的測評數(shù)據(jù)會在題目難度的區(qū)分性和評價顆粒度上加強提升。SuperSuperCLUE成熟度指數(shù)SuperCLUE成熟度指數(shù)注：SuperCLUE成熟度指數(shù)=國內模型最差成績/

SuperCLUE成熟度指數(shù)用以衡量國內大模型在SuperCLUE十大能力是否成熟。語義理解成熟度最高通過對比數(shù)據(jù)可以發(fā)現(xiàn)，語義理解成熟度最高，有082的表現(xiàn)。另外高成熟度的能力還有生成與創(chuàng)作、角色扮演、傳統(tǒng)安全和知識百科，都有超過0.6的表現(xiàn)。長文本與代碼的成熟度最低低成熟度的能力有長文本、代碼、計算、邏輯推理。其中國內大模型在長文本與代碼的表現(xiàn)成熟度最低，均只有0.05。成熟度最低任務可以區(qū)分大模型的能力層次SuperCLUE認為，長文本、代碼、計算、邏輯推理在通用能力中最具挑戰(zhàn)性，也最能體現(xiàn)通用大模型的能力層次，越好的大模型在低成熟度的能力上表現(xiàn)越好，這也是國內大模型今年需進一步迭代優(yōu)化，追趕國外頭部大模型的重要能力。開源競爭格局開源競爭格局國內外開源主導力量凸顯總體上國內外開源模型表現(xiàn)相當，由于Meta的Llama3的發(fā)布，國外開源模型重新引領全球的開源技術進展。阿里云繼續(xù)主導國內的開源進展，其qwen15系列開源模型在70B、13B、7B各參數(shù)量級中均表現(xiàn)優(yōu)異。形成與Llama3旗鼓相當?shù)母偁帒B(tài)勢。創(chuàng)業(yè)公司開源表現(xiàn)不俗國內創(chuàng)業(yè)公司的開源模型同樣表現(xiàn)不俗，展現(xiàn)出極強的追趕態(tài)勢。其中以智譜AI的GLM系列、百川智能Baichuan系列、元象科技的XVERSE系列為核心之一，均在不同程度上有超過Google的Gemma、Llama2系列開源模型。其中ChatGLM36B以60億參數(shù)量級高于Llama2的130億參數(shù)有10分左右。

13B-在130億～140億參數(shù)量級的開源模型中，國內開源模型展現(xiàn)出很強的競爭力，其中qwen-1.5-14b-chat取得63.51分，是該參數(shù)量級下唯一超過60分的開源模型，XVERSE-13BL和Baichuan213BChat同樣表現(xiàn)不俗，均有超過50分的表現(xiàn)。7B-在70億～80億參數(shù)量級的開源模型中，Llama38Bqwen-15B7BChat、ChatGLM36B緊隨其后，同樣有不錯的表現(xiàn)。第4通用測評維度詳細分析及示例1.十大能力得分2.數(shù)學能力分析3.長文本能力分析4.代碼能力分析5.安全能力分析7.SuperSuperCLUE十大能力得分SuperSuperCLUE基準-計算能力大模型計算能力表 測評分閉源模型表現(xiàn)：在SuperCLUE計算能力測評中，國內外模型仍有一定差距。GPT-4Turbo0125取得8280的高分，領跑全球所有模型。Claude3Opus同樣有不錯表現(xiàn)，僅次于GPT-4取得76.80的高分。國內大模型中從容大模型V1.5表現(xiàn)出色，取得75.8分，是國內唯一超過75分的大模型。Baichuan3緊隨其后得到開源模型表現(xiàn)：開源模型中Llama370B領跑全球開源模型，有超過部分國內閉源模型的表現(xiàn)，也是唯一超過70分的開源模型。國內開源模型中qwen1572b-chat表現(xiàn)出色，取得68.2分，領跑國內開源模型。200億參數(shù)量級內的開源模型中，qwen-1.5-14b-chat和Baichuan2-13B-chat-v2表現(xiàn)較好，均超過了50分。

從國內外頭部模型數(shù)學計算能力的對比數(shù)據(jù)看，國內模型有一定優(yōu)化空間。國外前三名模型的數(shù)學得分相較于國內前三名平均高出7分。數(shù)學計算能力是具有較高難度的、高挑戰(zhàn)的任務，具有較高區(qū)分性，是國內大模型后續(xù)重點優(yōu)化方向之一。（ U2?U2=U2? 請問：如果飛船在兩次提速過程中，希望每次都消耗盡可能相同的燃料，那么

fromsympyimportsymbols,Eq,U0=0#初始速度U2100

solution=solve(equation,[-50*sqrt(2),U1?2×502×50。由于速度不能為負值，我們只考慮正值，U12×50米/50×1.414=70.71米/秒。所U170.71米/秒。（如果飛船的燃料總量有限，即如果飛船的燃料總量有限，即(U2U2U2U2燃料消耗的限制條件(U2U2U2U25000中。已知 U00米/U2100米/U170.71米/秒（×50米/秒），使用之前得到的U1值:U1=50total_fuel_consumption=(U2U2U2U2)

can_complete_boosts=total_fuel_consumption≤(10000.0,100005000，SuperSuperCLUE基準-長文本能力大模型長文本能力表 測評分在SuperCLUE長文本能力測評中，國內大模型表現(xiàn)出色。通義千問2.1取得71.8分，是全球大模型中唯一超過70分的大模型。GPT-4-Turbo-0125僅隨其后，取得69.8分，領跑國外大模型。Moonshot(Kimi)、山海大模型位列國內2-3名，同樣表現(xiàn)優(yōu)異。騰訊Hunyuan-pro、Minimax-abab6.1表現(xiàn)可圈可點，有超過65分的表現(xiàn)。開源模型在長文本能力上表現(xiàn)超出預期部分開源模型在長文本能力測評中表現(xiàn)不俗，其中qwen-1.5-72b-chat取得67.0的高分，超過大多數(shù)閉源模型，展現(xiàn)出很強的競爭力。未來在開源生態(tài)中長文本能力可能是模型必備的基本能力。

從國內外頭部模型長文本能力的對比數(shù)據(jù)看，國內有一定競爭優(yōu)勢。國內前三名模型的長文本得分相較于國外前三名平均高出1.73分。長文本能力是具有產(chǎn)業(yè)落地意義的核心能力，有助于國內大模型的場景應用。（深圳）綜合開發(fā)研究院等研究機構以及北京大學、復旦大學、中國人民大學等高校的著名學者和各領域專家，碰撞前沿思想，共議創(chuàng)新路徑，共同探討數(shù)字經(jīng)濟發(fā)展的國內外局勢，現(xiàn)實發(fā)展和未來潛力。會議嘉賓主要圍繞“數(shù)字經(jīng)濟與大國博弈”“數(shù)字經(jīng)濟與全球治理”“數(shù)字技術與政府治理”“數(shù)字經(jīng)濟出海的機遇與挑戰(zhàn)”“數(shù)字經(jīng)濟與產(chǎn)業(yè)發(fā)展”以及“數(shù)字經(jīng)濟與區(qū)域發(fā)展”六大議題展開討論，就全球視域下數(shù)字經(jīng)濟的發(fā)展與治理進行多學科對話與跨領域共享。??文根據(jù)會議現(xiàn)場記錄整理而成。對于深圳的企業(yè)發(fā)展而言，目前依然面臨許多區(qū)域協(xié)調問題、隱形的行政壁壘問題、政策能級問題等。數(shù)字經(jīng)濟領域的長期發(fā)展需要破除單一的產(chǎn)業(yè)思維，構建全系統(tǒng)的、戰(zhàn)略性的系統(tǒng)布局。對此，曹所長提出了塑造新的競爭優(yōu)勢的六個具體舉措，一是調整數(shù)字化改革戰(zhàn)略統(tǒng)籌，二是推出最具有競爭力的扶持政策，三是最開放的數(shù)字經(jīng)濟生態(tài)，四是戰(zhàn)略性數(shù)字經(jīng)濟企業(yè)培育，五是建設數(shù)智深圳，六是架構更具規(guī)模的數(shù)實融合新場景，以把深圳數(shù)字經(jīng)濟打造成國之重器。這篇文章是香港中文大學（深圳）人文社科學院舉辦的研討會的主題內容和討論，特別是關于數(shù)字經(jīng)濟在新時代下的發(fā)展趨勢，以及中國如何在國內外政治環(huán)境中利用數(shù)字技術優(yōu)勢拓展國際影響力的戰(zhàn)略討論。請根據(jù)文檔內容，生成一篇關于“數(shù)字經(jīng)濟發(fā)展與治理”的會議摘要，簡要描述數(shù)字經(jīng)濟對社會政治和國家治理可能帶來的影響。確保摘要在800字以內，并準確反映會議中學者和專家對于數(shù)字經(jīng)濟未來潛力的分析和預測。

“新時代下的數(shù)字經(jīng)濟發(fā)展與治理”研討會摘要香港中文大學（深圳）人文社科學院于202年9月24日至25日成功舉辦了“新時代下的數(shù)字經(jīng)濟發(fā)展與治理”研討會。會議匯聚了來自中國社會科學院、商務部國際貿(mào)易經(jīng)濟合作研究院、上海社會科學院、中國（深圳）究院等研究機構，以及北京大學、復旦大學、中國人民大學等高校的著名學者和專家。會議圍繞數(shù)字經(jīng)濟與大國博弈、全球治理、政府治理、數(shù)字經(jīng)濟出海、產(chǎn)業(yè)發(fā)展、區(qū)域發(fā)展等議題進行了深入討論。一、數(shù)字經(jīng)濟的發(fā)展趨勢與影響唐文方教授在開幕致辭中提出了數(shù)字經(jīng)濟對中國制度設計和二、數(shù)字經(jīng)濟對國家治理的影響會議討論了數(shù)字經(jīng)濟對國家治理的多方面影響。數(shù)字技術的三、數(shù)字經(jīng)濟的未來潛力專家們普遍認為，數(shù)字經(jīng)濟是中國未來發(fā)展的關鍵領域。中國應加四、結論會議強調了數(shù)字經(jīng)濟在新時代下的重要性，以及中國在其中扮演的角色。專家們認（??摘要根據(jù)香港中文大學（深圳）人文社科學院研討會內容整理而成，字數(shù)控制在800內，力求準確反映會議中學者和專家對數(shù)字經(jīng)濟未來潛力的分析和預測。）SuperSuperCLUE基準-代碼能力大模型代碼能力表 測評分在SuperCLUE代碼能力測評中，國外大模型有明顯的領先優(yōu)勢。GPT4Turbo0125取得87.9分，領跑全球大模型代碼能力。國內大模型中訊飛星火V3.5取得78.1分，排名國內第一，Baichuan3、文心一言40緊隨其后，排名國內23名。GLM4同樣表現(xiàn)出色，超過70分。Llama-3在代碼能力上有很強競爭力Llama370B在代碼能力測評中表現(xiàn)不俗，取得729分，超過大部分國內外開源模型，展現(xiàn)出很強的競爭優(yōu)勢，并且Llama-3-8B也有超出50分的表現(xiàn)。

從國內外頭部模型代碼能力的對比數(shù)據(jù)看，國內外差距明顯。國內前三名模型的代碼得分相較于國外前三名平均低12.19分。代碼能力是具有較高難度的、高挑戰(zhàn)的任務，具有很高區(qū)分性，同時是大模型落地的重要場景，期待國內大模型后續(xù)重點優(yōu)化。代碼-示例代碼-示例fromtypingimportList,

（Llama-3-70B-Instructdefindex_documents(documents:List[str])->Dict[str,List[int]]:"Thequickbrownfox","jumpsoverthelazy"Packmyboxwithfivedozenliquor{"the":[0,1],"quick":[0],"brown":[0],"fox":[0],"jumps":[1],[1],"lazy":[1],"dog":[1],"pack":[2],"my":[2],"box":[2],"with":"five":[2],"dozen":[2],"liquor":[2],"jugs":[2]}

fromtypingimportList,fromcollectionsimportdefindex_documents(documents:List[str])->Dict[str,index=fori,documentinenumerate(documents):words=document.lower().split()forwordinifinotinindex[word]:returnSuperSuperCLUE基準-邏輯推理能力大模型邏輯推理能力表 測評分在SuperCLUE邏輯推理能力測評中，國外大模型有明顯的領先優(yōu)勢。GPT4Turbo0125取得752分，領跑全球大模型邏輯推理能力。國內大模型中Baichuan3表現(xiàn)出色取得686V35、GLM4緊隨其后，排名國內2-3名。文心一言4.0和騰訊Hunyuan-pro同樣表現(xiàn)出色，有超過60分的表現(xiàn)。國外開源大模型有較強競爭力Llama-3系列開源模型在邏輯推理能力測評中表現(xiàn)不俗，其中Llama-3-70B取得59.6分Llama-3-8B同樣表現(xiàn)出色，有超過GPT-3.5和部分13B模型的表現(xiàn)。

從國內外頭部模型邏輯推理能力的對比數(shù)據(jù)看，國內外差距明顯。國內前三名模型的邏輯推理得分相較于國外前三名平均低6.47分。邏輯推理能力是具有較高難度的、高挑戰(zhàn)的任務，具有很高區(qū)分性，期待國內大模型后續(xù)重點優(yōu)化。（

由信息5得知，Eric此時，我們可以確定lex既然Alex參加了跳遠比賽，根據(jù)信息4，David沒有參加游泳比賽（因為如果David參加了游泳比賽，那么Alex就會參加跳遠比賽，但我們已經(jīng)確定Alex參加了跳遠比賽，所以David的游泳比賽條件不成立）。由信息6得知，如果Carl參加了游泳比賽，那么David就會參加騎行比賽。但我們已知David沒有參加游泳比賽，且只剩下游泳和騎行兩項比賽未被選取，所以Carl參加了游泳比賽，David參加了騎行比賽。Alex:跳遠Ben:跑步Carl:游泳David:騎行Eric:舉重（

剩下這兩項比賽未被選，因此可以推斷出Carl參加了游泳比賽，SuperSuperCLUE基準-安全能力大模型安全能力表 測評分在SuperCLUE安全能力測評中，國內大模型有明顯的領先優(yōu)勢。MiniMaxabab61取得884分，排名第一。GPT4Turbo0125緊隨其后。國內大模型中騰訊Hunyuanpro、MoonshotKimi)表現(xiàn)出色排名國內2-3360gpt-pro同樣表現(xiàn)不錯取得84.4國內第4，展現(xiàn)出安全廠商的獨特優(yōu)勢。另外本次新上榜的階躍星辰step-132k在安全能力上同樣表現(xiàn)可圈可點，躋身國內安全能力前5。開源模型在安全能力上稍顯薄弱開源模型在安全能力測評中得分偏低，比如Llama-3-70B取得70.2分，排名靠后。國內開源模型安全測評分數(shù)最高的是qwen-1.5-14b-chat，取得78.8分同樣未超過80分?？赡艿脑蛑皇情]源模型往往通過API提供服務，可能會封裝安全模塊提升安全風控能力。從國內外頭部模型安全能力的對比數(shù)據(jù)看，國內大模型有一定優(yōu)勢。國內前三名模型的安全得分相較于國外前三名平均高出1.87分。

安全能力是大模型應用落地的重要基礎能力，國內大模型在安全能力上有明顯的優(yōu)勢。SuperSuperCLUE基準-工具使用能力大模型工具使用能力表 測評分

國內外大模型在工具使用能力差別不明顯在SuperCLUE工具使用能力測評中，國內外大模型并無明顯差距。GPT-4-Turbo-0125取得78.6分，略微領先。國內大模型中通義千問2.1、GLM-4、Baichuan3分列國內1-3名。騰訊Hunyuan-pro、文心一言4.0表現(xiàn)同樣出色排名國內4-Llama-3系列開源模型在工具使用能力上表現(xiàn)出色開源模型在工具使用能力上同樣表現(xiàn)出色，尤其Llama370B取得716的高分，超過部分國內外閉源模型。國內開源模型如qwen-1514bchat、Baichaun213BChat、XVERSE-13B-L同樣表現(xiàn)不錯均有超過50分的表現(xiàn)。從國內外頭部模型工具使用能力的對比數(shù)據(jù)看，國內外大模型差別不大。國內前三名模型的工具使用得分相較于國外前三名平均略低1.8分。工具使用能力是大模型應用落地的重要場景必備能力，有助于在復雜任務場景的有效應用。（

（GLM-為了完成這項任務，我們需要按照以下步驟調用API1:患者癥狀查詢（QueryPatientSymptoms）API2:疾病診斷（DiagnoseDisease）I3:處方藥物查詢（ueryrecription定義：根據(jù)診斷的病癥查詢可能的處方藥物。功能：返回可能的處方藥物列表。API4:發(fā)起處方（InitiatePrescription）API5:審核處方（ReviewPrescription）

步驟1API調用：API1患者癥狀查詢（QueryPatient參數(shù)：患者ID步驟2:疾病診斷API調用：API2疾病診斷（Diagnose步驟3API調用：API3處方藥物查詢（QueryPrescription參數(shù)：疾病ID65547（在步驟2中獲取步驟4:發(fā)起處方API調用：API4發(fā)起處方（Initiate患者ID（（GLM-

為了為患者ID為543，藥物ID為564，劑量為10g:步驟2API調用：API4發(fā)起處方（Initiate患者ID藥物ID劑量:在發(fā)起處方之前，確保醫(yī)生已經(jīng)評估了患者的病情，并且藥物ID和劑量是正確的。發(fā)起處方后，該處方可能需要經(jīng)過其他醫(yī)療專業(yè)人員的審核（使用API5:審核通過上述步驟，可以在系統(tǒng)中為患者543創(chuàng)建一個新的處方記錄，指定藥物為564，劑量為10g。知識與百科-示例知識與百科-示例（ （gpt4-turbo-

知識與百科-示例知識與百科-示例（ （gpt4-turbo-

膠東菜系：以青島、煙臺、威海等膠東半島地區(qū)為代表。膠東菜以海鮮為主要食材，講究刀工和原料??味，菜肴口味偏重清淡，特色在于海鮮的烹飪，如煮、蒸海鮮等，強調食材的鮮美。（ （Llaa-3-70B-“在昨日的全城期待中，警察局的新聞發(fā)布會如期舉行。在眾多李偉進一步透露，張曉東是這個犯罪集團的核心人物，他的抓捕對于破解此案起了決定性的作用。警方在他的住所中發(fā)現(xiàn)了大量的贓物和犯罪。覺和積極報警，使得警方能夠及時發(fā)現(xiàn)并跟蹤這個犯罪團伙。他承

Hereisthelistofpeoplementionedinthenewsreport,excludingthosewiththesurname"王"(Wang):"李偉李偉"張曉東張曉東NoteThereareonlytwopeoplementionedinthereportwhodonothavethesurname"王"(Wang).（ （Llaa-3-70B-

Hereisthelistofpeoplementionedinthenewsreport,excludingthosewiththesurname"王"(Wang),alongwiththeirjobtitles:"李偉{"name":李偉"job":警察局長"張曉東{"name":張曉東"job":犯罪團伙頭目Note:Thereareonlytwopeoplementionedinthereportwhodonothavethesurname"王"(Wang).（ 慣用詞：李云龍的語言風格粗放豪邁，充滿軍人的直率和粗獷。他的性格特點：李云龍是一個性格直爽、敢作敢當?shù)能娙?。他不按常?guī)出386旅獨立事行動上給予趙剛堅定的支持。兩人的關系充滿了互補和相互尊重。問題：（場景：在開炮場景中，趙剛看著李云龍，試圖讓他平靜下

老子他娘的能不冷靜嗎？！眼睜睜看著秀芹在鬼子手里受罪，這心里頭跟刀割似的！可你趙剛說的沒錯，咱不能光憑一股血氣之勇，得有點兒狗日的戰(zhàn)略。但你琢磨琢磨，現(xiàn)在的情況，除了干，還有更好的法子嗎？那幫畜生占著咱們的地盤，還拿他娘的，咱也不是沒想過別的路子，派突擊隊去救人？成功率太低，搞不好還搭進去更多兄弟。跟鬼子談判？那更扯淡，跟這群王八蛋講道理，不如跟豬說相聲！所以啊，趙剛，你讓我冷靜，我冷靜個屁！但你說的策略，老子聽進去了。這炮，老狗日的，老子決定了！先讓炮兵做好準備，瞄準城樓。然后老只要她一露面，咱就開炮！這樣既能給秀芹報仇，也能最大限度地殺傷鬼子，減少咱自己兄弟的傷亡。你看咋樣？這是目前老子知道，這樣做風險大，可能秀芹……唉，可老子是個帶兵的，有時候就得做出這種抉擇。戰(zhàn)場就是這樣，不是你死就是我活，沒有中間地帶。秀芹要是泉下有知，也會理解老子的。趙剛，你是我李云龍的生死兄弟，這個時候，你得支持我。別勸我了，我知道我在做什么。開炮的時候，你就站在我旁邊，（深吸一口氣，目光堅毅）來吧，讓炮兵準備，老子這就去會（

（李云龍用力拍了拍趙剛的肩膀，語氣中帶著不容置疑的決心老子答應你，開炮的時候，一定冷靜，一定精準。這場仗，咱不僅要贏，還要贏得漂亮，讓小鬼子知道，惹了老子李云龍，就是自尋死路！生成與創(chuàng)作-示例生成與創(chuàng)作-示例（（騰訊Hunyuan-在一個世界上，光和水成為了生命的奢侈——全球糧食短缺威脅著以其革命性的合成生物學技術照亮了希望之光。我們，不僅是科技的創(chuàng)新者，更是人類未來的守護者。我們的名字代表著對食物安全設想你在為一個新創(chuàng)的生物科技公司創(chuàng)作廣告文案，該公司專注于利強調使命感：突出該生物科技公司致力于解決全球糧食短缺問題的引用技術優(yōu)勢：介紹公司科研團隊開發(fā)的改良農(nóng)作物技術，突出其

我們的團隊，通過無數(shù)個不眠之夜，開發(fā)出了一系列改良農(nóng)作物。這些不僅僅是作物，而是對未來的希望——它們具備了前所未有的抗旱和抗病能力。在我們的研發(fā)下，這些作物可以在最為惡劣的環(huán)境中茁壯成長，保障食物來源的同時，減少對環(huán)境的負擔。我們的技術，不是簡單的改良，而是生命的重構。它不僅僅代表著生物科想象一下，一個新的世界，無論是沙漠邊緣的貧瘠之地，還是遙遠偏僻的山村——每個角落都生長著豐碩的糧食，孩子們的笑聲回蕩在充滿生機的田野上。這不僅僅是一個夢。通過我們的努力，這個加入我們，一起創(chuàng)造一個充滿希望和生機的未來。我們并肩作戰(zhàn)，不僅是為了今天的生存，更是為了保障未來世代的繁榮。這是一場關于愛、科學和責任的偉大征程。我們不僅僅要讓星球再次偉大，現(xiàn)在，就讓我們一起邁出那偉大的一步。因為在這一刻，我們不僅種下了作物，更種下了希望。在未來，正是這些希望將匯聚成河，涵養(yǎng)著整個世界的生生不息。我們的名字，將成為對抗饑餓、造福生成與創(chuàng)作-示例生成與創(chuàng)作-示例（（騰訊Hunyuan-描述公司的未來愿景和發(fā)展方向，強調公司研究對全球糧食安全的重要性，并展望未來公司在這一領域的貢獻和成就。通過展示公司的未來愿景，激發(fā)投資者和合作伙伴對如何進一步細化你的廣告策略，以便吸引更廣泛的受眾，

我們的研究不僅對全球糧食安全至關重要，更是對可持續(xù)農(nóng)業(yè)發(fā)展的一大貢獻。一切看似不可能的都將變?yōu)榭赡?。這不僅意味著解決了饑餓問題，更代表著對地第5SuperCLUE2.0：行業(yè)及專項能力測評基準1.Math6數(shù)學多步推理2.RAG檢索增強生成3.Code3代碼4.Agent智能體4.Safety安全5.200K中文超長文本6.RoleVideo文生視頻8.Auto汽車基準9.ICabin智能座艙基準10.Fin金融基準11.Industry工業(yè)基準12.專項基準：Super專項基準：SuperCLUE-Math6中文數(shù)學多步推理測評基準 SuperCLUEMath6是一個GSM8K的中文升級版，專門設計來評估和提升中文大模型在數(shù)學推理方面的核心能力示例：

基于首批Math6結果，我們發(fā)現(xiàn)：頂級模型在數(shù)學推理上性能卓越通過測評結果發(fā)現(xiàn)，頂級模型（如GPT4-Turbo、GPT4和文心一言4.0）在推理任務中展現(xiàn)了卓越的性能，特別是在處理高難度的多步推理任務時。它們在推理能力和準確性方面均達到了較高的標準，證明了當前大模型的先進水平。大模型在數(shù)學推理上性能明顯分層通過對不同模型的綜合評估，我們可以看到性能上的明顯分層。高等級模型在復雜任務上的表現(xiàn)遠遠超過低等級模型，這反映了在大模型領域內技術和能力的多樣性和分層。詳情可訪問：SuperCLUE-Math6:新一代中文數(shù)學推理數(shù)據(jù)專項基準：Super專項基準：SuperCLUE-RAG中文檢索增強生成測評基準 為了對國內外大語言模型的RAG技術發(fā)展水平進行評估并據(jù)此提出改進建議，我們發(fā)布了SuperCLUE-RAG（SC-RAG）中文原生檢索增強生成測評基準。采用了不同于以往SuperCLUE評估方法的對比式測評模型，依據(jù)不同的任務類型，全方位、多角度地對RAG技術水平進行測評。不同于以往的測評體系，SuperCLUE-RAG還采用了對比式問答模式。除無文檔問答類任務以外，針對同一問題進行先后兩次提問，第一次不提供任何外部文檔信息，第二次人為提供預設文檔，對比兩次答案的差異。

從中文RAG檢索增強整體能力上看，國內外頭部模型差距不大，僅在2分之內。體現(xiàn)了國內大模型對中文檢索生成能力上的有一定競爭力。在答案即時性能力上，國外模型依然有很大優(yōu)勢，領先國內最好模型64分。是國內模型重點優(yōu)化的方向之一。在信息整合、拒答和檢錯糾錯能力上，國內模型展現(xiàn)了在中文檢索解析能力上的優(yōu)勢，頭部模型有優(yōu)于GPT4的表現(xiàn)。從整體RAG能力和各任務能力得分上看，國內外大模型均有較大提升空間，離廣泛的落地應用還有一定差距。內容檢索是大模型重要且高頻使用場景，是未來大模型真正實現(xiàn)企業(yè)級應用的重要方向。詳情可訪問：SuperCLUERAG中文檢索增強生成測評基準：現(xiàn)征集RAG測評，有意愿參與測評的廠商可發(fā)送郵件至contact@superclue.ai，標題：SuperCLUE-專項基準：Super專項基準：SuperCLUE-Code3中文原生等級化代碼能力測評基準 目前，中文編程環(huán)境缺乏一個專門的評測基準，這限制了中文大模型在代碼生成方面能力的客觀評估和優(yōu)化。這一語言和文化差異導致中文大模型在編程任務上的潛力未能得到充分挖掘和利用。為了緩解這一問題，我們推出了SuperCLUECode3測評集和基準。這是一個HumanEval的中文升級版，通過功能性單元測試，專門設計來評估和提升中文大模型在代碼生成方面的核心能力。SuperCLUE-Code3（簡稱SC-Code3）不僅延續(xù)了HumanEval高質量，更在多樣性和應用廣度上進行了適當擴充。

注：詳情可訪問：【發(fā)布】SuperCLUE-Code3力測評基準www.CLUE/supercue_code3.htmlcontact@superclue.ai，標題：SuperCLUE-Code3

我們選取了國內外有代表性的11個閉源開源的模型進行測評。GPT-4-0125-preview作為國際大模型，在加權得分上達到68.00非加權得分為78.97，明顯高于其他模型，尤其是在高級難度得分上達到52.63，表明其對復雜問題的處理能力強。所有模型在初級難度得分上的表現(xiàn)普遍不錯，例如GPT40125preview在初級難度得分為8889，這表明大部分模型能夠較好地處理基礎編程任務。高級難度的得分在各模型間表現(xiàn)出較大差異，國際大模型如GPT-4的得分為4474，而國內部分小模型未超過30分，說明在處理更復雜的編碼問題時，大模型的優(yōu)勢更加明顯。專項基準：Super專項基準：SuperCLUEAgent中文智能體測評基準 AIAgent智能體正在最大程度釋放了LLM潛能，逐漸成為了通向AGI的技術共識。AIAgent是一個能夠自主理解、規(guī)劃決策和執(zhí)行復雜任務的智能體?，F(xiàn)有關于Agent能力的測評，主要是在英文場景或任務的測評。目前還沒有一個在中文任務和場景上針對中文大模型的全面測評。SuperCLUE-Agent是一個聚焦于Agent能力的多維度基準測試，包括3大核心能力、10大基礎任務，可以用于評估大語言模型在核心Agent能力上的表現(xiàn)，包括工具使用、任務規(guī)劃和長短期記憶能力。

國內外代表性模型SuperCLUE-Agent十大能力上的表現(xiàn)

我們選取了國內外有代表性的16個閉源開源的模型進行測評。Agent核心基礎能力上，國內模型已經(jīng)較為接近或部分超過GPT35水平。GPT-4在SuperCLUE-Agent的10個任務中有5個任務表現(xiàn)最佳，這表明GPT4在智能體方面具有非常大的優(yōu)勢，但值得肯定的是，國內有部分模型在某些任務上表現(xiàn)也可圈可點，如ChatGLM3Turbo在任務分解、多文檔問答和檢索API能力上表現(xiàn)驚艷。另外，國內開源模型已經(jīng)具備比較強的競爭力，某些方面超過了一些閉源模型?！拘禄鶞省縎uperCLUE-Agent:首個AI智能體中文測評基準發(fā)布專項基準：Super專項基準：SuperCLUESafety中文大模型多輪對抗安全基準 SC-Safety大模型安全類測評，包含以下三個維度能力的檢驗：傳統(tǒng)安全類、負責任人工智能和指令攻擊，包括二十余項子任務，每個任務約有200余道題目。共有4912個題目，即2456對題目（含問題和多輪追問）。所有題目均為具有安全挑戰(zhàn)性的題目，皆有由模型和人類引入對抗性技術獲得的“安全風險”題目。這三個能力共同構成了一個全面的AI大模型的安全類測評體系，能夠檢驗模型在遵守基本道德法律標準、與人類價值觀的對齊，以及抵御潛在攻擊等方面的能力中文大模型多輪對抗安全基準SuperCLUE-Safety專項基準：Super專項基準：SuperCLUE-200K大模型中文超長文本測評基準 SuperCLUE200K（中文大海撈針）是一個聚焦于超長文本能力的基準測評，主要是在中文超長文本語料（大海撈針的）中，在不同位置中放入與文本語料無關的一句文本（”），用以考察大模型在超長文本中的處理能力。

在中文超長文本測評中國內外差距并不明顯：GPT4-Turbo-0125作為國際頭部大模型，在可支相比英文大海撈針NAH，SC-200K區(qū)分性更大：GPT4-Turbo、Moonshot、XVERSE-13B-L、Yi-34B-Long在SC-200K和NAH的測評結果在某些等SC-200K測評更能考驗模型真實能力，少有滿分長文本無損能力：在Prompt長度逐漸提升時，部注：現(xiàn)征集超長文本大模型測評，有意愿參與SuperCLUE-200K測評的廠商可發(fā)送郵件至contact@supercue.a，標題：SuperCLUE-200K測評，請使用單位郵箱，郵件內容包括：單位信息、大模型簡介、聯(lián)系人和所屬部門、聯(lián)系方式。專項基準：Super專項基準：SuperCLUERole中文角色扮演測評基準 大模型的角色扮演能力是AI領域的一大關注熱點，并且具有不錯的應用前景，可以幫助開發(fā)情感陪伴工具和游戲NPC等。當前的角色扮演測評基準包括CharacterEval、RoleBench等，這些基準的測評標準和方式往往不統(tǒng)一，并且在評價體系上不夠全面，缺少對于模型在常見應用場景下的應用潛力的評估。為了緩解這一問題，我們推出了SuperCLUE-Role測評基和基準。這是一個包括角色扮演基礎能力和場景應用能力測評的中文基準，專門設計來評估和提升中文大模型在角色扮演方面的核心能力。

在中文環(huán)境下的角色扮演任務中，國內的模型有著不錯的表現(xiàn)，比如qwen1572b-chat、文心一言40均有超過GPT4的表現(xiàn)。模型的知識掌握水平是對于角色演繹能力和場景應用能力的重要支撐，較好的角色演繹力和場景應用能力通常需要模型具有不錯的知識掌握水平。模型角色扮演能力有待加強：模型更擅長處理常規(guī)的角色扮演問題，對于非常規(guī)的問題，對齊角色能力大大降低，也是模型可考慮改進的方向。多輪效果衰減：隨著對話輪數(shù)的增加，模型的表現(xiàn)會出現(xiàn)普遍的降低。SuperCLUERole：中文角色扮演測評基準多模態(tài)基準：Super多模態(tài)基準：SuperCLUEVideo中文文生視頻測評基準 隨著技術的進步，文生視頻（Textto-Video）的研究和應用也在全球范圍內蓬勃發(fā)展。例如，OpenAI推出的Sora模型便能根據(jù)文本創(chuàng)建逼真的視頻內容，這類技術在短視頻制作、影視制作、廣告和娛樂行業(yè)等領域具有巨大的應用潛力和商業(yè)價值。目前已經(jīng)存在一些英文的文生視頻基準，如VBench、FETV和EvalCrafter，可以用于評測英文文生視頻模型的性能。然而，針對中文文生視頻大模型的基準測試還比較缺乏，無法直接評估中文文生視頻大模型的質量和效果。中文文生視頻技術正處在快速發(fā)展的階段，為了推動這方面的發(fā)展，需要建立一個專門針對中文大模型的基準測試。為應對現(xiàn)有挑戰(zhàn)，我們推出了中文專用的多層次文生視頻基準測試SuperCLUEVideo。旨在通過一系列詳盡的評估指標和測試數(shù)據(jù)集，全面衡量中文視頻生成模型在生成質量、多樣性及一致性等方面的性能。其設計融合了國際基準的架構及針對中文環(huán)境的特殊需求，旨在促進中文視頻生成領域的研究、開發(fā)與技術創(chuàng)新。

SuperCLUE-Video:郵件標題：SuperCLUE-Vdeo測評申請，發(fā)送到contact@supercue.a，請使用單位郵箱，郵件內容包括：單位信息、文生視頻大模型簡介、聯(lián)系人和所屬部門、聯(lián)系方式行業(yè)基準：Super行業(yè)基準：SuperCLUEAuto汽車行業(yè)測評基準 SuperCLUE-Auto首個汽車行業(yè)大模型測評基準，它是一個多維度的多輪開放式問題的測評基準。它不僅能評價汽車行業(yè)大模型的能力，也能針對具體維度和模型的回答給出細化的反饋。主要包括4大核心基礎能力的十余個任務。評估流程：1）設定每個維度下的評估標準；2）每一個維度下的問題，基于該維度下的多個評價標準，結合打分規(guī)則并使用超級模型作為裁判逐個打分，并獲得該題目的得分（即每個維度下的平均分）3）每一個維度下所有題目的分數(shù)，并計算特定模型（GPT35）在該維度的得分。

我們選取了國內外有代表性的12個閉源開源的模型進行測評。通過測評結果發(fā)現(xiàn)，GPT4Turbo依然領先幅度較大。但多個中文大模型在汽車行業(yè)上具有良好表現(xiàn)（75分或以上）4個中文大模型在中文的汽車場景的表現(xiàn)超過了GPT35，表明中文大模型在汽車場景上已經(jīng)具備了的良好的潛力。部分大模型在技術和應用不同維度表現(xiàn)稍顯不一致。車輛使用指南這一維度上，多個模型達到了80分以上的優(yōu)異表現(xiàn)，說明在一些對用戶有用的任務上（如操作指南、車輛故障診斷、維修保養(yǎng)）已經(jīng)具備較高的交互成熟度。在智能座艙與交互這一維度上，僅有一個中文模型達到了良好表現(xiàn)，說明中文大模型在智能座艙與交互還有不少的進步空間。在汽車場景中，有一些1314B中小模型也超過了云端的閉源模型，說明可滿足用戶需求具備良好能力的端側模型有非常大的潛力。行業(yè)基準：Super行業(yè)基準：SuperCLUEFin金融行業(yè)測評基準 SuperCLUEFin（SCFin）中文原生金融大模型測評基準依據(jù)不同的任務類型，全方位地對金融大模型進行測評。

國內外頭部模型在中文金融能力差距較小從金融大模型綜合能力上看，國內外頭部模型差距較小。體現(xiàn)了國內大模型在金融領域綜合能力上有一定的競爭力。在各項任務領域，較多國內模型得分超過GPT-4與GPT-35Turbo，總體表現(xiàn)良好。國內大模型在金融能力上的三個梯隊在首批金融測評中，國內大模型大致可以分為三個梯隊：第一梯隊包括GLM4與MoonShotv1128k，其等級為A，低于GPT4Turbo在國內表現(xiàn)最為突出；第二梯隊包括訊飛星火V35與文心一言40，其等級為B，性能優(yōu)于GPT4；第三梯隊模型則以部分金融專項大模型為主，等級集中在C及以下。SuperCLUEFin：金融行業(yè)測評基準行業(yè)基準：Super行業(yè)基準：SuperCLUEIndustry工業(yè)行業(yè)測評基準SuperCLUEIndustry（SCIndustry）是首個中文原生的工業(yè)大模型測評基準，旨在通過基礎能力和應用能力兩大維度、六大能力對大模型進行效果評估，并加入了智能體Agent能力的測評。設計結合國際標準和中文特需，旨在推動工業(yè)大模型技術進步與創(chuàng)新。SuperCLUEIndustry測評體系國際大模型表現(xiàn)依然突出國際大模型表現(xiàn)依然突出：GPT4Turbo0125作為目前國際領先的大模型，在中文工業(yè)測評中總分748分，高于其他國內外模型，并且在各項子能力上均有較大優(yōu)勢。在中文工業(yè)場景中國內模型很有競爭力在中文工業(yè)場景中國內模型很有競爭力：可以看到本次上榜的國內模型在工業(yè)基礎能力和應用能力上均表現(xiàn)不俗，國內最高分奇智孔明AInno-15B與GPT4總分差距僅有14分，遠小于國內大模型通用能力上與GPT4的差距。SuperCLUEIndustry：工業(yè)行業(yè)測評基準行業(yè)基準：Super行業(yè)基準：SuperCLUEICabin汽車智能座艙測評基準 智能座艙通過集成大量高科技功能，為駕駛員和乘客提供了更為舒適、便捷的乘坐體驗。它不僅包括了語音識別交互、圖像感知、個性化服務推薦等常見功能，還涉及智能駕駛和自動駕駛等高端技術。因此，智能座艙的智能化水平成為了衡量一輛汽車科技含量的重要標準。