12編委會(huì)指導(dǎo)單位指導(dǎo)委員會(huì)何寶宏中國(guó)信息通信研究院云計(jì)算與大數(shù)據(jù)研究所所長(zhǎng)楊帆商湯科技聯(lián)合創(chuàng)始人、大裝置事業(yè)群總裁鳴謝王婉秋、李兆松、成功、楊松、賓佳麗、孫振邦、蘇立宇、劉武、編寫組王月中國(guó)信息通信研究院云計(jì)算與大數(shù)據(jù)研究所數(shù)據(jù)中心部周彩紅中國(guó)信息通信研究院云計(jì)算與大數(shù)據(jù)研究所數(shù)據(jù)中心部工程師程大寧中國(guó)科學(xué)院計(jì)算技術(shù)研究所特別研究劉亮商湯科技智能產(chǎn)業(yè)研究院戰(zhàn)略研究主任楊燕商湯科技智能產(chǎn)業(yè)研究院戰(zhàn)略研究主任設(shè)施的構(gòu)建成本和使用門檻。”34 6 8 12 13 16 19 19 22 23 25 27 29 31 33 33 36 39 41 45 48 485 51 54 55 59 616關(guān)鍵發(fā)現(xiàn)過云服務(wù)向開發(fā)者和企業(yè)提供更高效的大模型服務(wù)。MaaS加速了AI應(yīng)用75.新一代AI基礎(chǔ)設(shè)施為政務(wù)服務(wù)、產(chǎn)業(yè)升級(jí)和科研創(chuàng)新等領(lǐng)域帶來了前所未有的社會(huì)價(jià)值。將原本分散、碎片化的政務(wù)應(yīng)用，通過“一模通辦”為政能驅(qū)動(dòng)科學(xué)研究（AIforScience術(shù)、戰(zhàn)略愿景、市場(chǎng)生態(tài)三大維度、十二個(gè)評(píng)估指標(biāo)，對(duì)AI基礎(chǔ)設(shè)施廠商進(jìn)行定性和定量的全面評(píng)估。SenseCore商湯大裝置，成為市場(chǎng)領(lǐng)導(dǎo)者，8導(dǎo)語：AI新基建開啟“三浪變革”15世紀(jì)的古登堡發(fā)明的鉛活字印刷術(shù)，讓人類千年歷史通過印刷書籍形式推廣傳承，知識(shí)從手工抄寫到活字印刷速度提升了118倍，高質(zhì)量文本數(shù)據(jù)1。人類的知識(shí)革命大幕剛剛開啟，高新科研、三大類產(chǎn)業(yè)、公數(shù)字經(jīng)濟(jì)霸主，從Windows、AppStore到GPTs都不例外，當(dāng)前智能編程助手改變代碼生產(chǎn)流程，大語言模型成為新一代AGI服務(wù)入口、軟件調(diào)度9語言翻譯、單元測(cè)試用力生成、代碼修正（改Bug）、代碼重構(gòu)、編程技術(shù)知能力和人工智能》報(bào)告指出，早期AI模型算力需求是每21.33年通過一系列基礎(chǔ)設(shè)施的技術(shù)革新，持續(xù)降低AI計(jì)算整下降，對(duì)中國(guó)AI2.0的大市場(chǎng)、大用戶量至關(guān)重要。一、大模型、生成式AI推動(dòng)AI2.0時(shí)代到來顛覆性潛能得到越來越多的企業(yè)認(rèn)可，企業(yè)不再追問何為了解生成式AI的投入能帶來哪些具體業(yè)務(wù)價(jià)值。G2“ForecastAnalysis:ArtificialIntelligen圖3：生成式AI驅(qū)動(dòng)AI市場(chǎng)規(guī)?；l(fā)展，并帶來全新經(jīng)濟(jì)效益1.生成式AI推進(jìn)產(chǎn)業(yè)規(guī)?；珹I無處不在愿景加速實(shí)現(xiàn)業(yè)務(wù)職能中經(jīng)常使用生成式AI應(yīng)用（見圖4）。企業(yè)通過以下一系列舉措，不只能探索創(chuàng)新解決方案的一小部分，而生成式AI可以幫助人類能夠利用更圖5：AI2.0時(shí)代，企業(yè)需要重新制定AI戰(zhàn)略2.產(chǎn)業(yè)鏈成熟分化，基礎(chǔ)設(shè)施成為AI產(chǎn)業(yè)發(fā)展基座和保障IDC預(yù)測(cè)，2022年中國(guó)智能算力規(guī)模達(dá)259.9EFLOPS，2023年將達(dá)到-2027年期間，中國(guó)智能算力規(guī)模年復(fù)合增長(zhǎng)率達(dá)33.9%，同期通用算力精確度不佳等一系列挑戰(zhàn)，在某種程度上，反向業(yè)務(wù)邏輯對(duì)基模型進(jìn)行微調(diào)，輔助提示詞工程來開發(fā)相應(yīng)的生成式AI應(yīng)入了一個(gè)高速發(fā)展且無處不在的全新時(shí)代（見圖7）。高速成熟化發(fā)展，生成式AI應(yīng)用也迎來爆發(fā)式增長(zhǎng)（見圖8）。最早，以ChatGPT、Midjourney面向不同行業(yè)領(lǐng)域或用戶群體的工具類應(yīng)用，如代碼生成、Copilot、數(shù)字圖7：AI2.0時(shí)代，人工智能的生產(chǎn)范式發(fā)生了根本性改變二、AI2.0時(shí)代對(duì)AI基礎(chǔ)設(shè)施提出了全新要求1.傳統(tǒng)計(jì)算基礎(chǔ)設(shè)施無法滿足大模型、生成式AI的新要求億參數(shù)的GPT-3模型大概需要的算力約為3640PFlops-day，共使用了增長(zhǎng)也超過15萬倍，遠(yuǎn)超摩爾定律8。例如，GPT-4參數(shù)來或?qū)⑦h(yuǎn)遠(yuǎn)超過訓(xùn)練階段的算力當(dāng)量（見圖9）。練下集群中由于網(wǎng)絡(luò)通信或數(shù)據(jù)緩存等問題都會(huì)造成大模型訓(xùn)練型訓(xùn)練的連續(xù)性。但是，傳統(tǒng)訓(xùn)練方式下當(dāng)模型參數(shù)量大時(shí)，Checkpoint練需要長(zhǎng)時(shí)間占據(jù)規(guī)模龐大的GPU集群，這導(dǎo)致單個(gè)節(jié)點(diǎn)發(fā)生故障就使得2.數(shù)據(jù)質(zhì)量和效率決定大模型的高質(zhì)量發(fā)展之路理“作坊式”的工作模式，已無法滿足大模型訓(xùn)練和迭代激增的“工業(yè)化”AI代碼輔助生成工具時(shí)，一般需要上傳企業(yè)已有代碼庫，使大模型給出更3.大模型需要全新的AI平臺(tái)服務(wù)模式求較高。MaaS（ModelasaService，大模型即服務(wù)）代表著一種全新的AI百度、商湯等廠商均推出MaaS服務(wù)。MaaS降低了企業(yè)享受大模型、生成式滲透率只有4%。大模型時(shí)代，基于“基礎(chǔ)大模型+微調(diào)三、新一代AI基礎(chǔ)設(shè)施的定義、特點(diǎn)和價(jià)值A(chǔ)I2.0時(shí)代需要新一代的基礎(chǔ)設(shè)施來支撐大模型的訓(xùn)練與推理、生成式AI訓(xùn)練、推理、模型能力調(diào)用、生成式AI應(yīng)用部署。企業(yè)通過新一代AI基礎(chǔ)設(shè)圖12：新一代AI基礎(chǔ)設(shè)施主要由算力、MaaS及相關(guān)工具構(gòu)成需求特點(diǎn)，高度集成AI軟件能力，充分使算力的管理能力拓展到整個(gè)智算中心，實(shí)現(xiàn)對(duì)AI計(jì)算資源的靈活調(diào)度、1.新一代AI基礎(chǔ)設(shè)施的主要特點(diǎn)智算中心不僅是新一代AI基礎(chǔ)設(shè)施的物理載體，還是集公共算力服務(wù)、數(shù)國(guó)家信息中心《智能計(jì)算中心創(chuàng)新發(fā)展指南》測(cè)算，在智算中心實(shí)現(xiàn)80%應(yīng)用水平下，區(qū)域?qū)χ撬阒行牡耐顿Y可帶動(dòng)AI核心產(chǎn)業(yè)增長(zhǎng)2.9~3.4大模型研發(fā)及預(yù)訓(xùn)練需要低成本、大規(guī)模的AI算力資源支持，而在應(yīng)用階2.新一代AI基礎(chǔ)設(shè)施創(chuàng)造社會(huì)價(jià)值企業(yè)之間的中間層，助力通用大模型轉(zhuǎn)化為行業(yè)大模型。還有海量AI原生對(duì)20種其他生物蛋白質(zhì)的結(jié)構(gòu)進(jìn)行預(yù)測(cè)12。在氣象領(lǐng)域，上海人工智能實(shí)圖14：新一代AI基礎(chǔ)設(shè)施賦能政務(wù)、產(chǎn)業(yè)和科3.新一代AI基礎(chǔ)設(shè)施賦能企業(yè)享受生成式AI紅利升級(jí)。微博將商湯大語言模型與其業(yè)務(wù)數(shù)據(jù)進(jìn)行融合，讓博主擁有AI營(yíng)銷生物學(xué)公司AbSci在零樣本的情況下使用大模型設(shè)計(jì)構(gòu)建不同于現(xiàn)有抗體圖15：生成式AI為企業(yè)帶來四方面業(yè)務(wù)紅利四、新一代AI基礎(chǔ)設(shè)施廠商格局與評(píng)估1.云計(jì)算、AI原生、硬件系統(tǒng)三類廠商塑造市場(chǎng)格局AI基礎(chǔ)設(shè)施市場(chǎng)依然處于高速競(jìng)爭(zhēng)的初級(jí)階段，從進(jìn)入該市場(chǎng)不同廠商的以阿里云、百度智能云等傳統(tǒng)云計(jì)算廠商為代表，在大模型、生成式AI爆求。升級(jí)手段包括啟動(dòng)GPU集群的建設(shè)和相應(yīng)工程化系統(tǒng)建設(shè)向智能時(shí)代，阿里云將通過從底層算力到AI平臺(tái)再到模型服務(wù)的全棧技術(shù)代表廠商有浪潮、新華三等。浪潮作為AI服務(wù)器出貨量領(lǐng)先的廠商之一，還在不斷加強(qiáng)對(duì)AI平臺(tái)能力的補(bǔ)齊，同時(shí)在近期推出了“源2.0”基礎(chǔ)大圖16：新一代AI基礎(chǔ)設(shè)施廠商格局一覽注：本次研究聚焦于能夠提供比較全面AI基礎(chǔ)設(shè)施產(chǎn)品服務(wù)的廠商。對(duì)于市場(chǎng)上僅提供2.評(píng)估體系：產(chǎn)品能力、戰(zhàn)略愿景與市場(chǎng)生態(tài)度，以及支撐大模型訓(xùn)練和生成式AI應(yīng)大評(píng)估指標(biāo)：產(chǎn)品技術(shù)及服務(wù)、工程化、市場(chǎng)響應(yīng)及發(fā)展、圖17：新一代AI基礎(chǔ)設(shè)施評(píng)估體系高高中中中高高高中中中中3.商湯科技評(píng)估結(jié)果：新一代AI基礎(chǔ)設(shè)施市場(chǎng)領(lǐng)導(dǎo)者行路徑，捕捉到了AI2.0時(shí)代所帶來的產(chǎn)業(yè)變化，并基商湯科技推出的AI基礎(chǔ)設(shè)施產(chǎn)品與解決方案為“SenseCore商湯大裝能計(jì)算中心（AIDC）正式投入運(yùn)營(yíng)。SenseCore商湯大裝置搭建了完善的AI以AI專家服務(wù)和數(shù)據(jù)服務(wù)助力相關(guān)技圖18：新一代AI基礎(chǔ)設(shè)施廠商評(píng)估結(jié)果-商湯科技圖19：SenseCore商湯大裝置全景圖4.SenseCore商湯大裝置技術(shù)發(fā)展優(yōu)勢(shì)國(guó)范圍的算力中心和節(jié)點(diǎn)，面向大模型、生成式AI場(chǎng)景構(gòu)建產(chǎn)品（見圖20（見圖21）。打造高穩(wěn)定性的算力池，實(shí)現(xiàn)千卡并行訓(xùn)練線性加速比超過的帶寬并向3.2T發(fā)展。提供云管理平臺(tái)，實(shí)現(xiàn)公有、專有、私有、混合等的AI開發(fā)工具套件，幫助開發(fā)者完成大模型的開發(fā)工作。商湯大裝置將會(huì)助力各行業(yè)重構(gòu)企業(yè)應(yīng)用（見圖22）。標(biāo)準(zhǔn)院及頭部算力生態(tài)合作企業(yè)制定芯片及算力評(píng)5.SenseCore商湯大裝置業(yè)務(wù)布局優(yōu)勢(shì)支持外部客戶訓(xùn)練大模型和應(yīng)用部署（見圖23）。2023年以來，共有超行業(yè)的技術(shù)迭代進(jìn)度，并支持了數(shù)十款生成式AI應(yīng)用。在服務(wù)內(nèi)部與外部加強(qiáng)建成后的運(yùn)營(yíng)機(jī)制打造，面向當(dāng)?shù)谹I相關(guān)需求企業(yè)進(jìn)行相關(guān)服務(wù)的運(yùn)平臺(tái)能力、專家服務(wù)能力，支持區(qū)域智能化產(chǎn)業(yè)轉(zhuǎn)型/升級(jí)，幫助當(dāng)?shù)仄髽I(yè)閉環(huán)落地（見圖24）。商湯大裝置已經(jīng)在廣州、重慶、深圳和福建成并運(yùn)圖23：商湯上海臨港AIDC算力規(guī)模領(lǐng)先圖24：商湯大裝置賦能打造區(qū)域AI產(chǎn)業(yè)智能化高地五、新一代AI基礎(chǔ)設(shè)施實(shí)踐案例1.大模型訓(xùn)練服務(wù)。這種舉措旨在推動(dòng)公司通用人工智能（AAIGC大模型等。新華社研究院《人工智能大模型體驗(yàn)報(bào)告3.0》中，商量大語車、地產(chǎn)、能源、傳媒、工業(yè)制造等眾多垂直行業(yè)，已經(jīng)與超過500家客戶建500P，專注于滿足客戶超大模型訓(xùn)練需求。通過商湯大裝置的資源調(diào)度機(jī)制，出了400億參數(shù)量的孟子大模型，可處理多語言、多模態(tài)數(shù)據(jù)，同時(shí)支2.生成式AI應(yīng)用與真人講師不同，"小鹿"的語言表達(dá)精準(zhǔn)，課程內(nèi)容豐富，是普通面授課程的取流量到商業(yè)變現(xiàn)的“數(shù)字鴻溝”。在客服方面，AI營(yíng)銷助手不僅能夠根據(jù)客3.AI專家服務(wù)互聯(lián)網(wǎng)企業(yè)和金融服務(wù)機(jī)構(gòu)以市場(chǎng)化方式共同發(fā)起成立的信息技術(shù)綜合服務(wù)企業(yè)，以“讓金融服務(wù)更加安全便捷”為愿景，秉承“讓數(shù)據(jù)說話，用科技賦能”析和營(yíng)銷文案AI生成在內(nèi)的一系列功能。這些功能旨在幫助金融機(jī)構(gòu)的客戶經(jīng)目前，金融行業(yè)知識(shí)庫問答系統(tǒng)大模型正在進(jìn)行嚴(yán)格的測(cè)試階段。在包含的準(zhǔn)確性和可靠性。一旦這個(gè)大模型完全融入SCRM系4.智算中心建設(shè)與運(yùn)營(yíng)AI服務(wù)；三是考慮到美國(guó)對(duì)華芯片政策的日益收緊，政府從長(zhǎng)遠(yuǎn)的角度出發(fā)，行各業(yè)、科研機(jī)構(gòu)等產(chǎn)業(yè)用戶提供涵蓋AI算力、大模型訓(xùn)練、推理部署和應(yīng)用高端裝備制造、新材料等重點(diǎn)產(chǎn)業(yè)提供強(qiáng)大的人工智能算力資源同比增長(zhǎng)13%。為深化“數(shù)字福建”建設(shè)，高起點(diǎn)打造國(guó)家數(shù)字經(jīng)濟(jì)創(chuàng)新發(fā)展由福建省大數(shù)據(jù)集團(tuán)的成員單位——福建省星漢智能科技有限公司（簡(jiǎn)稱云容器實(shí)例、AI云開發(fā)機(jī)等算力服務(wù)產(chǎn)品，為大模型訓(xùn)練推理提供高性能、高六、建議大模型、生成式AI正變得越來越復(fù)雜，這意味著更多的數(shù)據(jù)要處理、更大參數(shù)的大模型、更頻繁的再訓(xùn)練和微調(diào)。不符合要求的AI基礎(chǔ)設(shè)施將會(huì)無以大大降低大模型的訓(xùn)練和推理時(shí)間，讓企業(yè)的AI團(tuán)隊(duì)更加有效率。請(qǐng)參考本白皮書提出的“新一代AI基礎(chǔ)設(shè)施廠商評(píng)估體系”，重新評(píng)估現(xiàn)有的于大模型、生成式AI創(chuàng)業(yè)公司而言，加快大模型訓(xùn)練流程和加速應(yīng)用推向市場(chǎng)是更高優(yōu)先級(jí)的任務(wù)。已經(jīng)擁有算力儲(chǔ)備，并積累了產(chǎn)業(yè)經(jīng)驗(yàn)的新型展，而非底層資源的投資和搭建，規(guī)避了自能的高質(zhì)量發(fā)展，拓展生成式AI創(chuàng)新應(yīng)用場(chǎng)景的深度與廣度。為了加快區(qū)大模型技術(shù)和運(yùn)營(yíng)能力的廠商合作，打通算力底座與生成式AI應(yīng)用閉環(huán)，蹤開源生成式AI代碼、數(shù)據(jù)和培訓(xùn)模型使用的指導(dǎo)方法；是否開展了全新的針對(duì)生成式AI的使用培訓(xùn)，以及是否設(shè)立了相關(guān)的安全、隱私及倫理的結(jié)語：新一代人工智能基礎(chǔ)設(shè)施的“經(jīng)濟(jì)