2025聯(lián)想算力基礎(chǔ)設(shè)施非凡箓-AI大模型算力解決方案手冊(cè)-聯(lián)想_第1頁
2025聯(lián)想算力基礎(chǔ)設(shè)施非凡箓-AI大模型算力解決方案手冊(cè)-聯(lián)想_第2頁
2025聯(lián)想算力基礎(chǔ)設(shè)施非凡箓-AI大模型算力解決方案手冊(cè)-聯(lián)想_第3頁
2025聯(lián)想算力基礎(chǔ)設(shè)施非凡箓-AI大模型算力解決方案手冊(cè)-聯(lián)想_第4頁
2025聯(lián)想算力基礎(chǔ)設(shè)施非凡箓-AI大模型算力解決方案手冊(cè)-聯(lián)想_第5頁
已閱讀5頁,還剩118頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

AI大模型算力解決方案手冊(cè)卷首語第一章AI戰(zhàn)略制勝法則:智算基礎(chǔ)設(shè)施重構(gòu)商業(yè)價(jià)值3第二章企業(yè)AI大模型應(yīng)用:從試水到規(guī)?;涞氐娜绿魬?zhàn)9第三章聯(lián)想AI基礎(chǔ)設(shè)施九大技術(shù)優(yōu)勢(shì),全面擁抱大模型2.0時(shí)代3.3九大差異化技術(shù),突破智算效率極限3.6場(chǎng)景化方案推薦,個(gè)性化解決業(yè)務(wù)需求第四章技術(shù)突破與商業(yè)價(jià)值雙輪驅(qū)動(dòng)404.3“可用”到“好用”,讓創(chuàng)新技術(shù)緊貼業(yè)務(wù)需求4.4一站式解決方案,全周期護(hù)航第五章聯(lián)想AI基礎(chǔ)架構(gòu)賦能不同產(chǎn)業(yè)’實(shí)現(xiàn)商業(yè)價(jià)值飛躍515.1聯(lián)想賦能聯(lián)寶科技,驅(qū)動(dòng)制造全鏈效能與成本雙優(yōu)化5.2金融企業(yè)基于全棧方案簡(jiǎn)化運(yùn)維流程,推動(dòng)智能化轉(zhuǎn)型第六章未來征程:聯(lián)想AI生態(tài)的全景藍(lán)圖與使命承諾56CONTENTS以Γ智」筑基,以Γ算」賦實(shí)――迎接AI價(jià)值普惠的新紀(jì)元算力為舟濟(jì)滄海,智能作翼破長(zhǎng)空。當(dāng)AI大模型以70%的年增速重塑千行百業(yè),當(dāng)單月億級(jí)用戶涌入AI應(yīng)用洪流,企業(yè)正面臨算力效能與落地成本的雙重考驗(yàn)。這場(chǎng)由DeepSeek等大模型驅(qū)動(dòng)的技術(shù)革命,既需萬卡集群的磅礴之力,更求單機(jī)部署的繡花功夫――唯有筑牢"算-存-聯(lián)想以混合式基礎(chǔ)設(shè)施為支點(diǎn),撬動(dòng)AI全場(chǎng)景落地:萬全異構(gòu)智算平臺(tái)3.0攜四大技術(shù)創(chuàng)新破局――AI推理加速算法集實(shí)現(xiàn)5-10倍性能躍升,編譯優(yōu)化器降低15%訓(xùn)練成本,慢節(jié)點(diǎn)自愈系統(tǒng)達(dá)成萬卡十分鐘級(jí)故障恢復(fù),專家并行算法削減3倍推理延遲。這一技術(shù)底座更通過聯(lián)想萬全AI一體機(jī)實(shí)現(xiàn)端到端落地:基于聯(lián)想自研的聯(lián)想萬全異構(gòu)智算平臺(tái)管理推理引擎層三級(jí)調(diào)優(yōu)技術(shù),將異構(gòu)算力利用率提供“開箱即用”的本地化AI解決方案,真正實(shí)現(xiàn)從技術(shù)突破到產(chǎn)業(yè)普惠1聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)11聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)本冊(cè)《非凡箓》濃縮聯(lián)想智算實(shí)踐精華:首章揭示DeepSeek技術(shù)矩陣如何重構(gòu)企業(yè)競(jìng)爭(zhēng)力;中篇以多維智能算力匹配、GPU內(nèi)核態(tài)虛擬化、集合通信算法庫、AI高效斷點(diǎn)續(xù)訓(xùn)、AI與HPC異構(gòu)集群調(diào)度等九大差異化技術(shù)拆解規(guī)模化落地密碼,完整詮釋聯(lián)想在異構(gòu)智算領(lǐng)域的創(chuàng)新成果;終章通過制造、金融等領(lǐng)域的成功案例,詮釋軟硬協(xié)同如何讓AI從"可用"到"好用"。這既是技術(shù)手冊(cè),更是產(chǎn)業(yè)躍遷的路線圖――以九層之臺(tái)起于壘土的堅(jiān)韌,成鯤鵬擊浪從茲始的"浩渺行無極,揚(yáng)帆但信風(fēng)。"面對(duì)AI服務(wù)器增速藍(lán)海,聯(lián)想愿與業(yè)界同仁共執(zhí)算力之楫,在智能時(shí)代的滄海中直掛云帆。讓我們以這本《非凡箓》為契,共赴"大模型賦實(shí)千行,新基建智領(lǐng)萬業(yè)"的星辰3聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)推動(dòng)AI普惠并搶占戰(zhàn)略制高點(diǎn)在全球數(shù)字經(jīng)濟(jì)加速向智能化轉(zhuǎn)型的浪潮中,生成式AI技術(shù)突破、大模型生態(tài)爆發(fā)與數(shù)據(jù)量指數(shù)級(jí)增長(zhǎng),正重塑企業(yè)競(jìng)爭(zhēng)格局,使得算力需求呈現(xiàn)前站在從傳統(tǒng)IT架構(gòu)向智能決策體系轉(zhuǎn)型的戰(zhàn)略窗口。在這場(chǎng)智能革命中,算力集群的彈性擴(kuò)展能力、算法框架的優(yōu)化及數(shù)據(jù)資產(chǎn)的跨域融合,共同構(gòu)成了數(shù)字化轉(zhuǎn)型的堅(jiān)實(shí)迫切需要突破算力孤島、算法碎片化和數(shù)據(jù)質(zhì)量瓶頸。構(gòu)建全棧協(xié)同在此背景下,DeepSeek以“技術(shù)普惠+生態(tài)開放”為核心,成為推動(dòng)AI產(chǎn)業(yè)變重要力量。隨著市場(chǎng)需求的持續(xù)攀升,DeepSeek不僅實(shí)現(xiàn)了市場(chǎng)空間的顯著擴(kuò)張,積極促進(jìn)了AI技術(shù)的廣泛普及,更在深層次上推動(dòng)了企業(yè)對(duì)AI大模型應(yīng)用需求的激增,將智能體平臺(tái)和生態(tài)從“封閉孤立”轉(zhuǎn)變?yōu)椤伴_放協(xié)同”,惠的AI生態(tài)系統(tǒng)。通過這一生態(tài)系統(tǒng),企業(yè)能夠以較低的成本構(gòu)建專屬的智能中樞,推第一章AI戰(zhàn)略制勝法則:智算基礎(chǔ)設(shè)施重構(gòu)商業(yè)價(jià)值4此外,DeepSeek還通過全球化生態(tài)布局、開放API與工具等方式,不斷降低成本和技術(shù)門檻,促進(jìn)AI技術(shù)的廣泛應(yīng)用。值得一提的是,DeepSeek以較低成本訓(xùn)練出效果卓越的V3版本,并免費(fèi)開放模型結(jié)構(gòu)和權(quán)重,實(shí)現(xiàn)了技術(shù)和價(jià)格的雙重普惠。這一進(jìn)展不僅彰顯了大模型發(fā)展的潛力,也強(qiáng)調(diào)了算法、系統(tǒng)化工程、芯片算力和軟件棧深度融合的?在模型層面,強(qiáng)化學(xué)習(xí)和蒸餾技術(shù)的使用將進(jìn)一步推動(dòng)性能提升。?同時(shí),AI算力基礎(chǔ)設(shè)施優(yōu)化和底層優(yōu)化也至關(guān)重要,包括驗(yàn)證FP8精度的有效性、?此外,CUDA底層的PTX虛擬匯編重構(gòu)和DualPipe算法也將受到重視。5聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)DeepSeek技術(shù)矩陣:重構(gòu)AI時(shí)代核心競(jìng)爭(zhēng)力※從算法優(yōu)化到架構(gòu)迭代:DeepSeekV3與R1的技術(shù)突圍第一章AI戰(zhàn)略制勝法則:智算基礎(chǔ)設(shè)施重構(gòu)商業(yè)價(jià)值6算法模型與AI算力基礎(chǔ)設(shè)施充分融合的工程化范例模型層模型層強(qiáng)化學(xué)習(xí)RL小模型蒸餾新型強(qiáng)化學(xué)習(xí)RL小模型蒸餾MOE框架AIAI算力基礎(chǔ)設(shè)施優(yōu)化FP8PD分離EP并行PD分離EP并行推理框架底層優(yōu)化底層優(yōu)化FlashMLAPTX重構(gòu)FlashMLAGEMM算子優(yōu)化DualGEMM算子優(yōu)化7聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)※AI基礎(chǔ)設(shè)施建設(shè),邁向高效低成本新時(shí)代DeepSeek為AI基礎(chǔ)設(shè)施建設(shè)帶來了顯著變化:受到更多關(guān)注。推理模型能夠與智能體直接結(jié)合,在業(yè)務(wù)場(chǎng)景AIAI基礎(chǔ)設(shè)施建設(shè)成本大幅降低,AI智算中心的建設(shè)規(guī)??s小,從成百上千節(jié)點(diǎn)變?yōu)閮H需單個(gè)或幾個(gè)節(jié)點(diǎn)即可部署相關(guān)業(yè)務(wù),同時(shí)對(duì)配套設(shè)備和系統(tǒng)環(huán)境的要求也降低,減少了技術(shù)人員專AIAI基礎(chǔ)設(shè)施建設(shè)更趨于精細(xì)化管理,DeepSeek的特性決定了需要精細(xì)化管理資源,基礎(chǔ)架構(gòu)層也提供了更開放的管理和調(diào)盡管DeepSeek通過技術(shù)創(chuàng)新大幅降低了AI應(yīng)用門檻,但企業(yè)在實(shí)際落地過程中仍面臨諸多挑戰(zhàn)。從算力供給與需求的動(dòng)態(tài)失衡,到技術(shù)架構(gòu)與現(xiàn)有IT生態(tài)的兼容難題,再到模型性能與工程效率的權(quán)衡困境,這些矛盾成為阻礙AI規(guī)模化應(yīng)用的關(guān)鍵瓶頸。在下第一章AI戰(zhàn)略制勝法則:智算基礎(chǔ)設(shè)施重構(gòu)商業(yè)價(jià)值8在第一章我們探討了DeepSeek技術(shù)矩陣如何通過算法創(chuàng)新與架構(gòu)優(yōu)化(如MoE動(dòng)態(tài)路由、FP8全棧支持等)降低AI應(yīng)用門檻,但技術(shù)的理論優(yōu)勢(shì)與企業(yè)實(shí)際落地效果之間仍存在巨大鴻溝。2024年中國企業(yè)AI大模型落地應(yīng)用現(xiàn)狀調(diào)研報(bào)告顯示,AI大9聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)DeepSeek普及階段的落差背后折射出三大核心矛盾:算力供給與業(yè)務(wù)需求的動(dòng)態(tài)失衡、技術(shù)架構(gòu)與IT生態(tài)的兼容鴻溝,以及模型性能與工程效率的此消彼長(zhǎng)。這些矛盾在企業(yè)落地DeepSeek技術(shù)企業(yè)在應(yīng)用DeepSeek技術(shù)時(shí),需根據(jù)不同模型應(yīng)用場(chǎng)景定制方案,然而計(jì)算資源短缺運(yùn)維成本高昂,資源動(dòng)態(tài)分配與調(diào)度邏輯復(fù)雜,且模型開第二章企業(yè)AI大模型應(yīng)用:從試水到規(guī)?;涞氐娜绿魬?zhàn)10在網(wǎng)絡(luò)/存儲(chǔ)資源方面,為配合DeepSeek的高效傳輸需求,企業(yè)需要設(shè)計(jì)IB網(wǎng)絡(luò)與RDMA網(wǎng)絡(luò),解決擁塞帶寬問題,實(shí)現(xiàn)路徑優(yōu)化。在管理平臺(tái)方面,為更好地融入DeepSeek的生態(tài)系統(tǒng),企業(yè)需統(tǒng)一部署平臺(tái),構(gòu)建異構(gòu)GPU卡管理平臺(tái),開發(fā)可視化※部署與算力挑戰(zhàn),亟需高效整合并打破性能瓶頸DeepSeek模型在通用基礎(chǔ)架構(gòu)平臺(tái)中快速部署仍有較高門DeepSeek在國產(chǎn)化環(huán)境中需進(jìn)行性能調(diào)優(yōu),客戶還需探索如何在模型推理或后訓(xùn)練過程中有效提升單節(jié)點(diǎn)算力效率,在集DeepSeek一體化平臺(tái)快速搭建DeepSeek一體化平臺(tái)也是企業(yè)關(guān)注的重點(diǎn),企業(yè)希望在最短時(shí)間內(nèi)實(shí)現(xiàn)業(yè)務(wù)響應(yīng),讓DeepSeek與智能體快礎(chǔ)算力平臺(tái)如何與用戶現(xiàn)有模型開發(fā)平臺(tái)適配兼容,實(shí)現(xiàn)模型11聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)※DeepSeek一體機(jī)性能考量:選型背后的多維博弈看待DeepSeek一體機(jī)的性能,需從用戶和技術(shù)兩個(gè)維度分析。從用戶角度,DeepSeek一體機(jī)主要承載智能知識(shí)庫、翻譯、材料總結(jié)等應(yīng)用,企業(yè)可根據(jù)自身場(chǎng)景需求選擇滿血版或蒸餾版,其輸入/輸出能力分別為輸入128ktokens/輸出512ktokens或輸入2ktokens/輸出256ktokens,文檔處理上下文大小也可按需選擇。從技術(shù)角度,需評(píng)估企業(yè)高峰時(shí)段的并發(fā)訪問量,以100人為單位估算,通常同一時(shí)間提問的人數(shù)(并發(fā))在10-20人左右。此外,未來若需微調(diào),則需更第二章企業(yè)AI大模型應(yīng)用:從試水到規(guī)?;涞氐娜?.2場(chǎng)景化應(yīng)用實(shí)踐:明確DeepSeek普及階段多元挑戰(zhàn)后,如何讓DeepSeek技術(shù)真正落地,轉(zhuǎn)化為實(shí)際業(yè)13聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)※應(yīng)用模式1:DeepSeek+知識(shí)庫—模型能力外掛專業(yè)知識(shí)庫對(duì)應(yīng)場(chǎng)景:通用知識(shí)處理—高效完成日常任務(wù)對(duì)應(yīng)場(chǎng)景:通用知識(shí)處理—高效完成日常任務(wù)模型結(jié)合RAG(檢索增強(qiáng)生成)模式,通過整合大語言模型(LLM)與外部知識(shí)庫的動(dòng)態(tài)檢索能力,RAG通過實(shí)時(shí)檢索權(quán)威知識(shí)庫(如行業(yè)文檔、實(shí)時(shí)數(shù)據(jù)庫)為模型提供事實(shí)依據(jù),大幅減少LLM因訓(xùn)傳統(tǒng)LLM依賴靜態(tài)訓(xùn)練數(shù)據(jù),而RAG允許通過更新外部知識(shí)庫即時(shí)整合新信息(如政),通用大模型缺乏垂直領(lǐng)域知識(shí),RAG通過對(duì)接企業(yè)私有知識(shí)圖譜,使模型在特定任務(wù)中的準(zhǔn)確率提升50%-70%。該模式無需從頭訓(xùn)練行業(yè)專用模型,通過復(fù)用現(xiàn)有數(shù)據(jù)完成領(lǐng)域適配,開發(fā)成本可縮減60%以上,同時(shí)敏感數(shù)據(jù)存儲(chǔ)在本地知識(shí)庫,生成過程僅調(diào)用脫敏信息,有效避免企業(yè)第二章企業(yè)AI大模型應(yīng)用:從試水到規(guī)?;涞氐娜绿魬?zhàn)14 ※應(yīng)用模式2:DeepSeek+微調(diào)/強(qiáng)化學(xué)習(xí)—對(duì)模型進(jìn)行特定任務(wù)能力增強(qiáng)對(duì)應(yīng)場(chǎng)景:特定任務(wù)分析—精準(zhǔn)研判復(fù)雜問題對(duì)應(yīng)場(chǎng)景:特定任務(wù)分析—精準(zhǔn)研判復(fù)雜問題(ReinforcementLearning)進(jìn)行特定任務(wù)能力增強(qiáng),兩者的協(xié)同優(yōu)化顯著提升了模型性能。微調(diào)以低成本、高效率實(shí)現(xiàn)任務(wù)適配,適合數(shù)據(jù)有限但需快速落地的場(chǎng)景(如企業(yè)知識(shí)庫更新);強(qiáng)化學(xué)習(xí)優(yōu)化復(fù)雜目標(biāo)與長(zhǎng)期規(guī)劃,適合需動(dòng)態(tài)交互和人類偏好對(duì)齊的任務(wù)(如客服對(duì)話、創(chuàng)意寫作二者結(jié)合(如SFT+RLHF)已成為大模型落地的黃微調(diào)僅需少量高質(zhì)量標(biāo)注數(shù)據(jù)即可適配任務(wù),強(qiáng)化學(xué)習(xí)通過獎(jiǎng)勵(lì)函數(shù)替代人工標(biāo)注減少數(shù)據(jù)需求,實(shí)現(xiàn)了低數(shù)據(jù)依賴;微調(diào)采用參數(shù)高效微調(diào)技術(shù)凍結(jié)大部分參數(shù),訓(xùn)練資源需求僅為全參數(shù)微調(diào)的10%-30%,強(qiáng)化學(xué)習(xí)利用分布式訓(xùn)練框架結(jié)合GPU加速,使大規(guī)模模型訓(xùn)練時(shí)間縮短50%以上,有效優(yōu)化了計(jì)算成本。同時(shí),強(qiáng)化學(xué)習(xí)通過獎(jiǎng)勵(lì)函數(shù)抑制錯(cuò)誤生成,微調(diào)結(jié)合檢索增強(qiáng)生成技術(shù)進(jìn)一步提升生成準(zhǔn)確性,實(shí)現(xiàn)了人該模式通過微調(diào)的高效參數(shù)調(diào)整和強(qiáng)化學(xué)習(xí)的策略優(yōu)化,能夠快速適配特定任務(wù),在數(shù)據(jù)有限的情況下實(shí)現(xiàn)高性能表現(xiàn),同時(shí)降低計(jì)算成本,提升模型的可控性和領(lǐng)域定制化能力,為企業(yè)精準(zhǔn)研判復(fù)雜問題提供了有力支持,助力企業(yè)在特定業(yè)務(wù)場(chǎng)景中取得更好15聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)※應(yīng)用模式3:DeepSeek+蒸餾—增強(qiáng)小參數(shù)模型推理能力對(duì)應(yīng)場(chǎng)景:小參數(shù)模型推理—輕量部署快速響應(yīng)對(duì)應(yīng)場(chǎng)景:小參數(shù)模型推理—輕量部署快速響應(yīng)DeepSeek的蒸餾技術(shù)通過知識(shí)高效遷移與多層級(jí)參數(shù)適配,解決了大模型部署成本高、垂直領(lǐng)域適配難的痛點(diǎn)。其核心價(jià)值在于:對(duì)1.5B-70B模型實(shí)現(xiàn)性能與效率的階梯式平衡,通過動(dòng)態(tài)知識(shí)注入突破訓(xùn)練數(shù)據(jù)時(shí)效限制,構(gòu)建從邊緣到云端的全棧行業(yè)解決方案。這一技術(shù)路徑已推動(dòng)金融、醫(yī)療、智能制造等領(lǐng)域的低成本AI落地,成為企業(yè)數(shù)字化轉(zhuǎn)計(jì)算成本大幅降低,參數(shù)量從671B壓縮至7B,推理速度提升3-5倍,內(nèi)存占用減少90%以上,1.5B模型可在消費(fèi)級(jí)GPU(如RTX3090)上運(yùn)行,云端推理成本僅為大模型的1/10;硬件適配靈活,小模型支持邊緣部署,1.5B適配智能手表/攝像頭,7B滿足本地AI助手需求,70B則專用于云端復(fù)雜計(jì)算。減少內(nèi)存占用,同時(shí)具備靈活的硬件適配性,能夠在邊緣設(shè)備和云端實(shí)現(xiàn)高效部署,滿足不同場(chǎng)景的需求,為企業(yè)在輕量部署和快速響應(yīng)方面提供了有效的解決方案,推動(dòng)AI在第二章企業(yè)AI大模型應(yīng)用:從試水到規(guī)?;涞氐娜绿魬?zhàn)※應(yīng)用模式4:DeepSeek+二次訓(xùn)練—對(duì)模型進(jìn)行行業(yè)能力增強(qiáng)對(duì)應(yīng)場(chǎng)景:行業(yè)能力增強(qiáng)—深度賦能專業(yè)領(lǐng)域?qū)?yīng)場(chǎng)景:行業(yè)能力增強(qiáng)—深度賦能專業(yè)領(lǐng)域在大型語言模型(LLM)的應(yīng)用中,二次預(yù)訓(xùn)練至關(guān)重要。它基于已有的大規(guī)模預(yù)訓(xùn)練模型,利用行業(yè)特定數(shù)據(jù)和領(lǐng)域知識(shí)進(jìn)行針對(duì)性訓(xùn)練,使模型更精準(zhǔn)地理解垂直領(lǐng)域的專業(yè)內(nèi)容。支持基于開源框架定制開發(fā)、企業(yè)私有化部署,可動(dòng)態(tài)調(diào)整訓(xùn)練參數(shù)與模型架構(gòu),適配不同行業(yè)需求,精準(zhǔn)適配行業(yè)知識(shí):讓模型深入學(xué)習(xí)行業(yè)專業(yè)術(shù)語、規(guī)范和流程,如提升模型泛化能力:學(xué)習(xí)多樣化行業(yè)數(shù)據(jù)特征,增強(qiáng)模型在不同行業(yè)場(chǎng)靈活優(yōu)化模型性能:根據(jù)行業(yè)需求調(diào)整訓(xùn)練參數(shù)和模型結(jié)構(gòu),在精度和該模式通過二次訓(xùn)練使模型深度適配行業(yè)需求,能夠理解專業(yè)術(shù)邏輯,同時(shí)支持定制化開發(fā)和私有化部署,滿足企業(yè)個(gè)性化需求,17聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)全面擁抱大模型2.0時(shí)代聯(lián)想DeepSeekAI解決方案憑借多層協(xié)同架構(gòu)構(gòu)建堅(jiān)實(shí)支撐,依托全棧技術(shù)體系形成核心驅(qū)動(dòng),為企業(yè)打造覆蓋底層算力基礎(chǔ)設(shè)施到上層業(yè)務(wù)應(yīng)用的全鏈路智能生態(tài),助力企業(yè)多層協(xié)同架構(gòu),筑牢AI運(yùn)行基石聯(lián)想的DeepSeekAI解決方案通過分層架構(gòu)實(shí)現(xiàn)各模塊的深度協(xié)同。該方案具備全面的AI系統(tǒng)設(shè)計(jì)和部署方式,涵蓋從AI管理系統(tǒng)、AI算力集群系統(tǒng)到AI網(wǎng)絡(luò)系統(tǒng)和存儲(chǔ)系※核心管理層:智能中樞,統(tǒng)一指揮AI管理系統(tǒng)如同“數(shù)字大腦”,通過管理節(jié)點(diǎn)與登錄節(jié)點(diǎn)對(duì)整個(gè)系統(tǒng)依托多臺(tái)大模型訓(xùn)練與大模型推理服務(wù)器,通過高速網(wǎng)絡(luò)連接,共同提※AI算力層:強(qiáng)勁動(dòng)力,驅(qū)動(dòng)智能AI算力集群系統(tǒng)是解決方案的“動(dòng)力源泉”,由多臺(tái)大模型訓(xùn)練與推理AI服務(wù)器通過高速網(wǎng)絡(luò)連接構(gòu)成。訓(xùn)練服務(wù)器擅長(zhǎng)處理海量數(shù)據(jù)下的模型訓(xùn)練任務(wù),提升模型性能;推理服務(wù)器則專注于將訓(xùn)練好的模型應(yīng)用于實(shí)際場(chǎng)景,快速響應(yīng)推理請(qǐng)求,輸出準(zhǔn)確結(jié)果。二者協(xié)同,為AI19聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)在AI系統(tǒng)內(nèi)部的高效傳輸與管理,為系統(tǒng)的穩(wěn)定運(yùn)行提供有力保障?!鶖?shù)據(jù)存儲(chǔ)層:安全高效的數(shù)據(jù)倉庫該層采用高速分層存儲(chǔ)系統(tǒng)與AI存儲(chǔ)系統(tǒng)相結(jié)合的方式,既滿足數(shù)據(jù)的快速讀寫需求,又保障不同場(chǎng)景下數(shù)據(jù)存儲(chǔ)的安全性與可靠性,形成第三章聯(lián)想AI基礎(chǔ)設(shè)施九大技術(shù)優(yōu)勢(shì),全面擁抱大模型2.0時(shí)代203.2全棧技術(shù)體系,構(gòu)建企業(yè)級(jí)AI技術(shù)底座基于多層協(xié)同架構(gòu)的堅(jiān)實(shí)支撐,聯(lián)想進(jìn)一步構(gòu)建了全棧技術(shù)體系,打通從算力基礎(chǔ)設(shè)施到AI開發(fā)平臺(tái)的全鏈路技術(shù)閉環(huán)。聯(lián)想萬全異構(gòu)智算平臺(tái)通過算力層、平臺(tái)層、開發(fā)層與管理層的垂直整合,不僅實(shí)現(xiàn)了異構(gòu)算力的高效調(diào)度,還提供標(biāo)準(zhǔn)化工具鏈和開放生態(tài),既方便企業(yè)開展模型訓(xùn)練,也能支撐業(yè)務(wù)落地,同時(shí)具備可擴(kuò)展性,滿足企業(yè)在不同階段作為聯(lián)想DeepSeekAI解決方案的核心支撐,聯(lián)想萬全異構(gòu)智算平臺(tái)的系統(tǒng)架構(gòu)自下而21聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)涵蓋AI服務(wù)器、網(wǎng)絡(luò)設(shè)備以及存儲(chǔ)設(shè)備。AI服務(wù)器通常配置高性能的CP其中GPU憑借強(qiáng)大的并行處理能力,在深度學(xué)習(xí)等AI應(yīng)用中發(fā)揮著關(guān)鍵作用;網(wǎng)絡(luò)設(shè)備包括IB網(wǎng)絡(luò)或高速以太網(wǎng)絡(luò)交換機(jī),它們構(gòu)建了數(shù)據(jù)中心內(nèi)部及數(shù)據(jù)中心之間的通信基石,確保數(shù)據(jù)能夠快速、高效地傳輸;存儲(chǔ)設(shè)備則包含硬盤驅(qū)動(dòng)器(HDD)、固態(tài)驅(qū)包含調(diào)度器與AI算力優(yōu)化兩大模塊。調(diào)度器包括k8s容器平臺(tái)和slurm調(diào)度平臺(tái);AI※AI開發(fā)平臺(tái)該層次集成了各類庫和框架,為上層應(yīng)用程序提供有力支持。例如,AI算法庫(如TensorFlow和PyTorch)用于模型的訓(xùn)練與部署;視頻編解碼器用于處理視頻數(shù)據(jù);GPU加速庫(如CUDA)則用于借助圖形處涵蓋用戶管理、項(xiàng)目管理、資源管理、審批計(jì)費(fèi)、性能監(jiān)控、報(bào)警日個(gè)方面。通過精細(xì)化的管理運(yùn)營,確保平臺(tái)的穩(wěn)定運(yùn)行與高效管理,為整個(gè)AI開發(fā)與應(yīng)總體而言,聯(lián)想萬全異構(gòu)智算平臺(tái)全面展示了從用戶界面到硬件資源的整個(gè)軟件系統(tǒng)堆棧,每個(gè)層次都為上一層提供了不可或缺的支持與服務(wù)。這種分層設(shè)計(jì)不僅有助于實(shí)現(xiàn)系統(tǒng)的模塊化與可擴(kuò)展性,更使得系統(tǒng)能夠靈活應(yīng)對(duì)需求變化與規(guī)模增長(zhǎng),為企業(yè)的AI發(fā)第三章聯(lián)想AI基礎(chǔ)設(shè)施九大技術(shù)優(yōu)勢(shì),全面擁抱大模型2.0時(shí)代223.33.3GPU內(nèi)核態(tài)虛擬化、聯(lián)想集合通信算法庫、AI高效斷點(diǎn)續(xù)訓(xùn)技術(shù)、AI與HPC異構(gòu)集群超級(jí)調(diào)度器等差異化技術(shù),更實(shí)現(xiàn)了全面升級(jí),包含AI推理加速算法集,可幫助AI推理性能提升5-10倍;AI編譯優(yōu)化器,使得訓(xùn)練和推理計(jì)算成本至少降低15%;AI訓(xùn)推慢節(jié)點(diǎn)故障預(yù)測(cè)與自愈系統(tǒng),實(shí)現(xiàn)百卡秒級(jí)、千卡分鐘級(jí)、萬卡十分鐘級(jí)故障自愈※多維智能算力匹配技術(shù)構(gòu)建算力魔方知識(shí)庫,集成海量硬件評(píng)測(cè)與AI算子算法,標(biāo)識(shí)AI場(chǎng)景、算法與集群配置的匹配關(guān)系。用戶輸入場(chǎng)景和數(shù)據(jù),系統(tǒng)自動(dòng)規(guī)劃調(diào)度最※GPU內(nèi)核態(tài)虛擬化技術(shù)02針對(duì)AI推理和中小訓(xùn)練,聯(lián)想采用GPU內(nèi)核態(tài)虛擬化算法,突破操作系統(tǒng)層用戶態(tài)虛擬化局限,深度控制GPU,提升vGP23聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)※集合通信算法庫技術(shù)03聯(lián)想萬全異構(gòu)智算平臺(tái)自動(dòng)感知集群網(wǎng)絡(luò)拓?fù)洌稍鰪?qiáng)型集合通信算法,優(yōu)化數(shù)據(jù)傳輸路徑。千卡規(guī)模集群網(wǎng)絡(luò)通信效率提升超10%,集群規(guī)模越大,效果越顯著,突破集群※AI高效斷點(diǎn)續(xù)訓(xùn)技術(shù)04※AI與HPC異構(gòu)集群調(diào)度技術(shù)05第三章聯(lián)想AI基礎(chǔ)設(shè)施九大技術(shù)優(yōu)勢(shì),全面擁抱大模型2.0時(shí)代24※AI推理加速算法集06包含多項(xiàng)關(guān)鍵技術(shù)。INT8/FP16混合精度量化技術(shù),在保證模型精度的同時(shí)降低計(jì)算量和存儲(chǔ)需求;推測(cè)推理技術(shù),提前預(yù)測(cè)并處理可能的計(jì)算分支,減少不必要的潛在注意力機(jī)制(MLA優(yōu)化注意力計(jì)算過程,提升推理速度;分布式并行技術(shù),將推理任務(wù)分配到多個(gè)計(jì)算節(jié)點(diǎn)并行處理,大幅提高推理效率。這些技術(shù)共同作用,顯※AI編譯優(yōu)化器07通過多種技術(shù)手段降低訓(xùn)練和推理開銷。操作融合(OperatorFusion)技術(shù)將多個(gè)相關(guān)操作合并為一個(gè)操作,減少內(nèi)存訪問和數(shù)據(jù)傳輸次數(shù);操作替換(OperatorSubstitution)技術(shù)用更高效的實(shí)現(xiàn)替換低效操作,提高計(jì)算效率;路徑優(yōu)化(Path25聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)O(shè)ptimization)技術(shù)對(duì)計(jì)算圖的執(zhí)行路徑進(jìn)行優(yōu)化,選擇最優(yōu)執(zhí)行順序,減少計(jì)算時(shí)間和資源消耗。通過這些技術(shù),AI編譯優(yōu)化器有效降低了訓(xùn)練和推理過程中的開銷,提升※AI訓(xùn)推故障自愈系統(tǒng)08具備強(qiáng)大的實(shí)時(shí)監(jiān)測(cè)和故障處理能力。通過異步實(shí)時(shí)狀態(tài)監(jiān)測(cè)與綜合故障分析,系統(tǒng)能夠及時(shí)發(fā)現(xiàn)訓(xùn)練和推理過程中的異常情況;異步備份與恢復(fù)功能確保在出現(xiàn)故障時(shí)能夠快速恢復(fù)到正常狀態(tài);故障診斷與預(yù)測(cè)功能提前發(fā)現(xiàn)潛在故障隱患,實(shí)現(xiàn)系統(tǒng)有效解決了慢節(jié)點(diǎn)檢測(cè)困難導(dǎo)致性能低下的問題,提高了集群效率,保障了訓(xùn)練和推第三章聯(lián)想AI基礎(chǔ)設(shè)施九大技術(shù)優(yōu)勢(shì),全面擁抱大模型2.0時(shí)代26※專家并行通信算法09針對(duì)專家模型架構(gòu)進(jìn)行深度優(yōu)化。在專家模型訓(xùn)練中,存在AlltoAll和AllReduce等通信操作,該算法通過創(chuàng)新技術(shù)提高通信效率。例如,在專家并行架構(gòu)中優(yōu)化通減少通信延遲和數(shù)據(jù)傳輸量;采用高效的通信算法,確保各計(jì)算節(jié)點(diǎn)之確傳輸。通過這些優(yōu)化,專家并行通信算法有效提升了專家模型的訓(xùn)練效率,加速了模型27聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)※兩大創(chuàng)新新品賦能’拓展AI算力邊界在上述差異化技術(shù)與全面升級(jí)的基礎(chǔ)上,聯(lián)想還推出了兩款創(chuàng)新新品,進(jìn)一步豐富和強(qiáng)化聯(lián)想問天WA7880aG3是聯(lián)想推出的一款面向大模型訓(xùn)練的AI服務(wù)器,它凝結(jié)了聯(lián)想在服務(wù)器領(lǐng)域30多年的積累和對(duì)AI算力的深刻洞察,具備多元算力、靈活配置與節(jié)能高效等顯著特點(diǎn)。這款服務(wù)器是國內(nèi)首款支持OAM2.0模組的服務(wù)器。它可兼容國內(nèi)主流GPU廠商的OAM標(biāo)準(zhǔn)AI加速芯片,提供靈活多樣的算力選擇,滿足不同應(yīng)用場(chǎng)景隨著大模型參數(shù)規(guī)模的增長(zhǎng)和數(shù)據(jù)量的增加,AI應(yīng)用對(duì)計(jì)算資源的需求日益提高,組建AI服務(wù)器集群成為必然。聯(lián)想問天WA7880aG3提供了充分的可擴(kuò)展性,方便用戶構(gòu)建AI算力集群。同時(shí),它還可通過部署聯(lián)想問天海神液冷方案,結(jié)合獨(dú)立風(fēng)道設(shè)計(jì),降低運(yùn)行時(shí)的能耗與熱量積聚,實(shí)現(xiàn)高效制冷。這一創(chuàng)新設(shè)計(jì)不僅為用戶打造了環(huán)保高效的02訓(xùn)推一體革新’打造綠色AI02訓(xùn)推一體革新’打造綠色AI引擎生成式AI等前沿應(yīng)用場(chǎng)景量身定制。它具備卓越的可擴(kuò)展性、多樣化的計(jì)算能力以及高此外,它支持國產(chǎn)品牌在內(nèi)的多品牌AI加速卡,擁有豐富的AI生態(tài)。針對(duì)配備多張AI加速卡的高密度計(jì)算應(yīng)用場(chǎng)景,聯(lián)想問天WA5480G5還提供了CPU、GPU以及內(nèi)存的液冷散熱設(shè)計(jì)。這一設(shè)計(jì)不僅提升了系統(tǒng)的散熱效率,也彰顯了聯(lián)想對(duì)于第三章聯(lián)想AI基礎(chǔ)設(shè)施九大技術(shù)優(yōu)勢(shì),全面擁抱大模型2.0時(shí)代283.4適配多場(chǎng)景的全周期方案,全棧技術(shù)體系的完備性,最終需通過場(chǎng)景化方案落地實(shí)現(xiàn)技術(shù)價(jià)值轉(zhuǎn)化。聯(lián)想基于對(duì)企業(yè)級(jí)AI需求的深度洞察,推出從集群部署到輕量化一體機(jī)的全周期方案矩陣。這些方案不僅覆蓋高性能計(jì)算、模型訓(xùn)練等核心場(chǎng)景,更通過預(yù)置優(yōu)化參數(shù)與行業(yè)模板,降低企業(yè)※集群部署場(chǎng)景全面優(yōu)化計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和軟件等各個(gè)層次,打造出一在滿足高性能計(jì)算、大規(guī)模數(shù)據(jù)處理及復(fù)雜模型訓(xùn)練的需求,確保AI應(yīng)用穩(wěn)定運(yùn)行且高效執(zhí)行。這一方案特別適合需要處理海量數(shù)據(jù)、進(jìn)行復(fù)雜模型訓(xùn)練的科研機(jī)構(gòu)和企業(yè)級(jí)用29聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)此方案深度優(yōu)化聯(lián)想異構(gòu)智算平臺(tái),實(shí)現(xiàn)硬件與軟件的全面提升,不僅顯著增強(qiáng)了AI應(yīng)用的性能和效率,還構(gòu)建了穩(wěn)定、可靠、高效的AI軟件生態(tài)。該方案更適合對(duì)AI應(yīng)用性能和效率有較高要求的企業(yè)和個(gè)人開發(fā)者,以及需要快速部署和集成AI應(yīng)用的企業(yè)用第三章聯(lián)想AI基礎(chǔ)設(shè)施九大技術(shù)優(yōu)勢(shì),全面擁抱大模型2.0時(shí)代303.5聯(lián)想萬全AI一體機(jī)產(chǎn)品,聯(lián)想萬全AI一體機(jī),是基于聯(lián)想自研的聯(lián)想萬全異構(gòu)智算平臺(tái)用戶打造“開箱即用”的大模型推理落地方案。它深度適配聯(lián)想問天AI聯(lián)想問天WA7785aG3、聯(lián)想問天WA5480G3/G5等),通過三層深度調(diào)優(yōu)技術(shù)(聯(lián)想萬全AI一體機(jī)集便捷交付、高效推理、靈活適配等優(yōu)勢(shì)于一身,預(yù)裝DeepSeek大模型,支持可視化對(duì)話、Prompt定制等功能,軟硬件深度定制,借助異構(gòu)算力實(shí)現(xiàn)高效推理,還配備管理平臺(tái)與評(píng)測(cè)工具,提供專業(yè)定制服務(wù),支持金融31聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)?提供全面易用的可視化管理平臺(tái)和性能評(píng)測(cè)工具,?支持多模型推理“新鮮”該一體機(jī)具有顯著的亮點(diǎn)。首先是深度調(diào)優(yōu),最大化用戶收益。針對(duì)國內(nèi)主流AI大模型?提供全面易用的可視化管理平臺(tái)和性能評(píng)測(cè)工具,?支持多模型推理“新鮮”tokens/秒AI應(yīng)用高效落地?軟硬件深度定制,支持國產(chǎn)硬件和?聯(lián)想萬全異構(gòu)智算平臺(tái)管理軟件,深度適配聯(lián)想問天AI服務(wù)器硬件Prompt定制、知識(shí)庫掛載,?支持二次開發(fā)和API接口調(diào)用,開箱即用,無需復(fù)雜第三章聯(lián)想AI基礎(chǔ)設(shè)施九大技術(shù)優(yōu)勢(shì),全面擁抱大模型2.0時(shí)代32萬全AI一體機(jī)具備豐富的應(yīng)用場(chǎng)景,涵蓋代碼生成、問辦助手等多領(lǐng)域。管理平臺(tái)集成大模型及應(yīng)用使能工具,支持模型開發(fā)。硬件和模型工具33聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)020304050607動(dòng)態(tài)問數(shù):實(shí)時(shí)響應(yīng)各種數(shù)據(jù)查詢需求,提供準(zhǔn)確、及時(shí)的數(shù)據(jù)分析結(jié)果,幫品牌營銷:大模型能夠分析消費(fèi)者心理和市場(chǎng)趨勢(shì),為品牌營銷提供精準(zhǔn)的策代碼生成:精準(zhǔn)理解復(fù)雜的編程邏輯和需求,自動(dòng)生成高質(zhì)量的代碼應(yīng)急方案:快速分析突發(fā)事件的影響和需求,生成有效的應(yīng)急方案,降低風(fēng)險(xiǎn)財(cái)務(wù)報(bào)表:自動(dòng)化處理和分析財(cái)務(wù)數(shù)據(jù),生成準(zhǔn)確、規(guī)范的財(cái)務(wù)報(bào)表,幫助企第三章聯(lián)想AI基礎(chǔ)設(shè)施九大技術(shù)優(yōu)勢(shì),全面擁抱大模型2.0時(shí)代34萬全AI軟件產(chǎn)品家族非常豐富,一體機(jī)管理平臺(tái)有模型工具包、極速推理、微調(diào)優(yōu)化等版本,適配不同用戶規(guī)模與算力芯片;異構(gòu)智算平臺(tái)分標(biāo)準(zhǔn)版和高級(jí)35聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)下圖展示的是萬全AI一體機(jī)極速推理版的功能菜單。它以DeepSeek模型為支撐,具備模型優(yōu)化、管理平臺(tái)、測(cè)試工具等豐富功能,涵蓋知識(shí)庫創(chuàng)建、推理會(huì)話等應(yīng)亮點(diǎn)優(yōu)勢(shì)亮點(diǎn)優(yōu)勢(shì)DeepSeek模型落地最小單元、支持商用&國產(chǎn)、私域推理、知識(shí)增強(qiáng)重點(diǎn)應(yīng)用場(chǎng)景重點(diǎn)應(yīng)用場(chǎng)景NoNo理解、知識(shí)抽取、函數(shù)調(diào)用、角色扮演……模型優(yōu)化管理平臺(tái)測(cè)試工具知識(shí)庫創(chuàng)建知識(shí)庫推理推理會(huì)話智能搜索智能體開發(fā)(AIForce)智能應(yīng)用(應(yīng)用一體機(jī))硬件配套服務(wù)DeepSeekR1-671B(FP8)DeepSeek-R1-Distill-Qwen32B(*其他非優(yōu)化模型可購買服務(wù)部署)模型吞吐性能測(cè)試,包括不限于inputlen,outputlen,并發(fā)數(shù),TTFT,TPOT上傳知識(shí)庫、文本切分、文本塊向量化、知識(shí)庫管理的分級(jí)分權(quán)多模型選擇、對(duì)話框支持的輸入長(zhǎng)度可配置、語音轉(zhuǎn)文字、知識(shí)庫支持多輪會(huì)話、知識(shí)庫檢索提供多種聯(lián)網(wǎng)搜索擴(kuò)展工具模板供,例如Bing以及博查等模型優(yōu)化服務(wù),升級(jí)服務(wù),應(yīng)用定制開發(fā)服務(wù)、知識(shí)庫構(gòu)建專家服務(wù)見硬件選型指導(dǎo)首次安裝部署+1年軟件技術(shù)支持聯(lián)想萬全AI一體機(jī)部署架構(gòu)包含硬件層、OS操作系統(tǒng)、GPU運(yùn)行時(shí)環(huán)境等,通過API第三章聯(lián)想AI基礎(chǔ)設(shè)施九大技術(shù)優(yōu)勢(shì),全面擁抱大模型2.0時(shí)代36在構(gòu)建高效人工智能服務(wù)體系的過程中,實(shí)現(xiàn)大模通過簡(jiǎn)潔的操作系統(tǒng)安裝、高效的模型部署與啟動(dòng)、細(xì)致的配置與四步二小時(shí),大模型服務(wù)開箱即用操作系統(tǒng)安裝操作系統(tǒng)安裝1.安裝插座系統(tǒng)2.安裝docker啟動(dòng)和配置環(huán)境部署和啟動(dòng)模型部署和啟動(dòng)模型1.安裝模型鏡像2.安裝推理引擎鏡像3.注冊(cè)軟件授權(quán)配置和測(cè)試配置和測(cè)試2.啟動(dòng)模型服務(wù)并連3.運(yùn)行測(cè)試任務(wù)或腳本模型體驗(yàn)和測(cè)試模型體驗(yàn)和測(cè)試1.配置應(yīng)用工具2.體驗(yàn)大模型應(yīng)用一鍵部署和啟動(dòng)模型服務(wù),為企業(yè)已提供開箱即用的部署體驗(yàn),快速體驗(yàn)?zāi)P蛻?yīng)用。一鍵部署和啟動(dòng)模型服務(wù),為企業(yè)已提供開箱即用的部署體驗(yàn),快速體驗(yàn)?zāi)P蛻?yīng)用。37聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)3.63.6聯(lián)想DeepSeekAI解決方案依托創(chuàng)新架構(gòu)與萬全異構(gòu)智算平臺(tái)的算力支撐,通過融合專業(yè)知識(shí)庫、定制化微調(diào)、輕量化蒸餾等技術(shù),在通用知識(shí)處理增強(qiáng)、小參數(shù)模型推理等場(chǎng)景中可實(shí)現(xiàn)高效智能服務(wù)。圍繞這些典型的業(yè)務(wù)場(chǎng)景,聯(lián)想提DeepSeek+DeepSeek+微調(diào)/強(qiáng)化學(xué)習(xí)DeepSeek+二第三章聯(lián)想AI基礎(chǔ)設(shè)施九大技術(shù)優(yōu)勢(shì),全面擁抱大模型2.0時(shí)代38/AMDMI308x192GB*1.WA7785aG3MI308x192GB*61.WA5480G3L2048GB*21.WA7785aG3MI308x192GB*25012.WR5220G3*22.WR5220G3*62.WR5220G3*13.IB/ROCE交換機(jī)2.WR5220G3*13.IB/ROCE交換機(jī)*964.網(wǎng)絡(luò)交換機(jī)*303.DM7000*1DSS-G100*1臺(tái)DSS-G210-Gen3*1DSS-G280*11.WA5480G3沐曦C55064GB*41.WA5480G3沐曦C55064GB*26WA5480G3沐曦C55064GB/2.WR5220G3*22.WR5220G3*12.WR5220G3*13.S698064口400G交換機(jī)*14.DM7000*1想DSS-G100*1臺(tái)聯(lián)想DSS-G210-Gen3*1臺(tái)39聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)首波適配DeepSeek的硬核實(shí)力DeepSeek的本地化部署和微調(diào),正成為國內(nèi)企業(yè)級(jí)AI應(yīng)用落地的首選方案。早在DeepSeek推出一個(gè)月后,聯(lián)想便率先對(duì)大模型推理AI算力平臺(tái)聯(lián)想問天WA7785a展現(xiàn)出聯(lián)想在AI算力領(lǐng)域的前瞻性布41聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)聯(lián)想萬全異構(gòu)智算平臺(tái)在大模型推理優(yōu)化領(lǐng)域已實(shí)現(xiàn)性能突破,后集群訓(xùn)練MFU(計(jì)算利用率)從30%提升至60%(行業(yè)里程碑式突破,以東數(shù)西算第一智算樞紐為標(biāo)桿),推理場(chǎng)景下極限吞吐量達(dá)12,000tokens/s(全速運(yùn)平臺(tái)支持通用計(jì)算、科學(xué)計(jì)算與AI算力集群的統(tǒng)一管理,通過異構(gòu)資源調(diào)度技術(shù),實(shí)現(xiàn)對(duì)CPU、GPU、DPU等多元處理器的高效協(xié)同。這種靈活架構(gòu)精準(zhǔn)匹配國內(nèi)DeepSeek平臺(tái)支持通用計(jì)算、科學(xué)計(jì)算與AI算力集群的統(tǒng)一管理,通過異構(gòu)資源調(diào)度技術(shù),實(shí)現(xiàn)對(duì)CPU、GPU、DPU等多元處理器的高效協(xié)同。這種靈活架構(gòu)精準(zhǔn)匹配國內(nèi)DeepSeek應(yīng)用場(chǎng)景的算力需求,為企業(yè)第四章技術(shù)突破與商業(yè)價(jià)值雙輪驅(qū)動(dòng)424.24.2破解AI落地最后一公里雖然聯(lián)想在適配DeepSeek大模型時(shí)發(fā)現(xiàn),實(shí)現(xiàn)了單機(jī)部署DeepSeek-R1滿血版,但企業(yè)實(shí)際應(yīng)用過程中仍面臨顯存不足、處理效率低等問題,成為阻礙AI應(yīng)用規(guī)?;涞氐摹白詈笠还铩薄a槍?duì)這些技術(shù)難點(diǎn),聯(lián)想通過軟硬件協(xié)同優(yōu)化,提升模型性能,真首先,聯(lián)想通過技術(shù)創(chuàng)新大幅提升了顯存利用率,進(jìn)而實(shí)現(xiàn)了性能的提升。以聯(lián)想問天WA7785aG3為例,在768GBGPU顯存條件下,即可部署DeepSeek671BR1和V3TTFT(首次響應(yīng)時(shí)間)等關(guān)鍵指標(biāo),保障用戶獲得流暢高效的AI43聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)其次,聯(lián)想問天WA7785aG3與DeepSeek-R1進(jìn)行了深度適配調(diào)優(yōu)。這款服務(wù)器內(nèi)嵌TransfomerEngine,支持FP8優(yōu)化。其顯存超過1THBM3e,能夠滿足DeepSeek-R1在FP8精度下不低于800GB的顯存容量需求,顯存帶寬高達(dá)4.9TB/s,可在推理解碼階段實(shí)現(xiàn)極致加速;GPUP2P通信帶寬達(dá)900GB/s,單機(jī)提供3.2TB/s的高帶寬低延遲網(wǎng)絡(luò)擴(kuò)展,能夠有效降低通信延遲。顯存帶寬達(dá)5.3TB/s可加速訓(xùn)練過程,GPU聚合帶寬達(dá)896GB/s,充分滿足了DeepSeek-R1滿血版大模型并行計(jì)算時(shí)跨節(jié)點(diǎn)的第四章技術(shù)突破與商業(yè)價(jià)值雙輪驅(qū)動(dòng)444.3“可用”到“好用”,當(dāng)技術(shù)突破解決了AI落地的性能瓶頸,如何將技術(shù)能力轉(zhuǎn)化為切實(shí)的商業(yè)價(jià)值,成為企業(yè)關(guān)注的核心命題。聯(lián)想深知,算力效能的釋放不僅需要技術(shù)支撐,更需要貼合業(yè)務(wù)場(chǎng)景的深度調(diào)優(yōu)。基于在AI基礎(chǔ)設(shè)施領(lǐng)域的深厚積累,聯(lián)想從企業(yè)實(shí)際需求出發(fā),通過專業(yè)的調(diào)優(yōu)策略與資源調(diào)度,將技術(shù)性能轉(zhuǎn)化為驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)的核心動(dòng)能,實(shí)現(xiàn)從“可用”聯(lián)想在AI基礎(chǔ)設(shè)施領(lǐng)域擁有專業(yè)的調(diào)優(yōu)實(shí)力,系統(tǒng)極限吞吐量可達(dá)12,000tokens/s。通過深度優(yōu)化計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)與軟件全維度架構(gòu),聯(lián)想已實(shí)現(xiàn)系統(tǒng)性能的全對(duì)不同企業(yè)特性,支持按最高并發(fā)量10%-20%進(jìn)行彈性調(diào)優(yōu),確保系統(tǒng)在各種負(fù)載場(chǎng)景基于典型應(yīng)用場(chǎng)景的實(shí)測(cè)數(shù)據(jù)顯示,聯(lián)想在智能對(duì)話、知識(shí)庫譯及文本解析等核心場(chǎng)景中,均能實(shí)現(xiàn)精準(zhǔn)的性能適配。通過定制化調(diào)優(yōu)策略與高效資源調(diào)度,方案不僅保障了系統(tǒng)的穩(wěn)定性與可靠性,更實(shí)現(xiàn)了算力資源的智能化配置。這種"場(chǎng)景驅(qū)動(dòng)+彈性適配"的雙重優(yōu)勢(shì),使企業(yè)級(jí)用戶得以獲得兼具性能與能效的AI基礎(chǔ)設(shè)45聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)4.44.4當(dāng)算力效能的提升與商業(yè)價(jià)值的釋放為企業(yè)發(fā)展注入強(qiáng)勁與持續(xù)創(chuàng)新,成為構(gòu)建智算生態(tài)的關(guān)鍵。企業(yè)對(duì)算力的需求不僅局限覆蓋規(guī)劃、部署、運(yùn)維的全生命周期服務(wù)。因此,聯(lián)想以萬全異構(gòu)智算平臺(tái)為從硬件設(shè)施、軟件服務(wù)到生態(tài)協(xié)同的一站式解決方案,為企業(yè)提供長(zhǎng)效護(hù)航,助力其在智※萬全異構(gòu)智算平臺(tái):一站式“DeepSeek+”推理、微調(diào)方案第四章技術(shù)突破與商業(yè)價(jià)值雙輪驅(qū)動(dòng)46在DeepSeek本地化部署中,異構(gòu)GPU適配是一大挑戰(zhàn),國產(chǎn)GPU性能差異大,對(duì)DeepSeek支持能力不同,評(píng)估難度高。聯(lián)想萬全異構(gòu)智算平臺(tái)具備多元異構(gòu)管理功能,多元異構(gòu)算力系統(tǒng)可實(shí)現(xiàn)軟硬件融合設(shè)計(jì),支持一鍵模型部署。通過該平臺(tái),企業(yè)能夠有效應(yīng)對(duì)異構(gòu)GPU適配難題,為DeepSeek的本地化提供靈活且高效的硬件環(huán)境支持,更好地利用DeepSeekDeepSeek的推理和訓(xùn)練對(duì)算力需需要大量算力資源滿足性能及并發(fā)需求;訓(xùn)練時(shí),基于DeepSeek-R1的大模型微調(diào)環(huán)節(jié)多、算力需求大且故障率高。聯(lián)想萬全異構(gòu)智算平臺(tái)提供高效算力供給,憑借優(yōu)化的硬件配置、卓越的算力調(diào)度性能和極致彈性架構(gòu),確保在推理和基于DeepSeek-R1進(jìn)行大模型微調(diào)涉及諸多環(huán)節(jié),開發(fā)環(huán)節(jié)多、工具復(fù)雜,微調(diào)過程中的故障和性能瓶頸會(huì)影響訓(xùn)練時(shí)長(zhǎng),需斷點(diǎn)續(xù)訓(xùn)和性能調(diào)構(gòu)智算平臺(tái)提供穩(wěn)定的開發(fā)全鏈路支撐,訓(xùn)練推任務(wù)運(yùn)行穩(wěn)定可靠,開易用,能夠保障微調(diào)過程的順利進(jìn)行,助力企業(yè)快速構(gòu)建基于DeepSeek的大模47聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)※智能部署體系,極速上線AI生產(chǎn)環(huán)境聯(lián)想DeepSeek集群聯(lián)想DeepSeek私有化部署應(yīng)用接入層應(yīng)用接入層70B32B滿血671B236B智能體應(yīng)用智能體應(yīng)用智能體開發(fā)平臺(tái)Token租賃平臺(tái)微調(diào)+訓(xùn)推推理用戶數(shù)WA5480G38xOAM/NVLink服務(wù)器WA54808xPCIeGPU服務(wù)器WR5220/WR52254xPCIeGPU服務(wù)器萬級(jí)32臺(tái)8臺(tái)64臺(tái)16臺(tái)32臺(tái)千級(jí)8臺(tái)2臺(tái)16臺(tái)8臺(tái)百級(jí)4臺(tái)2臺(tái)8臺(tái)2臺(tái)萬全支持差異化技術(shù)調(diào)優(yōu)·訓(xùn)練GPU卡時(shí)成本降30%·同等算力推理服務(wù)用戶數(shù)增加,強(qiáng)于業(yè)界專家部署30%評(píng)測(cè)國產(chǎn)GPU廠商新訓(xùn)推DeepSeek私有部署一體機(jī)戶并發(fā)場(chǎng)景,兼容主流GPU第四章技術(shù)突破與商業(yè)價(jià)值雙輪驅(qū)動(dòng)48深度評(píng)測(cè)國產(chǎn)GPU新訓(xùn)推技深度評(píng)測(cè)國產(chǎn)GPU新訓(xùn)推技本降低30%,推理服務(wù)用戶私有化一體機(jī)實(shí)現(xiàn)開箱即用,深度聯(lián)動(dòng)聯(lián)想異構(gòu)平臺(tái)算力資源,形成"硬※智算中心建設(shè):持續(xù)盈利的算力方法論49聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)適配DeepSeek的技術(shù)突破,到破解AI落地難題的精準(zhǔn)攻堅(jiān);從激活商業(yè)價(jià)值的專業(yè)全棧式AI生態(tài)閉環(huán):從高性能工作站、服務(wù)器等硬件基石,到算力架構(gòu)設(shè)計(jì)、模型開發(fā)部署的技術(shù)方案,再到覆蓋前期規(guī)劃、售后運(yùn)維的全周期臻算服務(wù),將技術(shù)創(chuàng)新深度融入每一個(gè)服務(wù)環(huán)節(jié)。這種全生命周期的賦能模式,不僅為企業(yè)提供性能卓越的算力產(chǎn)通過持續(xù)優(yōu)化與價(jià)值深挖,助力企業(yè)高效整合算力資源,構(gòu)建可迭代、可持續(xù)盈利的算力第四章技術(shù)突破與商業(yè)價(jià)值雙輪驅(qū)動(dòng)50聯(lián)想AI基礎(chǔ)架構(gòu)賦能不同產(chǎn)業(yè),從金融行業(yè)算力效率躍遷到制造全鏈效能重構(gòu),聯(lián)想以全棧智算能力為支點(diǎn),深度融合技術(shù)方案與業(yè)務(wù)場(chǎng)景,打通資源統(tǒng)籌、性能優(yōu)化到商業(yè)價(jià)值的轉(zhuǎn)化閉環(huán),為產(chǎn)業(yè)智能化轉(zhuǎn)型51聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)屬于國家評(píng)定的智能制造示范基地、工業(yè)設(shè)計(jì)中心以及綠色工廠,全球每新售出8臺(tái)筆※智算引擎激活全鏈潛能,動(dòng)態(tài)適配應(yīng)對(duì)復(fù)雜變量面對(duì)日益復(fù)雜的業(yè)務(wù)需求與行業(yè)競(jìng)爭(zhēng)壓力,聯(lián)寶科技亟需構(gòu)建一個(gè)強(qiáng)大的智算平臺(tái),深度優(yōu)化公司研、產(chǎn)、供、銷、服等各環(huán)節(jié),為未來的制造業(yè)務(wù)提供更部署優(yōu)化門檻:業(yè)界幾乎沒有DeepSeek滿血版部署成功的案例,部署優(yōu)化缺乏成熟的資源調(diào)度分配:除DeepSeek外,還需擬部署訓(xùn)練千問等其他模型,既面臨各模型的技分期建設(shè):分期建設(shè)一個(gè)千萬級(jí)集群,面臨數(shù)據(jù)遷移、集群擴(kuò)展等問題,需要一個(gè)平滑且第五章聯(lián)想AI基礎(chǔ)架構(gòu)賦能不同產(chǎn)業(yè),實(shí)現(xiàn)商業(yè)價(jià)值飛躍52※從資源統(tǒng)籌到全鏈協(xié)同,智算底座釋放制造新動(dòng)能聯(lián)想以萬全異構(gòu)智算平臺(tái)為核心,為聯(lián)寶科技量身定制了WA7785aG3集群+IB網(wǎng)絡(luò)+通過早期多輪溝通精準(zhǔn)規(guī)劃,聯(lián)想率先攻克滿血版DeepSeek部署難題,確保集依托全球供應(yīng)鏈體系鎖定核心算力資源,聯(lián)動(dòng)技術(shù)團(tuán)隊(duì)完成部署調(diào)優(yōu),化解硬件兼提供從硬件交付到算法落地的端到端支持,兼容DeepSeek與千問等多模型并行訓(xùn)最終,聯(lián)寶科技智算平臺(tái)實(shí)現(xiàn)全鏈路效能躍升:通過DeepSeek等大模型的深度應(yīng)用,生產(chǎn)流程優(yōu)化效率顯著提升,運(yùn)營成本有效降低;多模型資源調(diào)度與集群擴(kuò)展業(yè)自研制造行業(yè)大模型提供了堅(jiān)實(shí)底座,推動(dòng)研發(fā)、生產(chǎn)、供應(yīng)鏈、銷售與服同升級(jí)。同時(shí),聯(lián)想的全周期服務(wù)模式大幅縮短了技術(shù)落地周期,使IT團(tuán)隊(duì)得以聚焦業(yè)聯(lián)寶科技的成功實(shí)踐,不僅驗(yàn)證了聯(lián)想在智算領(lǐng)域的深厚技術(shù)積淀與行業(yè)洞察能力,更彰顯了“技術(shù)+場(chǎng)景”深度融合對(duì)制造業(yè)智能化轉(zhuǎn)型的驅(qū)動(dòng)價(jià)值。未來,聯(lián)想將持續(xù)以客53聯(lián)想算力基礎(chǔ)設(shè)施非凡箓—Al大模型算力解決方案手冊(cè)5.25.2某知名金融企業(yè)是國內(nèi)15家銀行系公募基金公司之一,高標(biāo)準(zhǔn),融合了金融機(jī)構(gòu)的品牌影響力、專業(yè)經(jīng)驗(yàn)、優(yōu)質(zhì)資源及先進(jìn)技術(shù),形合優(yōu)勢(shì)。依托雄厚的資本實(shí)力,公司正穩(wěn)步推動(dòng)業(yè)務(wù)向多元化方向拓展,同時(shí)積極探索智※擁抱Deepseek模型應(yīng)用熱潮,個(gè)性化部署解決方案隨著Deepseek大模型應(yīng)用的爆發(fā)式增長(zhǎng),該企業(yè)的IT及業(yè)務(wù)團(tuán)隊(duì)面臨多重挑戰(zhàn):在模團(tuán)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論