計(jì)算機(jī)計(jì)算機(jī)核心觀點(diǎn)DeepSeek-R1模型發(fā)布，具有高性能、低算力需求的特性，帶動(dòng)源模型性能接近頭部閉源模型ol,一定程度上已經(jīng)反映了AI平預(yù)計(jì)后續(xù)基模的持續(xù)迭代，有望推動(dòng)AI全產(chǎn)業(yè)鏈持續(xù)保持高景行業(yè)動(dòng)態(tài)信息市場(chǎng)表現(xiàn)近期DeepSeek多款模型上線(xiàn)并完全開(kāi)源，其中R1在推理任務(wù)上增速最快的AI原生應(yīng)用，第18天達(dá)到1500萬(wàn)日活。此外，相關(guān)研究報(bào)告技術(shù)不斷革新，大模型ScalingLaw仍有效相關(guān)研究報(bào)告【中信建投人工智能】:DeepSeckRI深度解析及算力影響幾何【中信建投計(jì)算機(jī)】:周報(bào)25年第3期：計(jì)算機(jī)板塊連續(xù)四季度低配，Agent加速落地【中信建投計(jì)算機(jī)】:低空經(jīng)濟(jì)系列報(bào)告5:空管系統(tǒng)——低空經(jīng)濟(jì)核心環(huán)節(jié)之一【中信建投人工智能】:智元推出首個(gè)【中信建投人工智能】:DeepSeckRI深度解析及算力影響幾何【中信建投計(jì)算機(jī)】:周報(bào)25年第3期：計(jì)算機(jī)板塊連續(xù)四季度低配，Agent加速落地【中信建投計(jì)算機(jī)】:低空經(jīng)濟(jì)系列報(bào)告5:空管系統(tǒng)——低空經(jīng)濟(jì)核心環(huán)節(jié)之一【中信建投人工智能】:智元推出首個(gè)4D世界模型，OpenAI重點(diǎn)布局機(jī)器人【中信建投計(jì)算機(jī)】:周報(bào)25年第2期：AI應(yīng)用加速進(jìn)行時(shí)DeepSeek-R1促進(jìn)AI平權(quán)，產(chǎn)業(yè)鏈享受發(fā)展紅利R1作為開(kāi)源模型性能接近頭部閉源模型ol,一定程度上已經(jīng)反映了AI平權(quán)。同時(shí)，R1使小模型具備推理能力成為可能讀者群福利：入群v:qxcaijing20242、每日分享熱門(mén)研報(bào)、熱門(mén)會(huì)議紀(jì)要及優(yōu)質(zhì)資訊5、所有內(nèi)容均為內(nèi)部學(xué)習(xí)交流使用，不可用作商業(yè)用途掃一掃加小助手微信，馬上入群~中信建投證券計(jì)算機(jī)計(jì)算機(jī)目錄一、DeepSeek模型密集更新，高性能+低成本促進(jìn)用戶(hù)數(shù)高增 1.1第一問(wèn)：DeepSeek的用戶(hù)量趨勢(shì)? 1.2第二問(wèn)：R1和Janus-pro模型的性能如何? 1.3第三問(wèn)：如何看待DeepSeek-V3模型的訓(xùn)練成本? 5 72.1第四問(wèn)：DeepSeek-V3/R1技術(shù)革新有哪些? 72.2第五問(wèn)：Janus系列模型技術(shù)革新有哪些? 2.3第六問(wèn)：DeepSeek數(shù)據(jù)集的特點(diǎn)是什么? 2.3第七問(wèn)：ScalingLaw到底是否有效? 三、DeepSeek-R1促進(jìn)AI平權(quán)，產(chǎn)業(yè)鏈享受發(fā)展紅利 3.1第八問(wèn)：R1是否意味著AI平權(quán)已經(jīng)實(shí)現(xiàn)? 3.2第九問(wèn)：DeepSeek出圈對(duì)產(chǎn)業(yè)的影響有幾何? 4.1第十問(wèn)：DeepSeek將帶來(lái)哪些投資機(jī)會(huì)? 22 231一、DeepSeek模型密集更新，高性能+低成本促進(jìn)用戶(hù)數(shù)高增DeepSeek堅(jiān)定開(kāi)源路線(xiàn)，密集更新MoE、推理、多模態(tài)模型。近期，DeepSeek型，其低成本、高性能的特性迅速引發(fā)全球用戶(hù)的關(guān)注。其中，2024年12月26日發(fā)布的DeepSeek-V3為671B參數(shù)的自研MoE模型，運(yùn)行時(shí)僅需激活37B,在14.8Ttoken的數(shù)據(jù)上進(jìn)行了預(yù)訓(xùn)練；2025年1月20日發(fā)布的DeepSeek-RI為660B的高性能推理模型，對(duì)用戶(hù)開(kāi)放思維鏈輸出，允許用戶(hù)通過(guò)蒸餾技術(shù)借助RI訓(xùn)練其他模型：2025年1月27日，DeepSeek在HuggingFace平臺(tái)上傳了視覺(jué)模型Janus-Pro和多模態(tài)理解模型時(shí)間11月2日覆蓋1B,7B,33B多個(gè)尺寸，包含Base模助用戶(hù)進(jìn)行代碼生成、bug修復(fù)、數(shù)據(jù)分析等工作。11月29日包含7B和67B的基礎(chǔ)模型及指令微調(diào)版本，同時(shí)開(kāi)放下載訓(xùn)練中途的9個(gè)模型checkpoints,在推理、編碼、數(shù)學(xué)和中文理解等方面表現(xiàn)出色。1月11日基于自研全新MoE架構(gòu)，在2B、16B、145B(驗(yàn))三個(gè)尺度模型上均實(shí)現(xiàn)效果領(lǐng)先，顯著優(yōu)化計(jì)算2月6日以DeepSeek-Coder-V1.57B為基礎(chǔ)，在數(shù)學(xué)相關(guān)token以及自然3月11日多摸態(tài)大模型對(duì)訓(xùn)練數(shù)據(jù)、模型架構(gòu)和訓(xùn)練策略進(jìn)行聯(lián)合拓展，其1.3B和7B模型能高效處理高分辨率圖像，捕捉關(guān)鍵語(yǔ)義和細(xì)節(jié)信息。5月7日總參數(shù)236B,每個(gè)token激活21B,庫(kù)上預(yù)訓(xùn)練，支持128Ktokens,大幅節(jié)省訓(xùn)練成本。6月17日從DeepSeek-V2中間檢查點(diǎn)開(kāi)始，進(jìn)一步預(yù)訓(xùn)練6萬(wàn)億token,碼和數(shù)學(xué)基準(zhǔn)測(cè)試中超越主流閉源模型。12月13日多模態(tài)大模型覆蓋3B、16B、27B多個(gè)尺寸，通過(guò)DeepSeek-MoE架構(gòu)配合動(dòng)態(tài)切圖，支持視覺(jué)定位、梗圖解析、OCR、故事生成等任12月26日自研MoE模型，671B參數(shù)，每個(gè)token激活37B,在14.8Ttoken上進(jìn)行了預(yù)訓(xùn)練，性能對(duì)齊海外領(lǐng)軍閉源模1月20日輸出，允許用戶(hù)通過(guò)蒸餾技術(shù)借助R1訓(xùn)練其他模型。1月27日多模態(tài)大模型包括7B和1.5B兩個(gè)模型版本，采用新穎的自回歸框架，統(tǒng)一了多模態(tài)理解和生成，可適配視覺(jué)問(wèn)答、圖像標(biāo)注等多模態(tài)場(chǎng)景。DeepSeekWeb端與APP端訪問(wèn)量持續(xù)增長(zhǎng)，春節(jié)信月至2024年12月DeepSeek訪問(wèn)量分別為245/422/1101萬(wàn)，其中11月和12月分別同比增長(zhǎng)72.24%/160.90%,年1月10日(官方公眾號(hào)1月15日正式發(fā)文)在iOS/Android上線(xiàn)官方APP,而后受益于1月20日發(fā)布R1模型的高性能、低成本，疊加春節(jié)期間信息傳播下沉，產(chǎn)品關(guān)注度呈裂變式增長(zhǎng)。具體而言，DeepSeekAPP安卓/iOS端國(guó)區(qū)單日下載量均于1月26請(qǐng)務(wù)必閱讀正文之后的免責(zé)條款和聲明。安卓端日下載量安卓端日下載量50Oct-24Nov-24D圖2:1月15日以來(lái)DeepSeekAPPiOS端日下載量40萬(wàn))1月19日iDAU55教育為導(dǎo)向的知識(shí)任務(wù)：請(qǐng)務(wù)必閱讀正文之后的免責(zé)條款和聲明。2中英文搜索和數(shù)據(jù)分析任務(wù)：編碼任務(wù)：86.780.383.984.860.07.0,一一,一一CodeCodeforces(Rating)Aider-Polyglot(Acc.)請(qǐng)務(wù)必閱讀正文之后的免責(zé)條款和聲明。344蒸餾技術(shù)能顯著提升小模型推理能力。Janus-Pro在多模態(tài)理解和生成方面優(yōu)于統(tǒng)一模型和單一功能模型。Janus-pro主要延續(xù)Janus通過(guò)解耦多模態(tài)理解和生成的研究思路，通過(guò)優(yōu)化訓(xùn)練策略、擴(kuò)展訓(xùn)練數(shù)據(jù)和模型規(guī)模等方面提高模型性能：多模態(tài)理解：在Janus測(cè)試過(guò)程中選取POPE、MME-P、MMB、SEED、MMMU、MM-Vet等廣泛認(rèn)可的圖像視覺(jué)語(yǔ)言基準(zhǔn)測(cè)試，同時(shí)包括了一種用于真實(shí)世界視覺(jué)推理和組合式問(wèn)答的新數(shù)據(jù)集GQA。與其他前沿圖像理解生成統(tǒng)一模型和僅用于理解的模型相比，Janus-Pro取得了總體最佳的結(jié)果，例如Janus-Pro-7B在多模態(tài)理解基準(zhǔn)MMBench上得分79.2,超越了包括Janus(69.4)、TokenFlow(68.9)和MetaMorph(75.2)等，主因其將多模態(tài)理解和生成的視覺(jué)編碼解耦，緩解了這兩個(gè)任務(wù)之間的沖突。此外，Janus-Pro與規(guī)模更大的模型相比仍具競(jìng)爭(zhēng)力，例如Janus-Pro-7B在除GQA外的其他基準(zhǔn)測(cè)試上的表現(xiàn)都優(yōu)于TokenFlow-XL(13B)。文本-圖像生成：為評(píng)估Janus視覺(jué)生成能力，DeepSeek采用GenEval(文本到圖像構(gòu)圖能力基準(zhǔn)測(cè)試)和DPG-Bench(密集提示圖基準(zhǔn)測(cè)試)兩個(gè)工具進(jìn)行測(cè)試。Janus-Pro-7B在GenEval上的總體準(zhǔn)確率達(dá)到80%,超過(guò)了所有其他統(tǒng)一模型或僅用于生成的模型，包括Transfusion(63%)、SD3-Medium(74%)和DALLE3 (67%),反映Janus-Pro具有更好的指令跟隨能力。同時(shí)，Janus-Pro在DPG-Bench上的得分為84.19,超過(guò)了所有其他方法，表明Janus-Pro在遵循用于文本到圖像生成的密集指令方面表現(xiàn)出色。5若有侵權(quán)，請(qǐng)聯(lián)系刪除。Vxxcaijng2024計(jì)算機(jī)計(jì)算機(jī)圖7:Janus-Pro在四個(gè)多模態(tài)理解基準(zhǔn)的平均表現(xiàn)janus.Pro-1B★★0資料米源：Jaus-Pro:UnifiedMultimodalUnderstandingandGenerationwithDataa圖8:Janus-Pro在文本-圖像生成基準(zhǔn)上的表現(xiàn)資料米源：KJanus-Pro;UnifiedMultimodalUnderstandingandGenerationwithDataandModelScaling》,中信建投我們認(rèn)為第三問(wèn)：如何看待通用及推理模型成本相較于同類(lèi)模型下降至數(shù)十分之一以下：平臺(tái)通義千問(wèn)約等于4個(gè)字符或0.75個(gè)單詞文心一言混元大模型約等于1.8個(gè)漢字約等于3個(gè)英文字母星火大模型約等于1.5個(gè)漢字約等于0.8個(gè)英文單詞約等于1.5個(gè)漢字DeepSeek-V3(R1的基礎(chǔ)模型)總訓(xùn)練成本僅為557.6萬(wàn)美元，但不包括架構(gòu)、算法等成本。以H800算力計(jì)算，DeepSeek-V3預(yù)訓(xùn)練階段在不到兩個(gè)月的時(shí)間內(nèi)完成，耗費(fèi)266.4萬(wàn)個(gè)GPU小時(shí)，加上上下文長(zhǎng)度擴(kuò)展所需的11.9萬(wàn)個(gè)GPU小時(shí)和后訓(xùn)練階段的0.5萬(wàn)個(gè)GPU小時(shí)，DeepSeek-V3的完整訓(xùn)練僅需278.8萬(wàn)個(gè)GPU小時(shí)；假設(shè)H800GPU的租用價(jià)格為每GPU小時(shí)2美元，我們的總訓(xùn)練成本僅為557.6萬(wàn)美元。需要注意的是，上述成本僅包括DeepSeek-V3的正式訓(xùn)練成本，不包括與架構(gòu)、算法或數(shù)據(jù)的前期研究及消融實(shí)驗(yàn)相關(guān)的成本。H800時(shí)間(小時(shí))資料來(lái)源：DeepSeek-V3TechnicalReport),中信建投注：假設(shè)H800的租賃價(jià)格為每GPU小時(shí)2美元用于向前傳播，另有55B被用做注意力機(jī)制的共享，則GPT-4的激活參數(shù)量約為280B,我們假定o1模型激活677則預(yù)訓(xùn)練需要用萬(wàn)張模型激活參數(shù)量(B)預(yù)訓(xùn)練Token量(T)理論算力需求(FLOPS)單卡算力(TFLOPS,FP16)算力利用率(MFU)所需GPU數(shù)(張)DeepSeek-R1的基礎(chǔ)模型DeepSeek-V3訓(xùn)練成本明顯更低，結(jié)合V3技術(shù)報(bào)告和上述計(jì)算過(guò)程，我們認(rèn)為成本優(yōu)化主要緣于：1)V3模型通過(guò)DeepSeekMoE架構(gòu)(3.1中將進(jìn)一步說(shuō)明),使用更細(xì)粒度專(zhuān)家模型，同時(shí)隔離部分共享專(zhuān)家，提高計(jì)算資源利用率，激活參數(shù)少(僅37B),算力消耗低；2)V3模型采用MLA算法(3.1中將進(jìn)一步說(shuō)明),通過(guò)低秩聯(lián)合壓縮注意力鍵值，減少推理時(shí)的鍵值(KV)緩存，降低計(jì)算量；3)DualPipe框架實(shí)現(xiàn)高效流水線(xiàn)并行，或顯著提高GPU利用率：4)DeepSeek提出了一種利用FP8數(shù)據(jù)格式進(jìn)行訓(xùn)練的細(xì)粒度混合精度框架，通過(guò)低精度訓(xùn)練優(yōu)化訓(xùn)練效率。二、技術(shù)不斷革新，大模型ScalingLaw仍有效通過(guò)架構(gòu)和基礎(chǔ)設(shè)施創(chuàng)新，DeepSeek-V3實(shí)現(xiàn)了高效訓(xùn)練，奠定R1模型優(yōu)化基礎(chǔ)。架構(gòu)方面V3延續(xù)了V2模型的MLA和DeepSeekMoE架構(gòu)，同時(shí)進(jìn)一步開(kāi)創(chuàng)了無(wú)輔助損失的負(fù)載均衡策略，并設(shè)定了多token預(yù)測(cè)(MTP)訓(xùn)練目標(biāo)以增強(qiáng)性能：多頭潛在注意力(MLA):LLM的核心機(jī)制是自注意力(Self-Attention),其要求模型在生成每個(gè)token時(shí)考慮之前所有詞的關(guān)系，則假設(shè)文本長(zhǎng)度n時(shí)總體復(fù)雜度為0(n3)=0(Zn2);過(guò)去的研究提出了KVCache方法，利用鍵值對(duì)(KV)存儲(chǔ)已計(jì)算的注意力信息，此時(shí)總體復(fù)雜度降低為0(n2):而MLA則進(jìn)一步通過(guò)投影的中信建投證券中信建投證券Feed-ForwardNetworkconcatnatefconcotenarfhA41多token預(yù)測(cè)(MTP):主流大模型token-by-token生成序列，而每次token生成需要頻繁與訪存交互，從而因?yàn)樵L存效率形成訓(xùn)練或推理的瓶頸。MTP方法主要將單token的生成，轉(zhuǎn)變成多token的生成，提升訓(xùn)練和推理的性能。DeepSeek主要對(duì)過(guò)往MTP算法進(jìn)行了一定優(yōu)化，順序預(yù)測(cè)額外token,并在每個(gè)預(yù)測(cè)深度保持完整的因果鏈。8除了基礎(chǔ)架構(gòu)，DeepSeek還在基礎(chǔ)設(shè)施方面進(jìn)行了一定優(yōu)化。例如設(shè)計(jì)了一種創(chuàng)新的管道并行算法DualPipe,在每一對(duì)前向和后向塊內(nèi)重疊計(jì)算和通信，提高通信效率、加速了模型訓(xùn)練；提出了一種用于FP8訓(xùn)練的混合精度框架，其中大多數(shù)計(jì)算密集型操作在FP8精度下進(jìn)行，而一些關(guān)鍵操作則戰(zhàn)略性地保持在原始數(shù)據(jù)格式以平衡訓(xùn)練效率和數(shù)值穩(wěn)定性；訓(xùn)練過(guò)程中，采用英偉達(dá)PTX(并行線(xiàn)程執(zhí)行)匯編級(jí)編程替代標(biāo)準(zhǔn)CUDA方案，實(shí)現(xiàn)了硬件級(jí)深度優(yōu)化，減少了計(jì)算冗余，提高了推理速度。Dedice?ForwardBackwardBackwadtaihputBackwadforweihtR1-Zero驗(yàn)證純強(qiáng)化學(xué)習(xí)(RL)對(duì)推理能力的提升，R1則強(qiáng)調(diào)冷啟動(dòng)和多階段訓(xùn)練的平衡。RI-Zero的特9行業(yè)動(dòng)態(tài)報(bào)告“反思”的特性能夠一定程度解決大模型幻覺(jué)問(wèn)題(大Deep5eek-R1-ZereaveragelengthperresponseDeep5eek-R1-Zereaveragelengthperresponseduringtraining2000S-dspime資科米源：KDeepSeek-RI:IncentivizingReasoningCapabiliyin資科來(lái)源：DeepSeek-Rl:IncentivizingReasoningCapabiliyinLLMsviaReinforcementLearning),中信建投LLMsviaReinforcenentLearning),AINLP公眾號(hào)，中信建投的確獨(dú)立發(fā)現(xiàn)了一些的核心思路”請(qǐng)務(wù)必閱讀正文之后的免責(zé)條款和聲明。圖17:SamAltman肯定DeepSeek-R1的性能圖18:MarkChen承認(rèn)DeepSeek發(fā)現(xiàn)了SamSamAltman口x…deepseeksrlisanimpressivemodel,particularlyaroundwhatthey付的方式。資料來(lái)源：機(jī)器之心公眾號(hào)，中信建投t31k口20k資料來(lái)源：機(jī)器之心公眾號(hào)，中信建投蒸餾使小模型具備較強(qiáng)邏輯推理能力的思路或與不同。數(shù)據(jù)來(lái)源：機(jī)器學(xué)習(xí)算法與自然語(yǔ)言處理公眾號(hào)，中信建投我們認(rèn)為，DeepSeek-V3/R1系列模型的核心突破在于1)技術(shù)及架構(gòu)升級(jí)顯著優(yōu)化模型訓(xùn)練成本，即工程優(yōu)化了MoE模型架構(gòu)，預(yù)計(jì)未來(lái)各廠商仍將圍繞MoE模型進(jìn)行注意力頭的架構(gòu)優(yōu)化；2)組相對(duì)策略?xún)?yōu)化算法 (GRPO)實(shí)質(zhì)上僅依賴(lài)模型自身近些迭代，實(shí)現(xiàn)了“反思能力”;3)提供了一種具體可行的“方向，各廠商或?qū)⒏M(jìn)并繼續(xù)探索其他方向；4)蒸餾使小模型具備較強(qiáng)邏輯推理能力，有望促進(jìn)中小型開(kāi)發(fā)者若有侵權(quán)，請(qǐng)聯(lián)系刪除。Vxxcaijng2024中信建投證券計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告系列模型緩解多模態(tài)理解和生成的沖突，提升模型能力表現(xiàn)。數(shù)據(jù)來(lái)源：Janus-Pro:UnifiedMultinodalUnderstandingandGenerarionwithDataandModelScaling),中信建投單次像素生成數(shù)量和順序，提高了自回歸模型的速度和表現(xiàn)；擴(kuò)散模型的代表包括Sora,其將圖像生成表示成噪聲圖像變化至目標(biāo)圖像的過(guò)程，輸入輸出自始至終都是完整圖像。目前，自回歸和擴(kuò)散模型均有前沿技術(shù)持續(xù)性突破，帶來(lái)模型能力的持續(xù)提升。MLSofAartonSofAarton數(shù)據(jù)來(lái)源：ScalableDifiusionModelswithTransformers》,中信建投請(qǐng)務(wù)必閱讀正文之后的免責(zé)條款和聲明。中信建投證券計(jì)算機(jī)我們認(rèn)為，合成(生成)數(shù)據(jù)在大模型訓(xùn)練過(guò)程中發(fā)揮著重要作用。通用大模型：推理模型：多模態(tài)模型：行業(yè)動(dòng)態(tài)報(bào)告真實(shí)數(shù)據(jù)(較少)p生成模型(預(yù)訓(xùn)練)M合成數(shù)據(jù)數(shù)據(jù)來(lái)源：機(jī)器之心，中信建投DeepSeek-V3組的相對(duì)策略?xún)?yōu)化算法(GRPO請(qǐng)務(wù)必閱讀正文之后的免責(zé)條款和聲明。中信建投證券計(jì)算機(jī)qq0KLVr?A?我們認(rèn)為，DeepSeek-V3/RI/Janus等模型對(duì)于合成數(shù)據(jù)的應(yīng)用符合大模型研究趨勢(shì)，而GRPO算法則進(jìn)一步使模型在RL過(guò)程中擺脫了人類(lèi)經(jīng)驗(yàn)的限制，從而能夠最大程度挖掘數(shù)據(jù)集的價(jià)值，向模型超越人類(lèi)，最終實(shí)現(xiàn)AGI的道路進(jìn)發(fā)。2.3第七問(wèn)：ScalingLaw到底是否有效?訓(xùn)練側(cè)Scalinglaw推動(dòng)模型能力持續(xù)提升，但仍面臨技術(shù)、算力、數(shù)據(jù)的制約。早在2020年，OpenAI即在論文中提出了“Scalinglaw”,其內(nèi)涵在于大模型的最終性能主要與計(jì)算量、模型參數(shù)量和訓(xùn)練數(shù)據(jù)量三者的大小相關(guān)，而與模型的具體結(jié)構(gòu)(層數(shù)/深度/寬度)基本無(wú)關(guān)。在“Scalinglaw”的思路下，業(yè)內(nèi)追求在訓(xùn)練側(cè)用更多的高質(zhì)量數(shù)據(jù)，訓(xùn)練更大參數(shù)規(guī)模的模型，尤其在MoE架構(gòu)并行計(jì)算的加持下，大模型參數(shù)甚至能夠提升至萬(wàn)億以上，極大程度提高了模型的效果。然而，受到技術(shù)、算力、數(shù)據(jù)的制約，訓(xùn)練側(cè)“Scalinglaw”正面臨瓶頸：1)更高參數(shù)規(guī)模的模型訓(xùn)練比較復(fù)雜：當(dāng)參數(shù)規(guī)模提升到萬(wàn)億規(guī)模，模型進(jìn)一步調(diào)整的技術(shù)方式仍待突破；2)算力規(guī)模一定程度制約了模型發(fā)展：英偉達(dá)H100目前可以做到單一集群3.2萬(wàn)張卡充分互聯(lián)，每2小時(shí)會(huì)出錯(cuò)一次(FounderPark訪談拾象科技CEO李廣密)。一旦算力集群增加到10萬(wàn)卡，可能每20-30分鐘即會(huì)出錯(cuò)一次，對(duì)數(shù)據(jù)中心的運(yùn)維能力要求較高，否則會(huì)導(dǎo)致算力利用率明顯下降。此時(shí)需要性能更強(qiáng)的算力卡出現(xiàn)。3)高質(zhì)量數(shù)據(jù)缺失：早有消息稱(chēng)大模型訓(xùn)練已經(jīng)耗盡了高質(zhì)量數(shù)據(jù)，因此如果只是簡(jiǎn)單提升訓(xùn)練集規(guī)模，往往重復(fù)的數(shù)據(jù)占據(jù)了主要部分，從而對(duì)模型能力的提升有限。而數(shù)據(jù)合成的技術(shù)仍未能突破，同樣一定程度上制約了模型的發(fā)76543—L=(N/8.8-1013)-0.076數(shù)據(jù)來(lái)源：ScalingLawsforNeuralLanguageModels》,中信建投大模型在推理過(guò)程中把復(fù)雜問(wèn)題拆解成若干簡(jiǎn)單步驟，從用戶(hù)提出的問(wèn)題出發(fā)，逐步生成正確答案。OpenAI向，有望促進(jìn)各廠商跟進(jìn)并繼續(xù)探索其他推理側(cè)拓展方向。ORogerhas5hrissalhHebpherrisbals.Eachcmhas3ennisbaternisbalsdoeshehavenow?C.RoohansstemsbalsHebups2morecanaottannsbalsEachcanhas31ennachis6smsbaln.5aThecateteiahoe23apples.ItheyusedrogGmoreapps,oeyLanguageModels》,中信建投圖26:ol性能隨著訓(xùn)練時(shí)間和測(cè)試時(shí)間計(jì)算而平穩(wěn)提升中信建投證券中信建投證券8請(qǐng)務(wù)必閱讀正文之后的免責(zé)條款和聲明。:行業(yè)動(dòng)態(tài)報(bào)告PE-TPANGSCLNG資料來(lái)源：英偉達(dá)，新浪財(cái)經(jīng)，中信建投圖28:強(qiáng)化學(xué)習(xí)也需要更強(qiáng)大的基礎(chǔ)模型更大基礎(chǔ)模型發(fā)現(xiàn)的推理模式對(duì)于提升推理能力至關(guān)重要。WefurtherexploredistillationfromDeepSoek32B(Own20246)asthebaemodel,diectdistilationfromDopSeck-RlRLonitThisdemonstratesthatthereasoningpattecialforimprovingrasoningcapabilitiQwQ-32B-PreviewQwn20245)byalargemarginandthedistilled32Bnewrecordontherusoningbenchumarksamongdensemodcks資料來(lái)源：KDeepSeek-RI:IncenivizingReasoningCapabiliyinLLMsviaReinforcenentLearning》,中信建投我們認(rèn)為三、DeepSeek-R1促進(jìn)AI平權(quán)，產(chǎn)業(yè)鏈享受發(fā)展紅利DeepSeek-R1開(kāi)源引發(fā)全球復(fù)現(xiàn)熱潮，小模型+RL實(shí)現(xiàn)“反思”涌現(xiàn)。在美國(guó)對(duì)中國(guó)實(shí)施AI芯片封鎖R1發(fā)布以來(lái)，全球前沿團(tuán)隊(duì)積極復(fù)現(xiàn)，目前已取得較好成效。其中，UC伯克戲中復(fù)現(xiàn)了DeepSeekRI-Zero,以不到30美金的成本通過(guò)強(qiáng)化學(xué)習(xí)，使3B的基礎(chǔ)語(yǔ)言模型完成自我驗(yàn)證和搜索；港科大的團(tuán)隊(duì)只用了8K個(gè)樣本，就在7B模型上復(fù)刻出了DeepSeek-R1-Zero和DeepSeek-R1的訓(xùn)練，使模型在復(fù)雜的數(shù)學(xué)推理上取得強(qiáng)勁的結(jié)果；甚至全球最大開(kāi)源平始復(fù)刻DeepSeek-R1的所有pipeline,并將在復(fù)刻完成后，開(kāi)源所有的訓(xùn)練數(shù)據(jù)和腳本。請(qǐng)務(wù)必閱讀正文之后的免責(zé)條款和聲明。若有侵權(quán)，請(qǐng)聯(lián)系刪除。Vxxcaijng2024行業(yè)動(dòng)態(tài)報(bào)告xopen-sourcevsclosedAlperfomance?Proofo圖30:港科大的團(tuán)隊(duì)復(fù)現(xiàn)了R1-zero和R1的訓(xùn)練過(guò)程AvorageBonchmarkAccAverageResponseLongth(Tokens)AvorageBonchmarkAccAverageResponseLongth(Tokens)資料來(lái)源：新智元，中信建投資料來(lái)源：Github,中信建投全球大廠接連接入，戰(zhàn)略方向或?qū)⑥D(zhuǎn)向。三二.[hhngBunPre5nm000/0n資料來(lái)源：中國(guó)基金報(bào)，英偉達(dá)，微軟，亞馬遜，中信建投圖32:SamAltman承認(rèn)在開(kāi)源策略上的錯(cuò)誤AMAwithOpenAI'sSamAltman,MarkChen,Kevi...Wouldyouconsider…2個(gè)205資料來(lái)源：硅星人Pro,中信建投請(qǐng)務(wù)必閱讀正文之后的免責(zé)條款和聲明。參考安卓及份額變化，開(kāi)源生態(tài)有望為產(chǎn)業(yè)注入活力。8OAndroldoI0soSerles40oSymblanosoUnknownoSamsungOBackBeryo5我們認(rèn)為，DeepSeek-R1作為開(kāi)源模型性能接近頭部閉源模型ol,一定程度上已經(jīng)反映了AI平權(quán)。實(shí)際上，過(guò)去OpenAI的領(lǐng)先更多基于先發(fā)優(yōu)勢(shì)，而當(dāng)開(kāi)源模型的性能力能夠使開(kāi)源模型的性能始終位于前列。近期各研究團(tuán)隊(duì)對(duì)R1模型的積極復(fù)現(xiàn)更是側(cè)優(yōu)勢(shì)。此外，DeepSeek-R1使小模型具備推理能力成為可能，更低的成本將更有利于開(kāi)發(fā)者探索AI的實(shí)際落請(qǐng)務(wù)必閱讀正文之后的免責(zé)條款和聲明。計(jì)算機(jī)計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告上物G便民辦公政務(wù)大數(shù)據(jù)計(jì)算機(jī)視覺(jué)大數(shù)據(jù)智能營(yíng)銷(xiāo)客服信貸風(fēng)控c運(yùn)營(yíng)優(yōu)化營(yíng)鋼客服視覺(jué)產(chǎn)品影像診斷大數(shù)據(jù)決須視覺(jué)檢測(cè)+安全生產(chǎn)運(yùn)維決策上物G便民辦公政務(wù)大數(shù)據(jù)計(jì)算機(jī)視覺(jué)大數(shù)據(jù)智能營(yíng)銷(xiāo)客服信貸風(fēng)控c運(yùn)營(yíng)優(yōu)化營(yíng)鋼客服視覺(jué)產(chǎn)品影像診斷大數(shù)據(jù)決須視覺(jué)檢測(cè)+安全生產(chǎn)運(yùn)維決策智慧管理自動(dòng)邱駛視覺(jué)產(chǎn)品0品形事偵查oo產(chǎn)業(yè)級(jí)消費(fèi)級(jí)智能搜素問(wèn)答內(nèi)容審核推得規(guī)劃與圖像處理創(chuàng)作工具內(nèi)容生成剪銀特效人機(jī)交互對(duì)話(huà)式A鴻費(fèi)級(jí)硬件內(nèi)容生成、場(chǎng)景建模策略生成AIAgent教育工具智慧校園ESA腰驗(yàn)換聲創(chuàng)草營(yíng)銷(xiāo) m通用基礎(chǔ)大模型按模型模態(tài)酬智據(jù)基礎(chǔ)公共開(kāi)源企業(yè)私有高校南行業(yè)/領(lǐng)城大根型大模型開(kāi)放平臺(tái)來(lái)mn*A開(kāi)源社區(qū)模型平臺(tái)/模型服勢(shì)即法基poedocan智算軟件平臺(tái)智能服務(wù)器A芯片e--自然語(yǔ)言處理智能語(yǔ)音機(jī)器學(xué)習(xí)o知識(shí)圖譜閉0AI開(kāi)放平臺(tái)A開(kāi)發(fā)平臺(tái)計(jì)算機(jī)模覺(jué)pc按根型路經(jīng)Al算法框巢工有層a中游品用t數(shù)據(jù)來(lái)源：艾瑞咨詢(xún)，中信建投請(qǐng)務(wù)必閱讀正文之后的免責(zé)條款和聲明。若有侵權(quán)，請(qǐng)聯(lián)系刪除。Vxxcaijng202410t模型：DeepSeek-R1模型的突破實(shí)際上反映了中美在前沿大模型差距的縮小。以發(fā)布于2024年3月的GPT-4為例，2024年1月發(fā)布的智譜GLM-4才在部分benchmark上達(dá)到了其90%-100%的水平，模型差距在10個(gè)月以上；而2025年1月發(fā)布的R1已經(jīng)接近OpenAI2024年9月發(fā)布的o1模型，模型差距縮短到4個(gè)月左右。而大模型本身及其對(duì)應(yīng)的Chatbot產(chǎn)品，用戶(hù)切換成本低，存在“贏者通吃”的現(xiàn)象，例如kimi在2024年3月實(shí)現(xiàn)上下文無(wú)損輸入長(zhǎng)度提升至200萬(wàn)字，爆火出圈帶來(lái)流量的大幅上漲；2024年12月字節(jié)火山引擎熱度攀升，以及DeepSeek-V3的發(fā)布同樣帶來(lái)了流量的快速提升。在此背景下，預(yù)計(jì)大廠將跟進(jìn)DeepSeek模型層的研發(fā)，技術(shù)開(kāi)源亦將促進(jìn)大廠持續(xù)投入，形成正反饋。此外，DeepSeek通過(guò)純RL算法、架構(gòu)優(yōu)化等方式實(shí)現(xiàn)了模型性能的提升，或?qū)⒋龠M(jìn)各廠商在相關(guān)領(lǐng)域進(jìn)行更多的探索。(百萬(wàn))(百萬(wàn))—文心一言—通義千問(wèn)—豆包一Kimi一智譜清言—DeepSeek應(yīng)用：DeepSeek-V3/RI作為通用/推理方面的基礎(chǔ)模型，性能升級(jí)及在各類(lèi)Benchmark跑分中的提高，本身就為應(yīng)用落地帶來(lái)了更大的可能性。然而，對(duì)于開(kāi)發(fā)者而言，更關(guān)鍵的點(diǎn)在于模型能夠和應(yīng)用適配調(diào)優(yōu)，中信建投證券計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告考慮到開(kāi)發(fā)和調(diào)用成本本身較低，還通過(guò)蒸餾的方式帶來(lái)了小模型推理能力的提升，則應(yīng)用開(kāi)發(fā)者能夠以更低的成本部署模型或調(diào)用,并保持相對(duì)優(yōu)秀的性能。當(dāng)應(yīng)用開(kāi)發(fā)門(mén)檻降低，預(yù)計(jì)會(huì)出現(xiàn)更多產(chǎn)品探索方向，直至出現(xiàn)具有突破性的“”應(yīng)用。同時(shí)，的低價(jià)，同樣有望帶來(lái)推理模型新一輪的價(jià)格戰(zhàn)(的價(jià)格本身已經(jīng)驗(yàn)證了這一觀點(diǎn)),為開(kāi)發(fā)者帶來(lái)更多性?xún)r(jià)比之選。最后，當(dāng)模型的能力達(dá)到全球第一梯隊(duì)后，其作為國(guó)內(nèi)廠商能為國(guó)內(nèi)應(yīng)用開(kāi)發(fā)者提供更穩(wěn)定的服務(wù)(調(diào)用可能會(huì)受到各種限制),亦將促進(jìn)各類(lèi)應(yīng)用產(chǎn)生。公司降價(jià)時(shí)間降價(jià)前降價(jià)后(元/萬(wàn)tokens)(元/萬(wàn)tokens)輸入：0.01輸出：0.01智譜AI輸入：0.01輸出：0.01輸入：1輸出：1輸入：1輸出：1字節(jié)跳動(dòng)阿里巴巴百度輸入：0.1輸出：0.1輸入：1輸出：1輸出：1輸出：0.24-0.3輸輸入：0.21請(qǐng)務(wù)必閱讀正文之后的免責(zé)條款和聲明。數(shù)據(jù)：結(jié)合范式的可能性，預(yù)計(jì)高質(zhì)量數(shù)據(jù)仍將在模型訓(xùn)練中具有重要意義。四、投資建議算力：算力作為新一輪科技革命的底層基礎(chǔ)，將持續(xù)受益于千行百業(yè)的應(yīng)用需求。疊加DeepSeek-R1為推理范式帶來(lái)泛化的可能性，預(yù)計(jì)各廠商技術(shù)探索下算力產(chǎn)業(yè)鏈持續(xù)高景氣。此外，中美AI競(jìng)爭(zhēng)加劇，高端算力芯片禁售下自主可控重要性進(jìn)一步凸顯。建議關(guān)注以國(guó)產(chǎn)算力和AI推理需求為核心的算力環(huán)節(jié)，尤其是IDC、服務(wù)器、國(guó)產(chǎn)芯片等算力配套產(chǎn)業(yè)，推薦海光信息、浪潮信息、軟通動(dòng)力，并關(guān)注AIDC相關(guān)標(biāo)的，如并行科技、寶信軟件等。應(yīng)用：DeepSeek-R1有望引發(fā)新一輪大模型API降價(jià)，小模型通過(guò)蒸餾具備強(qiáng)勁推理能力，這也將促使開(kāi)發(fā)者探索更多應(yīng)用落地的可能性。AI應(yīng)用作為新一代生產(chǎn)力工具，看多C端軟件的持續(xù)發(fā)展，B端應(yīng)用軟件商業(yè)化進(jìn)展更快。建議關(guān)注B端Agent,其中OA+ERP作為核心入口，AI結(jié)合更易，有望率先商業(yè)化，其次關(guān)注用戶(hù)量多、生態(tài)好且可云化的軟件公司，推薦金蝶國(guó)際、鼎捷數(shù)智、賽意信息、用友網(wǎng)絡(luò)、恒生電子、中控技術(shù)等；C端則關(guān)注有較多用戶(hù)的垂直領(lǐng)域賽道了，其數(shù)據(jù)價(jià)值量更優(yōu)，推薦金山辦公、萬(wàn)興科技、彩訊股份、同花順等。端側(cè)：小模型能力提升同樣促進(jìn)了端側(cè)模型部署，我們看好AI終端作為新一代計(jì)算平臺(tái)爆發(fā)可能。首先，我們認(rèn)為AI+教育作為高頻應(yīng)用場(chǎng)景有望率先落地，特別教育部人工智能賦能教育行動(dòng)陸續(xù)推進(jìn)，有望帶動(dòng)AI學(xué)習(xí)機(jī)、AI教育大屏等需求增加，推薦視源股份、科大訊飛等；其次，我們認(rèn)為AI眼鏡、AIPC、機(jī)器人等新終端的出貨量有望隨著模型升級(jí)后使用范圍的增加而增加，因此建議關(guān)注以AI眼鏡、PC、機(jī)器人為代表的終端供應(yīng)商或內(nèi)部核心軟件供應(yīng)商，推薦虹軟科技、聯(lián)想集團(tuán)等。數(shù)據(jù)：高質(zhì)量數(shù)據(jù)仍然是大模型訓(xùn)練中不可或缺的一環(huán)，B端Agent落地亦需要行業(yè)know-how進(jìn)行微調(diào)。建議關(guān)注向量數(shù)據(jù)庫(kù)相關(guān)公司、數(shù)據(jù)處理類(lèi)企業(yè)，以及具備行業(yè)側(cè)專(zhuān)業(yè)數(shù)據(jù)的廠商，關(guān)注拓爾思等。計(jì)算機(jī)計(jì)算機(jī)風(fēng)險(xiǎn)分析(1)AI產(chǎn)業(yè)商業(yè)化落地不及預(yù)期：目前各環(huán)節(jié)AI產(chǎn)品的商業(yè)化模式尚處于探索階段，如果各環(huán)節(jié)產(chǎn)品的推進(jìn)節(jié)奏不及預(yù)期，或?qū)ο嚓P(guān)企業(yè)業(yè)績(jī)?cè)斐刹焕绊懀?2)市場(chǎng)競(jìng)爭(zhēng)風(fēng)險(xiǎn)：海外AI廠商憑借先發(fā)優(yōu)勢(shì)，以及較強(qiáng)的技術(shù)積累，在競(jìng)爭(zhēng)中處于優(yōu)勢(shì)地位，如果國(guó)內(nèi)AI廠商技術(shù)迭代不及預(yù)期，經(jīng)營(yíng)狀況或?qū)⑹?/p>