版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
計(jì)算機(jī)tangyue券研究報(bào)告-行業(yè)分析報(bào)告強(qiáng)于大市(維持)52%52%44%l人類在處理信息時(shí)選擇性地關(guān)注關(guān)鍵35%和準(zhǔn)確性。深度學(xué)習(xí)模仿人類的這種能力引入了注意力機(jī)制,從27%19%10%2%-6%2024.102025.022025.062025.10不斷通過(guò)ScalingLaw提升大模型長(zhǎng)文本處理能力和模型性能,資料來(lái)源:中原證券研究所,聚源AI產(chǎn)業(yè)不斷在進(jìn)行算法、系統(tǒng)、硬件三個(gè)層面的提升和優(yōu)化。其《人工智能專題:后R1時(shí)代,DeepSeek發(fā)模型方向的標(biāo)桿,在注意力機(jī)制的技術(shù)改進(jìn)方面也做了大量的工展的三大階段》2025-10-14作?!队?jì)算機(jī)行業(yè)月報(bào):國(guó)產(chǎn)算力芯片迎來(lái)高光時(shí)lNSA:2025年2月,DeepSeek梁文鋒參與撰寫(xiě)的論文《Native刻,超節(jié)點(diǎn)和集群層面雙雙趕超》2025-09-SparseAttention》發(fā)布,提出了原生稀疏),聯(lián)系人:李智lDSA:2025年9月DeepSee電話erminus構(gòu)建,引入了新的注意力機(jī)制DSA,在保持模型性能的),《人工智能專題:三大要素齊發(fā)力,AI應(yīng)用步入全面加速期》2025-03-07本報(bào)告版權(quán)屬于中原證券股份有限公司請(qǐng)閱讀最后一頁(yè)各項(xiàng)聲明本報(bào)告版權(quán)屬于中原證券股份有限公司www 3 3 7 7 4 4 5 5 6 6 7 7 7 3本報(bào)告版權(quán)屬于中原證券股份有限公司www的主流架構(gòu)Transformer,Attention成為了絡(luò)(RNN)的長(zhǎng)序列遺忘問(wèn)題。而后,稀疏注意力的引入將注意力計(jì)部分連接,效率更高),從而突破內(nèi)存與算力瓶頸。時(shí)至今日,經(jīng)過(guò)多代技術(shù)升大模型長(zhǎng)文本處理能力和模型性能,AI產(chǎn)業(yè)不斷在進(jìn)行算法、系統(tǒng)、硬件三個(gè)層面和優(yōu)化。其中在算法層面,DeepSeek作為開(kāi)源大模型領(lǐng)域的代表和低表1:DeepSeek的主要模型發(fā)布情況能本報(bào)告版權(quán)屬于中原證券股份有限公司www圖1:DeepSeek-V2中MLA對(duì)于降低KVCache和訓(xùn)練成本的作用傳統(tǒng)的多頭注意力的鍵值緩存(KVCache)較大,DeepSeek通過(guò)將低秩近似鍵值緩存壓縮中,從而提升了計(jì)算效率。MLA將注意力分?jǐn)?shù)的顯存占用減少了約90%,同時(shí)圖2:MLA與其他注意力機(jī)制的結(jié)構(gòu)差異Hardware-AlignedandNativelyTrainableSpars(NativeSparseAttentio),篇最佳論文獎(jiǎng)之一,作者表示NSA可以此前,稀疏注意力工作主要集中在推理階段,而業(yè)界預(yù)訓(xùn)練階段多采用稠密本報(bào)告版權(quán)屬于中原證券股份有限公司www訓(xùn)練與推理的不一致,難免會(huì)引入誤差,從而限圖3:NSA模型效果及效率對(duì)比資料來(lái)源:《NativeSparseAttention:Hardware-Alig(3)DSA:2025年9月Deep入了新的注意力機(jī)制DSA,在保持模型性能的穩(wěn)定的同時(shí)20%(0.2元/百萬(wàn)Tokens),輸入緩存未命中時(shí)價(jià)格為R),),小,成本的下降意味著模型具有更好的性價(jià)比和可推廣性,也將促進(jìn)應(yīng)用端實(shí)現(xiàn)更多功能的落圖4:DeepSeek模型API調(diào)用價(jià)格(元/百萬(wàn)Tokens)本報(bào)告版權(quán)屬于中原證券股份有限公司wwwSparseAttention,DSA),是第一個(gè)以“DeepSeek”文本中的重要詞匯(2048個(gè)),并以這些篩有優(yōu)勢(shì)。長(zhǎng)期來(lái)看,DSA的穩(wěn)定性、安全性及泛化能力還有待進(jìn)一步圖6:DeepSeek-V3.2-Exp中DSA的實(shí)現(xiàn)原理本報(bào)告版權(quán)屬于中原證券股份有限公司www如果將神經(jīng)網(wǎng)絡(luò)視為y=f(x),x是輸入,y是輸出。當(dāng)前的趨勢(shì)是多模態(tài)等需求導(dǎo)致x變圖7:模型Scaling的新范式練模型輸出的長(zhǎng)度持續(xù)增長(zhǎng),思考的時(shí)間持續(xù)增加,AIME圖8:DeepSeek-R1-Zero在訓(xùn)練中AIME精度提升情況圖9:DeepSeek-R1-Zero在訓(xùn)練中的平均響應(yīng)時(shí)長(zhǎng)資料來(lái)源:DeepSeek,中原證券研究所升和模型上下文的拓展,將給后訓(xùn)練釋放更大的發(fā)展?jié)撃?,成為推?dòng)模型能力不斷突本報(bào)告版權(quán)屬于中原證券股份有限公司www本報(bào)告版權(quán)屬于中原證券股份有限公司www強(qiáng)于大市:未來(lái)6個(gè)月內(nèi)行業(yè)指數(shù)相對(duì)滬深300漲幅10%以上;同步大市:未來(lái)6個(gè)月內(nèi)行業(yè)指數(shù)相對(duì)滬深300漲幅-10%至10%之間;弱于大市:未來(lái)6個(gè)月內(nèi)行業(yè)指數(shù)相對(duì)滬深300跌幅10%以上。買入:未來(lái)6個(gè)月內(nèi)公司相對(duì)滬深300漲幅15%以上;增持:未來(lái)6個(gè)月內(nèi)公司相對(duì)滬深300漲幅5%至15%;謹(jǐn)慎增持:未來(lái)6個(gè)月內(nèi)公司相對(duì)滬深300漲幅-10%至5%;減持:未來(lái)6個(gè)月內(nèi)公司相對(duì)滬深300漲幅-15%至-10%;賣出:未來(lái)6個(gè)月內(nèi)公司相對(duì)滬深300跌幅15%以上。本報(bào)告署名分析師具有中國(guó)證券業(yè)協(xié)會(huì)授予的證券分析師執(zhí)業(yè)資格,本人任職符合監(jiān)管機(jī)構(gòu)相關(guān)合規(guī)要求。本人基于認(rèn)真審慎的職業(yè)態(tài)度、專業(yè)嚴(yán)謹(jǐn)?shù)难芯糠椒ㄅc分析邏輯,獨(dú)立、客觀的制作本報(bào)告。本報(bào)告準(zhǔn)確的反映了本人的研究觀點(diǎn),本人對(duì)報(bào)告內(nèi)容和觀點(diǎn)負(fù)責(zé),保證報(bào)告信息來(lái)源合法合規(guī)。中原證券股份有限公司具備證券投資咨詢業(yè)務(wù)資格。本報(bào)告由中原證券股份有限公司(以下簡(jiǎn)稱“本公司”)制作并僅向本公司客戶發(fā)布,本公司不會(huì)因任何機(jī)構(gòu)或個(gè)人接收到本報(bào)告而視其為本公司的當(dāng)然客戶。本報(bào)告中的信息均來(lái)源于已公開(kāi)的資料,本公司對(duì)這些信息的準(zhǔn)確性及完整性不作任何保證,也不保證所含的信息不會(huì)發(fā)生任何變更。本報(bào)告中的推測(cè)、預(yù)測(cè)、評(píng)估、建議均為報(bào)告發(fā)布日的判斷,本報(bào)告中的證券或投資標(biāo)的價(jià)格、價(jià)值及投資帶來(lái)的收益可能會(huì)波動(dòng),過(guò)往的業(yè)績(jī)表現(xiàn)也不應(yīng)當(dāng)作為未來(lái)證券或投資標(biāo)的表現(xiàn)的依據(jù)和擔(dān)保。報(bào)告中的信息或所表達(dá)的意見(jiàn)并不構(gòu)成所述證券買賣的出價(jià)或征價(jià)。本報(bào)告所含觀點(diǎn)和建議并未考慮投資者的具體投資目標(biāo)、財(cái)務(wù)狀況以及特殊需求,任何時(shí)候不應(yīng)視為對(duì)特定投資者關(guān)于特定證券或投資標(biāo)的的推薦。本報(bào)告具有專業(yè)性,僅供專業(yè)投資者和合格投資者參考。根據(jù)《證券期貨投資者適當(dāng)性管理辦法》相關(guān)規(guī)定,本報(bào)告作為資訊類服務(wù)屬于低風(fēng)險(xiǎn)(R1)等級(jí),普通投資者應(yīng)在投資顧問(wèn)指導(dǎo)下謹(jǐn)慎使用。本報(bào)告版權(quán)歸本公司所有,未經(jīng)本公司書(shū)面授權(quán),任何機(jī)構(gòu)、個(gè)人不得刊載、轉(zhuǎn)發(fā)本報(bào)告或本報(bào)告任何部分,不得以任何侵犯本公司版權(quán)的其他方式使用。未經(jīng)授權(quán)的刊載、轉(zhuǎn)發(fā),本公司不承擔(dān)任何刊載、轉(zhuǎn)發(fā)責(zé)任。獲得本公司書(shū)面授權(quán)的刊載、轉(zhuǎn)發(fā)、引用,須在本公司允許的范圍內(nèi)使用,并注明報(bào)告出處、發(fā)布人、發(fā)布日期,提示使用本報(bào)告的風(fēng)險(xiǎn)。若本公司客戶(以下簡(jiǎn)稱“該客戶”)向第三方發(fā)送本報(bào)告,則由該客戶獨(dú)自為其發(fā)送行為負(fù)責(zé),提醒通過(guò)該種途徑獲得本報(bào)告的投
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 特色農(nóng)產(chǎn)品品牌化推廣策略2025年實(shí)施可行性報(bào)告
- 2025年金融科技行業(yè)區(qū)塊鏈創(chuàng)新與數(shù)字貨幣流通分析報(bào)告
- 機(jī)關(guān)單位行政工作效率提升方案
- 市場(chǎng)營(yíng)銷活動(dòng)方案范文
- 小學(xué)群文閱讀教學(xué)方案示范
- 公路工程質(zhì)量控制制度與安全生產(chǎn)
- 泡沫砌塊施工方案(3篇)
- 下鄉(xiāng)活動(dòng)推廣方案策劃(3篇)
- 施工方案選擇標(biāo)準(zhǔn)(3篇)
- x機(jī)房施工方案(3篇)
- 承包團(tuán)建燒烤合同范本
- 電力線通信技術(shù)
- 人工流產(chǎn)手術(shù)知情同意書(shū)
- 2025秋人教版七年級(jí)全一冊(cè)信息科技期末測(cè)試卷(三套)
- 教師三筆字培訓(xùn)課件
- 鋼鐵燒結(jié)機(jī)脫硫脫硝施工方案
- 中國(guó)醫(yī)藥行業(yè)中間體出口全景分析:破解政策難題深挖全球紅利
- 搶工補(bǔ)償協(xié)議書(shū)
- 孕婦尿液捐獻(xiàn)協(xié)議書(shū)
- 賓館物資轉(zhuǎn)讓協(xié)議書(shū)
- 黨的二十屆四中全會(huì)精神丨線上知識(shí)有獎(jiǎng)競(jìng)答題庫(kù)
評(píng)論
0/150
提交評(píng)論