2024年計(jì)算機(jī)行業(yè)專(zhuān)題研究：云廠(chǎng)AI算力自用需求或超預(yù)期核心觀(guān)點(diǎn)大模型時(shí)代，AI需求有望拉動(dòng)云廠(chǎng)商資本開(kāi)支持續(xù)擴(kuò)大，全球算力需求將持續(xù)向上。復(fù)盤(pán)歷史：2005-2023年云資本開(kāi)支整體保持?jǐn)U大趨勢(shì)，2009、2015、2023年Amazon、Microsoft、Google、Meta合計(jì)支出規(guī)模出現(xiàn)小幅波動(dòng)，剔除結(jié)構(gòu)性調(diào)整因素影響，我們發(fā)現(xiàn)除2009年Google、Microsoft受經(jīng)營(yíng)壓力影響有意縮小CapEx支出之外，過(guò)去近20年時(shí)間，云廠(chǎng)商用于數(shù)據(jù)中心建設(shè)的資本開(kāi)支并未出現(xiàn)明顯縮減。從歷史復(fù)盤(pán)的視角看，CapEx支出擴(kuò)大得益于自用/外供兩方面因素影響。自用視角下云廠(chǎng)商核心業(yè)務(wù)完成SaaS轉(zhuǎn)型，伴隨用戶(hù)規(guī)模擴(kuò)大，自用算力需求穩(wěn)定增長(zhǎng)；外供視角下海外企業(yè)加速業(yè)務(wù)上云、數(shù)據(jù)上云，伴隨云化比例提升，云托管需求帶動(dòng)外供算力需求穩(wěn)步抬升。需求展望：大模型成為新一代技術(shù)變革關(guān)鍵，正全面重塑IT產(chǎn)業(yè)結(jié)構(gòu)，同樣從自用/外供兩個(gè)維度展望，我們發(fā)現(xiàn)擴(kuò)大AI算力建設(shè)已成為海外云廠(chǎng)商公司共識(shí)，新一輪云基礎(chǔ)設(shè)施建設(shè)周期全面開(kāi)啟。對(duì)于外供視角下的需求增長(zhǎng)，目前市場(chǎng)共識(shí)較高，受益于MaaS需求拉動(dòng)，Microsoft、Google、Amazon的云收入增速自23Q3開(kāi)始逐步企穩(wěn)，各家MaaS布局競(jìng)爭(zhēng)日趨激烈，算力規(guī)模和模型能力是后續(xù)的競(jìng)爭(zhēng)關(guān)鍵。對(duì)于自用視角下的需求增長(zhǎng)，或仍存在較大的市場(chǎng)預(yù)期差，大模型正加速向推薦/搜索/廣告等傳統(tǒng)互聯(lián)網(wǎng)業(yè)務(wù)滲透，我們認(rèn)為，若大模型實(shí)現(xiàn)在傳統(tǒng)業(yè)務(wù)場(chǎng)景的算法替代，云廠(chǎng)商自用的AI推理需求將加速釋放。以Meta10億月活用戶(hù)數(shù)應(yīng)用為測(cè)算基準(zhǔn)，若生成式推薦模型全面替換傳統(tǒng)算法，對(duì)應(yīng)A100等效GPU需求超52萬(wàn)張，遠(yuǎn)高于目前推薦場(chǎng)景的4,000張GPU算力規(guī)模。2005-2023年復(fù)盤(pán)：云資本開(kāi)支持續(xù)擴(kuò)大，AI貢獻(xiàn)新動(dòng)能資本開(kāi)支總體呈擴(kuò)大趨勢(shì)，AI成為新一輪云基礎(chǔ)設(shè)施建設(shè)助推劑?；仡?005-2023年Amazon（亞馬遜）、Microsoft（微軟）、Google（谷歌）、Meta（臉書(shū)）的資本開(kāi)支變化，海外云廠(chǎng)商資本開(kāi)支呈現(xiàn)總體擴(kuò)大趨勢(shì)。四家企業(yè)合計(jì)資本開(kāi)支在2010年（yoy+113.02%）、2016年（yoy+29.46%）、2020年（yoy+38.76%）等年份明顯提速，主要得益于云計(jì)算業(yè)務(wù)在當(dāng)年出現(xiàn)重要增長(zhǎng)驅(qū)動(dòng)。我們認(rèn)為，2005-2022年海外云廠(chǎng)商資本開(kāi)支的增長(zhǎng)驅(qū)動(dòng)是云計(jì)算業(yè)務(wù)的持續(xù)成長(zhǎng)，進(jìn)入2023年云計(jì)算+AI成為新的雙輪引擎，頭部云廠(chǎng)商資本開(kāi)支有望持續(xù)擴(kuò)大，進(jìn)而帶動(dòng)全球算力需求持續(xù)增長(zhǎng)。根據(jù)VisibleAlpha一致預(yù)測(cè)，2026年四家合計(jì)資本支出將達(dá)2,399億美元，2023-2026年CAGR為18.86%。1）萌芽期（2005-2009年）：此階段以IaaS（Infrastructureasaservice，基礎(chǔ)設(shè)施即服務(wù)）建設(shè)為主。2006年，Amazon率先推出SimpleStorageService（S3）與ElasticComputeCloud（EC2），正式布局云計(jì)算服務(wù)，存算分離的核心理念確立。2005-2008年合計(jì)資本開(kāi)支保持上漲，CAGR為45.63%。2009年合計(jì)資本開(kāi)支同比下降44.46%，主要受Microsoft（平衡經(jīng)營(yíng)壓力）、Google（2008年收購(gòu)DoubleClick，快速擴(kuò)大自用服務(wù)器建設(shè)）資本開(kāi)支下降影響，2009年Amazon資本開(kāi)支仍然維持上漲，同比增長(zhǎng)11.68%。2）發(fā)展期（2010-2015年）：此階段Microsoft、Google正式入局云計(jì)算市場(chǎng)，云服務(wù)建設(shè)開(kāi)始從IaaS向PaaS（PlatformasaService，平臺(tái)即服務(wù)）層逐步拓展，算力需求進(jìn)一步增長(zhǎng)。2009年Heroku推出第一款公有云PaaS，2010年微軟推出WindowsAzure平臺(tái)，2012年Google推出GoogleComputeEngine預(yù)覽版，云計(jì)算正式進(jìn)入穩(wěn)步發(fā)展期。2010-2015年合計(jì)資本開(kāi)支持續(xù)上漲，CAGR為25.71%。云計(jì)算在此階段逐步實(shí)現(xiàn)技術(shù)沉淀與客戶(hù)積累，海外企業(yè)逐步推進(jìn)數(shù)據(jù)上云，軟件公司開(kāi)始嘗試SaaS訂閱轉(zhuǎn)型。3）成熟期（2016-2022年）：此階段云計(jì)算技術(shù)基本成熟，SaaS（SoftwareasaService，軟件即服務(wù)）應(yīng)用加速發(fā)展，各家云業(yè)務(wù)實(shí)現(xiàn)快速增長(zhǎng)，據(jù)Gartner統(tǒng)計(jì)，全球公有云市場(chǎng)規(guī)模從2018年的1,824億美元增長(zhǎng)至2022年的4,910億美元，CAGR為28%。2018-2022年MicrosoftAzure、GoogleCloud、AmazonAWS業(yè)務(wù)收入的同比增速分別保持在31%、37%、28%以上，高于行業(yè)平均水平。伴隨云收入快速增長(zhǎng)，企業(yè)資本開(kāi)支規(guī)模持續(xù)擴(kuò)大，2016到2019年期間合計(jì)資本開(kāi)支CAGR為28.58%，19年合計(jì)資本支出達(dá)649億美元；受益于線(xiàn)上辦公需求增長(zhǎng)及云廠(chǎng)商自研/投資的大模型訓(xùn)練需求，2020-2022年云廠(chǎng)商資本開(kāi)支繼續(xù)擴(kuò)大，CAGR為27.34%，22年合計(jì)支出達(dá)1,460億美元。4）升級(jí)期（2023年至今）：此階段生成式AI成為重要增量需求，以AI為核心MaaS（Modelasaservice，模型即服務(wù)）服務(wù)成為新一輪算力建設(shè)重要推動(dòng)。2023年（自然年）Microsoft資本支出為352億美元，同比增長(zhǎng)42.13%；Google資本支出為323億美元，同比增長(zhǎng)2.43%；Amazon資本支出為481億美元，同比減少17.47%（主要由于倉(cāng)儲(chǔ)物流、履約支出相關(guān)支出減少）；Meta資本支出為273億美元，同比減少13.25%（主要由于非AI服務(wù)器支出減少）。根據(jù)VisibleAlpha一致預(yù)測(cè)數(shù)據(jù)顯示，2024-2026年四家合計(jì)資本開(kāi)支將分別達(dá)到1,993、2,211、2,399億美元，2024-2026年CAGR為18.86%。波動(dòng)溯源：結(jié)構(gòu)性調(diào)整與經(jīng)營(yíng)性平衡是重要影響因素資本開(kāi)支擴(kuò)大趨勢(shì)持續(xù)，增速波動(dòng)主要受結(jié)構(gòu)性調(diào)整、經(jīng)營(yíng)性平衡兩類(lèi)因素影響?；仡欃Y本開(kāi)支的同比增速變化，我們對(duì)2005-2023年同比下降的年份進(jìn)行了回溯歸因，歷史增速波動(dòng)主要受資本開(kāi)支結(jié)構(gòu)性調(diào)整與公司經(jīng)營(yíng)性平衡兩類(lèi)因素影響。1）結(jié)構(gòu)性調(diào)整：資本開(kāi)支主要包括購(gòu)買(mǎi)新的機(jī)器、設(shè)備、房屋等長(zhǎng)期資產(chǎn)，為了剔除購(gòu)置房產(chǎn)等其他資本開(kāi)支影響，我們整理了云廠(chǎng)商資產(chǎn)和設(shè)備科目下計(jì)算設(shè)備的資產(chǎn)凈增值與同比增速，可以看到計(jì)算設(shè)備的資產(chǎn)凈增值同比增長(zhǎng)但總資本開(kāi)支同比減少的年份，多受到資本開(kāi)支結(jié)構(gòu)性調(diào)整的影響；同時(shí)還包括未考慮用于數(shù)據(jù)中心的融資租賃成本的年份；2）經(jīng)營(yíng)性平衡：為保證公司經(jīng)營(yíng)質(zhì)量，維持良好的現(xiàn)金流水平，在公司經(jīng)營(yíng)承壓的年份，公司多采取減少資本開(kāi)支的經(jīng)營(yíng)舉措，可以看到在總體營(yíng)收增速放緩或同比減少的年份，總資本開(kāi)支同比減少多受到公司經(jīng)營(yíng)性平衡的影響。Amazon：資本開(kāi)支三次波動(dòng)向下，結(jié)構(gòu)性調(diào)整三次?；仡橝mazon的資本開(kāi)支同比增速，2013年、2015年、2023年分別同比減少9%、6%、17%。1）2013年主要由于結(jié)構(gòu)性調(diào)整：2013年資本開(kāi)支為34.4億美元（yoy-9%），13Q1-Q4資本開(kāi)支分別為6.70、8.55、10.38、8.80億美元（yoy+73.58%/+30.14%/+44.97%/-56.54%）；13Q4資本開(kāi)支同比大幅減少，主要由于12Q4公司以14億美元購(gòu)買(mǎi)了企業(yè)辦公大樓，剔除相關(guān)影響，2013年資本支出同比增長(zhǎng)43%；2）2015年主要由于未考慮AWS的融資租賃成本：2015年資本開(kāi)支為45.9億美元（yoy-6%），15Q1-Q4資本開(kāi)支分別為8.71、12.13、11.95、13.09億美元（yoy-19.35%/-5.97%/-13.28%/+14.42%）；2015年統(tǒng)計(jì)口徑下資本開(kāi)支不包含融資租賃（大部分用于支持AWS），實(shí)際上2015年Amazon增加AWS數(shù)據(jù)中心租賃；綜合來(lái)看，2015年資本開(kāi)支（含融資租賃）超90億美元，相較于2014年的89億美元略有增長(zhǎng)。3）2023年主要由于結(jié)構(gòu)性調(diào)整：2023年資本開(kāi)支為481.3億美元（yoy-17%），23Q1-Q4資本開(kāi)支分別為130.70、104.12、112.98、133.53億美元（yoy-4.89%/-26.15%/-24.89%/-13.52%）；2023年資本開(kāi)支同比減少主要由于公司的倉(cāng)儲(chǔ)物流及履約開(kāi)支減少。Microsoft：資本開(kāi)支三次波動(dòng)向下，經(jīng)營(yíng)性平衡兩次，結(jié)構(gòu)性調(diào)整一次。由于財(cái)年劃分不同，我們以Microsoft財(cái)年為時(shí)間維度對(duì)其資本開(kāi)支進(jìn)行分析（FY2006對(duì)應(yīng)CY05Q3、CY05Q4、CY06Q1、CY06Q2四個(gè)季度）?；仡橫icrosoft的資本開(kāi)支同比增速，F(xiàn)Y2009財(cái)年、FY2010財(cái)年、FY2012財(cái)年分別同比減少2%、37%、2%。1）FY2009財(cái)年主要由于經(jīng)營(yíng)性平衡：FY2009資本開(kāi)支為31.19億美元（yoy-2%），F(xiàn)Y09Q1-Q4資本開(kāi)支分別為7.78、8.42、6.32、8.67億美元（yoy+52.55%/+21.15%/-16.73%/-28.82%）；2009年資本開(kāi)支同比減少，主要由于公司經(jīng)營(yíng)業(yè)績(jī)承壓，F(xiàn)Y09Q3-Q4營(yíng)收分別同比下降5.58%、17.29%，F(xiàn)Y2009財(cái)年全年?duì)I收同比下降3.28%。2）FY2010財(cái)年主要由于未考慮融資租賃成本：FY2010年資本開(kāi)支為19.77億美元（yoy-37%），F(xiàn)Y10Q1-Q4資本開(kāi)支分別為4.35、3.76、4.08、7.58億美元（yoy-44.09%/-55.34%/-35.44%/-12.57%）；FY2010財(cái)年資本開(kāi)支同比大幅下降，主要由于未考慮云服務(wù)相關(guān)的融資租賃成本，F(xiàn)Y2010財(cái)年包括融資租賃在內(nèi)的資本開(kāi)支為58億美元，同比增長(zhǎng)8%，主要用于支持云服務(wù)的使用和需求增長(zhǎng)。3）FY2012財(cái)年主要由于經(jīng)營(yíng)性平衡：FY2012財(cái)年資本開(kāi)支為23.05億美元（yoy-2%），F(xiàn)Y12Q1-Q4資本開(kāi)支分別為4.36、4.98、7.49、6.22億美元（yoy-22.70%/+1.43%/+13.83%/-3.12%）；FY2012財(cái)年資本開(kāi)支同比略有下降主要出于提升經(jīng)營(yíng)質(zhì)量考量，F(xiàn)Y2012財(cái)年公司營(yíng)收737億美元，同比增長(zhǎng)5.40%，相較于FY2011增速放緩。Google：資本開(kāi)支七次波動(dòng)向下，經(jīng)營(yíng)性平衡兩次，結(jié)構(gòu)性調(diào)整五次。回顧Google的資本開(kāi)支同比增速，2008年、2009年、2011年、2012年、2015年、2019年、2020年分別同比減少2%、66%、14%、5%、10%、6%、5%。1）2008年主要由于結(jié)構(gòu)性調(diào)整：2008年資本開(kāi)支為23.6億美元（yoy-2%），08Q1-Q4資本開(kāi)支分別為8.42、6.98、4.52、3.68億美元（yoy+41.00%/+21.29%/-18.30%/-45.76%）；2008年資本開(kāi)支同比減少2%，云計(jì)算相關(guān)資產(chǎn)（Informationtechnologyassets）凈增值同比增長(zhǎng)8%，標(biāo)志用于數(shù)據(jù)中心建設(shè)的資本開(kāi)支并無(wú)明顯縮減；2）2009年主要由于經(jīng)營(yíng)性平衡：2009年資本開(kāi)支為8.1億美元（yoy-66%），09Q1-Q4資本開(kāi)支分別為2.63、1.39、1.86、2.21億美元（yoy-68.78%/-80.01%/-58.73%/-39.82%）；2009年資本開(kāi)支同比大幅減少，主要由于公司重視經(jīng)營(yíng)質(zhì)量，謹(jǐn)慎選擇資本開(kāi)支的投入時(shí)機(jī)，2009年公司營(yíng)收237億美元，同比增長(zhǎng)8.51%，相較于2008年增速明顯放緩（2008年yoy+31.35%）。3）2011年主要由于結(jié)構(gòu)性調(diào)整：2011資本開(kāi)支為34.4億美元（yoy-14%），11Q1-Q4資本開(kāi)支分別為8.90、9.17、6.80、9.51億美元（yoy+272.38%/+92.65%/-10.29%/-62.63%）；2011Q4資本開(kāi)支同比下降明顯，主要由于2010Q4資本開(kāi)支中包含購(gòu)買(mǎi)紐約辦公大樓的開(kāi)支；同時(shí)從云計(jì)算相關(guān)資產(chǎn)凈增值角度來(lái)看，2011年云計(jì)算相關(guān)資產(chǎn)凈增值同比增長(zhǎng)73%，標(biāo)志用于數(shù)據(jù)中心建設(shè)的資本開(kāi)支并無(wú)明顯縮減。4）2012年主要由于結(jié)構(gòu)性調(diào)整：2012資本開(kāi)支為32.7億美元（yoy-5%），12Q1-Q4資本開(kāi)支分別為6.07、7.74、8.72、10.20億美元（yoy-31.80%/-15.59%/+28.24%/+7.26%）；2012年資本開(kāi)支同比小幅下降，2012年云計(jì)算相關(guān)資產(chǎn)凈增值同比增長(zhǎng)19%，標(biāo)志用于數(shù)據(jù)中心建設(shè)的資本開(kāi)支并無(wú)明顯縮減。5）2015年主要由于結(jié)構(gòu)性調(diào)整：2015資本開(kāi)支為99.2億美元（yoy-10%），15Q1-Q4資本開(kāi)支分別為29.27、25.15、23.73、21.00億美元（yoy+24.82%/-4.95%/-1.82%/-40.86%）；2015Q4資本開(kāi)支同比大幅下降，主要由于14Q4資本開(kāi)支中包含房地產(chǎn)購(gòu)買(mǎi)，同時(shí)從云計(jì)算相關(guān)資產(chǎn)凈增值角度來(lái)看，2015年云計(jì)算相關(guān)資產(chǎn)凈增值同比增長(zhǎng)50%，標(biāo)志用于數(shù)據(jù)中心建設(shè)的資本開(kāi)支并無(wú)明顯縮減。6）2019年主要由于經(jīng)營(yíng)性平衡：2019資本開(kāi)支為235.5億美元（yoy-6%），19Q1-Q4資本開(kāi)支分別為46.38、61.26、67.32、60.52億美元（yoy-36.46%/+11.85%/+27.45%/-14.53%）；2019年資本開(kāi)支略有下降，一方面由于18Q1購(gòu)買(mǎi)位于紐約的辦公大樓，另一方面由于公司整體業(yè)務(wù)增速放緩，2019年公司營(yíng)收1619億美元，同比增長(zhǎng)18.30%，相較于2018年增速有所放緩（2018年yoy+23.42%）。7）2020年主要由于結(jié)構(gòu)性調(diào)整：2020資本開(kāi)支為222.8億美元（yoy-5%），20Q1-Q4資本開(kāi)支分別為60.05、53.91、54.06、54.79億美元（yoy+29.47%/-12.00%/-19.70%/-9.47%）；2020年資本開(kāi)支略有下降，云計(jì)算相關(guān)資產(chǎn)凈增值同比增長(zhǎng)35%，標(biāo)志用于數(shù)據(jù)中心建設(shè)的資本開(kāi)支并無(wú)明顯縮減。Meta：資本開(kāi)支一次波動(dòng)向下，主要由于結(jié)構(gòu)性調(diào)整?；仡橫eta的資本開(kāi)支同比增速，2023年資本支出為272.7億美元，同比減少13.25%，23Q1-Q4資本開(kāi)支分別為68.42、62.16、65.43、76.65億美元（yoy+25.75%/-17.91%/-30.21%/-15.24%）。2023年含融資租賃資本開(kāi)支為281億美元，主要是由于對(duì)服務(wù)器、數(shù)據(jù)中心和網(wǎng)絡(luò)基礎(chǔ)設(shè)施的投資。從云計(jì)算相關(guān)資產(chǎn)凈增值角度來(lái)看，2023年云計(jì)算相關(guān)資產(chǎn)（Serversandnetworkassets）凈增值同比增長(zhǎng)43%，標(biāo)志用于數(shù)據(jù)中心建設(shè)的資本開(kāi)支并無(wú)明顯縮減。傳統(tǒng)驅(qū)動(dòng)：IaaS+PaaS+SaaS服務(wù)貢獻(xiàn)早期動(dòng)能早期云廠(chǎng)商資本開(kāi)支以云業(yè)務(wù)（IaaS+PaaS+SaaS）為核心驅(qū)動(dòng)，資本開(kāi)支顯著擴(kuò)大的年份與云業(yè)務(wù)增速較快的年份基本對(duì)應(yīng)?；仡?008-2023年全球云計(jì)算市場(chǎng)發(fā)展歷程，全球公有云服務(wù)市場(chǎng)規(guī)模增長(zhǎng)在2010年、2016年、2020年出現(xiàn)顯著提速，分別同比增長(zhǎng)73.73%、32.21%、45.31%，為應(yīng)對(duì)云服務(wù)需求的持續(xù)釋放，公有云廠(chǎng)商強(qiáng)化算力基礎(chǔ)設(shè)施建設(shè)，資本開(kāi)支規(guī)模在對(duì)應(yīng)年份顯著擴(kuò)大。2022年，在宏觀(guān)經(jīng)濟(jì)下行和通脹壓力的雙重影響下，全球公有云服務(wù)市場(chǎng)增速明顯下降。以Amazon、Microsoft、Google云業(yè)務(wù)為例，三家企業(yè)的云業(yè)務(wù)增速明顯下滑，CY2022Q4Amazon、Microsoft、Google云業(yè)務(wù)同比增速分別為20%、31%、33%，增速同比下降20pct、15pct、12pct。伴隨大語(yǔ)言模型開(kāi)啟生成式AI新周期，大模型訓(xùn)練、推理需求成為云資本開(kāi)支增長(zhǎng)的新興動(dòng)力。新興驅(qū)動(dòng)：擴(kuò)大資本開(kāi)支成為共識(shí)，AI算力成為新一輪建設(shè)重點(diǎn)云廠(chǎng)商積極布局MaaS服務(wù)，擴(kuò)大資本開(kāi)支成為企業(yè)共識(shí)。進(jìn)入大模型時(shí)代，云服務(wù)增長(zhǎng)呈現(xiàn)傳統(tǒng)服務(wù)與大模型服務(wù)雙輪驅(qū)動(dòng)的新局面。1）傳統(tǒng)云服務(wù)穩(wěn)步提升：根據(jù)Gartner預(yù)測(cè)，2025年在應(yīng)用軟件、基礎(chǔ)設(shè)施軟件、業(yè)務(wù)流程服務(wù)、系統(tǒng)基礎(chǔ)設(shè)施等市場(chǎng)中將有51%的IT支出從傳統(tǒng)解決方案轉(zhuǎn)向公有云（2022年為41%），據(jù)IDC預(yù)測(cè)，2027年全球公有云IaaS+PaaS市場(chǎng)規(guī)模有望達(dá)6,198億美元，2023-2027年CAGR為24.7%；2）模型服務(wù)快速增長(zhǎng)：2023年云廠(chǎng)商加快針對(duì)AI大模型訓(xùn)練、推理的云端算力建設(shè)，23Q3開(kāi)始Google、Amazon、Meta資本開(kāi)支環(huán)比增長(zhǎng)，微軟23Q4資本開(kāi)支環(huán)比下降主要受第三方合同交付影響，部分資本開(kāi)支遞延至24Q1，擴(kuò)大資本開(kāi)支成為企業(yè)共識(shí)。24年資本開(kāi)支規(guī)模有望快速增長(zhǎng)，看好全球算力需求持續(xù)上漲。根據(jù)CY23Q4財(cái)報(bào)后的公開(kāi)業(yè)績(jī)說(shuō)明會(huì)指引（具體表述詳見(jiàn)圖表20），Microsoft、Google、Meta、Amazon均明確表示24年將擴(kuò)大資本開(kāi)支規(guī)模。根據(jù)CY24Q1財(cái)報(bào)后的公開(kāi)業(yè)績(jī)說(shuō)明會(huì)指引，各家公司態(tài)度更加明確，Microsoft表示預(yù)計(jì)2025財(cái)年資本開(kāi)支將高于2024財(cái)年；Google表示24年季度資本開(kāi)支將保持或超過(guò)24Q1水平（120億美元），全年CapEx或超480億美元（對(duì)應(yīng)yoy+49%）；Amazon表示24Q1（140億美元）或?yàn)?4年資本開(kāi)支最低季度，全年CapEx支出或超560億美元（對(duì)應(yīng)yoy+16%）；Meta再次上調(diào)全年CapEx指引至350-400億美元（高于此前的300-370億美元），按指引中值計(jì)算，預(yù)計(jì)同比增長(zhǎng)37%。AI需求1：云廠(chǎng)商加速M(fèi)aaS布局，滿(mǎn)足外供訓(xùn)練&推理外供視角看，云廠(chǎng)商的AI算力建設(shè)主要通過(guò)滿(mǎn)足企業(yè)的大模型訓(xùn)練及推理需求。23年開(kāi)始，云廠(chǎng)商加速M(fèi)aaS（ModelasaService，模型即服務(wù)）服務(wù)布局，構(gòu)建大模型端到端服務(wù)體系。目前MaaS服務(wù)架構(gòu)主要包括算力層、模型層、工具層、應(yīng)用層。1）算力層：包括外購(gòu)算力（英偉達(dá)、AMD等）與自研芯片（MicrosoftMaia100芯片、GoogleTPU芯片、AmazonTrainium芯片）兩類(lèi)方案；2）模型層：主要包括獨(dú)家模型/自研模型、第三方模型兩類(lèi)方案，云廠(chǎng)商可提供百余種模型選擇；3）工具層：主要提供模型微調(diào)、數(shù)據(jù)接地、安全監(jiān)測(cè)、Agent定制等模型訓(xùn)練、應(yīng)用開(kāi)發(fā)工具；4）應(yīng)用層：主要提供代碼助手、云助手、辦公助手等云廠(chǎng)商AI服務(wù)，同時(shí)支持企業(yè)級(jí)的定制應(yīng)用部署。成熟大模型運(yùn)營(yíng)有望帶來(lái)3,169億美元的服務(wù)器增量市場(chǎng)，云托管仍是海外企業(yè)的主流選擇方案。對(duì)比各家公司MaaS的最新進(jìn)展，1）工具層：軟件能力正逐步趨同，數(shù)據(jù)質(zhì)量與數(shù)據(jù)規(guī)模的重要性日益凸顯；2）應(yīng)用層：主要與各家公司原有產(chǎn)品布局相關(guān)；3）模型層：獨(dú)家供應(yīng)的優(yōu)質(zhì)模型與自研小模型成為重要發(fā)力點(diǎn)；4）算力層：重點(diǎn)在可用算力規(guī)模及算力使用效率?？偨Y(jié)來(lái)看，我們認(rèn)為，算力規(guī)模與模型能力是后續(xù)的競(jìng)爭(zhēng)重點(diǎn)。根據(jù)研究預(yù)測(cè)，全球成熟大模型運(yùn)營(yíng)有望帶來(lái)3,169億美元的服務(wù)器增量市場(chǎng)，較2023年211億美元的AI服務(wù)器市場(chǎng)而言，仍有較大成長(zhǎng)空間（具體測(cè)算參考計(jì)算機(jī)團(tuán)隊(duì)2024年4月12日專(zhuān)題報(bào)告《全球AI算力需求繼續(xù)向上》）。根據(jù)a16z調(diào)查，海外企業(yè)的大模型部署中72%的企業(yè)選擇使用模型API服務(wù)，其中52%來(lái)自云廠(chǎng)商托管。Amazon：云計(jì)算先發(fā)者，23年加速AI追趕Amazonre:Invent2023大會(huì)展示AI布局。Amazon作為云計(jì)算服務(wù)的先發(fā)布局者，2017-2023年公有云服務(wù)市占率始終保持行業(yè)第一。2023年11月28日Amazonre:Invent2023大會(huì)召開(kāi)，針對(duì)AmazonMaaS服務(wù)布局展開(kāi)全面介紹。1）算力層：發(fā)布自研AI芯片Trainium2，提到Anthropic計(jì)劃用Trainium2芯片構(gòu)建模型；宣布Amazon成為在云端配備英偉達(dá)GH200GraceHopper芯片的首家云大廠(chǎng)；2）模型層：宣布擴(kuò)大與Anthropic（投資40億美元）的合作；3）工具層：通過(guò)AmazonBedrock提供模型微調(diào)、RAG、持續(xù)預(yù)訓(xùn)練、Agents開(kāi)發(fā)、安全防護(hù)等能力；4）應(yīng)用層：推出AmazonQ問(wèn)答助手，定價(jià)20美元/人/月，可應(yīng)用在企業(yè)云服務(wù)、代碼開(kāi)發(fā)、數(shù)據(jù)分析等場(chǎng)景，并支持Salesforce、Microsoft、Google、Slack等40多家公司的商業(yè)應(yīng)用程序開(kāi)箱即用。立足云業(yè)務(wù)客戶(hù)優(yōu)勢(shì)，B端業(yè)務(wù)拓展順利。得益于云計(jì)算客戶(hù)的多年合作積累，Amazon的MaaS服務(wù)盡管推出時(shí)間相對(duì)較晚，但仍然取得了較好的實(shí)質(zhì)進(jìn)展。根據(jù)公司2023年股東信內(nèi)容，Amazon的MaaS服務(wù)已實(shí)現(xiàn)在A(yíng)mgen（安進(jìn)公司）、Merck（默克）、Salesforce（賽富時(shí)）、Accor（雅高酒店集團(tuán)）、MUFG（三菱日聯(lián)金融集團(tuán)）、AxiataGroupBerhad（亞通集團(tuán)）等多行業(yè)企業(yè)客戶(hù)的合作落地。根據(jù)Amazonre:Invent2023大會(huì)介紹，AmazonMaaS服務(wù)已合作超10,000家成熟企業(yè)。2024年，Amazon的AI布局進(jìn)一步推進(jìn)，24Q1發(fā)布Rufus（AI購(gòu)物助理）、FitInsightsTool（個(gè)性化尺碼推薦）等AI工具；2024年4月宣布吳恩達(dá)博士加入Amazon董事會(huì)，負(fù)責(zé)生成式AI相關(guān)技術(shù)落地。Microsoft：MaaS轉(zhuǎn)型順利，商業(yè)化逐步落地戰(zhàn)略投資OpenAI掌握商業(yè)化先機(jī)，MaaS服務(wù)布局完善。微軟成為生成式AI商業(yè)落地的先行者，原因有二：一是，憑借對(duì)OpenAl的投資，微軟天然掌握先進(jìn)模型的接觸與應(yīng)用機(jī)會(huì)，早在2021年微軟就發(fā)布了初代版本的GithubCopilot助手，開(kāi)展了產(chǎn)品化試點(diǎn)；二是，作為以企業(yè)客戶(hù)為核心客群的軟件廠(chǎng)商，微軟的SaaS應(yīng)用全面覆蓋了企業(yè)的業(yè)務(wù)管理流程，具備廣泛的Al+產(chǎn)品整合觸點(diǎn)，實(shí)現(xiàn)了商業(yè)化落地內(nèi)部驗(yàn)證。2023年11月16日微軟Ignite大會(huì)介紹了MaaS服務(wù)整體布局。1）算力層：發(fā)布自研AI芯片Maia100；2）模型層：提供OpenAI模型的獨(dú)家供應(yīng)；3）工具層：提供完善的端到端工具，推出CopilotStudio允許客戶(hù)自定義AI助手；4）應(yīng)用層：進(jìn)一步明確Copilot商業(yè)版圖，分為Copilot（免費(fèi)版）、CopilotPro（個(gè)人版，20美元/人/月）、CopilotforMicrosoft365（企業(yè)版，30美元/人/月）、CopilotforSales/Service（升級(jí)版，50美元/人/月）四類(lèi)訂閱方案。商業(yè)化進(jìn)展順利，24Q1AI貢獻(xiàn)的Azure收入占比達(dá)7%。根據(jù)公司業(yè)績(jī)說(shuō)明會(huì)，AI業(yè)務(wù)已在云收入中初步體現(xiàn)，F(xiàn)Y23Q4（23Q2）AI占Azure收入比重為1%，F(xiàn)Y24Q1（23Q3）提升至3%，F(xiàn)Y24Q2（23Q4）提升至6%，F(xiàn)Y24Q3（24Q1）提升至7%。根據(jù)23Q4業(yè)績(jī)說(shuō)明會(huì)，AzureAI客戶(hù)數(shù)已從23Q3的18,000家提升至23Q4的53,000家。不同于A(yíng)mazon、Google，Microsoft具有良好的B端SaaS應(yīng)用產(chǎn)品基礎(chǔ)，自有應(yīng)用的AI整合觸點(diǎn)更加豐富。目前Microsoft365全線(xiàn)產(chǎn)品基本實(shí)現(xiàn)Copilot升級(jí)。Google：MaaS布局日趨完善，初創(chuàng)AI企業(yè)熱門(mén)選擇應(yīng)用+工具服務(wù)全面升級(jí)，GoogleMaaS能力提升。2024年4月9日，GoogleCloudNext2024大會(huì)舉辦“Thenewwaytocloud”開(kāi)幕演講，對(duì)于GoogleMaaS服務(wù)布局進(jìn)行更新。1）算力層：發(fā)布新一代AI芯片TPUv5p，計(jì)算能力相較上一代提升4倍，Character.AI開(kāi)始使用TPU實(shí)現(xiàn)大模型的訓(xùn)練、推理；推出搭載NVIDIAH100芯片的全新A3MegaVM虛擬機(jī)，預(yù)計(jì)將于24年5月上市；2）模型層：發(fā)布Gemini1.5Pro，上下文窗口從128Ktokens提升到1Mtokens（約等于70萬(wàn)個(gè)單詞或3萬(wàn)行代碼），是目前已發(fā)布的上下文窗口最大的閉源模型；3）工具層：強(qiáng)化工具層功能布局，推出GoogleSearchGrounding（通過(guò)Google搜索實(shí)現(xiàn)聯(lián)網(wǎng)數(shù)據(jù)接地）、AutoSxS（模型能力對(duì)比）、PromptManagement（提示此優(yōu)化）、AgentBuilder（智能體創(chuàng)建）等功能；4）應(yīng)用層：全面升級(jí)GeminiforGoogleCloud，實(shí)現(xiàn)AI助手與Workspace、Bigquery、數(shù)據(jù)庫(kù)、云安全、代碼開(kāi)發(fā)等云服務(wù)的全面整合。成為初創(chuàng)AI企業(yè)的熱門(mén)選擇，加速成熟B端客戶(hù)拓展。根據(jù)GoogleCloudNext2024大會(huì)介紹，超多60%的GenerativeAI初創(chuàng)企業(yè)以及接近90%的GenAI獨(dú)角獸企業(yè)都是GoogleCloud客戶(hù)。同時(shí)，GoogleMaaS服務(wù)已經(jīng)在Bayer（拜耳）、BestBuy（百思買(mǎi)）、DiscoverFinancial（發(fā)現(xiàn)金融服務(wù)公司）、IHGHotels&Resorts（洲際酒店集團(tuán)）、Mercedes-Benz（梅賽德斯-奔馳）、CoveredCalifornia（加州全保）等各行業(yè)客戶(hù)落地。AI需求2：大模型滲透基礎(chǔ)業(yè)務(wù)，大廠(chǎng)自用需求或放量從自用視角看，大模型向搜索/推薦/廣告等互聯(lián)網(wǎng)傳統(tǒng)業(yè)務(wù)滲透，或帶動(dòng)自用AI算力需求加速釋放。除提供MaaS服務(wù)外，海外科技廠(chǎng)商積極探索大模型在搜索/廣告/推薦場(chǎng)景的技術(shù)落地，自用算力需求旺盛。從收入結(jié)構(gòu)上看，搜索/廣告/推薦相關(guān)業(yè)務(wù)在Meta、Google、Amazon收入占比均超過(guò)50%，算法效果提升對(duì)于企業(yè)經(jīng)營(yíng)來(lái)說(shuō)意義重大；從技術(shù)迭代上看，相較于傳統(tǒng)推薦模型，大模型具備更好的外部知識(shí)與泛化能力，可實(shí)現(xiàn)跨域個(gè)性化推薦，優(yōu)化算法效果；從業(yè)務(wù)進(jìn)展上看，23年5月Microsoft開(kāi)放BingChat功能，23年10月Google推出生成搜索體驗(yàn)（SearchGenerativeExperience，SGE），24年2月Amazon推出RufusAI購(gòu)物助手，24年3月Meta在電話(huà)會(huì)（MorganStanley2024Technology,Media&TelecomConference）中介紹公司正在打造跨產(chǎn)品的AI推薦模型。大模型發(fā)揮增強(qiáng)數(shù)據(jù)特征、強(qiáng)化語(yǔ)義理解、優(yōu)化交互范式等作用，有助于算法效果提升。搜索/廣告/推薦算法存在需求共性（匹配用戶(hù)的興趣和需求）與技術(shù)共性（分為過(guò)濾候選、排序候選、個(gè)性化輸出），大模型與搜索/廣告/推薦等業(yè)務(wù)融合，具備較強(qiáng)的技術(shù)可行性。1）增強(qiáng)數(shù)據(jù)特征：大模型相較于傳統(tǒng)推薦模型，具有更強(qiáng)的外部通用知識(shí)和邏輯推理能力，可以對(duì)用戶(hù)畫(huà)像、項(xiàng)目?jī)?nèi)容進(jìn)行有效的特征補(bǔ)充；2）強(qiáng)化語(yǔ)義理解：在過(guò)濾候選階段，大模型可發(fā)揮自然語(yǔ)言理解能力，可以更好地理解用戶(hù)的查詢(xún)/行為意圖，實(shí)現(xiàn)更精準(zhǔn)的內(nèi)容篩選；3）優(yōu)化交互范式：大模型可同時(shí)發(fā)揮多輪對(duì)話(huà)、情緒感知等能力，通過(guò)生成式方式，將傳統(tǒng)的列表式輸出轉(zhuǎn)變?yōu)閷?duì)話(huà)式輸出，提供更具個(gè)性化、交互感的反饋結(jié)果。本章節(jié)以推薦系統(tǒng)為例，針對(duì)大模型+推薦系統(tǒng)的理論、實(shí)踐、潛在影響進(jìn)行了深度分析。理論：大模型落地推薦系統(tǒng)，具備技術(shù)可行性大模型落地推薦系統(tǒng)具備技術(shù)可行性，擁有豐富的理論研究基礎(chǔ)。為了深入解答大模型如何實(shí)現(xiàn)在搜索/廣告/推薦場(chǎng)景的技術(shù)落地，我們以推薦系統(tǒng)為例，詳細(xì)總結(jié)了大模型在傳統(tǒng)推薦系統(tǒng)的落地方向與研究進(jìn)展。方向一：不改變推薦系統(tǒng)的分層推薦架構(gòu)，實(shí)現(xiàn)LLM與傳統(tǒng)CRM的單點(diǎn)/多點(diǎn)融合，強(qiáng)化推薦系統(tǒng)某項(xiàng)步驟的效果，2021-2023年期間的論文研究多為此類(lèi)研究方向；方向二：從數(shù)據(jù)建模、模型結(jié)構(gòu)等方向全面重塑推薦系統(tǒng)，打造生成式推薦系統(tǒng)，2024年多篇論文轉(zhuǎn)向此類(lèi)研究方向?？偨Y(jié)來(lái)看，傳統(tǒng)架構(gòu)下LLM的融合作用仍存在局限性，新技術(shù)架構(gòu)有望更好地釋放大模型的技術(shù)潛能。傳統(tǒng)架構(gòu)：大模型與CRM的單點(diǎn)/多點(diǎn)整合，效能優(yōu)化是重點(diǎn)傳統(tǒng)架構(gòu)下，大模型可實(shí)現(xiàn)與傳統(tǒng)推薦模型的優(yōu)勢(shì)互補(bǔ)。參考論文《HowCanRecommenderSystemsBenefitfromLargeLanguageModels:ASurvey》（JIANGHAOLIN，2024-02），傳統(tǒng)推薦模型（ConventionalRecommendationModel，CRM），只能利用數(shù)據(jù)集內(nèi)的知識(shí)，缺乏對(duì)于語(yǔ)義信息及深度意圖的推理能力，同時(shí)跨域推薦能力較弱；大語(yǔ)言模型通過(guò)大規(guī)模預(yù)訓(xùn)練語(yǔ)料和自監(jiān)督訓(xùn)練，引入了外部世界知識(shí)，具備較強(qiáng)語(yǔ)義理解與泛化能力，可有效補(bǔ)充傳統(tǒng)推薦模型的不足，有望提升推薦性能，優(yōu)化用戶(hù)體驗(yàn)。傳統(tǒng)推薦架構(gòu)下，LLM可實(shí)現(xiàn)單點(diǎn)或多點(diǎn)整合?；谏疃葘W(xué)習(xí)的推薦系統(tǒng)包括六個(gè)階段。1）數(shù)據(jù)采集：主要通過(guò)線(xiàn)上收集用戶(hù)行為和記錄，得到原始數(shù)據(jù)（Rawdata）；2）特征工程：主要對(duì)原始數(shù)據(jù)進(jìn)行篩選加工，將原始數(shù)據(jù)進(jìn)一步處理為結(jié)構(gòu)化數(shù)據(jù)（Structureddata）；3）特征編碼：對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行編碼，得到對(duì)應(yīng)的向量表示（Neuralembeddings）；4）打分排序：對(duì)候選物品進(jìn)行打分排序，得到要呈現(xiàn)給用戶(hù)的排序列表（Rankeditemslist）；5）用戶(hù)交互：向目標(biāo)用戶(hù)展示推薦項(xiàng)目的方式及用戶(hù)向推薦系統(tǒng)提供反饋的方式；6）流程控制：作為中央控制器，把控推薦系統(tǒng)的整體流程。根據(jù)已有研究，LLM可實(shí)現(xiàn)以上階段的單點(diǎn)或多點(diǎn)整合。伴隨基礎(chǔ)模型的能力提升，大模型+推薦系統(tǒng)呈現(xiàn)出從單點(diǎn)到多點(diǎn)、從輔助環(huán)節(jié)到核心環(huán)節(jié)、從淺層融合到深度應(yīng)用的轉(zhuǎn)變。特征工程：利用LLM外部知識(shí)實(shí)現(xiàn)原始數(shù)據(jù)補(bǔ)充。在特征工程階段，LLM可以將原始特征（如項(xiàng)目描述、用戶(hù)畫(huà)像、用戶(hù)行為等）作為輸入，生成輔助的文本特征，實(shí)現(xiàn)原始數(shù)據(jù)的特征增強(qiáng)，豐富模型的訓(xùn)練數(shù)據(jù)。此部分研究工作主要分為兩類(lèi)：1）用戶(hù)（user）級(jí)和項(xiàng)目（item）級(jí)特征增強(qiáng)：利用LLM的外部知識(shí)完善用戶(hù)畫(huà)像、項(xiàng)目畫(huà)像，更好地進(jìn)行用戶(hù)偏好建模及項(xiàng)目?jī)?nèi)容理解；2）實(shí)例級(jí)訓(xùn)練樣本生成：利用LLM的推理能力直接生成項(xiàng)目樣本，豐富訓(xùn)練數(shù)據(jù)集。特征編碼：利用LLM作為文本編碼器，為文本信息提供更好的語(yǔ)義理解。在特征編碼階段，LLM發(fā)揮強(qiáng)大的語(yǔ)義理解能力，實(shí)現(xiàn)用戶(hù)表征、物品表征的文本特征增強(qiáng)。除此之外，LLM還可以以自然語(yǔ)言為橋梁，對(duì)齊不同領(lǐng)域的異構(gòu)信息，實(shí)現(xiàn)模型的跨域推薦。傳統(tǒng)的推薦模型多基于ID進(jìn)行item的表征學(xué)習(xí)和推薦，大語(yǔ)言模型轉(zhuǎn)而使用自然語(yǔ)言描述item，解決過(guò)去依賴(lài)ID的問(wèn)題，可以更好地實(shí)現(xiàn)模型的跨域推薦，基于ItemSequence（將item所有相關(guān)內(nèi)容，如標(biāo)題、品牌、價(jià)格等屬性拼接成句子）推薦即為典型代表。打分排序：使用LLM作為打分/排序工具，得到相關(guān)性更好的輸出列表。打分排序是推薦系統(tǒng)中較為關(guān)鍵的部分，LLM可作為項(xiàng)目的打分/排序工具，目前多通過(guò)在LLM訓(xùn)練中引入打分/排序等任務(wù)來(lái)實(shí)現(xiàn)。1）項(xiàng)目評(píng)分：利用LLM對(duì)候選項(xiàng)目進(jìn)行逐一評(píng)分，最后根據(jù)分?jǐn)?shù)排序得到最終的項(xiàng)目列表；2）項(xiàng)目生成：通過(guò)生成式的方式直接生成排序列表；3）混合任務(wù)：LLM天然適合多任務(wù)場(chǎng)景（包括評(píng)分任務(wù)、生成任務(wù)等），可以規(guī)范不同推薦場(chǎng)景的輸入輸出，并在跨域樣本上進(jìn)行預(yù)訓(xùn)練，使用者后續(xù)可通過(guò)Prompt執(zhí)行對(duì)應(yīng)任務(wù)。用戶(hù)交互：使用LLM提供多輪對(duì)話(huà)的交互體驗(yàn)，實(shí)現(xiàn)用戶(hù)需求的深度挖掘。傳統(tǒng)的推薦模式下，推薦多為單回合交互，僅對(duì)推薦后的單次用戶(hù)行為（是否點(diǎn)擊、是否購(gòu)買(mǎi)）進(jìn)行監(jiān)控?；贚LM的推薦交互多以多輪對(duì)話(huà)的形式呈現(xiàn)，可以通過(guò)整合對(duì)話(huà)中的上下文并應(yīng)用廣泛的開(kāi)放世界知識(shí)，豐富對(duì)于用戶(hù)偏好、項(xiàng)目建議、定制化需求等內(nèi)容的理解。根據(jù)用戶(hù)交互模型不同，可分為任務(wù)導(dǎo)向型用戶(hù)交互、開(kāi)放式用戶(hù)交互。1）任務(wù)導(dǎo)向型：假設(shè)用戶(hù)具有明確的意圖，而推薦系統(tǒng)需要支持用戶(hù)的決策過(guò)程或協(xié)助用戶(hù)找到相關(guān)的項(xiàng)目，LLM被集成為推薦系統(tǒng)的一個(gè)組件，專(zhuān)門(mén)用于分析用戶(hù)的意圖；2）開(kāi)放式：假設(shè)用戶(hù)的意圖不明確，系統(tǒng)需要逐漸獲取用戶(hù)的興趣或通過(guò)交互（包括主題對(duì)話(huà)、閑聊、問(wèn)答等）引導(dǎo)用戶(hù)最終實(shí)現(xiàn)推薦目標(biāo)，LLM不局限于對(duì)話(huà)生成功能，而是兼具意圖引導(dǎo)與獲取功能。流程控制：LLM不再僅應(yīng)用于推薦系統(tǒng)中的某一部分，而是參與到推薦流程的整體控制。隨著基礎(chǔ)模型的參數(shù)量擴(kuò)大，LLM開(kāi)始表現(xiàn)出上下文學(xué)習(xí)、指令遵循、逐步推理、工具使用等能力，因此使用LLM作為推薦系統(tǒng)的流程控制器（可以看作是推薦場(chǎng)景下的Agent），可以使推薦過(guò)程更具交互性與可解釋性。以Google發(fā)布的RecLLM為例，LLM實(shí)現(xiàn)在推薦系統(tǒng)的多點(diǎn)落地，并成為整體流程運(yùn)行的決策單元，LLM能夠管理對(duì)話(huà)、理解用戶(hù)偏好、實(shí)現(xiàn)項(xiàng)目排名，甚至提供可控的基于LLM的用戶(hù)模擬器生成合成對(duì)話(huà)。LLM落地呈現(xiàn)出從單點(diǎn)到多點(diǎn)、從輔助環(huán)節(jié)到核心環(huán)節(jié)的演進(jìn)趨勢(shì)。從工程實(shí)踐的角度來(lái)看，LLM+RS落地存在兩類(lèi)變量因素，一是大模型是否需要微調(diào)（TuneorNottuneLLM），二是推理階段是否需要引入傳統(tǒng)推薦模型（Withorw/oCRM）?；仡檶W(xué)術(shù)研究發(fā)展趨勢(shì)（從第一象限到第三象限到第二、四象限再到第一象限），我們得到兩大結(jié)論，一是LLM與推薦系統(tǒng)協(xié)同至關(guān)重要，二是LLM基礎(chǔ)能力決定其在推薦系統(tǒng)中的應(yīng)用深度。1）LLM與推薦系統(tǒng)協(xié)同至關(guān)重要：伴隨基礎(chǔ)模型參數(shù)量擴(kuò)大與通用能力提升，LLM+RS研究從“微調(diào)LLM+CRM參與”（第一象限）向“不微調(diào)LLM+CRM不參與”（第三象限）演進(jìn)，但從實(shí)踐結(jié)果看，第三象限模型效果普遍落后于其他象限結(jié)果，證明盡管大模型具備通用知識(shí)，但推薦系統(tǒng)域內(nèi)專(zhuān)有知識(shí)仍然具有重要作用。因此后續(xù)延續(xù)研究向“不微調(diào)LLM+CRM參與”（第二象限，引入CRM進(jìn)行協(xié)同），“微調(diào)LLM+CRM不參與”（第四象限，引入CRM數(shù)據(jù)進(jìn)行協(xié)同）演進(jìn)，通用能力+垂直數(shù)據(jù)的技術(shù)路徑成為主流共識(shí)。2）LLM基礎(chǔ)能力決定其應(yīng)用深度：伴隨基礎(chǔ)模型的能力提升，LLM在推薦系統(tǒng)中的應(yīng)用深度愈發(fā)深入；以第一象限為例（相同象限內(nèi)對(duì)應(yīng)相似的工程方案），早期使用規(guī)模較小的LLM時(shí)，LLM主要用在特征編碼等輔助環(huán)節(jié)場(chǎng)景；后續(xù)隨基礎(chǔ)模型參數(shù)量及泛化能力變化，LLM開(kāi)始應(yīng)用于打分排序等核心環(huán)節(jié)，并逐步實(shí)現(xiàn)特征工程、特征編碼、打分排序等多點(diǎn)融合，后續(xù)演進(jìn)出將LLM作為流程控制器的全環(huán)節(jié)部署架構(gòu)。新興架構(gòu)：重塑范式，打造基于Transformer的第三代推薦系統(tǒng)新興架構(gòu)有助于充分釋放LLM的跨域推薦能力。傳統(tǒng)架構(gòu)下，LLM被視為基于深度學(xué)習(xí)的推薦系統(tǒng)的賦能工具，核心在于發(fā)揮LLM的文本理解與生成能力，通過(guò)文本特征增強(qiáng)以提升推薦內(nèi)容的相關(guān)性，本質(zhì)上是在特定環(huán)節(jié)使用LLM替代傳統(tǒng)深度學(xué)習(xí)模型。新興架構(gòu)下，生成式推薦模型全面參考大語(yǔ)言模型的訓(xùn)練方法與應(yīng)用范式，用文本統(tǒng)一表示，用Prompt統(tǒng)一任務(wù)，構(gòu)建全新的統(tǒng)一生成式推薦范式。1）用文本統(tǒng)一表示：將項(xiàng)目信息構(gòu)造成序列（Sequence）形式，形成模型的訓(xùn)練語(yǔ)料，同時(shí)解決了傳統(tǒng)推薦模型下數(shù)據(jù)異構(gòu)問(wèn)題，可以更好地實(shí)現(xiàn)跨域推薦；2）用Prompt統(tǒng)一任務(wù)：Promptlearning思想非常簡(jiǎn)單，即對(duì)每一個(gè)任務(wù)使用一個(gè)Prompt去進(jìn)行描述，推薦模型經(jīng)過(guò)大量語(yǔ)料訓(xùn)練同樣具有較好的泛化能力，用戶(hù)可以通過(guò)構(gòu)造不同的Prompt描述，引導(dǎo)模型完成特定的工作。生成式推薦模型有望成為基于深度學(xué)習(xí)推薦系統(tǒng)之后的第三代推薦系統(tǒng)。推薦系統(tǒng)的技術(shù)迭代受到數(shù)據(jù)體量、個(gè)性化需求、泛化能力要求等因素變化驅(qū)動(dòng)。第一代推薦系統(tǒng)（以1992年提出協(xié)同過(guò)濾概念為重要標(biāo)志）主要解決信息過(guò)載問(wèn)題；第二代推薦系統(tǒng)（以2016年Google推出Wide&Deep推薦框架為重要標(biāo)志）主要解決推薦的個(gè)性化問(wèn)題；第三代推薦系統(tǒng)（以Meta提出GenerativeRecommendations為重要標(biāo)志）旨在構(gòu)建具備泛化能力的統(tǒng)一推薦模型，同時(shí)提升用戶(hù)意圖理解與項(xiàng)目推薦效果。實(shí)踐：Meta、Google加速探索大模型的推薦場(chǎng)景落地Meta：“三步走”戰(zhàn)略明確，統(tǒng)一推薦系統(tǒng)或?qū)?6年落地Meta重視推薦系統(tǒng)AI升級(jí)，戰(zhàn)略布局進(jìn)入第三階段。根據(jù)Meta在MorganStanley2024Technology,Media&TelecomConference的公開(kāi)采訪(fǎng)紀(jì)要，Meta正改變過(guò)去將為每個(gè)產(chǎn)品單獨(dú)設(shè)計(jì)推薦模型的做法，轉(zhuǎn)而構(gòu)建跨產(chǎn)品線(xiàn)（Reels、Feed、Groups等）的統(tǒng)一AI推薦模型。全新的AI推薦系統(tǒng)已成為Meta2026年技術(shù)路線(xiàn)圖的重要組成部分，預(yù)計(jì)分為三個(gè)階段逐步落地。階段一：將現(xiàn)有推薦系統(tǒng)由CPU推理轉(zhuǎn)向GPU推理，優(yōu)化推薦系統(tǒng)性能與體驗(yàn)；階段二：完成AI推薦模型在FacebookReels的功能測(cè)試與技術(shù)驗(yàn)證，相較于傳統(tǒng)推薦模型（同樣運(yùn)行在GPU上），新推薦模型下用戶(hù)在Reels的觀(guān)看時(shí)長(zhǎng)增加約8-10%；階段三：為AI推薦模型提供更多的學(xué)習(xí)數(shù)據(jù)，并將AI推薦系統(tǒng)推廣至更多產(chǎn)品，正式完成生成式推薦大模型的跨產(chǎn)品線(xiàn)落地，用統(tǒng)一大模型代替原有的獨(dú)立模型。首個(gè)生成式推薦系統(tǒng)大模型有望帶來(lái)新一輪技術(shù)革新。2024年4月，Meta發(fā)布首個(gè)生成式推薦系統(tǒng)論文《ActionsSpeakLouderthanWords:Trillion-ParameterSequentialTransducersforGenerativeRecommendations》，開(kāi)創(chuàng)性提出了基于Transformer的生成式推薦（GenerativeRecommenders,GRs）架構(gòu)，并驗(yàn)證了ScalingLaw同樣適用。我們認(rèn)為，Meta在推薦系統(tǒng)上的技術(shù)創(chuàng)新有望帶動(dòng)推薦系統(tǒng)向更通用、更個(gè)性、更安全的方向演進(jìn)。1）更通用：GRs將異構(gòu)特征統(tǒng)一編碼為單一的時(shí)間序列，從特征建模的源頭解決不同推薦場(chǎng)景下的特征異構(gòu)問(wèn)題，奠定了跨域推薦能力基礎(chǔ)；2）更個(gè)性：GRs將用戶(hù)的長(zhǎng)期行為序列作為新的生成建模模式，相較于傳統(tǒng)序列推薦系統(tǒng)（僅考慮用戶(hù)交互）可以更好地捕捉用戶(hù)的興趣和行為；3）更安全：通過(guò)減少對(duì)大量異構(gòu)特征的依賴(lài)，GRs可以更好地保護(hù)用戶(hù)隱私，同時(shí)有助于降低平臺(tái)與用戶(hù)價(jià)值觀(guān)不一致的問(wèn)題。Meta生成式推薦系統(tǒng)突破三大技術(shù)問(wèn)題，ScalingLaw同樣適用。1）特征簡(jiǎn)化：GRs將異構(gòu)特征（用戶(hù)ID、歷史行為、關(guān)注列表、地理位置等多類(lèi)特征）統(tǒng)一編碼為時(shí)間序列，相較于傳統(tǒng)序列推薦，Meta構(gòu)建的長(zhǎng)序列具備更強(qiáng)的特征交叉能力，有效降低了信息損失，同時(shí)將后續(xù)的召回和排序統(tǒng)一定義為序列建模任務(wù)；2）計(jì)算效率：Meta提出新的HSTU（HierarchicalSequentialTransductionUnits）模型架構(gòu)與M-FALCON算法；采用HSTU結(jié)構(gòu)，GRs處理長(zhǎng)序列（8192長(zhǎng)度）的速度相較傳統(tǒng)深度學(xué)習(xí)模型提高5.3-15.2倍；采用M-FALCON算法，GRs能夠在相同的推理成本下，服務(wù)于285倍復(fù)雜的模型，并將吞吐量提升1.5倍；3）模型擴(kuò)展性：驗(yàn)證了ScalingLaw同樣適用于大規(guī)模推薦模型，通過(guò)序列長(zhǎng)度、embedding維數(shù)的擴(kuò)大，能夠有效實(shí)現(xiàn)GRs模型的Scaling。生成式推薦系統(tǒng)實(shí)踐面臨計(jì)算+數(shù)據(jù)挑戰(zhàn)，Meta算力建設(shè)有望持續(xù)擴(kuò)大。1）計(jì)算能力：推薦系統(tǒng)的應(yīng)用場(chǎng)景是十億級(jí)用戶(hù)與十億級(jí)內(nèi)容的計(jì)算與匹配，以Meta為例，截至23年僅Facebook月活用戶(hù)接近30億，僅Instagram探索頁(yè)面每秒需要完成9,000萬(wàn)次推理，推薦大模型單日的Token推理量大于普通語(yǔ)言模型1-2月的推理量，計(jì)算能力拓展是實(shí)踐落地的重點(diǎn)；2）訓(xùn)練數(shù)據(jù)：傳統(tǒng)推薦系統(tǒng)詞匯表體量達(dá)數(shù)十億級(jí)，如何構(gòu)建更多、更長(zhǎng)的序列是提升模型推薦效果的關(guān)鍵，同時(shí)根據(jù)ScalingLaw定律，需要同步增加序列長(zhǎng)度和計(jì)算資源，以此確保模型在更大規(guī)模數(shù)據(jù)下的性能和質(zhì)量。綜合來(lái)看，在計(jì)算與數(shù)據(jù)的雙重挑戰(zhàn)下，自用推理算力有望成為又一建設(shè)重點(diǎn)。根據(jù)Meta的電話(huà)會(huì)中表述，Meta正積極配置新數(shù)據(jù)中心以支持新的推薦模型，我們認(rèn)為，自用AI算力規(guī)模有望加速擴(kuò)大。技術(shù)革新落地，AI推薦系統(tǒng)未來(lái)可期。根據(jù)論文可知，Meta已經(jīng)實(shí)現(xiàn)生成式推薦大模型在自有產(chǎn)品（擁有數(shù)十億用戶(hù)的大型互聯(lián)網(wǎng)平臺(tái)）的技術(shù)落地，根據(jù)試驗(yàn)結(jié)果可知，相較于傳統(tǒng)推薦模型，在線(xiàn)A/B測(cè)試中，GRs用戶(hù)參與度（E-Task）提升12.4%，消費(fèi)事件（C-Task）參與度提升4.4%。我們認(rèn)為，GRs后續(xù)有望朝兩大方向加速推進(jìn)。1）更強(qiáng)的用戶(hù)理解：通過(guò)增加序列長(zhǎng)度、引入多模態(tài)信號(hào)，生成式推薦系統(tǒng)有望更加深入地挖掘和建模用戶(hù)的行為模式，進(jìn)一步強(qiáng)化推薦系統(tǒng)的個(gè)性化程度與用戶(hù)滿(mǎn)意度；2）更廣泛的應(yīng)用場(chǎng)景：統(tǒng)一的推薦模型可以有效提升跨產(chǎn)品線(xiàn)用戶(hù)的使用體驗(yàn)，同時(shí)可以將所有項(xiàng)目納入統(tǒng)一排名系統(tǒng)，實(shí)現(xiàn)推薦內(nèi)容的快速擴(kuò)充。Meta已布局AI視頻推薦系統(tǒng)，成長(zhǎng)可期。Google：生成式大模型迭代搜索算法，SGE進(jìn)展順利生成式大模型迭代Google搜索算法，SGE塑造全新搜索體驗(yàn)?；仡橤oogle搜索算法迭代歷程，可以看到搜索場(chǎng)景是AI應(yīng)用的重要領(lǐng)域。2001年起，AI模型開(kāi)始逐步滲透搜索場(chǎng)景。2001年Google使用機(jī)器學(xué)習(xí)技術(shù)為網(wǎng)絡(luò)搜索提供拼寫(xiě)建議；2015年Google推出搜索領(lǐng)域首個(gè)深度學(xué)習(xí)系統(tǒng)RankBrian，實(shí)現(xiàn)用戶(hù)意圖的深入理解；2018年Google將神經(jīng)網(wǎng)絡(luò)技術(shù)引入搜索場(chǎng)景，幫助理解用戶(hù)查詢(xún)和頁(yè)面概念的模糊表示并完成相關(guān)性匹配；2019年Google將Bert模型應(yīng)用于搜索的檢索與排序；2022年Google發(fā)布搜索領(lǐng)域多任務(wù)統(tǒng)一模型MUM，MUM使用T5text-to-text框架，擁有75種語(yǔ)言理解能力，可完成多模態(tài)信息理解；2023年Google發(fā)布生成式搜索體驗(yàn)（SearchGenerativeExperience，SGE），旨在通過(guò)大模型重塑搜索體驗(yàn)，為用戶(hù)提供更精準(zhǔn)、更個(gè)性、更智能的搜索結(jié)果。SGE以大模型為技術(shù)底座，提供更精準(zhǔn)、更個(gè)性、更智能的搜索體驗(yàn)。根據(jù)GoogleI/O2024大會(huì)