王炳寧百川智能預(yù)訓(xùn)練負(fù)責(zé)人博士畢業(yè)于中國(guó)科學(xué)院自動(dòng)化研究所，主要研究問答系統(tǒng)和大語(yǔ)言模型。歷任搜狗、騰訊高級(jí)研究員，有著豐富大規(guī)模生成式模型經(jīng)驗(yàn)，主導(dǎo)并發(fā)布如ReCO、ComQA、ChiQA、T2Ranking等大規(guī)模中文問答數(shù)據(jù)，以及Baichuan系列預(yù)訓(xùn)練模型。在ACL、SIGIR、AAAI等國(guó)際頂級(jí)人工智能和自然語(yǔ)言處理會(huì)議上以第一作者發(fā)表論文11篇，并獲得2021年CIKMbestpaperrunnerup。博士論文《機(jī)器閱讀理解關(guān)鍵技術(shù)研究》獲2019年中國(guó)中文信息學(xué)會(huì)優(yōu)秀博士論文獎(jiǎng)。中國(guó)中文信息學(xué)會(huì)青年工作委員會(huì)執(zhí)行委員。演講主題：Transformer效率優(yōu)化語(yǔ)言模型會(huì)將句子的概率拆解成其組成部分的概率P(我是中國(guó)人)=P(我)*P(是|我)*P(中|是)*P(國(guó)傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)的方法大多都是基于極大似然估計(jì)（傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)的方法大多都是基于極大似然估計(jì)（maximum傳播來優(yōu)化整個(gè)模型。將將feed-forward網(wǎng)絡(luò)替換為和語(yǔ)言表示更為接近Radford,Alec,etal."Impr?當(dāng)前語(yǔ)言模型發(fā)展的最重要的特征：越來越大。不管是語(yǔ)言模型訓(xùn)練數(shù)據(jù)的增多，還是本身參數(shù)規(guī)模的擴(kuò)大，scaling當(dāng)前語(yǔ)言模型取得突破的最關(guān)鍵因素?OpenAI的GPT-4和Google的GeminiUltra的訓(xùn)練成本估計(jì)分別為7800萬美元和1.91億美元。?大語(yǔ)言模型的訓(xùn)練成本與計(jì)算需求之間存在線性相關(guān)性，具有更高計(jì)算訓(xùn)練需求的模型訓(xùn)練成本要高得多。大語(yǔ)言模型的基礎(chǔ)模塊-Transformer大語(yǔ)言模型的基礎(chǔ)模塊-Transformer語(yǔ)言模型的發(fā)展之：Transformer-Core的在的在Attention，即模型在預(yù)測(cè)下一個(gè)單詞的時(shí)候會(huì)關(guān)注之語(yǔ)言模型的發(fā)展之：Transformer-Core好的效果，經(jīng)過多年認(rèn)證大概率是同尺寸模型中效果最好的一類方案?需要顯式引入位置編碼，無法像RNN那樣進(jìn)行位置的自動(dòng)擴(kuò)展u傳統(tǒng)Attention的計(jì)算方法是把Q,K直接計(jì)算最后的結(jié)果（而不用返回給HBO這樣可以顯著降低IOQwen-1.5Qwen-1.5Cache:將輸入的表示降低到隱含空間C上面，C的大小很小雖然不是主要的部分Cache:將輸入的表示降低到隱含空間C上面，C的大小很小個(gè)新的位置編碼的在的在的劣勢(shì)，我們可以讓現(xiàn)在的Attention改進(jìn)一下，只關(guān)注最近的K個(gè)單），Mistral-7B-0.1Xiao,Guangxuan,etal."EfficientStreamingLanguageModelswithAttentionSinks."arXivpreprintarXiv:2309.17453(2023).?RNN:循環(huán)神經(jīng)網(wǎng)絡(luò)具有天然的“遞歸”性質(zhì)，處理時(shí)間隨著Peng,Bo,etal."Rwkv:Reinventingrnnsforthetransformerera."arXivpreprintarXiv:2305.13048(2023).Q:為什么之前很多模型結(jié)構(gòu)無法替代Transformer?Tay,Yi,etal."Scalinglawsvsmodelarchitectures:Howdoesinductivebiasinfluencescaling?."arXivpreprintarXiv:2207.10551(2022).KaplanJ,McCandlishS,HenighanT,etal.Scalinglawsforneurallanguagemodels[J].arXivpreprintarXiv:2001.08361,2020.?微軟亞研之前提出的YoCo模型，提出了利用16層的kvcache復(fù)用給所有17-32層進(jìn)行attention使用Sun,Yutao,etal."Youonlycacheonce:Decoder-decoderarchitecturesforSun,Yutao,etal."Youonlycacheonce:Decoder-decoderarchitecturesforTransformer的效率優(yōu)化-Parameter-SharingTransformer的效率優(yōu)化-Parameter-SharingTransformer的效率優(yōu)化-Parameter-SharingTransformer的效率優(yōu)化-SparseParameter/blog/accelerating-neural-network-training/Conclustion:?對(duì)Transformer的效率優(yōu)化要從Prefilling和decoding兩個(gè)階段去考慮?kv-cache在很多情況下是限制推理速度的主要因素，特別是decode階段，大量的cache會(huì)IO-?GQA、MQA是降低緩存的一個(gè)重要手段，但是或多或少會(huì)