新型RNN林玥煜元始智能Apache2.0協(xié)議項(xiàng)目歷史RWKV-5RWKV-6超過2超過2萬RWKV-4RWKV-4RWKV-414B2023.062023.082024.2023.062023.082024.22023.102024.012020年初20222023.102024.012020年初2022.112023.032023.052023.07toC端側(cè)應(yīng)用RWRWKVMambaGatedLinearAttentionStripedHyenaxLSTMRetNetTransnormerLLMBoPENG/abs/2305.13048CMU，Princeton/abs/2312.00752MIT/abs/2312.06635Together,Stanford/abs/2302.10866LSTM作者/abs/2405.04517微軟亞洲研究院，清華大學(xué)/abs/2307.08621RWKV-6接近RWKV-6接近RWKV-6接近RWKV-4.5與Llama2的混合接近RWKV-6接近RWKV-5商用發(fā)展研究發(fā)展研究研究發(fā)展O(N)O(NlogN)與O(N^2)之間6.7B1.3B1.3B6.7B6.8B2.5T(SlimPajama+pile+全球語言+代碼)0.627T(SlimPajama)0.1T1T+0.3T0.1T1.4T上海人工智能實(shí)驗(yàn)室，OpenNLPLab/abs/2307.14995接近RWKV-5領(lǐng)大模型的算法復(fù)雜度架構(gòu)名稱作者和論文地址架構(gòu)版本階段算法復(fù)雜度架構(gòu)名稱作者和論文地址架構(gòu)版本階段最大模型參數(shù)兼具Transformer高效訓(xùn)練和t)tRNN結(jié)構(gòu)示意圖作為過去信息的接受程度的接受向量RV類似于傳統(tǒng)注意力中作為過去信息的接受程度的接受向量RV類似于傳統(tǒng)注意力中V的向量位置權(quán)重衰減向量，可訓(xùn)練的模型參數(shù)類似于傳統(tǒng)注意力中K的向量RWKV-5time-mixing時間混合模塊RWKV-5time-mixing時間混合模塊RWKV-5中消除了歸一化項(xiàng)（分母）RWKV-5引入了矩陣值狀態(tài),k,v的維度從D->(D/H,D/H)RWKV-6引入了channel-wise的衰減率wt1)666666666666RWKVRWKV的訓(xùn)練效率高，長上下文時更快nanoGPT，優(yōu)化程度相當(dāng)高的訓(xùn)練代碼:度略慢于GPT+flash_attn速度比GPT+flash_attn更快。模型架構(gòu)語言模型RWKVRWKV-ASR語音識別其他模型370+11000+370+GithubGithub上RWKV項(xiàng)目數(shù)量在Github的星9000+海外社群開發(fā)者人數(shù)10000+開發(fā)者和用戶人數(shù)/pdf/2309.14758/alibaba-damo-academy/FunASR/pdf/2406.13362/howard-hou/VisualRWKV/pdf/2403.02308/OpenGVLab/Vision-RWKV/abs/2404.04478/feizc/Diffusion-RWKVhttps://hithqd.github.io/proiects/PointRWKV/pdf/2406.06973/deepglint/RWKV-CLIP/pdf/2406.19369/HarborYuan/ovsam/howard-hou/RWKV-TS/pdf/2401.09093FabriceBellardFFmpegpygmalion端側(cè)模型的pygmalion端側(cè)模型的AgentMidRealMIT的創(chuàng)業(yè)團(tuán)隊(duì)離線版AI小鎮(zhèn)，120個Agent英文效果僅次于最好