基于大語言模型的數(shù)智化一站式投研端密級：01行業(yè)背景密級：ChatGPT正在掀起新一代AI浪潮1956年美國達特茅斯會議人工智能概念誕生第一次浪潮50-70年代：邏輯推理符號邏輯推理神經(jīng)網(wǎng)絡第二次浪潮80-90年代：知識工程專家系統(tǒng)多層神經(jīng)網(wǎng)絡第三次浪潮2000-2020：深度學習深度神經(jīng)網(wǎng)絡大數(shù)據(jù)GPU硬件云計算第四次浪潮至今：大型語言模型Transformer模型預訓練語言模型RLHF2022年11月30日，ChatGPT發(fā)布，上線2個月活躍用戶過億2023年3月14日，微軟基于GPT的Dynamics

365

Copilot

（國際版）全球首發(fā)賦能業(yè)務全線2023年5月10日，谷歌大腦與DeepMind合并，并推出PaLM2等產(chǎn)品比爾蓋茨：“歷史意義不亞于PC或互聯(lián)網(wǎng)誕生”埃隆馬斯克：“ChatGPT帶來令人驚喜的變革，我

們離AI時代并不遠了”圖片來源：量子位微信公眾號圖片來源：微軟發(fā)布會金融大模型——BloombergGPTBloomberg發(fā)布500億參數(shù)的金融領域大語言模型BloombergGPT，構建了3630億個Token的金融領域數(shù)據(jù)集用于模型訓練，在BLOOM模型架構下進行拓展和改進。數(shù)據(jù)模型效果新聞分析報告交易數(shù)據(jù)公司數(shù)據(jù)宏觀經(jīng)濟數(shù)據(jù)彭博數(shù)據(jù)維基百科書籍語料庫網(wǎng)絡文本社交媒體公開數(shù)據(jù)標注和清洗形成3630億個

Token，占

BloombergGPT數(shù)據(jù)集的51.3%形成3450億個

Token，占

BloombergGPT數(shù)據(jù)集的48.7%BloombergGPT模型參數(shù)500億個BLOOM模型（1760億參數(shù)）標注和清洗更改模型結構配置超參數(shù)：如模型層數(shù)減少到70層、隱藏層維度更改至7680、注意力頭數(shù)設置為40等。最終的模型做了“標準LLM基準測試”、“開放的金融基準測試”以及“內(nèi)部的金融基準測試”。從最終的結果來看，在金融專業(yè)領域任務上，BloombergGPT的性能明顯優(yōu)于其它模型，而在通用任務上，BloombergGPT的綜合得分也與相同參數(shù)量級的其他模型平分秋色。密級：大模型的“黑箱”特性大型語言模型的輸出難以解釋和驗證很難去判斷語言模型這個“黑箱”內(nèi)部的真實運行邏輯即使通常情況下是正確的，但也是不可解釋的密級：大模型對長尾知識的記憶能力差大模型不能夠僅通過參數(shù)來記憶全部的長尾（long-tail）知識大模型容易胡亂編造一些虛假事實，也就是“幻覺”（Hallucination）現(xiàn)象大模型本質上是統(tǒng)計模型，無法從根本上解決這一問題密級：模型參數(shù)難以與時俱進LLMs通過參數(shù)所記憶的知識很容易過時，并且難以更新。LLMs規(guī)模極大，訓練和運行均極其昂貴。檢索增強的大語言模型（What

&

How

&

When）密級：02WarrenQ產(chǎn)品介紹密級：一站式投研端密級：密級：語控萬數(shù)搜索+大模型+聚源庫文檔+向量數(shù)據(jù)庫+大模型金融大語言模型密級：Chat筆記腦圖分享/匯報引文/溯源演算板估值模型密級：語控萬數(shù)：行情、F9、EDB、公司基本信息、

研報、公告、新聞……WarrenQ-Chat：支持查看原文支持追溯原文WarrenQ-Chat：問出圖表->拖入云筆記支持拖入筆記WarrenQ-Chat：問出圖表->拖入?yún)f(xié)作腦圖支持拖入腦圖ChatMiner：文檔信息挖掘文檔處理支持各類PDF內(nèi)容的加載。支持指定內(nèi)容分析定位支持內(nèi)容的摘要抽取支持數(shù)據(jù)抽取內(nèi)置經(jīng)典場景promptChatMiner：文檔信息挖掘密級：語音速記語音速記：支持會議錄音上傳，語音文字識別，大模型摘要撰寫。03總結和展望密級：深度賦能搜、讀、算、寫四大場景智能搜索報告信息提取精準數(shù)據(jù)查詢輕投研素材庫閱讀器各類文檔加載和解析圖表數(shù)據(jù)OCR解析核心觀點總結提煉模型運算盈利預測及估值

EDB數(shù)據(jù)預處理基本面量化建模研報模板建立