在辦公方向的實踐與思考分享人：阿里巴巴

某著名企業(yè)

某著名企業(yè)文檔DINGTALK

DOCS02某著名企業(yè)AI助理架構03大模型訓練的實踐和思考04展望與思考01大模型在某著名企業(yè)辦公場景案例大模型在某著名企業(yè)辦公場景案例AI助理

生成周報文檔

翻譯文檔

LUI文檔

LUI白板

涂鴉作畫白板

圖片風格遷移白板

智能海報IM

文件速讀IM

視頻速讀IM

圖片速讀某著名企業(yè)AI助理架構大模型訓練的實踐和思考01大模型訓練概述大模型訓練的起手式02

大模型訓練核心流程大模型訓練的起手式SFT在業(yè)務上的思考核心流程標注數(shù)據(jù)，用于SFT根據(jù)人類反饋，訓練獎勵模型通過強化學習優(yōu)化模型產品設計生成多讓用戶選擇點贊和點踩回流用戶反饋數(shù)據(jù)03

SFT與RLHF大模型訓練的起手式微調是指在已經(jīng)預訓練好的大模型基礎上，使用特定數(shù)據(jù)集進行進一步的訓練，使模型適應特定任務或領域。SFT

可以激發(fā)模型解決問題的能力，讓模型能夠準確地理解用戶指令，給出合理的輸出結果。簡單來說，微調主要目的是完成知識注入和指令對齊SFTSFT、訓練獎勵模型（Reward

Model，RM)、強化學習（Reinforcement

Learning，RL）。RLHFDPODPO的目的和RLHF一樣都是可以讓模型的輸出更偏向于人類喜好，但是相比RLHF，DPO不依賴于明確的獎勵建?；驈娀瘜W習，性能和計算成本更加輕量級。04

SFT常用方法大模型訓練的起手式LoRA在原模型旁邊增加一個旁路，通過低秩分解（先降維再升維）來模擬參數(shù)的更新，在訓練時只訓練矩陣A和B。FullParameterFine

Tuning通過更新所有參數(shù)來最大程度地優(yōu)化模型對新任務的理解和表現(xiàn)。FFT

訓練成本比較高，因為參數(shù)量和預訓練的相同。Adapter-basedTuning一種以串行形式加入到原模型中的模塊，使模型在推理時的速度降低了4%-6%，這使得在實際部署中往往不會考慮Adapter方法。Prefix

TuningPrefix

Tuning在每個Attention層都加入Prefix

Embedding來增加額外的參數(shù)。05

數(shù)據(jù)更加重要大模型訓練的起手式ChatmodelORbase

model預訓練模型選擇數(shù)據(jù)過于領域的數(shù)據(jù)會災難性遺忘，但也某些實際業(yè)務場景，可以通過意圖識別+業(yè)務專屬模型解決。數(shù)據(jù)過多可能導致過擬合文本數(shù)據(jù)中，短文本多用戶交互，更多長文本均使用“文件”形式表達，“文檔理解”尤為重要。參數(shù)LR、

warmup、Epoch的目是讓Loss更快收斂文檔格式轉換某著名企業(yè)文檔轉換為各種類型文檔，長圖、PDF、word、ppt..各類型文件的相互轉換場景分析一：文檔生成長圖文檔格式解析文檔與大模型交互，文檔還原度決定模型效果。超大文檔、超長文檔如何解決。場景分析二：文檔速讀場景場景分析三：文檔問答場景RAG

：文檔理解、分片、向量化Query優(yōu)化、召回策略排序策略架構/產品：先學習，在檢索OOXMLMarkup

languagesOOXML核心OPCWordprocessingMLDocx是什么內存結構docx舉個例子內存結構文檔格式引擎PDF舉個例子協(xié)議數(shù)據(jù)文檔格式引擎大模型訓練實踐-AIPPT產品形態(tài)生成一個

PPT訓練模型生成

PPT核心問題大模型訓練實踐-AIPPTPPT內存結構訓練目標復雜場景的推理與訓練基于分治推理方案，整體任務使用樹描述遍歷推理。推理具備拆解任務的dataset具備葉子結點獨立計算的dataset具備任務回溯父節(jié)點的dataset訓練展望與思考安全更加重要模型訓練的數(shù)據(jù)安全模型應用的數(shù)據(jù)安全大模型效果持續(xù)提升多模態(tài)迅速發(fā)展大模型成本持續(xù)降低Thanks！某著名企業(yè)文檔DINGTALK