制作：李劍鋒、汪周謙、王群講者：汪周謙4InternLM21.8B模型5多模態(tài)LLM微調(diào)?兩種Finetune范式?一條數(shù)據(jù)的一生第一期實戰(zhàn)營優(yōu)秀作品LLM的下游應用中，增量預訓練和指令跟隨是經(jīng)常會用到兩種的微調(diào)模式增量預訓練微調(diào)使用場景：讓基座模型學習到一些新知識，如某個垂類領域的常識訓練數(shù)據(jù)：文章、書籍、代碼等指令跟隨微調(diào)使用場景：讓模型學會對話模板，根據(jù)人類指令進行對話訓練數(shù)據(jù)：高質(zhì)量的對話、問答數(shù)據(jù)56778899 比如“世界第一高峰是？”做出回答，比如“珠穆朗瑪峰”在使用對話模型時，通常是不會感知到這三種角色的什么是對話模板？對話模板對話模板 Output:世界第一高峰是珠穆朗瑪峰<s>世界第一高峰是珠穆朗瑪峰</s>世界第一高峰是珠穆朗瑪峰世界第一高峰是珠穆朗瑪峰 Input:世界第一高峰是？Output:珠穆朗瑪峰世界第一高峰是?珠穆朗瑪峰珠穆朗瑪峰LoRA:LOW-RANKADAPTATIONOFLARGELANGUAGEMODELSXTuner技術架構圖功能亮點適配多種生態(tài)s,"適配多種硬件MaximumtrainingspeedLlama270BTrainingSpeed2.挑選配置模板3.一鍵訓練xtunertraininternlm_20bConfig命名規(guī)則1.拷貝配置模板1.拷貝配置模板2.修改配置模板viinternlm_20b_qlora_3.啟動訓練xtunertraininternlm_20b_qlora_oa高數(shù)便Float16模型對話4bit模型對話xtunerchatinternlm/inter加載Adapter模型對話xtunerchatinternlm/internlm-chat-20聯(lián)網(wǎng)搜索解方程聯(lián)網(wǎng)搜索解方程XTuner還支持工具類模型的對話，更多詳見HuggingFaceHub（xtuner/Llama-2-7b-qlora-moss-003-sft）使用計算器2.格式化問答對可訓練語料2.格式化問答對可訓練語料1.原始問答對格式化問答對開發(fā)者可以專注于數(shù)據(jù)內(nèi)容不必花費精力處理復雜的數(shù)據(jù)格式！開發(fā)者可以專注于數(shù)據(jù)內(nèi)容不必花費精力處理復雜的數(shù)據(jù)格式！3條原始1條訓練樣本增強并行性，充分利用GPU資源！1.拷貝配置模板2.修改配置模板viviinternlm_20b_qlor3.啟動訓練xtunertraininternlm_20b_qlora_FlashAttentionFlashAttentionDeepSpeedZeROxtunertraininternlm_20b_q顯存/GB顯存/GB080為了響應社區(qū)用戶極其強烈的呼聲，InternLM2-1.8B于近日正式開源！要說這呼聲多強烈，有issue截圖為證。InternLM2-1.8B提供了三個版本的開源模型，大家可以按需選擇。?InternLM2-1.8B:具有高質(zhì)量和高適應靈活性的基礎模型，為下游深度適應提供了?InternLM2-Chat-1.8B-SFT：在InternLM2-1.8B上進行監(jiān)督微調(diào)(SFT)后得到的?InternLM2-Chat-1.8B：通過在線RLHF在InternLM2-Chat-1.8B-SFT之上進在FP16精度模式下，InternLM2-1.8B僅需4GB顯存的筆記本顯卡即可順暢運行。?給LLM裝上電子眼：多模態(tài)LLM原理簡介?什么型號的電子眼：LLaVA方案簡介?快速上手：InternLM2_Chat_1.8B+LLaVA多模態(tài)理解：讀圖識圖LLaVA多模態(tài)生成：圖像生成Midjourney文本單模態(tài)文本+圖像多模態(tài)?HaotianLiu等使用GPT對圖像數(shù)據(jù)生成描述，以此構建出大量<questiontext><image>--<answertext>的數(shù)據(jù)對。?利用這些數(shù)據(jù)對，配合文本單模態(tài)LLM，訓練出一個ImageProjector。?所使用的文本單模型LLM和訓練出來的ImageProjector，統(tǒng)稱為LLaVA模型。LLaVA訓練階段示意圖LLaVA訓練階段示意圖ImageProjector的訓練和測試，有點類似之前我們講過的LoRA微調(diào)方案。二者都是在已有LLM的基礎上，用新的數(shù)據(jù)訓練一個新的小文件。只不過，LLM套上LoRA之后，有了新的靈魂（角色）；而LLM套上ImageProjector之后，才有了眼睛。??LLaVA方案中，給LLM增加視覺能力的過程，即是訓練ImageProjector文件的過程。Pretrain和Finetune。在本節(jié)中，我們將自己構造<questiontext><image>--<answertext>數(shù)據(jù)對，基于InternLM2_Chat_1.8B這個文本單模態(tài)模型，使用LLaVA方案，訓練一個給InternLM2_Chat_1.8B使用的ImageProjector文件。??LLaVA方案中，給LLM增加視覺能力的過程，即是訓練ImageProjector文件的過程。Pretrain和Finetune。在本節(jié)中，我們將自己構造<questiontext><image>--<answertext>數(shù)據(jù)對，基于InternLM2_Chat_1.8B這個文本單模態(tài)模型，使用LLaVA方案，訓練一個給InternLM2_Chat_1.8B使用的ImageProjector文件。在Pretrain階段，我們會使用大量的圖片+簡單文本（caption,即圖片標題）數(shù)據(jù)對，使LLM理解圖像中的普遍特征。即，對大的模型已經(jīng)有視覺能力了！但是由于訓練數(shù)據(jù)中都是圖片+圖片標題，所以此時的模型雖然有視覺能力，但無論用戶問它什么，它都只會回答輸入圖片的標題。即，此時的模型只會給輸入圖像在Pretrain階段，我們會使用大量的圖片+簡單文本（caption,即圖片標題）數(shù)據(jù)對，使LLM理解圖像中的普遍特征。即，對大的模型已經(jīng)有視覺能力了！但是由于訓練數(shù)據(jù)中都是圖片+圖片標題，所以此時的模型雖然有視覺能力，但無論用戶問它什么，它都只會回答輸入圖片的標題。即，此時的模型只會給輸入圖像在Pretrain階段，我們會使用大量的圖片+簡單文本（caption,即圖片標題）數(shù)據(jù)對，使LLM理解圖像中的普遍特征。即，對大的模型已經(jīng)有視覺能力了！但是由于訓練數(shù)據(jù)中都是圖片+圖片標題，所以此時的模型雖然有視覺能力，但無論用戶問它什么，它都只會回答輸入圖片的標題。即，此時的模型只會給輸