ChatGPT

ChatGPT是什么？學(xué)習(xí)解讀

匯報人：XX時間：2023.02

01名詞定義

ChatGPT發(fā)展歷程

目錄02

CONTENTS03ChatGPT技術(shù)邏輯

04社會運用

名詞定義

名詞定義

/A

ChatGPT功能

ChatGPT是由人工智能研究實它能夠通過學(xué)習(xí)和理解人類的

驗室OpenAI在2022年11月30語言來進行對話，還能根據(jù)聊

日發(fā)布的全新聊天機器人模型，天的上下文進行互動，真正像

一款人工智能技術(shù)驅(qū)動的自然人類一樣來聊天交流，甚至能

語言處理工具。完成撰寫郵件、視頻腳本、文

案、翻譯、代碼等任務(wù)。

名詞定義

ChatGPT官方說明：

ChatGPT是一種基于GPT-3技術(shù)的聊天機器人

這一模型可以與人類進行談話般的交互，可以回答追問，連續(xù)性

的問題，承認(rèn)其回答中的錯誤，指出人類提問時的不正確前提,OperTAI'sNew

拒絕回答不適當(dāng)?shù)膯栴}。ChatGPT

發(fā)展歷程

推出注冊火爆

2022年11月底，人工智能對話聊天機器人ChatGPT推出，迅速在社交媒體上走紅，短短5天，注冊用戶數(shù)就超過

100萬。

試點訂閱計劃ChatGPTPlus

2023年2月2日，美國人工智能（AI）公司OpenAI發(fā)布ChatGPT試點訂閱計劃——ChatGPTPlus.ChatGPT

Plus將以每月20美元的價格提供，訂閱者可獲得比免費版本更穩(wěn)定、更快的服務(wù)，及嘗試新功能和優(yōu)化的優(yōu)先權(quán)。

發(fā)展歷程

全面整合搜索引擎

2023年2月2日，微軟官方公告表示，旗下所有產(chǎn)品將全線整合ChatGPT,除此前宣布的搜索引擎必應(yīng)、Office外，

微軟還將在云計算平臺Azure中整合ChatGPT,Azure的OpenAI服務(wù)將允許開發(fā)者訪問AI模型。

訂閱計劃

當(dāng)?shù)貢r間2023年2月2日，ChatGPT的開發(fā)公司——美國人工智能公司OpenAI順勢推出了這一應(yīng)用程序的付費訂

閱版本。

技術(shù)邏輯

1、基于深度學(xué)習(xí)技術(shù)

?它基于深度學(xué)習(xí)技術(shù)，通過構(gòu)建多層神經(jīng)網(wǎng)絡(luò)來模擬人類大腦的學(xué)習(xí)過程，從而使計算機可以完

成許多復(fù)雜的任務(wù)，例如語音識別、圖像分類和自然語言理解等。

?它會通過對大量文本數(shù)據(jù)進行訓(xùn)練，來學(xué)習(xí)語言知識和推理能力。這些文本數(shù)據(jù)可能包括新聞文

章、小說等內(nèi)容。通過不斷地訓(xùn)練，它的神經(jīng)網(wǎng)絡(luò)可以學(xué)會提取文本中的信息，并使用這些信息

來回答問題

技術(shù)邏輯

2、訓(xùn)練方法

OpenAI的開發(fā)人員是這么解釋的：

?“我們使用與InstructGPT相同的方法，以從人類反饋中強化學(xué)習(xí)(ReinforcementLearning

fromHumanFeedback,RLHF)的方法訓(xùn)練該模型，人工智能訓(xùn)練者扮演對話的雙方，即用

戶和人工智能助手，提供對話樣本。在人類扮演聊天機器人的時候，會讓模型生成一些建議，輔

助訓(xùn)練師撰寫回復(fù)，訓(xùn)I練師會對回復(fù)選項打分排名，得更好的結(jié)果輸回到模型中，通過以上獎勵

策略對模型進行微調(diào)并持續(xù)迭代?！?/p>

技術(shù)邏輯

2、訓(xùn)練方法

監(jiān)督學(xué)習(xí)：

?監(jiān)督學(xué)習(xí)就是在"有答案"的數(shù)據(jù)集上學(xué)習(xí)。例如我們要用監(jiān)督學(xué)習(xí)(supervisedlearning)訓(xùn)練一個中文到英文的

機器翻譯模型，我們就需要有中文以及其對應(yīng)的英文。

遷移學(xué)習(xí)：

?遷移學(xué)習(xí)就是使用已訓(xùn)練的模型來解決更復(fù)雜的任務(wù)。這種方法的基本思想是，如果兩個任務(wù)相關(guān)，那么可以使用已

解決第一個任務(wù)的模型來加速解決第二個任務(wù)。遷移學(xué)習(xí)通常使用在數(shù)據(jù)和計算資源有限的情況下，因為可以使用已

經(jīng)訓(xùn)練好的模型的知識，而不是從頭開始訓(xùn)練新的模型。再使用監(jiān)督學(xué)習(xí)來對模型進行針對性的微調(diào)(fine-tune)。

技術(shù)邏輯

2、訓(xùn)練方法

強化學(xué)習(xí)：

?ChatGPT在使用進行微調(diào)之外，還使用了一種叫做reinforcementlearningfromhumanfeedback(RLHF)的技術(shù).這個

技術(shù)在ChatGPT的主要作用是將預(yù)訓(xùn)練的模型的目標(biāo)對齊到聊天這一具體的下游應(yīng)用上.

?強化學(xué)習(xí)可以理解為讓智能體在給定環(huán)境中學(xué)習(xí)如何執(zhí)行最優(yōu)決策，以獲得最大回報(reward).最大回報意味著此時的回

復(fù)最符合人工的選擇取向。例如，在游戲中的機器人，可以通過執(zhí)行不同的動作來嘗試獲得最大的分?jǐn)?shù).每一次動作后，機

器人都會根據(jù)得分的提升或下降來調(diào)整自己的策略，以便在未來盡可能地獲得最大的回報.

技術(shù)邏輯

2、訓(xùn)練方法

StaplStep2S<ep3

CollectdonxwtftractondataCotoctcompansondataandOptimizeapolcyaganstthe

強化學(xué)習(xí):andtrainasuperwedpolicy.tramarewardrnodeLrewardmodelusingthePPO

feinfofcementlearningalgorWlYn.

ApromptIsApromptandAnewprompte

lamptodrrDmoufseveralmoddsampledhorn

prurrvxdacasotoutpuuammedataset

samdedi

IN?PPOmodalK

AlabderHtSilizedfromthe

demonsfaiwtr*suptrvkMdpoicy.

desroaoutput

behavcr

Thepokeyacncratw

AlOelerranM!he

vioutput

OUlpUftfrombrat

tovworat.

Th*TEUMMIto

The加加om(x19i

flne-tun6GPT35

CAJCutetMAf0?kfird

lofttwoutput.

leaning.

Thisdataisused

totrainajrTherepaidisused

rewardrncdeftoupdatetha

poicyusrtgPPO.

技術(shù)邏輯

第一階段：冷后的枝的益營笫定慢經(jīng).

GPTB.5旦售很盜,但忌它很唯理韶人美不同類型指令中互含的不同承圖,也很難判斷生成內(nèi)容

是否是品質(zhì)量的結(jié)卑.為了讓GP「15初步具備理第指令中電含的京圖，首先會從測試用戶提交

的。9mpi中岫機在取一StJ5『業(yè)的標(biāo)注人員,給出指定的而質(zhì)■三系，然后用這些人工標(biāo)注

2、訓(xùn)練方法好的敬星天位漏便空.經(jīng)過這個過程.我們可以以先GPT3.5初步具呈了連統(tǒng)人關(guān)prompt中

所包含意圖，舟艮tg這個感強給出相對高蔭一回答的能力,但僅僅這樣做是不第的.

強化學(xué)習(xí)：第二階段.訓(xùn)練?插些型(RewardModelRM).

?第一階段：冷啟動階段的監(jiān)督策略模型。這個粉段的主要目的JE通過人工場汪訓(xùn)據(jù)，來訓(xùn)練回報他型.白體而百，隨機抽樣一他用戶

提交的prompt(大耳分和第一階陽的相同).使用第一階段微漏好的冷啟動慢2L對于殍個

prompt.生成K個不同的回耳.于忌慘2!產(chǎn)生出了<prompt.answer1>.

?第二階段：訓(xùn)練回報模型(RewardModel,RM)<prompt,aniwe<2>....<prompt,aniwerK>^ie.之后,標(biāo)注人員對K個結(jié)零按贊很多標(biāo)準(zhǔn)

(佻如相關(guān)性、富含信總性、百M信息等活多標(biāo)準(zhǔn))緣合合思迸行排序，給出K個結(jié)里的排名U

?第三階段：增強預(yù)訓(xùn)練模型的能力這一步的目的是引弓GPT回答人工舵!所到的答*.使舊ChatGPT從命令饕動椅向了修33驅(qū)

動.

第三階段：也強預(yù)圳練橫空的能力.

本階段無需人工際注的據(jù)，而是利用上一階段學(xué)好的RM楔型，靠RM打分結(jié)果東更新預(yù)訓(xùn)蟒博

型參鼓。目仗而言，苜先，從用戶屣交的prompt王SM/L采樣一批新的命令(與第一第二階段不

同的Si的prompt),且由冷啟動梭絲來初培化PPO(ProximalPolicyOptimization)模型

的外數(shù).然后,對于隨機抽取的peEpt,任用PPO橫理生續(xù)回冬，并用上一階段訓(xùn)博好的

RM便留給出云量評估的回報分敬.日此產(chǎn)生的臨蛤悌度可以更新PPO耀型#數(shù).這一步目的

整產(chǎn)生符合RM標(biāo)準(zhǔn)的高質(zhì),回答。

技術(shù)邏輯

核心競爭力

ChatGPT受到關(guān)注的重要原因是引入新技術(shù)RLHF

（ReinforcementLearningwithHumanFeedback,即基于人

?OpenAI

類反饋的強化學(xué)習(xí)）。RLHF解決了生成模型的一個核心問題,即

AG號

如何讓人工智能模型的產(chǎn)出和人類的常識、認(rèn)知、需求、價值觀保

GPT3■Codex■DALLE2

持一致。ChatGPTBAIGC（AI-GeneratedContent,人工智

AzureOpenAI

能生成內(nèi)容）技術(shù)進展的成果。該模型能夠促進利用人工智能進行

內(nèi)容創(chuàng)作、提升內(nèi)容生產(chǎn)效率與豐富度。

技術(shù)邏輯

技術(shù)局限性

ChatGPT的使用上還有局限性，模型仍有優(yōu)化空間。ChatGPT模型的能力上限是由獎

勵模型決定，該模型需要巨量的語料來擬合真實世界，對標(biāo)注員的工作量以及綜合素質(zhì)

要求較高。ChatGPT可能會出現(xiàn)創(chuàng)造不存在的知識，或者主觀猜測提問者的意圖等問

題，模型的優(yōu)化將是一個持續(xù)的過程。若AI技術(shù)迭代不及預(yù)期，NLP模型優(yōu)化受限，則

相關(guān)產(chǎn)業(yè)發(fā)展進度會受到影響。此外，ChatGPT盈利模式尚處于探索階段，后續(xù)商業(yè)

化落地進展有待觀察。

技術(shù)邏輯

結(jié)合ChatGPT的底層技術(shù)邏輯，有媒體曾列出了中短期內(nèi)ChatGPT的潛在產(chǎn)業(yè)化方向

運用場景

1、搜索引擎

?目前的搜索引擎都是在你搜索了任何一個問題后，列出一大堆的結(jié)果，這其中一

些好的答案可能會排在前面，但也可能會是很多廣告升位前面。如果霜要真正解

決問題，可能還需要多次查找不同關(guān)鍵詞才能得到最終答裝bBing

?而ChatGPT一個非常核心的功能點就是它會把大家普遍認(rèn)為最好的答案直接告

訴你，并且可以一直對話下去，就像找老師問問題一樣，體險很好

運用場景

2、寫代碼

?告訴他用什么語言實現(xiàn)什么功能，它就可以寫出一段有質(zhì)量的

代碼，并且會告訴你是怎么實現(xiàn)

?對于程序員來說，在日常工作中它還能給他們提供不少的幫助，

主要是幫助解決開發(fā)中遇到的問題

運用場景

3、寫文章

?我們工作中也會常寫一些文章，例如技術(shù)文章、知識分享等，我們都可以

用它來輔助我們完成，例如潤色語句、知識點總結(jié)、名詞的字典查詢等，

也可以模仿某人的風(fēng)格撰寫文章，來幫助我們寫出來的文章偏向到某種風(fēng)

格

運用場景

4、其他應(yīng)用場景

?除了日常對于個人應(yīng)用，ChatGPT的成熟也可帶來廣泛的應(yīng)用場景甚至替

代一個崗位，目前下游相關(guān)行業(yè)可能包括代碼機器人、小說衍生器、對話

類搜索引擎、語音工作助手、對話虛擬人（客服、外呼、營銷）等。從上

游需求的增加來看，受益行業(yè)可能包括算力、數(shù)據(jù)標(biāo)注、自然語言處理等。

總之，它的應(yīng)用場景還是很具有想象力的

ChatGPT替代谷歌搜索？

ChatGPT何以如此強大？在OpenAI的網(wǎng)站上,可以窺見一二。

根據(jù)OpenAI的官方文檔，相比之前的GPT模型，OpenAI采用了全新的訓(xùn)練方式，即一種名為"從人類反饋中強化學(xué)習(xí)”

(ReinforcementLearningfromHumanFeedback,RLHF)的訓(xùn)練方式對ChatGPT進行了訓(xùn)練。

在訓(xùn)練原始模型的時候,OpenAI讓人類訓(xùn)練師扮演對話的雙方提供對話作為學(xué)習(xí)資料。在人類扮演聊天機器人的時候，

OpenAI也會讓模型生成一