第十二章提示詞工程主講教師：王存睿人工智能通識(shí)基礎(chǔ)目錄提示詞概念01提示詞工作原理02提示詞分類03圖像生成提示詞042目錄提示詞概念011.提示詞概念提示工程（PromptEngineering）是一項(xiàng)通過優(yōu)化提示詞（Prompt）和生成策略，從而獲得更好的模型返回結(jié)果的工程技術(shù)。這家伙還真當(dāng)我是人類，莫名其妙的問題。怎么說這家伙才能明白我的意思呢？大模型時(shí)代，給出最好的答案已經(jīng)不是一個(gè)人最強(qiáng)大的能力，問最好的問題才是。1.1什么是提示詞工程1.提示詞概念大模型的運(yùn)行機(jī)制是“下一個(gè)字詞預(yù)測(cè)“用戶輸入提示詞給大模型，大模型將根據(jù)提示詞進(jìn)行續(xù)寫提示詞大模型生成的文本鳥會(huì)8848拆家飛哈士奇會(huì)珠峰高度是1.2提示詞機(jī)制1.3提示詞三部曲Prompt=LLM+Know

how+Logic理解LLM：知道LLM的運(yùn)行原理和邊界Knowhow：對(duì)于領(lǐng)域、行業(yè)，細(xì)分場(chǎng)景的深刻的理解Logic：簡(jiǎn)單、清晰、邏輯清晰的表述出問題。1.提示詞概念目錄提示詞工作原理022.1提示詞的機(jī)制大模型是如何生成文本的呢？答：可以理解為目標(biāo)文本的補(bǔ)全答：通過不同的采樣策略進(jìn)行調(diào)控如何對(duì)生成文本的多樣性和質(zhì)量進(jìn)行調(diào)控？Dalianisthecityoflove.Dalianisthecitythatneversleeps.Dalianisthecitywhereartandcultureflourish.Dalianisthecitywithiconiclandmarks.Dalianisthecityinwhichhistoryhasauniquecharm.2

提示詞工作原理2.2提示詞的機(jī)制——貪婪策略貪婪采樣(greedysampling)策略就像餓鬼撲食，永遠(yuǎn)只盯著眼前最香的那塊肉（概率最高的詞），一口吞下絕不回頭，可能錯(cuò)過后面的大餐。由于該策略在每一步中只考慮最可能的標(biāo)記，可能無法捕捉和分析到上下文和語言的全部多樣性，也無法產(chǎn)生具有創(chuàng)造力的回答。按貪婪策略會(huì)生成的輸出是：答：Dalianisthecityofthefuture.2

提示詞工作原理2.3束搜索束搜索(BeamSearch）假設(shè)一組最有可能前k個(gè)token，這組k個(gè)token組合被稱為“beam”優(yōu)點(diǎn)：不僅關(guān)注當(dāng)下策略，一定程度保證了最終得到的序列概率是較優(yōu)的。缺點(diǎn)：BeamSearch雖比貪心強(qiáng)，但還是會(huì)生成出空洞、重復(fù)、前后矛盾的文本。就像一群貪心的螞蟻探路，每次只保留概率最高的幾條路徑，邊走邊淘汰掉不靠譜的分支，最終找到一條最穩(wěn)妥的句子出口。2提示詞工作原理Dalianisthecityofhistoryandculture.2.4概率抽樣(ProbabilitySampling)概率抽樣是通過選擇一個(gè)隨機(jī)值，并將其映射到所選的詞匯來選擇下一個(gè)詞。策略就像搖獎(jiǎng)大轉(zhuǎn)盤：每個(gè)樣本都有自己“中獎(jiǎng)”的概率權(quán)重，轉(zhuǎn)盤一動(dòng)，一切由概率主宰——既公平又充滿驚喜。2提示詞工作原理2.5溫度隨機(jī)抽樣(RandomSamplingwithTemperature)溫度隨機(jī)抽樣策略就像調(diào)酒師，溫度越高（>1.0），配方越狂野（多樣創(chuàng)意）；溫度越低（→0），只給你最經(jīng)典的固定款（確定性輸出）。

2提示詞工作原理

低溫（T=1），保持原始分布，退化為普通Softmax計(jì)算。2.6Top-k采樣Top-k采樣：使用前k個(gè)token而不是全部token?？稍鰪?qiáng)文本生成的穩(wěn)定性，又不會(huì)降低創(chuàng)造力。優(yōu)點(diǎn)：可通過調(diào)整k的大小來控制生成的多樣性和質(zhì)量。k越大，多樣性越高質(zhì)量越低；k越小，生成的質(zhì)量越高多樣性越低。缺點(diǎn)：可能會(huì)導(dǎo)致生成的文本不符合常識(shí)或邏輯。因?yàn)門op-k只考慮了單詞的概率，而沒有考慮單詞之間語義和語法關(guān)系。2提示詞工作原理2.7Top-p采樣Top-p采樣在每一步，只從累積概率超過某個(gè)閾值p的最小單詞集合中進(jìn)行隨機(jī)采樣，而不考慮其他低概率的單詞。這種方法也被稱為核采樣（nucleussampling)。Top-p只關(guān)注概率分布的核心部分，忽略了尾部部分。例如，如果p=0.9，那么只從累積概率達(dá)到0.9的最小單詞集合中選擇一個(gè)單詞，而不考慮其他累積概率小于0.9的單詞。這樣可以避免采樣到一些不合適或不相關(guān)的單詞，同時(shí)也可以保留一些有趣或有創(chuàng)意的單詞。2提示詞工作原理2.8聯(lián)合采樣（Top-k&Top-p&Temperature）通常我們是將Top-k、Top-p、Temperature聯(lián)合起來使用。使用的先后順序是Top-k->Top-p->Temperature。1）Top-k=3，保留概率最高3個(gè)token女孩：0.664鞋子：0.199大象：0.1052）使用Top-p保留累計(jì)概率達(dá)到0.8女孩：0.664鞋子：0.199大象：0.1053）使用Temperature=0.7進(jìn)行歸一化女孩：0.660鞋子：0.3402提示詞工作原理目錄提示詞分類03163.1為什么提示詞要分類關(guān)鍵假設(shè)：大模型總是對(duì)的。假設(shè)成立：大模型總是對(duì)的，如果不對(duì)，那就是我們的prompt寫的不對(duì)。假設(shè)不成立：大模型總是有這樣那樣的問題，它并不總是對(duì)的，那就沒法發(fā)繼續(xù)了。所以要通過不同的提示詞方式優(yōu)化prompt3提示詞分類

3.2直接提示直接提示詞的方式側(cè)重點(diǎn)在于通過特定的指令設(shè)計(jì)，來提示模型產(chǎn)生更好的輸出。主要方法包括：零次提示（Zero-shot）、少量提示（Fewshots）、Act、ReAct(ReasoningActing)和方向性刺激提示。3提示詞分類

3.3直接提示案例Zero-shot（零次提示）請(qǐng)為一篇關(guān)于“社交媒體對(duì)大學(xué)生心理健康影響”的論文寫一段100字左右摘要。Act（行動(dòng)模式）請(qǐng)為“社交媒體對(duì)大學(xué)生心理健康影響”寫摘要，需包含最新研究數(shù)據(jù)。Acting:調(diào)用學(xué)術(shù)搜索引擎，關(guān)鍵詞“社交媒體大學(xué)生心理健康2022-2024”。（假設(shè)返回?cái)?shù)據(jù)：2023年《心理學(xué)報(bào)》研究顯示，30%大學(xué)生因社交媒體焦慮。）Few-shot（少量提示）請(qǐng)參考以下摘要示例，為“社交媒體對(duì)大學(xué)生心理健康影響”寫一篇類似風(fēng)格的摘要（100字）。示例1（主題：睡眠質(zhì)量）：“本研究調(diào)查了大學(xué)生睡眠質(zhì)量與學(xué)業(yè)壓力的關(guān)系。通過對(duì)500名學(xué)生的數(shù)據(jù)分析，發(fā)現(xiàn)熬夜學(xué)習(xí)顯著降低睡眠質(zhì)量，建議優(yōu)化時(shí)間管理。”方向性刺激提示你是一名心理學(xué)學(xué)者，需從“社會(huì)比較理論”角度，用學(xué)術(shù)語言寫摘要，突出“攀比行為”和“自我認(rèn)同”關(guān)鍵詞。ReAct（推理+行動(dòng)）摘要需包含數(shù)據(jù)并分析正反影響。Reasoning：1.需明確社交媒體的正反影響。2.需要最新數(shù)據(jù)支持負(fù)面影響的結(jié)論。3.需提及解決方案。Acting:搜索“社交媒體大學(xué)生積極影響消極影響數(shù)據(jù)”。（返回結(jié)果：消極影響占比60%，積極影響如社交支持占比40%。）3提示詞分類

3.4鏈?zhǔn)教崾炬準(zhǔn)教崾具@種方式關(guān)注大語言模型的內(nèi)部邏輯，包括思維鏈、多模態(tài)思維鏈、思維樹。同時(shí)還關(guān)注在這個(gè)過程中的自洽和自我反思。3提示詞分類

3.5思維鏈(ChainofThought,CoT)思維鏈的概念最初由谷歌大腦的JasonWei提出，簡(jiǎn)單來說，思維鏈就是讓模型像人類一樣，將問題分解為多個(gè)步驟，逐步推導(dǎo)出答案。這種“分步思考”方式提高了模型的準(zhǔn)確性和可解釋性，核心原理是“分而治之”策略。

正是思維鏈技術(shù)讓大模型能夠涌現(xiàn)出一系列神奇的能力，成為了現(xiàn)代大語言模型產(chǎn)生「涌現(xiàn)」的底層技術(shù)。思維鏈旨在通過向大語言模型展示少量的樣例，并通過這些樣例解釋推理過程，讓大語言模型學(xué)會(huì)在生成答案時(shí)展示推理過程，并引導(dǎo)其得到更準(zhǔn)確的答案。相當(dāng)于將黑盒深度學(xué)習(xí)的多步推理過程的中間步驟拆開，結(jié)耦了各個(gè)步驟的工作，簡(jiǎn)化了每一步工作上模型的壓力，在提高可解釋性的同時(shí)提升了模型性能。JasonWeii畢業(yè)于達(dá)特茅斯大學(xué)，本科畢業(yè)加入谷歌，目前為OpenAI科學(xué)家/abs/2201.119033提示詞分類

3.6思維鏈的測(cè)試故事3提示詞分類

3.7DeepSeek在思維鏈的優(yōu)勢(shì)三種接收者策略的含義：Profit-Maximizing(利潤(rùn)最大化):由于發(fā)送給接收者的金額會(huì)增加，一個(gè)完全理性的、只追求自身利益的接收者會(huì)傾向于保留所有收到的金額，即返還0%。Helpful(樂于助人):接收者傾向回報(bào)發(fā)送者的信任，可能會(huì)返還一部分甚至全部收到的金額，以幫助發(fā)送者也獲得收益。Risk-Seeking(風(fēng)險(xiǎn)偏好):這種策略可能模擬了接收者具有一定的隨機(jī)性或者追求高回報(bào)的傾向。他們返還行為可能更加不可預(yù)測(cè)，有時(shí)會(huì)全部保留，有時(shí)又會(huì)慷慨地返還。

發(fā)現(xiàn)DeepSeek的模型在更“復(fù)雜”始終優(yōu)于OpenAI的模型.例如，在與可信賴的接收者進(jìn)行利潤(rùn)最大化時(shí)——并且在風(fēng)險(xiǎn)尋求時(shí)也更加細(xì)致，使它們能夠更恰當(dāng)?shù)貞?yīng)對(duì)不可信的接收者時(shí),并且在風(fēng)險(xiǎn)尋求時(shí)也更加細(xì)致，使它們能夠更恰當(dāng)?shù)貞?yīng)對(duì)不可信的接收者。DeepSeek的模型能夠?qū)W會(huì)智能地信任，而不被短期目標(biāo)所困擾。/10.48550/arXiv.2502.128253提示詞分類

1）拆解為子問題：1.計(jì)算蘋果的花費(fèi)。2.計(jì)算香蕉的花費(fèi)。3.將蘋果和香蕉的花費(fèi)相加。通過這種方式，復(fù)雜問題被簡(jiǎn)化為三個(gè)簡(jiǎn)單的計(jì)算任務(wù)，每個(gè)任務(wù)都清晰且易于執(zhí)行。3.8思維鏈處理過程“三部曲”假設(shè)問題為：“一個(gè)商店的蘋果每公斤5美元，我買了2公斤蘋果和1公斤香蕉，每公斤香蕉3美元，總共花了多少錢？”2）引導(dǎo)推理過程：子問題1：蘋果每公斤5美元，買了2公斤，所以蘋果花費(fèi)=5×2=10美元。子問題2：香蕉每公斤3美元，買了1公斤，所以香蕉花費(fèi)=3×1=3美元。子問題3：總花費(fèi)=蘋果花費(fèi)+香蕉花費(fèi)=10+3=13美元。

通過逐步計(jì)算，每一步都建立在前一步的基礎(chǔ)上，最終得出總花費(fèi)。

3）整合內(nèi)容：回顧：蘋果花費(fèi)10美元，香蕉花費(fèi)3美元，總計(jì)13美元。驗(yàn)證：5×2=10，3×1=3，10+3=13，無計(jì)算錯(cuò)誤。最終答案：總共花了13美元。

這種整合方式不僅得出正確答案，還展示了推理的完整性，讓用戶能夠理解整個(gè)過程。3提示詞分類

3.9自洽性(Self-Consistency,SC)自洽性是對(duì)CoT

的一個(gè)補(bǔ)充，它不僅僅生成一個(gè)思路鏈，而是生成多個(gè)思路鏈，然后取多數(shù)答案作為最終答案。左側(cè)的提示是使用少樣本思路鏈范例編寫的。使用這個(gè)提示，獨(dú)立生成多個(gè)思路鏈，從每個(gè)思路鏈中提取答案，通過“邊緣化推理路徑”來計(jì)算最終答案。實(shí)際上，這意味著取多數(shù)答案。3提示詞分類

3.10自我反思/修正(Reflexion)Reflexion是一種通過模型動(dòng)態(tài)評(píng)估和迭代改進(jìn)自身輸出的技術(shù)，旨在讓AI系統(tǒng)像人類一樣“反思錯(cuò)誤并主動(dòng)修正”。它常用于復(fù)雜推理、決策或生成任務(wù)中，通過引入反饋循環(huán)提升輸出的準(zhǔn)確性和可靠性。參與者（Actor）：根據(jù)狀態(tài)觀測(cè)量生成文本和動(dòng)作。參與者在環(huán)境中采取行動(dòng)并接受觀察結(jié)果，從而形成軌跡。鏈?zhǔn)剿伎己?/p>

ReAct被用作參與者模型。此外，還添加了記憶組件為智能體提供額外的上下文信息。評(píng)估者（Evaluator）：對(duì)參與者的輸出進(jìn)行評(píng)價(jià)。具體來說，它將生成的軌跡（也被稱作短期記憶）作為輸入并輸出獎(jiǎng)勵(lì)分?jǐn)?shù)。根據(jù)人物的不同，使用不同的獎(jiǎng)勵(lì)函數(shù)（決策任務(wù)使用LLM和基于規(guī)則的啟發(fā)式獎(jiǎng)勵(lì)）。自我反思（Self-Reflection）：生成語言強(qiáng)化線索來幫助參與者實(shí)現(xiàn)自我完善。這個(gè)角色由大語言模型承擔(dān)，能夠?yàn)槲磥淼脑囼?yàn)提供寶貴的反饋。自我反思模型利用獎(jiǎng)勵(lì)信號(hào)、當(dāng)前軌跡和其持久記憶生成具體且相關(guān)的反饋，并存儲(chǔ)在記憶組件中。智能體利用這些經(jīng)驗(yàn)（存儲(chǔ)在長(zhǎng)期記憶中）來快速改進(jìn)決策。3提示詞分類

3.11自我反思/修正(Reflexion)3提示詞分類

指出可能的盲點(diǎn)質(zhì)疑信息來源審視目標(biāo)平衡考慮潛在風(fēng)險(xiǎn)3.12圖提示(GraphPrompting)圖提示(GraphPrompting)是一種利用圖結(jié)構(gòu)數(shù)據(jù)（Graph-StructuredData）來增強(qiáng)大語言模型(LLM)在處理需要圖推理的任務(wù)中性能的提示技術(shù)。3提示詞分類

3.13生成類提示（GenerativePrompting）生成類提示（GenerativePrompting）是指通過設(shè)計(jì)特定的提示，引導(dǎo)語言模型動(dòng)態(tài)生成知識(shí)或內(nèi)容，而非簡(jiǎn)單檢索或復(fù)現(xiàn)已有信息。其核心目標(biāo)是讓模型創(chuàng)造新知識(shí)、推理多步問題或生成復(fù)雜答案。3提示詞分類

3.14生成類提示——不同知識(shí)下的回答優(yōu)劣對(duì)比3提示詞分類

目錄圖像生成提示詞04314.1圖像生成原理-以StableDiffusion為例三大核心組件4圖像生成提示詞4.2圖像生成原理-以StableDiffusion為例將輸入信息逐步處理和轉(zhuǎn)換為圖像數(shù)據(jù)4圖像生成提示詞4.3圖像生成原理-以StableDiffusion為例接收來自圖像信息生成器的處理后的信息矩陣將信息矩陣轉(zhuǎn)換為可視化的圖像4圖像生成提示詞4.4Midjourney平臺(tái)Midjourney的創(chuàng)始人DavidHolz是一名連續(xù)創(chuàng)業(yè)者，大學(xué)就讀于北卡羅來納大學(xué)教堂山分校學(xué)習(xí)物理學(xué)和數(shù)學(xué)，曾在NASA和MaxPlanck攻讀流體力學(xué)博士學(xué)位。2008年DavidHolz

創(chuàng)辦了一家名為L(zhǎng)eapMotion的VR公司，2013年B輪融資后其估值達(dá)到了3.06億美元，但后來市場(chǎng)不達(dá)預(yù)期，2019年以3000萬美元的價(jià)格賣給競(jìng)爭(zhēng)對(duì)手英國(guó)公司Ultrahaptics。2021年8月，DavidHolz

創(chuàng)立自籌資金的獨(dú)立AI實(shí)驗(yàn)室Midjourney。4圖像生成提示詞4.5StableDiffusion平臺(tái)StableDiffusion于2022年發(fā)布的一個(gè)基于深度學(xué)習(xí)的文本到圖像生成模型，由StabilityAI

與RunwayML

和4圖像生成提示詞其它學(xué)術(shù)研究和非營(yíng)利組織LMUMunich、LAION及EleutherAI

合作開發(fā)而成。你可以使用該讒費(fèi)開源的模型生成美觀的圖像，既可以像相機(jī)拍攝的寫實(shí)逼真，也可以像藝術(shù)家創(chuàng)作的插畫風(fēng)格。4.6DALL:E3DALL:E3是由OpenAI公司開發(fā)的基于生成式AI幫助用戶智能從文本到圖像生成的技術(shù)，于2021年1月首次推出。該技術(shù)應(yīng)用了深度學(xué)習(xí)和GPT大語言模型作為理解自然語言輸入的提示詞以生成高質(zhì)量圖像。DALL-E3:能夠理解微妙的細(xì)微差別，并根據(jù)包含大量細(xì)節(jié)的提示詞出圖。4圖像生成提示詞4.7字節(jié)跳動(dòng)-即夢(mèng)即夢(mèng)AI，由字節(jié)跳動(dòng)旗下的剪映團(tuán)隊(duì)研發(fā)，是一個(gè)一站式AI創(chuàng)作平臺(tái)，致力于將創(chuàng)意愛好者的想象力轉(zhuǎn)化為現(xiàn)實(shí)。即夢(mèng)AI的前身是Dreamina，于2024年5月正式更名為“即夢(mèng)”，并推出了網(wǎng)頁版產(chǎn)品，同時(shí)上線了AI作圖和AI視頻生成功能。即夢(mèng)AI2025年4月3日推出3.0模型，新版本在中文文本生成和圖像生成質(zhì)量方面有著顯著的提升，被稱為“中文AI繪圖領(lǐng)域的里程碑”。4圖像生成提示詞4.8圖像生成參數(shù)——以Midjourney平臺(tái)為例你是一位魔法師，Midjourney就是你的魔法助手。你的“咒語”（Prompt）是核心指令，告訴助手你要?jiǎng)?chuàng)造什么。參數(shù)（Parameters）就是這套“高級(jí)咒語”或“精密儀器設(shè)置”。4圖像生成提示詞4.9圖像生成參數(shù)——風(fēng)格化參數(shù)示例提示詞：“孩子畫的貓–s0”較低的--s值（例如--s100）會(huì)讓生成的圖像更接近于現(xiàn)實(shí)，細(xì)節(jié)更精確，風(fēng)格化元素較少。較高的--s值（例如--s1000）則會(huì)使圖像更加風(fēng)格化，充滿藝術(shù)感，但細(xì)節(jié)可能會(huì)顯得較為抽象或夸張。4圖像生成提示詞4.10圖像生成參數(shù)——隨機(jī)種子-Seed每個(gè)圖像的seed都是隨機(jī)生成的，可以使用--seed參數(shù)進(jìn)行指定。使用相同的seed和提示會(huì)生成結(jié)果相近的圖像。4圖像生成提示詞4.11圖像生成參數(shù)——隨機(jī)種子-Seed當(dāng)不設(shè)置seed參數(shù)時(shí)4圖像生成提示詞4.12圖像生成參數(shù)——風(fēng)格化參數(shù)示例這張圖展示了Midjourney在生成貓咪圖像時(shí)所能呈現(xiàn)的多種藝術(shù)和設(shè)計(jì)風(fēng)格。從第一行的“木刻版畫”的粗獷線條和鮮明對(duì)比，到“圓珠筆素描”的細(xì)膩筆觸和陰影，再到“藍(lán)曬法”獨(dú)特的藍(lán)色調(diào)和復(fù)古感，“涂鴉”的街頭藝術(shù)氣息，“水彩”的暈染和柔和，“像素藝術(shù)”的顆粒感和復(fù)古電子游戲風(fēng)，每一種風(fēng)格都賦予了貓咪不同的視覺特征和藝術(shù)表達(dá)。4圖像生成提示詞4.13圖像生成參數(shù)——chaos--chaos或參數(shù)--c影響初始圖像網(wǎng)格的變化程度。高--chaos值將產(chǎn)生更多不尋常和意想不到的結(jié)果和構(gòu)圖。較低的--chaos值具有更可靠、可重復(fù)的結(jié)果。--c0--c25--c100鑲嵌著粉色和綠色裝飾的銀色貝殼4圖像生成提示詞4.14圖像生成參數(shù)——--no參數(shù)在AI繪畫中，--no參數(shù)用于排除或禁止生成圖像中的特定元素。通過在提示詞中使用--no，你可以明確告訴AI不要在生成的圖像中包含某些對(duì)象、顏色、風(fēng)格或特征。4圖像生成提示詞4.15圖像生成參數(shù)——參考風(fēng)格圖像參考風(fēng)格SREF它是stylereference風(fēng)格參考一只貓--sref

cat.jpg

一只貓--sref

cat.jpg--sw1000cat.jpg-sw來設(shè)置風(fēng)格化的強(qiáng)度,[

0,

1000],默認(rèn)值1004圖像生成提示詞4.16圖像生成參數(shù)——解決角色一致性的問題使用--cref參數(shù)和在線存儲(chǔ)圖像的網(wǎng)址(URL)：--crefURL4圖像生成提示詞4.17提示詞的常用模式提示詞=[主題]+[動(dòng)作/姿勢(shì)]+[場(chǎng)景]+[風(fēng)格]+[細(xì)節(jié)/材質(zhì)]+[參數(shù)]4圖像生成提示詞4.17