AI產(chǎn)品經(jīng)理應(yīng)該懂什么目錄01.提示詞03.A

gent02.多模態(tài)大模型01提示詞非結(jié)構(gòu)化

與

結(jié)構(gòu)化提示詞結(jié)構(gòu)化提示詞怎么寫非結(jié)構(gòu)化提示詞

(Lazy

Prompt)非結(jié)構(gòu)化提示詞通常沒有明確的格式，可以是一句話、一段文字或一串雜亂的詞語片段。它們適用于任務(wù)簡(jiǎn)單、內(nèi)容較少的情況，例如“請(qǐng)寫一篇關(guān)于人工智能的文章”。我們可以從一個(gè)模糊的或非常簡(jiǎn)短的提示開始，然后根據(jù)初步輸出再?zèng)Q定是否增加更多細(xì)節(jié)。其核心思想是信任模型憑借其強(qiáng)大的上下文推理和推斷能力來理解用戶的意圖，并生成相關(guān)的高質(zhì)量輸出。用戶不必費(fèi)心撰寫詳盡的提示詞，而是像與同事快速溝通一樣，先給出簡(jiǎn)單指令，必要時(shí)再進(jìn)行迭代。結(jié)構(gòu)化提示詞-

任務(wù)（Task）:

這是提示詞中明確要求模型回應(yīng)的核心內(nèi)容，通常由用戶提供，可以是問題或具體的操作指令。-

角色和目標(biāo)（Role

&

Goal）：可以用來設(shè)定模型的行為、角色或總體目標(biāo)。例如，可以指定模型扮演某個(gè)領(lǐng)域的專家。清晰定義AI應(yīng)扮演的角色有助于縮小AI可能的回應(yīng)范圍，使其更符合用戶預(yù)期。-

輸出格式(OutputFormat):

提示詞的輸出形式，包括輸出的內(nèi)容載體（圖表/表格/JSON對(duì)象/文本等）、輸出的字段命名、內(nèi)容體裁等要求，都可以在這里說明。-

少量樣本示例(Few-shot

examples)

:

提供一些輸入輸出的范例，幫助模型理解任務(wù)要求和期望的回答風(fēng)格或格式。-

上下文信息

(Contextual

information):

包含在提示詞中供模型在生成回應(yīng)時(shí)參考的信息，可以是文本、表格等多種形式，例如是需要繼續(xù)處理的背景信息。-

專業(yè)知識(shí)/上下文(Expertise/Context)：

融入特定領(lǐng)域的知識(shí)或必要的背景信息，幫助AI理解任務(wù)的細(xì)微差別。例如，如果任務(wù)涉及教學(xué)目標(biāo)，提示詞應(yīng)體現(xiàn)探究式而非直接指導(dǎo)的策略。-

步驟化指令

(Step-by-Step

Instructions)：

將復(fù)雜任務(wù)分解為清晰、直接的步驟。這對(duì)于多階段問題尤其有效，能確保過程的每個(gè)部分都得到處理。例如，在撰寫求職信的提示詞中，可以包含“步驟1：簡(jiǎn)要介紹申請(qǐng)人...”

“步驟2：詳述相關(guān)技能...”等。-

約束條件(Constraints)：

設(shè)定限制，如回答的長(zhǎng)度、風(fēng)格、禁止提及的內(nèi)容等，以影響AI的行為和輸出質(zhì)量。不包含這部分時(shí)，可能模型輸出不夠準(zhǔn)確或不達(dá)預(yù)期。例如，“回答應(yīng)保持簡(jiǎn)潔，不超過200字”?；A(chǔ)原則：清晰、具體、上下文、分隔符清晰明確：

使用簡(jiǎn)單、直接、無歧義的語言。避免使用行話、俚語或過于復(fù)雜的句子，除非目標(biāo)是測(cè)試AI對(duì)特定術(shù)語的理解

。模糊的指令，如“寫一些關(guān)于我們產(chǎn)品的東西”，遠(yuǎn)不如“為我們的新產(chǎn)品X（一款針對(duì)小型企業(yè)的項(xiàng)目管理工具）撰寫一段150字的介紹性營(yíng)銷文案，突出其和協(xié)作功能”有效。清晰的目標(biāo)是獲得有效回應(yīng)的基礎(chǔ)。高度具體：

提供的細(xì)節(jié)越多，AI就越能理解你的確切需求期望結(jié)果：

你希望AI完成什么任務(wù)？（總結(jié)、分類、生成、改寫等）期望長(zhǎng)度(Length)：

如“一段50字的摘要”，“一個(gè)三段式的解釋”期望格式(Format)：

如“以JSON對(duì)象形式返回”，“列出要點(diǎn)”，“生成一個(gè)表格”期望風(fēng)格(Style)：

如“正式的商業(yè)報(bào)告風(fēng)格”，“輕松幽默的社交媒體帖子風(fēng)格”目標(biāo)受眾(TargetAudience)：

AI生成內(nèi)容是給誰看的？（技術(shù)專家、普通消費(fèi)者、公司高管等）提供上下文

(Context)LLM沒有你頭腦中的背景信息，除非你明確提供。上下文可以包括：相關(guān)事實(shí)、數(shù)據(jù)、需要了解的背景知識(shí)，例如法律規(guī)定。先前對(duì)話的摘要。需要AI處理的文本或文檔片段

。關(guān)鍵術(shù)語定義。

例如，在要求AI分析用戶反饋時(shí)，提供反饋的具體內(nèi)容或摘要至關(guān)重要。使用分隔符

(Delimiters)當(dāng)提示詞中包含不同部分（如指令、上下文文本、問題）時(shí)，使用清晰的分隔符（如三重引號(hào)"""，XML標(biāo)簽<context>...</context>，或

###）可以幫助模型更好地區(qū)分和理解這些不同部分?？偨Y(jié)下面的文本，并提取關(guān)鍵主題。這是一段關(guān)于……Better02多模態(tài)大模型什么是多模態(tài)大模型多模態(tài)大模型的原理主要限制與挑戰(zhàn)什么是多模態(tài)大模型多模態(tài)大模型是一種能夠同時(shí)處理和理解來自多種“模態(tài)”信息的

AI

模型。這里的“模態(tài)”指的就是不同類型的數(shù)據(jù)，例如：-

文字

(Text):

書面語言、代碼。-

圖像

(Image):

照片、圖表、插畫。-

音頻

(Audio):

語音、音樂、環(huán)境聲。-

視頻

(Video):

動(dòng)態(tài)的圖像和聲音序列。多模態(tài)大模型原理—特征抽取模型需要為每種模態(tài)配備一個(gè)專門的“翻譯官”，也就是編碼器(Encoder)。例如，它會(huì)使用一個(gè)專門處理圖像的神經(jīng)網(wǎng)絡(luò)來“看懂”圖片，將圖片轉(zhuǎn)換成一組數(shù)字，這組數(shù)字被稱為“特征向量”或“嵌入”(Embeddings)。同樣，它也會(huì)用專門的編碼器來處理聲音和文字。這個(gè)過程就像是把不同語言（圖像、聲音）都翻譯成一種模型能懂的通用數(shù)學(xué)語言。多模態(tài)大模型原理—信息融合與對(duì)齊這是最關(guān)鍵也最具挑戰(zhàn)性的一步。當(dāng)模型擁有了代表圖像、文字、聲音的特征向量后，它需要將這些來自不同模態(tài)的“通用語言”進(jìn)行融合和對(duì)齊。融合是將這些特征向量整合成一個(gè)統(tǒng)一的、包含所有信息的綜合性表示。對(duì)齊則是讓模型理解不同模態(tài)信息之間的關(guān)聯(lián)。例如，當(dāng)看到一張“紅色的蘋果”圖片和讀到“一個(gè)紅色的蘋果”這段文字時(shí)，模型需要知道這兩者指向的是同一個(gè)概念。讓相關(guān)的圖文特征在數(shù)學(xué)空間中盡可能靠近，不相關(guān)的則盡可能遠(yuǎn)離。多模態(tài)大模型原理—輸出回復(fù)在信息融合之后，模型就可以根據(jù)具體的任務(wù)來生成輸出了。解碼器

(Decoder)

在這里發(fā)揮作用，把前面“加密過的”特征向量信息再還原成我們能夠看懂讀懂的形式

-

生成文字:

回答關(guān)于圖像的問題（視覺問答

VQA）、為圖片生成描述（ImageCaptioning）。-

生成圖像:

根據(jù)文字描述創(chuàng)作一幅畫（文生圖）。-

多模態(tài)推理:

例如根據(jù)商品圖片和文字描述，判斷商品是否有瑕疵。03Agent智能體什么是A

I Ag

e

nt人和AI

協(xié)作的三種范式w

o

r

k

f

l

o

w 和 A

g

e

n

t

的區(qū)別A

I Ag

e

nt

目前的挑戰(zhàn)和限制Agent和

LLM

的區(qū)別是什么？區(qū)別于主要使用文字和圖像對(duì)話的LLM

Chat，Agent

智能體能夠結(jié)合上下文、用戶意圖拆解問題、調(diào)用工具、推理反思，擁有長(zhǎng)短期記憶，更偏向于理解用戶意圖后，

智能地、自動(dòng)化地完成任務(wù)。Workflow

和Agent的區(qū)別我們常說的AI

Agent，通常指的是智能體系統(tǒng)

(

agentic

system

)，從架構(gòu)概念上總結(jié)可以分為：工作流

(

Workflows

)

更強(qiáng)調(diào)預(yù)定義的可控性：是指

大語言模型(

LLM

)

和工具通過預(yù)定義的代碼路徑進(jìn)行編排的系統(tǒng)。控制權(quán)更多在開發(fā)者手中。智能體

(

Agents

)

更強(qiáng)調(diào)自主性：則是指

大語言模型

(

LLM

)

能夠動(dòng)態(tài)指導(dǎo)自身流程和工具使用、并自主控制任務(wù)完成方式的系統(tǒng)?？刂茩?quán)更多在

LLM

手中。Agent

目前的限制一些復(fù)雜任務(wù)拆解子任務(wù)后，因?yàn)椴粔蛄私猸h(huán)境和相關(guān)背景知識(shí)，自主執(zhí)行的成功率不足以達(dá)到穩(wěn)定可用的狀態(tài)，延時(shí)和成本還比較高01工具數(shù)量非常多、意圖分類數(shù)量大和長(zhǎng)上下文的情況下，單一Agent節(jié)點(diǎn)意圖分類識(shí)別/工具調(diào)用的成功率達(dá)不到非常理想的結(jié)果02各種渠道的數(shù)據(jù)源無法在不同的Agents中復(fù)用，

需要重復(fù)配置，效率不高03模型的reasoning

推理能力還有待發(fā)展，同時(shí)因?yàn)槟Ｐ偷母怕视?jì)算的本質(zhì)，幻覺依然無法完全避免，在復(fù)雜的業(yè)務(wù)場(chǎng)景中，尤其是預(yù)訓(xùn)練知識(shí)不包含的垂直業(yè)務(wù)場(chǎng)景，效果可能不達(dá)預(yù)期（例如醫(yī)療、化學(xué)等需要垂域知識(shí)的領(lǐng)域）04AI

Agent開發(fā)與落地的建議更多關(guān)注任務(wù)相關(guān)的上下文環(huán)境和動(dòng)態(tài)變量，明確需要AI如何與環(huán)境交互->workflo