GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)2025

上海站大模型在IPC領(lǐng)域的實(shí)踐探索

時(shí)間：

2025/10/18

姓名：余濤GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站01

IPC行業(yè)發(fā)展現(xiàn)狀介紹簡(jiǎn)述

IPC

行業(yè)整體規(guī)模、市場(chǎng)現(xiàn)狀、發(fā)展趨勢(shì)IPC概念：

IPCamera，即帶IP地址的聯(lián)網(wǎng)攝像頭，將光信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)在以太網(wǎng)傳輸。行業(yè)規(guī)模：全球：2024年市場(chǎng)規(guī)模約為133.3億美元，預(yù)計(jì)將以超過18.3%的復(fù)合年增長(zhǎng)率增長(zhǎng)，到2037年收入將達(dá)到

1184.8億美元。中國(guó)：2024年中國(guó)消費(fèi)智能攝像頭市場(chǎng)出貨5,139.8萬臺(tái)，出貨量全球占比37.5%

，

同比增長(zhǎng)4.2%。IPC產(chǎn)業(yè)現(xiàn)狀與趨勢(shì)

GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站應(yīng)用場(chǎng)景典型用途核心技術(shù)需求（AI大模型

+

云平臺(tái)）

家庭安防防盜、看護(hù)老人/兒童、寵物監(jiān)控-指定行為意圖識(shí)別（如跌倒、異常逗留）-多模態(tài)數(shù)據(jù)融合（音視頻+傳感器）與主動(dòng)預(yù)警

商業(yè)監(jiān)控商鋪防盜、客流統(tǒng)計(jì)、收銀監(jiān)控-場(chǎng)景語(yǔ)義理解與異常行為建模-

MaaS（模型即服務(wù)）支持定制化AI能力調(diào)用（如人臉識(shí)別、熱力圖分析）圓智慧交通路口監(jiān)控、車牌識(shí)別、違章抓拍-大模型結(jié)合時(shí)空數(shù)據(jù)預(yù)測(cè)交通流與事故風(fēng)險(xiǎn)-云平臺(tái)統(tǒng)一調(diào)度千級(jí)攝像頭推理任務(wù)，支持實(shí)時(shí)響應(yīng)

工業(yè)應(yīng)用車間監(jiān)控、設(shè)備巡檢、高溫區(qū)域監(jiān)測(cè)-融合設(shè)備知識(shí)圖譜，實(shí)現(xiàn)故障預(yù)判-

MLOps工具鏈，支持模型持續(xù)訓(xùn)練與更新-

國(guó)產(chǎn)化算力云底座支撐自主可控AI部署醺智慧城市公共安全、人流管控、人臉識(shí)別-多模態(tài)大模型統(tǒng)一理解視頻、語(yǔ)音、文本等異構(gòu)數(shù)據(jù)-云原生平臺(tái)實(shí)現(xiàn)萬級(jí)IPC接入與AI任務(wù)編排-開放AI平臺(tái)支持第三方模型接入與生態(tài)擴(kuò)展IPC應(yīng)用場(chǎng)景與技術(shù)需求

GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站優(yōu)勢(shì)算法部署更方便網(wǎng)絡(luò)延遲更低安全性較高IPC智能監(jiān)控方案?jìng)鹘y(tǒng)模式的優(yōu)勢(shì)與短板

GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站端側(cè)算力有限，可提供分析能力弱誤報(bào)率高，強(qiáng)依賴人工規(guī)則引擎配置場(chǎng)景支持有限，可定制場(chǎng)景支持有限算法升級(jí)維護(hù)成本高，更新迭代慢數(shù)據(jù)處理方式落后，挖掘能力有限劣勢(shì)GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站02VL大模型能力概述概覽VL視覺模型、

Embedding模型能力及使用場(chǎng)景

Embedding能力概述

向量化模型能夠?qū)⑽谋?、圖像、視頻等數(shù)據(jù)轉(zhuǎn)換為數(shù)學(xué)空間中的向量。通過計(jì)算向量之間的距離或夾角，可以量化數(shù)據(jù)的相似度，從而作用于精準(zhǔn)搜索、智能推薦、自動(dòng)分類及異常檢測(cè)等任務(wù)。GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站1、看圖做題提示詞：請(qǐng)你分步驟解答這道題，輸出對(duì)這道題的思考判斷過程。VL模型能力概述

GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站{"發(fā)票代碼":

"221021325353","發(fā)票號(hào)碼":

"10283819","到站":

"開發(fā)區(qū)","燃油費(fèi)":

"2.0","票價(jià)":

"8.00<全>","乘車日期":

"2013-06-29","開車時(shí)間":

"流水","車次":

"040","座號(hào)":

"371"}[{"bbox":

[60,395,204,

578],"description":

"巧克力蛋糕，頂部覆蓋紅色糖霜和彩色糖粒"},{"bbox":

[248,381,

372,

542],"description":

"粉色糖霜的蛋糕，頂部有白色和藍(lán)色的糖粒"}]VL模型能力概述

GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站提示詞：提取圖中的：

[I發(fā)票代碼I,I發(fā)票號(hào)碼I,I到站I,I燃油費(fèi)I,I票價(jià)I,I乘車日期I,

I開車時(shí)間I,

I車次I,

I座號(hào)I]

，請(qǐng)你以JSON格式輸出

，不要輸出```json```代碼段”。提示詞：

定位每一個(gè)蛋糕的位置

，并描述其各自的特征，

以JSON格式輸出所有的bbox的坐標(biāo)

，不要輸出```json```代碼段。2、信息抽取3、物體定位[{"start_time":"00:00:00.00","end_time":

"00:00:04.00","event":

"人物從畫面左側(cè)走向桌子，手中拿著一個(gè)紙箱。"},{"start_time":"00:00:04.00","end_time":

"00:00:06.00","event":

"人物將紙箱放在桌子上。

"}]{"person":"true","care":"false","summary":"廚房?jī)?nèi)三名工作人員正忙碌準(zhǔn)備食材，環(huán)境整潔有序，各類食材和工具擺放整齊?！皚VL模型能力概述

GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站提示詞：

圖片指標(biāo)實(shí)體標(biāo)簽識(shí)別

，識(shí)別標(biāo)簽：人

，汽車

，并對(duì)圖片主題內(nèi)容做50字以內(nèi)的總結(jié)

，參考如下示例按照json格式返回結(jié)果：

{"person":"true","care":"false","summary":""}提示詞：

請(qǐng)你描述下視頻中的人物的一系列動(dòng)作，

以JSON格式輸出開始時(shí)間（start_time）、結(jié)束事件（end_time）、事件（event）

，請(qǐng)使用HH:mm:ss表示時(shí)間戳

，不要輸出```json```代碼段。4、物體檢測(cè)5、視頻理解GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站03VL模型在IPC領(lǐng)域應(yīng)用探索應(yīng)用案例分享告警增強(qiáng)人員、包裹事件摘要每日事件時(shí)間軸展示，支持14天事件時(shí)間軸跨模態(tài)檢索Smart

Video

Search，支持6個(gè)月歷史事件檢索$4.99/月$9.99/月$19.99/月C端場(chǎng)景

GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站Basic

Standard

Premium增加狀態(tài)定語(yǔ)園區(qū)園區(qū)環(huán)境，安全生產(chǎn)，消防隱患，儀表讀數(shù)巡店海報(bào)比對(duì)、貨柜飽滿、屏幕狀態(tài)、人員行為規(guī)范B端場(chǎng)景

GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站識(shí)別是否符合安全生產(chǎn)規(guī)范識(shí)別是否有消防隱患園區(qū)內(nèi)違規(guī)停車儀表讀數(shù)識(shí)別貨柜是否需要補(bǔ)貨識(shí)別屏幕是否正常播放識(shí)別海報(bào)是否為最新識(shí)別服務(wù)人員行為規(guī)范案例一：復(fù)核低置信度圖片，提升CV模型識(shí)別準(zhǔn)確率

GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站提供告警等級(jí)級(jí)具體的告警判斷依據(jù)，讓告警更加準(zhǔn)確智能。案例二：擺脫模版限制，實(shí)現(xiàn)C端自定義個(gè)性化規(guī)則檢測(cè)

GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站案例三：智能巡店

規(guī)則示例食品是否變質(zhì)、垃圾桶未加蓋、垃圾桶滿溢等員工是否穿工服、員工是否玩手機(jī)、員工是否佩戴口罩、宣傳電視屏是否開啟等果茶類不滿杯補(bǔ)水、冰沙冰塊取量未稱重等泡水解凍、水果未浸泡、檸檬類水果未研磨等GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站檢查類目食品安全對(duì)客服務(wù)產(chǎn)品標(biāo)準(zhǔn)備料操作規(guī)則數(shù)量52種22種15種13種PrivateLink調(diào)用VL模型PrivateLink讀取圖片PrivateLink事件結(jié)果反饋

識(shí)別結(jié)果處理發(fā)起任務(wù)巡檢運(yùn)營(yíng)平臺(tái)ECS事件調(diào)度ECS前置處理目標(biāo)檢測(cè)EGS圖像讀取OSS達(dá)標(biāo)檢查項(xiàng)垃圾桶未加蓋紙箱或其他容器作為門店垃圾桶垃圾桶滿溢物料制備未佩戴手套制冰機(jī)/儲(chǔ)冰槽未隨手關(guān)閉未著工裝圍裙、未戴工帽未佩戴口罩佩戴飾品工作區(qū)員工穿短裙短褲拖鞋上班滅蠅紙未更換地面有鋼桶、雜物、垃圾工作人員玩手機(jī)案例三：智能巡店

百煉GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站攝像頭圖像采集客戶VPC公共云VL結(jié)果返回調(diào)用VL模型當(dāng)前階段模型的短板

模型經(jīng)常出現(xiàn)幻覺如寵物場(chǎng)景貓狗識(shí)別混淆對(duì)不確定的內(nèi)容容易啰嗦模型整體響應(yīng)過長(zhǎng)模型整體響應(yīng)時(shí)間過長(zhǎng)高并發(fā)場(chǎng)景資源消耗大指令遵循不穩(wěn)定無法按照約定輸出枚舉示例值格式化結(jié)果輸出不按實(shí)例輸出GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站04微調(diào)、持續(xù)優(yōu)化與未來展望模型微調(diào)流程、模型推理部署及AI網(wǎng)關(guān)高可用性建設(shè)訓(xùn)練數(shù)據(jù)是關(guān)鍵

數(shù)據(jù)質(zhì)量比數(shù)據(jù)量更重要

，訓(xùn)練數(shù)據(jù)需要嚴(yán)格

對(duì)齊期望輸出結(jié)果

，不要依賴基模輸出結(jié)構(gòu)化

能力。

數(shù)據(jù)量對(duì)不同難度的任務(wù)要求不同?；镜妮?/p>

出格式幾百條即可；模型有效果但準(zhǔn)確度不夠，需要幾千條數(shù)據(jù)+少量通用數(shù)據(jù)；模型基本無法

完成任務(wù)

，需要幾萬到幾十萬數(shù)據(jù)

，需要大量

通用數(shù)據(jù)。基本原則

微調(diào)不能替代提示詞工程

，微調(diào)需要在提示詞優(yōu)化到瓶頸的基礎(chǔ)上開展。

可量化的評(píng)測(cè)非常重要

，有評(píng)測(cè)

，有量化

，才能判斷模型問題出現(xiàn)在VIT還是LLM部分。

RL更傾向于解決輸出風(fēng)格問題

，不要寄希望于

通過RL學(xué)習(xí)知識(shí)，

RL階段DPO易于PPO訓(xùn)練策略

少量數(shù)據(jù)+小規(guī)格模型做初步可行性驗(yàn)證。

多個(gè)微調(diào)方向時(shí)

，先單任務(wù)微調(diào)驗(yàn)證可行

，再

多方向混合微調(diào)。

模型訓(xùn)練是實(shí)驗(yàn)科學(xué)

，最好多組任務(wù)并行驗(yàn)證，包括多組參數(shù)、多組任務(wù)、多組微調(diào)方式。大模型微調(diào)：流程

模型評(píng)測(cè)GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站調(diào)整訓(xùn)練數(shù)據(jù)調(diào)整訓(xùn)練方法通用能力優(yōu)化調(diào)整參數(shù)設(shè)置

添加混

合訓(xùn)練數(shù)據(jù)超參配置模型訓(xùn)練模型部署構(gòu)建數(shù)

據(jù)集選擇微

調(diào)方式大模型微調(diào)：構(gòu)建數(shù)據(jù)集

GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站?【業(yè)務(wù)真實(shí)數(shù)據(jù)】?【基于規(guī)則的數(shù)據(jù)生成】?【基于大模型的數(shù)據(jù)生成】?【迭代上線后產(chǎn)生的數(shù)據(jù)】【Easy

Dataset

×

LLaMA

Factory:讓大模型高效學(xué)習(xí)領(lǐng)域知識(shí)】大模型微調(diào)通?？煞譃槿珔?shù)微調(diào)和高效參數(shù)微調(diào)。

全參數(shù)微調(diào)是指對(duì)整個(gè)模型的所有參數(shù)進(jìn)行更新調(diào)整；

高效參數(shù)微調(diào)是指僅對(duì)模型的某些部分（例如某些特定的層或參數(shù)）進(jìn)行更新調(diào)整，而凍結(jié)其余參數(shù)。其中高效參數(shù)訓(xùn)練的常用方法為L(zhǎng)oRA微調(diào)。大模型微調(diào)：微調(diào)方式選擇

GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站Case2.訓(xùn)練損失沒有明顯變化或逐漸增大（不常見）欠擬合訓(xùn)練數(shù)據(jù)建議進(jìn)行以下優(yōu)化，繼續(xù)訓(xùn)練：?檢查數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)清洗充分。?調(diào)整超參，增大“訓(xùn)練次數(shù)”、增大“學(xué)習(xí)率”、增大“批次大小”、減小“權(quán)重衰減”、降低“LoRA丟棄率”、降低“學(xué)習(xí)率預(yù)熱比例”。Case1.訓(xùn)練損失逐漸減小，驗(yàn)證損失逐漸增大過擬合訓(xùn)練數(shù)據(jù)建議進(jìn)行以下優(yōu)化，重新訓(xùn)練：?使用數(shù)據(jù)增強(qiáng)，增加訓(xùn)練數(shù)據(jù)多樣性和數(shù)據(jù)量。?收集更多訓(xùn)練數(shù)據(jù)，增加訓(xùn)練數(shù)據(jù)多樣性和數(shù)據(jù)量。?調(diào)整超參，減少“訓(xùn)練次數(shù)”、減小“學(xué)習(xí)率”、減小“批次大小”、增大“權(quán)重衰減”、提高“LoRA丟棄率”、提高“學(xué)習(xí)率預(yù)熱比例”。大模型微調(diào)：模型訓(xùn)練

GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站訓(xùn)練過程監(jiān)測(cè)驗(yàn)證損失（Validation

Loss）訓(xùn)練損失（Training

Loss）驗(yàn)證準(zhǔn)確率資源的高利用率、服務(wù)的高性能、業(yè)務(wù)的高可用模型服務(wù)管理?

支持通過界面管理服務(wù)?

支持服務(wù)快速自動(dòng)擴(kuò)縮容操作?

資源水位監(jiān)控與告警配置?

全生命周期日志追蹤?

藍(lán)綠發(fā)布、A/BTest常見技術(shù)棧的支持?

支持預(yù)置鏡像和自定義鏡像?

支持常見的LLM推理框架調(diào)度優(yōu)化?

碎片整理?

扎堆調(diào)度性能優(yōu)化?內(nèi)存緩存：模型文件利用空閑內(nèi)存進(jìn)行緩存

，優(yōu)化模型加載效率?鏡像加載加速：

P2P和按需加載等?LLM智能路由：基于LLM場(chǎng)景所特有的Metrics來動(dòng)態(tài)進(jìn)行請(qǐng)求分發(fā)

，保證后端推理實(shí)例處理的算力和顯存均勻

，提升集群資源使用水位模型在線推理服務(wù)：

PAI

EAS

GOP

S全球運(yùn)維大會(huì)暨研運(yùn)數(shù)智化技術(shù)峰會(huì)

2025·上海

站AI網(wǎng)關(guān)⑦聯(lián)網(wǎng)搜索LLMsAPI（百煉）DeepSeek通義千問OpenA