2025年面向公共部門的AI解決方案白皮書_第1頁(yè)
2025年面向公共部門的AI解決方案白皮書_第2頁(yè)
2025年面向公共部門的AI解決方案白皮書_第3頁(yè)
2025年面向公共部門的AI解決方案白皮書_第4頁(yè)
2025年面向公共部門的AI解決方案白皮書_第5頁(yè)
已閱讀5頁(yè),還剩16頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

面向公共部門的AI解決方案自動(dòng)化降低成本透明度簡(jiǎn)介

03

公共部門正處于轉(zhuǎn)折點(diǎn)第

1章

04

為何自動(dòng)化必須成為每項(xiàng)AI戰(zhàn)略的核心

策略、流程和透明度要求

從重復(fù)性任務(wù)到預(yù)測(cè)性洞察:自動(dòng)化的最大價(jià)值第

2

07

自動(dòng)化之路上的障礙

彌合AI技能差距

開(kāi)源作為一種成本控制和信任機(jī)制

保護(hù)隱私和數(shù)據(jù)主權(quán)第

4章

14

助力實(shí)現(xiàn)經(jīng)濟(jì)高效自動(dòng)化的可信平臺(tái)

面向聯(lián)邦機(jī)構(gòu)的生成式AI服務(wù)

生態(tài)系統(tǒng)優(yōu)勢(shì):不止英特爾

了解更多

18

推進(jìn)自動(dòng)化,降本增效,優(yōu)化服務(wù)體驗(yàn)?zāi)夸?/p>

3章

10

2這些公共部門機(jī)構(gòu)發(fā)現(xiàn)了一個(gè)令人不安的悖論:本承諾大幅減少手動(dòng)操作的AI模型,反而可能帶來(lái)令人震驚的計(jì)算和云服務(wù)訂閱費(fèi)用。Flexera發(fā)布的《2025年云

現(xiàn)狀報(bào)告》速覽顯示,目前有33%的企業(yè)組織每年在公共云資源方面的支出超過(guò)1,200萬(wàn)美元,其中72%的企業(yè)組織將生

成式AI服務(wù)作為主要關(guān)注點(diǎn)。2對(duì)于運(yùn)維

預(yù)算緊張的州政府和地方政府,這些成本會(huì)產(chǎn)生重大影響;每增加一小時(shí)的圖形處理單元(GPU)使用時(shí)間,就意味著必須削減相應(yīng)的一線項(xiàng)目經(jīng)費(fèi)。在AI的影響下,公民對(duì)私營(yíng)部門服務(wù)提供商有了新的期望?即時(shí)響應(yīng)、預(yù)測(cè)性推薦以及全天候服務(wù)渠道已成為基本要求。公共機(jī)構(gòu)現(xiàn)在面臨著同樣的壓力,但從未獲得足夠的資金或人員配置來(lái)與數(shù)字原生私營(yíng)企業(yè)競(jìng)爭(zhēng);因此,他們現(xiàn)在正在奮力追趕。事實(shí)上,預(yù)計(jì)2022至2027年間,政府對(duì)

AI領(lǐng)

域的投資將以

19%的復(fù)合平均增長(zhǎng)率

(CAGR)持續(xù)增長(zhǎng)。1

簡(jiǎn)介

公共部門正處于

轉(zhuǎn)折點(diǎn)面對(duì)這些挑戰(zhàn),開(kāi)源AI解決方案可以

為公共部門機(jī)構(gòu)提供更大的靈活性、透明度和控制力。這使得團(tuán)隊(duì)能夠構(gòu)建、審核和調(diào)整模型,以滿足他們的特定需求。開(kāi)源的核心是社區(qū)驅(qū)動(dòng)的創(chuàng)新,這使機(jī)構(gòu)能夠避免供應(yīng)商鎖定、降低成本并加快開(kāi)發(fā)速度,同時(shí)在注重安全的可

擴(kuò)展環(huán)境中保持合規(guī)。

重點(diǎn)介紹有助于實(shí)施AI的紅帽?技術(shù)和合作伙伴解決方案,從安全至上的供應(yīng)鏈,到借助紅帽Ansible?

Lightspeed

實(shí)現(xiàn)的AI增強(qiáng)型

IT

自動(dòng)化,再到與英特爾等合作伙伴共同推

進(jìn)的聯(lián)邦學(xué)習(xí)。

將大型通用模型與任務(wù)調(diào)優(yōu)型小語(yǔ)言

模型(SLM)以及成本節(jié)約技術(shù)(如

虛擬大語(yǔ)言模型(vLLM)提示符緩

存)進(jìn)行對(duì)比。

展示開(kāi)源社區(qū)(如紅帽全新的

llm-d

項(xiàng)目)如何重塑推理的經(jīng)濟(jì)模式。

明確政府機(jī)構(gòu)特有的策略、隱私和采

量化自動(dòng)化重復(fù)流程所帶來(lái)的財(cái)政

收益。

分析隨著試點(diǎn)項(xiàng)目規(guī)模擴(kuò)大而不斷增本電子書探討了公共部門如何化解這一矛盾,利用AI作為自動(dòng)化引擎來(lái)降低成本,同時(shí)借助開(kāi)源創(chuàng)新來(lái)控制基礎(chǔ)架構(gòu)支出。以下各章節(jié)將:1Gartner,“AIinGovernmentPromisesAutomationandBetterDecisions”(政府部門采用

AI技術(shù),實(shí)現(xiàn)自動(dòng)化并提升決策水平),數(shù)據(jù)獲取于

2025年

6月

1

日。2Flexera

,“2025年云現(xiàn)狀報(bào)告”,數(shù)據(jù)獲取于2025年

5月

12

日。加的隱性成本。購(gòu)注意事項(xiàng)。3為何自動(dòng)化必須成為

每項(xiàng)

AI戰(zhàn)略的核心公共行政領(lǐng)域最古老的使命就是以更少的資源實(shí)現(xiàn)更多的目標(biāo)。自動(dòng)化是確保這一使命與21世紀(jì)工作負(fù)載保持一致的關(guān)鍵工具。分析師預(yù)測(cè),到2026年,20%的企業(yè)組織將利用AI減少當(dāng)前超過(guò)一半的中層管理人員,從而提升團(tuán)隊(duì)效率。3每一項(xiàng)政府職能(包括許可、福利裁決和采購(gòu))都圍繞紙質(zhì)時(shí)代的控制措施發(fā)展而來(lái),這些措施旨在維護(hù)透明度并防止腐敗。每項(xiàng)控制措施都需要移交,而每次移交都需要配備帶薪員工。自動(dòng)化通過(guò)軟件邏輯取代這些移交工作,能在幾毫秒內(nèi)創(chuàng)建相同的審計(jì)跟蹤記錄。根據(jù)德勤2024年對(duì)超過(guò)19,000項(xiàng)美國(guó)政府任務(wù)的分析,公共部門的大部分工作(尤其是日常的數(shù)據(jù)密集型活動(dòng))都適合通過(guò)生成式AI工具實(shí)現(xiàn)自動(dòng)化。報(bào)告還發(fā)現(xiàn),自動(dòng)化可以節(jié)省在起草報(bào)告或路由文檔等工作上所花費(fèi)

的75%到

95%

的時(shí)間。?自動(dòng)化還會(huì)以意想不到的方式改變成本曲線。引入幫助臺(tái)聊天機(jī)器人后,支持工單數(shù)量降幅可達(dá)

60%,從而降低了人員成本。但是,云成本可能會(huì)增加,因?yàn)榱奶鞕C(jī)器人對(duì)話中的每

個(gè)步驟都需要強(qiáng)大的算力來(lái)理解問(wèn)題并生成響應(yīng),這一過(guò)程被稱為推理。一家中型國(guó)家機(jī)構(gòu)最近實(shí)現(xiàn)了福利資格查詢自動(dòng)化,但發(fā)現(xiàn)每月的AI費(fèi)用增加了兩倍,耗盡了原本用于關(guān)閉服務(wù)中心的專項(xiàng)資金。在過(guò)去,政府機(jī)構(gòu)曾嘗試過(guò)零散的修復(fù)措施,例如將單個(gè)表格數(shù)字化或部署機(jī)器人來(lái)對(duì)電子郵件進(jìn)行分類,然而,當(dāng)服務(wù)在機(jī)構(gòu)內(nèi)部轉(zhuǎn)移時(shí),這會(huì)導(dǎo)致流程脫節(jié)和中斷。因此,下一波由AI驅(qū)動(dòng)的自動(dòng)化必須實(shí)現(xiàn)端到端運(yùn)維,在同一個(gè)安全至上的工作流中編排文檔理解、決策規(guī)則、員工調(diào)度和公民自助服務(wù)。要實(shí)現(xiàn)這一目標(biāo),需要一個(gè)平臺(tái)來(lái)進(jìn)行管理、維護(hù)成本并實(shí)現(xiàn)規(guī)模經(jīng)濟(jì)效益。3Gartner,“GartnerUnveils

TopPredictions

forITOrganizationsandUsersin2025andBeyond”(Gartner公布2025年及以后針對(duì)IT組織和用戶的重要預(yù)測(cè)),數(shù)據(jù)獲取于2024年10月22

日。4

Austin、Tashs、Mariani、Joe等?!癎enerativeAIandgovernmentwork:Anin-depthanalysisof19,000tasks”(生成式AI和政府工作:針對(duì)19,000項(xiàng)任務(wù)的深入分析)。德勤,

2024年4月

24

日。5

Shark·Alan?!癢hattheRisingCostsofAIMeansforGovernment”(AI成本上升對(duì)政府意味著什么)。StateTech

,2025年

1月

17

日。第1章4到幾秒,同時(shí)保留審計(jì)人員所需的審計(jì)跟蹤記錄。以建筑許可工作流為例。如今,許可申請(qǐng)可能需要經(jīng)過(guò)規(guī)劃、

消防、環(huán)保和稅務(wù)等多個(gè)部門審批,而每個(gè)部門都運(yùn)行著自己

的數(shù)據(jù)庫(kù)。經(jīng)過(guò)良好訓(xùn)練的小語(yǔ)言模型(SLM),即您可以使用自己的數(shù)據(jù)進(jìn)行定制或微調(diào)的模型,與代理式架構(gòu)相結(jié)合,可以處理完整的監(jiān)管數(shù)據(jù)集、根據(jù)規(guī)則集對(duì)申請(qǐng)進(jìn)行分類,并僅將邊緣案例的例外情況轉(zhuǎn)交給人類專家處理。這一過(guò)程可節(jié)省數(shù)百萬(wàn)員工工時(shí),使這些資源能夠重新部署到一線檢

查工作中。但是,如果該模型在專有云中運(yùn)行,并且每個(gè)令牌都需要計(jì)費(fèi),則累計(jì)費(fèi)用可能會(huì)超過(guò)節(jié)省下來(lái)的工資金額。這意味著成本效益必須成為一項(xiàng)策略要求,而非之后考慮的事項(xiàng)。為了兌現(xiàn)節(jié)省成本的承諾,技術(shù)領(lǐng)導(dǎo)者必須確保將模型用途、規(guī)模調(diào)整和透明化計(jì)量作為首要考量因素。每一項(xiàng)公共服務(wù)都必須遵循嚴(yán)格記錄的程序:強(qiáng)制等待期、公證表單以及多方簽字審批。這些控制措施可以保護(hù)公民免受任意決策的侵害,但也催生了大量繁瑣的手動(dòng)核查流程。AI能夠?qū)⑦@些相同的規(guī)則轉(zhuǎn)化為可執(zhí)行代碼,將響應(yīng)時(shí)間從數(shù)周縮短策略、流程和透明度要求5公共服務(wù)機(jī)構(gòu)不斷發(fā)展,通過(guò)消除手動(dòng)任務(wù)來(lái)提高效率,但仍有很多改進(jìn)機(jī)會(huì)。重復(fù)性的人工操作任務(wù),如在不同屏幕之間復(fù)制數(shù)據(jù)、對(duì)支持工單進(jìn)行分類以及編制月度合規(guī)報(bào)告等,仍難以通過(guò)傳統(tǒng)腳本化方式實(shí)現(xiàn)自動(dòng)化。自然語(yǔ)言界面和模式識(shí)別模型,使政府效率又得到進(jìn)一步提升。以下是自動(dòng)化助力提高效率并降低成本的幾種方式。

簡(jiǎn)化公民支持流程自動(dòng)提示緩存功能可實(shí)現(xiàn)對(duì)常見(jiàn)問(wèn)題

(如“我的退款在哪里?”)的快速、可重復(fù)響應(yīng)。這有助于減輕

GPU

的壓力,提高服務(wù)交付速度。

加快公平的資格審查流程經(jīng)過(guò)監(jiān)管文本訓(xùn)練的小語(yǔ)言模型通過(guò)識(shí)別不完整的申請(qǐng)并起草與機(jī)構(gòu)用語(yǔ)一致的資格審查決策,幫助自動(dòng)化許

可和福利裁決。

為資源分配提供信息依據(jù)借助AI驅(qū)動(dòng)的預(yù)測(cè)模型,可以預(yù)測(cè)服務(wù)需求(如急診科的接診量),從

而使管理人員能夠主動(dòng)重新分配人員并避免出現(xiàn)服務(wù)瓶頸。

個(gè)性化的公民服務(wù)推薦系統(tǒng)可以自動(dòng)識(shí)別并聯(lián)系高風(fēng)險(xiǎn)人群(如需要續(xù)開(kāi)處方的退伍軍人),避免小問(wèn)題演變成更大的健康

問(wèn)題。從重復(fù)性任務(wù)到預(yù)測(cè)性洞察:自動(dòng)化的最大價(jià)值例如,一個(gè)服務(wù)于2000萬(wàn)次查詢的全國(guó)性聊天機(jī)器人能夠處理高達(dá)3萬(wàn)億個(gè)令牌,如果不通過(guò)自動(dòng)化進(jìn)行優(yōu)化,這一數(shù)字會(huì)大幅增加。為解決這個(gè)問(wèn)題,政府機(jī)構(gòu)可以通過(guò)

llm-d提供精簡(jiǎn)的小語(yǔ)言模型

,llm-d能夠?qū)⒛P头纸鉃檩^小的組件,并在

Kubernetes集群上運(yùn)行它們,從而保持較高的利用率和較低的成本。6以下是當(dāng)前阻礙自動(dòng)化采用的最頑固但可解決

的障礙:過(guò)時(shí)的基礎(chǔ)架構(gòu)過(guò)時(shí)的系統(tǒng)和

IT基礎(chǔ)架構(gòu)占用了公共部門的大部分

IT預(yù)算,拖慢了現(xiàn)代化進(jìn)程。美國(guó)政府問(wèn)責(zé)辦公室指出,聯(lián)邦政府每年大約有1,000億美元的

IT預(yù)算用于運(yùn)維和維護(hù)過(guò)時(shí)系統(tǒng),這使得在傳統(tǒng)基礎(chǔ)架構(gòu)淘汰之前,創(chuàng)新空間極為有限。?數(shù)據(jù)孤島如果數(shù)據(jù)無(wú)法被企業(yè)所有部門訪問(wèn),政府機(jī)構(gòu)就難以大規(guī)模部署自動(dòng)化,也無(wú)法利用完整的實(shí)時(shí)信息對(duì)AI進(jìn)行訓(xùn)練。Salesforce發(fā)布的《2024

年連接性報(bào)告》顯示,81%的

IT主

管認(rèn)為數(shù)據(jù)孤島是阻礙數(shù)字化轉(zhuǎn)型的重要因素,62%的

IT主管承認(rèn)他們的系統(tǒng)根本沒(méi)有配置為使用AI。?6

“InformationTechnology:AgenciesNeedtoPlanforModernizingCriticalDecades-OldLegacySystems”(信息技術(shù):政府機(jī)構(gòu)需進(jìn)行規(guī)劃,以現(xiàn)代化改造擁有數(shù)十年歷史的重要傳統(tǒng)系統(tǒng)),美國(guó)政府問(wèn)責(zé)辦公室,2025年6月1

日。7

“85%ofITLeadersSeeAIBoostingProductivity,but

Data

IntegrationandOverwhelmed

阻礙了成功),Salesforce

,2024年1月23

日。AI在公共部門領(lǐng)域的應(yīng)用前景十分光明,但障礙也顯而易見(jiàn)。從過(guò)時(shí)的系統(tǒng)和數(shù)據(jù)孤島到不斷上升的云成本,政府在邁向自動(dòng)化的進(jìn)程中面臨著嚴(yán)峻的結(jié)構(gòu)性和運(yùn)維挑戰(zhàn)。再加上越來(lái)越多的合規(guī)義務(wù)和不斷擴(kuò)大的技能差距,不難理解為何許多機(jī)構(gòu)

在擴(kuò)展AI戰(zhàn)略方面舉步維艱。自動(dòng)化之路上的障礙第

2章TeamsHinderSuccess”(85%的

IT主管認(rèn)為AI有助于提高生產(chǎn)力,但數(shù)據(jù)集成和團(tuán)隊(duì)超負(fù)荷問(wèn)題7不斷增加的云支出生成式AI對(duì)計(jì)算資源的需求不斷攀升,這使得云預(yù)算遠(yuǎn)遠(yuǎn)超出公共部門團(tuán)隊(duì)最初的規(guī)劃。事實(shí)上,企業(yè)云賬單費(fèi)用的平均年增長(zhǎng)率已達(dá)30%

,IT和財(cái)務(wù)主管將這一激增歸因于生成式AI

工作負(fù)載。?

Flexera發(fā)布的《2025年云現(xiàn)狀報(bào)告》進(jìn)一步強(qiáng)調(diào)了這種壓力,報(bào)告指出,目前近三分之一的企業(yè)組織每年在公共云資源上的支出超過(guò)

1,200萬(wàn)美元,用于支持AI,這使得總

體云預(yù)算超出計(jì)劃

17%。?合規(guī)和道德風(fēng)險(xiǎn)美國(guó)政府機(jī)構(gòu)必須遵守美國(guó)管理和預(yù)算辦公室(OMB)的第M-24-10號(hào)備忘錄。這要求聯(lián)邦部門清點(diǎn)AI系統(tǒng)、記錄訓(xùn)練數(shù)據(jù)和模型決策,并在可能影響權(quán)利或安全的任何部署之前,使

用可審計(jì)記錄實(shí)施持續(xù)偏差測(cè)試。1?在英國(guó),歐盟AI法案現(xiàn)在將大多數(shù)公共部門用例歸為高風(fēng)險(xiǎn)類別,因此要求各機(jī)構(gòu)維護(hù)10年的技術(shù)文檔、執(zhí)行系統(tǒng)性偏差測(cè)試,并針對(duì)每個(gè)發(fā)布周期保存防篡改的審計(jì)日志。11技能差距美國(guó)能源部2025年裁員計(jì)劃將裁減超過(guò)3,500個(gè)崗位,并將43%的崗位標(biāo)記為“非必要”。這體現(xiàn)出在預(yù)算緊張的情況

下,聯(lián)邦政府有必要加快推進(jìn)日常工作的自動(dòng)化。8

Ashare、Matt。“AIadoptiondrives‘unmanageable’spikeincloudcosts”(采用AI會(huì)導(dǎo)致云成本出現(xiàn)“難以控制”的激增),CIODive

,2024年

10月7

日。9

“NewFlexeraReportFindsthat84%ofOrganizationsStruggleto

ManageCloudSpend”(Flexera最新報(bào)告顯示,84%

的企業(yè)組織難以有效管理云支出),F(xiàn)lexera

,2025年

3月

19

日。10

“AdvancingtheResponsibleAcquisitionofArti?cialIntelligenceinGovernment”(促使政府以負(fù)責(zé)任的方式獲取人工智能),管理和預(yù)算辦公室,2024年9月24

日。11

“TheAIActExplorer”(AI法案探索者),《歐盟人工智能法案》,數(shù)據(jù)獲取于2025年

6月10

日。6月1

日。所有挑戰(zhàn)的根源都在于資金問(wèn)題:每個(gè)障礙要么耗盡有限的資金,要么掩蓋多余的支出。開(kāi)源工具具備出色靈活性和適應(yīng)性,再加上企業(yè)級(jí)支持,為未來(lái)發(fā)展提供了清晰的道路。8可訪問(wèn)的

AI工具許多開(kāi)源AI框架都可免費(fèi)使用,它們簡(jiǎn)單易學(xué)并受到活躍社區(qū)的廣泛支持。借

助這些框架,政府團(tuán)隊(duì)能夠進(jìn)行試驗(yàn)、構(gòu)建和部署模型,而無(wú)需承擔(dān)專有許可

的成本或復(fù)雜性。跨職能協(xié)作鼓勵(lì)

IT員工、數(shù)據(jù)科學(xué)家和主題專家之

間進(jìn)行知識(shí)共享,培養(yǎng)更廣泛的技能,并支持與使命目標(biāo)更契合的AI項(xiàng)目。獲取外部專業(yè)知識(shí)通過(guò)與開(kāi)源社區(qū)和技術(shù)合作者攜手合作,政府團(tuán)隊(duì)可以獲得有助于加速AI采

用的專業(yè)知識(shí)。統(tǒng)一的

AI集成開(kāi)源模型上下文協(xié)議(MCP)通過(guò)統(tǒng)

REST風(fēng)格架構(gòu),將AI代理調(diào)用外部工具和數(shù)據(jù)的方式標(biāo)準(zhǔn)化,消除對(duì)定制集成代碼的需求,幫助普通開(kāi)發(fā)人員

(而非稀缺的

AI專家)將模型集成到現(xiàn)

有系統(tǒng)中,并促進(jìn)跨機(jī)構(gòu)重用。彌合

AI

技能差距盡管AI有望減少所需員工數(shù)量,但各國(guó)政府計(jì)劃對(duì)員工進(jìn)行再培訓(xùn),而非裁員。挑戰(zhàn)在于如何在不超出公共部門薪資上限的情況下吸引頂尖人才。隨著AI

日益深入集成到公共服務(wù)中,AI、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)(ML)領(lǐng)域技能型人才持續(xù)供不應(yīng)求。開(kāi)源工具可以通過(guò)提供以下工具和功能來(lái)降低準(zhǔn)入門檻并支持政府團(tuán)隊(duì)內(nèi)部的技能培養(yǎng):通過(guò)采用開(kāi)源解決方案,公共部門組織可以按照自己的方式采用AI,以一種安全至上的開(kāi)放式方法進(jìn)行創(chuàng)新,并以與其使命相符的步調(diào)推進(jìn)。這種方法不僅有助于保護(hù)公民數(shù)據(jù),還能確保以負(fù)責(zé)任和公平的方式交付AI創(chuàng)新成果。9vLLM可最大限度地提高

GPU效率并減少延遲,從而實(shí)現(xiàn)更

快速、更具成本效益的AI模

型服務(wù)。這對(duì)于大規(guī)模交付實(shí)

時(shí)服務(wù)至關(guān)重要。vLLM與開(kāi)

放的

Llama堆棧和模型上下文

協(xié)議(MCP)深度集成,支持在混合云環(huán)境中運(yùn)行更注重

安全、可移植且可互操作的生

成式AI工作負(fù)載。透明度政府機(jī)構(gòu)需要明確了解其AI模型中包含的具體內(nèi)容。通過(guò)使用

Sigstore和軟件包數(shù)據(jù)交換(SPDX)軟件物料清單(SBOM)等工具,可以跟蹤、驗(yàn)證和記錄每個(gè)組件,從而更輕松地實(shí)施策略并發(fā)現(xiàn)篡改行為,而無(wú)需依賴封閉的第三方工具。技能大眾化借助由社區(qū)維護(hù)的開(kāi)放式框架(如TensorFlow、PyTorch、MCP、LlamaStack和

KNIME),再加上社區(qū)支持和同行審核,機(jī)構(gòu)工作人員能夠更輕松、更具成本效益地培養(yǎng)實(shí)用的AI技能。團(tuán)隊(duì)無(wú)需進(jìn)行昂貴的培訓(xùn),而是可以像

82%的程序員那樣,更快速地從免費(fèi)且值得信賴的在線資源中學(xué)習(xí)。12

3章

開(kāi)源作為一種

成本控制和信任機(jī)制供應(yīng)商選擇自由Kubernetes使政府機(jī)構(gòu)能夠在本地系統(tǒng)和多個(gè)云提供商之間一致地運(yùn)行工作負(fù)載,從而避免供應(yīng)商鎖定和不可預(yù)測(cè)的定價(jià)模式。紅帽支持任何模型、硬件或云,進(jìn)一步擴(kuò)展了這種靈活性,因此團(tuán)隊(duì)可以選擇最具成本效益的設(shè)置,而無(wú)需額外的編

碼或安全方面的權(quán)衡。創(chuàng)新和選擇快速發(fā)展的llm-d開(kāi)源社區(qū)豐富了vLLM代碼庫(kù),該工具有助于更高效地為大語(yǔ)言模型(LLM)提供服務(wù)。ARM邊緣設(shè)備、張量處理單元(TPU)和高級(jí)推理技術(shù)等新功能可以快速添

加,無(wú)需等待漫長(zhǎng)的采購(gòu)過(guò)程。開(kāi)源方法非常適合公共部門優(yōu)先事項(xiàng),可以降低成本、提高透明度并加速創(chuàng)新,同時(shí)避免供應(yīng)商鎖定或?qū)S泄ぞ叩囊蕾?。以下?yōu)勢(shì)展示了開(kāi)放生態(tài)系統(tǒng)如何與政府價(jià)值和運(yùn)維需求保持一致:獨(dú)立分析師多次發(fā)現(xiàn),開(kāi)源解決方案的總擁有成本(TCO)與

其他方案相比可降低

10%

以上,在政府部門,這類節(jié)省效果會(huì)

更快顯現(xiàn),因?yàn)檫\(yùn)維成本遠(yuǎn)高于許可費(fèi)用。12

“2024DeveloperSurvey”(2024年開(kāi)發(fā)人員調(diào)查),StackOver?ow,數(shù)據(jù)獲取于

2025年

6月10

日。10Linux

基金會(huì)的OpenFL

項(xiàng)目由英特爾創(chuàng)建,現(xiàn)由社區(qū)

管理,該項(xiàng)目為數(shù)據(jù)科學(xué)團(tuán)隊(duì)提供

PythonSDK、安全的

gRPC通道和用于生產(chǎn)級(jí)

FL的認(rèn)證工作流。各機(jī)構(gòu)可通過(guò)使用值得信賴的工具組合,在不影響隱私或合規(guī)性的情況下,就AI項(xiàng)目展開(kāi)合作:

差分隱私:將數(shù)學(xué)噪聲添加到數(shù)據(jù)中,在保護(hù)個(gè)人身份的

同時(shí),仍能提供有用的見(jiàn)解。

同態(tài)加密:使團(tuán)隊(duì)能夠在不查看原始信息的情況下分析加

密數(shù)據(jù)。

機(jī)密計(jì)算(也稱為安全飛地):用于鎖定處理環(huán)境,這樣

即使云提供商也無(wú)法了解內(nèi)部動(dòng)向。保護(hù)隱私和數(shù)據(jù)主權(quán)雖然成本是一個(gè)關(guān)鍵考慮因素,但公共服務(wù)機(jī)構(gòu)在嘗試跨地區(qū)或跨部門使用數(shù)據(jù)時(shí),還面臨著法律和技術(shù)方面的障礙。借助聯(lián)邦學(xué)習(xí)(FL),可以在不移動(dòng)數(shù)據(jù)的情況下訓(xùn)練模型,從而幫助解決這一問(wèn)題。這可確保敏感信息保留在原始位置,有效解決了使信息受困于孤立位置的司法管轄和數(shù)據(jù)主權(quán)障礙。11在不犧牲洞察力的情況下保護(hù)隱私:差分

隱私差分隱私可在共享數(shù)據(jù)之前為數(shù)據(jù)添加數(shù)學(xué)噪聲,從而在不改變

整體結(jié)果的情況下保護(hù)個(gè)人身份。美國(guó)人口普查局于2022年采

用了這種方法,在滿足嚴(yán)格保密要求的同時(shí)發(fā)布全國(guó)性數(shù)據(jù)。1?

實(shí)際應(yīng)用。機(jī)構(gòu)可以使用相同的拉普拉斯噪聲庫(kù)(例如OpenFL中的SmartNoise)來(lái)發(fā)布阿片類藥物過(guò)量熱力圖

或失業(yè)微數(shù)據(jù),而無(wú)需擔(dān)心重新識(shí)別風(fēng)險(xiǎn)。摘要:差分隱私在數(shù)據(jù)準(zhǔn)備期間運(yùn)行,不會(huì)降低AI性能,因此在運(yùn)行

時(shí)無(wú)需額外成本即可保護(hù)隱私。13

“FederatedLearning:ProtectingDataattheSource”(聯(lián)邦學(xué)習(xí):從源頭保護(hù)數(shù)據(jù)),英特爾實(shí)驗(yàn)室,數(shù)據(jù)獲取于2025年

6月

1

日。14

“UnderstandingDifferentialPrivacy”(了解差分隱私),美國(guó)人口普查局,數(shù)據(jù)獲取于2025年

6月

1

日。無(wú)需支付出口費(fèi)用或犧牲隱私即可展開(kāi)協(xié)作:聯(lián)邦學(xué)習(xí)OpenFLLinux基金會(huì)的

OpenFL項(xiàng)目由英特爾創(chuàng)建,現(xiàn)由社區(qū)管理,可為數(shù)據(jù)科學(xué)團(tuán)隊(duì)提供所需的工具,如

PythonSDK和安全通

信渠道,以構(gòu)建安全至上且可擴(kuò)展的

FL解決方案。

交通運(yùn)輸。美國(guó)各州交通運(yùn)輸部(DOT)利用FL來(lái)預(yù)測(cè)橋梁傳感器故障,通過(guò)協(xié)作提升預(yù)測(cè)準(zhǔn)確性,同時(shí)避免泄

露敏感的基礎(chǔ)架構(gòu)數(shù)據(jù)。

公共健康。賓夕法尼亞大學(xué)醫(yī)學(xué)院和英特爾實(shí)驗(yàn)室于2018年首次證明,聯(lián)邦學(xué)習(xí)可以達(dá)到集中式模型99%的準(zhǔn)確率。此后,該項(xiàng)目規(guī)模持續(xù)擴(kuò)大,截至2020年已實(shí)現(xiàn)六大洲站點(diǎn)數(shù)量翻倍增長(zhǎng),并建立了迄今為止最大的膠

質(zhì)母細(xì)胞瘤數(shù)據(jù)集(5TB

,6,314名患者)。最新的共識(shí)模

型使腫瘤檢測(cè)準(zhǔn)確率提高了33%,延遲降低了4.5倍,內(nèi)存占用量減少了2.3倍,而且該模型足夠精簡(jiǎn),可在臨床

邊緣設(shè)備上實(shí)現(xiàn)實(shí)時(shí)應(yīng)用。13摘要:機(jī)構(gòu)可以使用現(xiàn)有硬件在本地進(jìn)行培訓(xùn)。由于僅共享模型更新,而不共享原始數(shù)據(jù),因此云成本得以降低,且可避免跨機(jī)

構(gòu)數(shù)據(jù)傳輸費(fèi)用。12安全至上的AI運(yùn)行時(shí):機(jī)密AI和安全飛地紅帽

OpenShiftAI:支持英特爾信任域擴(kuò)展(TDX)和

AMDSEV,可在訓(xùn)練或推理過(guò)程中鎖定

AI模型,即便是在公共云環(huán)境中亦如此。這些飛地可確保任何一方(甚至是云提供商)都無(wú)法看到內(nèi)部運(yùn)行狀況。

實(shí)際應(yīng)用。醫(yī)院在共享受健康保險(xiǎn)可攜性與責(zé)任法案(HIPAA)保護(hù)的放射學(xué)數(shù)據(jù)時(shí),采用基于飛地的訓(xùn)練與聯(lián)邦學(xué)習(xí)相結(jié)合的方法,將腦腫瘤檢測(cè)準(zhǔn)確率提高了

33%,同時(shí)仍遵守嚴(yán)格的隱私規(guī)則。15摘要:機(jī)構(gòu)可安全地使用成本更低的共享云資源,而無(wú)需為孤立的虛擬機(jī)支付更高費(fèi)用,從而顯著降低基礎(chǔ)架構(gòu)成本。通過(guò)將

OpenFL等開(kāi)源工具與紅帽值得信賴的AI平臺(tái)相結(jié)合,公共服務(wù)機(jī)構(gòu)可以共同開(kāi)發(fā)強(qiáng)大的AI

解決方案,而無(wú)需移

動(dòng)敏感數(shù)據(jù),且不會(huì)損害安全性或造成預(yù)算壓力。15

英特爾新聞稿。"IntelandPennMedicineAnnounceResultsofLargestMedical

Federated

LearningStudy”(英特爾與賓夕法尼亞大學(xué)醫(yī)學(xué)院聯(lián)合發(fā)布最大規(guī)模醫(yī)療聯(lián)邦學(xué)習(xí)研究成果),數(shù)據(jù)獲取于2025年7月10

日。基于加密數(shù)據(jù)運(yùn)行AI:同態(tài)加密完全同態(tài)加密(HE):使機(jī)構(gòu)能夠?qū)用軘?shù)據(jù)執(zhí)行計(jì)算操作,例如基于加密的稅務(wù)記錄或法律案例運(yùn)行模型,而無(wú)需查看數(shù)據(jù)。Palisade等工具包與

OpenFL工作流集成,而英特爾即將

推出的機(jī)密AI硬件則使這一功能更加實(shí)用。

實(shí)際應(yīng)用。在歐洲,法院使用

HE在本地預(yù)測(cè)累犯風(fēng)險(xiǎn),將相關(guān)見(jiàn)解數(shù)據(jù)輸入到聯(lián)邦信息面板中,而不會(huì)泄露敏感的犯罪記錄。摘要:盡管

HE會(huì)增加

CPU使用率,但它避免了管理復(fù)雜的數(shù)據(jù)共享

協(xié)議所帶來(lái)的成本和風(fēng)險(xiǎn)。13紅帽AI依托開(kāi)源技術(shù)和值得信賴的合作伙伴生態(tài)系統(tǒng),可幫助公共部門機(jī)構(gòu)實(shí)現(xiàn)以下目標(biāo):以更一致的方式構(gòu)建和運(yùn)行大語(yǔ)言模型紅帽企業(yè)

LinuxAI提供了一個(gè)完整的開(kāi)源基礎(chǔ)模型平臺(tái),支持跨混合云環(huán)境進(jìn)行模型開(kāi)發(fā)、測(cè)試和部署。除了

GraniteLLM系列外,它還包括InstructLab

工具,允許客戶通過(guò)以社區(qū)為

中心的協(xié)作方法,使模型與特定于領(lǐng)域的數(shù)據(jù)保持一致。紅帽企業(yè)

Linux允許AI工作負(fù)載在從數(shù)據(jù)中心到戰(zhàn)術(shù)邊緣的安全至上且符合策略的主機(jī)上運(yùn)行。精選的模型注冊(cè)表包含經(jīng)過(guò)預(yù)先審核的小語(yǔ)言模型和大語(yǔ)言模型,這些模型附帶持續(xù)驗(yàn)證的出處、簽名和SBOM,為機(jī)構(gòu)提供值得信賴的構(gòu)建模塊。然后,團(tuán)隊(duì)可以使用開(kāi)源的

InstructLab工作流,根據(jù)領(lǐng)域數(shù)據(jù)調(diào)整或微調(diào)這些模型,而無(wú)需超大規(guī)模

GPU群或外部API。助力實(shí)現(xiàn)經(jīng)濟(jì)高效

自動(dòng)化的可信平臺(tái)紅帽AI是一個(gè)靈活的開(kāi)放平臺(tái),可幫助企業(yè)組織加速AI創(chuàng)新,同時(shí)控制成本和復(fù)雜性。紅帽AI

由紅帽企業(yè)

Linux?AI、紅帽

OpenShift?AI和紅帽AI推理服務(wù)器組成,可跨本地、云環(huán)境和邊緣環(huán)境,為預(yù)測(cè)性AI模型和生成式AI模型的整個(gè)生命周期(從開(kāi)發(fā)到部署再到監(jiān)控)提供支持。第4章14以較低的成本更高效地為

AI模型提供服務(wù)紅帽AI推理服務(wù)器旨在提高AI

模型的性能,同時(shí)降低混合云加速

AI創(chuàng)新并簡(jiǎn)化跨環(huán)境部署紅帽

OpenShift

AI提供一個(gè)AI

平臺(tái),用于在混合云環(huán)境中大規(guī)模管理預(yù)測(cè)性AI模型和生成式AI模型的生命周期。公共部門機(jī)構(gòu)可以獲得一個(gè)端到端的容器原生工作臺(tái),數(shù)據(jù)科學(xué)家可以在該工作臺(tái)上使用熟悉的

Notebook或集成開(kāi)發(fā)環(huán)境

(IDE)編寫和微調(diào)模型,同時(shí)

IT團(tuán)隊(duì)可以按需置備

GPU資源。內(nèi)置的

MLOps管道可自動(dòng)執(zhí)行從數(shù)據(jù)獲取和特征工程到監(jiān)管持續(xù)集成和持續(xù)交付(CI/CD)部署的所有工作,因此每個(gè)模型都經(jīng)過(guò)版本控制階段并獲得可審計(jì)的批準(zhǔn)。在運(yùn)維過(guò)程中,事件驅(qū)動(dòng)的數(shù)據(jù)管道會(huì)將來(lái)自本地或云來(lái)源的新數(shù)據(jù)發(fā)送至同一平臺(tái)上運(yùn)行的AI服務(wù)。這種設(shè)置可確保預(yù)測(cè)迅速且實(shí)時(shí)更新,無(wú)需進(jìn)行復(fù)雜的集成。環(huán)境中的成本。它將vLLM的高級(jí)內(nèi)存共享和動(dòng)態(tài)批處理與

NeuralMagic的模型壓縮技術(shù)相結(jié)合,幫助每個(gè)

GPU在不犧牲準(zhǔn)確性的情況下事半功倍。通過(guò)精簡(jiǎn)不必要的模型數(shù)據(jù)并重復(fù)使用重復(fù)的提示,紅帽AI推理服務(wù)器可以減少內(nèi)存使用量,并且與傳統(tǒng)服務(wù)方法相比,能將每個(gè)令牌的成本最高降低3倍。該解決方案可作為容器在任何

Kubernetes環(huán)境中運(yùn)行,在不同的

CPU和

GPU之間自動(dòng)擴(kuò)展,同時(shí)實(shí)時(shí)跟蹤成本指標(biāo),幫助各機(jī)構(gòu)控制預(yù)算。15構(gòu)建經(jīng)濟(jì)高效、由政府機(jī)構(gòu)所有的

AI

服務(wù)公共部門團(tuán)隊(duì)現(xiàn)在可以在已有得自動(dòng)化和安全防護(hù)基礎(chǔ)之上,創(chuàng)建自己的生成式AI服務(wù),這些服務(wù)能夠根據(jù)公共部門團(tuán)隊(duì)得

任務(wù)需求量身定制,并在他們控制的基礎(chǔ)架構(gòu)上運(yùn)行。通過(guò)將紅帽推理服務(wù)器與InstructLab的社區(qū)工作流相結(jié)合,以

較低成本對(duì)基礎(chǔ)模型進(jìn)行調(diào)整和微調(diào),機(jī)構(gòu)可以使用現(xiàn)有硬件對(duì)

模型進(jìn)行微調(diào),而無(wú)需使用昂貴的專有工具。與Agent

Squad、

Vantiq或Coagent等輕量級(jí)代理框架搭配使用時(shí),這些模型可

以自動(dòng)高效地處理復(fù)雜的任務(wù),如回答策略問(wèn)題或路由文檔。由

于推理在本地進(jìn)行或僅在需要時(shí)擴(kuò)展,因此機(jī)構(gòu)能夠更快獲得結(jié)

果、擁有更大的控制權(quán),并降低使用公共云API的成本。●

實(shí)現(xiàn)現(xiàn)代化、降低運(yùn)維成本并彌合技能差距紅帽

Lightspeed將生成式AI指導(dǎo)直接整合到

Ansible自動(dòng)化平臺(tái)、紅帽企業(yè)

Linux系統(tǒng)角色和紅帽O(jiān)penShifGitOpsPipelines,可在數(shù)秒內(nèi)將簡(jiǎn)單語(yǔ)言命令轉(zhuǎn)換為生產(chǎn)就緒型AnsiblePlaybook、系統(tǒng)配置和集

群資源。通過(guò)簡(jiǎn)化復(fù)雜的工作流并消除手動(dòng)腳本編寫工

作,Lightspeed可以縮短價(jià)值實(shí)現(xiàn)時(shí)間并降低成本。該助手利用數(shù)千種經(jīng)過(guò)社區(qū)驗(yàn)證的成熟自動(dòng)化模式,幫助團(tuán)隊(duì)更智能地工作。它可以根據(jù)上下文建議正確的任務(wù),自動(dòng)遵循最佳實(shí)踐,并填充特定于系統(tǒng)的變量,從而節(jié)省手動(dòng)編寫腳本的時(shí)間,減少錯(cuò)誤,并幫助不同技能水平的團(tuán)隊(duì)在本地、云和邊緣環(huán)境中保持一致。這最終實(shí)現(xiàn)了統(tǒng)一的AI加速型基礎(chǔ)架構(gòu)自動(dòng)化,使混合云團(tuán)隊(duì)能夠更快速地置備、修補(bǔ)和擴(kuò)展環(huán)境,同時(shí)保留同樣開(kāi)放且可審計(jì)的工作流,而正是這些工作流使得紅帽工具在公共部門領(lǐng)域備受信賴。在更短時(shí)間內(nèi)構(gòu)建和部署安全至上且合規(guī)的應(yīng)用紅帽可信應(yīng)用管道通過(guò)使用自動(dòng)化信任鏈來(lái)驗(yàn)證管道合規(guī)性要求是否得到滿足,從而增強(qiáng)構(gòu)建系統(tǒng)的安全態(tài)勢(shì)。通過(guò)將DevSecOps控制機(jī)制(包括符合SLSA

的構(gòu)建策略、SBOM生成、簽名認(rèn)證和

CVE掃描)直接嵌入到每次

CI/CD

運(yùn)行中,紅帽可信應(yīng)用管道創(chuàng)建了一條從源頭到容器的可重復(fù)強(qiáng)化路徑。對(duì)于AI項(xiàng)目,借助同樣的防護(hù)措施,能夠有效維持安全態(tài)勢(shì)和合規(guī)性。模型組件(如微調(diào)權(quán)重、訓(xùn)練數(shù)據(jù)和推理鏡像)會(huì)自動(dòng)完成簽名和驗(yàn)證,并且只有在通過(guò)策略檢查后才會(huì)繼續(xù)推進(jìn)。紅帽可信應(yīng)用管道在紅帽

OpenShiftAI上以原生方式運(yùn)行,數(shù)據(jù)科學(xué)團(tuán)隊(duì)只需一次代碼合并,即可從開(kāi)發(fā)階段推進(jìn)到安全至

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論