2025鯤鵬原生開發(fā)技術(shù)白皮書_第1頁(yè)
2025鯤鵬原生開發(fā)技術(shù)白皮書_第2頁(yè)
2025鯤鵬原生開發(fā)技術(shù)白皮書_第3頁(yè)
2025鯤鵬原生開發(fā)技術(shù)白皮書_第4頁(yè)
2025鯤鵬原生開發(fā)技術(shù)白皮書_第5頁(yè)
已閱讀5頁(yè),還剩104頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

鯤鵬原生開發(fā)技術(shù)白皮書鯤鵬原生開發(fā)的機(jī)遇和挑戰(zhàn) 01鯤鵬原生開發(fā)的核心技術(shù)理念 0303鯤鵬原生開發(fā)能力介紹 0503代碼開發(fā)階 代碼開 代碼優(yōu) 編 調(diào) 調(diào) 流水線階 門禁檢 編譯構(gòu) 調(diào) 測(cè) 版本發(fā) OS底座(openEuler系操作系統(tǒng) openEuler簡(jiǎn) openEuler基礎(chǔ)能 openEuler工具和社區(qū)服 04行業(yè)案 8004金 恒生電子:基于鯤鵬原生開發(fā)經(jīng)紀(jì)場(chǎng)外業(yè)務(wù)系統(tǒng),讓證券數(shù)據(jù)處理更高 宇信科技:基于鯤鵬原生開發(fā)金融軟件,讓金融信息處理更高 電 浩瀚深度:鯤鵬原生賦能DPI采集系統(tǒng),網(wǎng)絡(luò)數(shù)據(jù)可視化處理更加高 恒安嘉新:基于鯤鵬原生開發(fā)安全采集分析平臺(tái),保障企業(yè)信息系統(tǒng)安全穩(wěn)定運(yùn) 政 超圖軟件:基于鯤鵬原生開發(fā)地理信息系統(tǒng),讓自燃資源評(píng)估更高 深圳防災(zāi)減災(zāi)技術(shù)研究院:鯤鵬原生助力地震觀測(cè)數(shù)據(jù)高效處 電 廣州海頤:基于鯤鵬原生開發(fā)高性能、高可靠電力系統(tǒng)軟件,加速電網(wǎng)數(shù)字化轉(zhuǎn) 國(guó)能信控:基于鯤鵬原生開發(fā)新能源計(jì)算平臺(tái),為電力系統(tǒng)提供高效算力支 醫(yī) 衛(wèi)寧健康:基于鯤鵬原生開發(fā)新一代醫(yī)療信息系統(tǒng)WiNEX,讓醫(yī)療服務(wù)更便 東華軟件:構(gòu)建鯤鵬原生醫(yī)療經(jīng)營(yíng)管理系統(tǒng),讓醫(yī)院運(yùn)作更有 水平軟 星環(huán)科技:基于鯤鵬原生大數(shù)據(jù)基礎(chǔ)軟件,讓企業(yè)數(shù)據(jù)流轉(zhuǎn)更快 深信服:聯(lián)合鯤鵬共同推進(jìn)企業(yè)級(jí)分布式存儲(chǔ)EDS原生開發(fā)創(chuàng)新實(shí)踐,讓數(shù)據(jù)管理更可 01機(jī)遇和挑戰(zhàn)鯤鵬計(jì)算產(chǎn)業(yè)聚焦計(jì)算架構(gòu)創(chuàng)新和開源基礎(chǔ)軟件的研發(fā),致力于推動(dòng)鯤鵬生態(tài)發(fā)展。通過戰(zhàn)略性、長(zhǎng)期性的研發(fā)投入,吸納全球計(jì)算產(chǎn)業(yè)的優(yōu)秀人才和先進(jìn)技術(shù),持續(xù)推進(jìn)全棧計(jì)算技術(shù)的創(chuàng)新發(fā)展,加快構(gòu)筑面向多樣化計(jì)算的全球開源體系與產(chǎn)業(yè)標(biāo)目前,鯤鵬軟硬件聯(lián)合創(chuàng)新已覆蓋國(guó)計(jì)民生核心場(chǎng)景,主流伙伴核心應(yīng)用已遷移到鯤6多平臺(tái)版本并行迭代成為主要需求,由于兩個(gè)架構(gòu)開發(fā)生態(tài)的差異,如果采用兩套流水線分別開發(fā)兩套代碼,則會(huì)帶來很多重復(fù)開發(fā)驗(yàn)證的工作,并且兩個(gè)版本分別開發(fā)、構(gòu)建和維護(hù)效率低。因++鯤鵬Bt11+多平臺(tái)版本,助力伙伴持續(xù)且首發(fā)性能領(lǐng)先的商用版本。03/03/核心技術(shù)理念基于鯤鵬硬件+openEuler+鯤鵬開發(fā)套件DevKit+鯤鵬應(yīng)用使能套件BoostKit,1+1條流水線構(gòu)建多平臺(tái)版本,效率更高、性能更優(yōu)。 代碼開發(fā)階段:通過鯤鵬DevKit、BoostKit DevKit1CI/CD2-1BoostKitGCCforJavaX86X86X86X86畢昇編譯 ?自動(dòng)反饋優(yōu)GCCfor&令流水優(yōu)化,性能10%5%~10205 &高效發(fā)布:DevKit1小時(shí)接入兩大主流(Jenkins、GitLab)CI/CD流水線,高效提升 鯤鵬親和& 多架構(gòu)兼容:1/05/05/能力介紹3

DevKitBoostKit應(yīng)用使能套件,可通過啟發(fā)式編程及多場(chǎng)景SDKDemo和文檔,有效提升鯤鵬原生開發(fā)效率。3-1通過鯤鵬通過鯤鵬DevKit/BoostKitGCCforJavaBoostKitC/C+? DAK應(yīng)用工程和數(shù)據(jù)IO應(yīng)用工程。 字典管理:支持加速庫(kù)函數(shù)字典管理,可線上(自動(dòng))? 編程輔助:支持鯤鵬加速庫(kù)函數(shù)的懸浮提示、函數(shù)搜索,支持Coding時(shí)自動(dòng)聯(lián)想和高亮鯤鵬加速庫(kù)優(yōu)化后的相關(guān)函數(shù)。/1創(chuàng)建鯤鵬應(yīng)用工程(VSCode環(huán)境為例)3-22SDK3-307/33-443-5/支持加速庫(kù)函數(shù)字典管理,可線上(自動(dòng))1鼠標(biāo)移動(dòng)到“字典導(dǎo)入”旁 ,單擊“下載”下載字典文件并在本地字典文件框內(nèi)上傳3-6步驟2開啟加速庫(kù)提示,開啟后,用戶編碼過程中將會(huì)自動(dòng)聯(lián)想、補(bǔ)齊與字典中匹配的庫(kù)和函數(shù),方便用戶下載3-7步驟3開啟編譯選項(xiàng)智能聯(lián)想,開啟后,工具將會(huì)根據(jù)用戶選擇的編譯器版本進(jìn)行智能聯(lián)想,可在編譯器版本下3-8說明GCCBiShengCompiler版本進(jìn)行智能聯(lián)想,BiShengCompiler2.1.0~4.0.0,GCC版本范圍4.8.5~10.3.1。09/43-93-10步驟13-11/步驟2通過代碼編輯區(qū)右上角的(放大鏡),在搜索框輸入關(guān)鍵字,可實(shí)現(xiàn)函數(shù)搜索3-12鯤鵬BoostKitBoostKitBoostKit應(yīng)用使能套件,基于鯤鵬硬件、基礎(chǔ)軟件和應(yīng)用軟件的全棧優(yōu)化,提供高性能開源組件、基礎(chǔ)加速軟件包和應(yīng)用加速軟件包,使能應(yīng)用極致性能,其針對(duì)大數(shù)據(jù)、分布式存儲(chǔ)、數(shù)據(jù)庫(kù)、虛擬化和ARM原生等場(chǎng)景進(jìn)行了深度優(yōu)化鯤鵬架構(gòu)特性,如內(nèi)存管理、計(jì)算調(diào)度等方面的技術(shù)優(yōu)勢(shì),通過預(yù)置的高性能庫(kù)和框架,賦能開發(fā)者輕松構(gòu)建適應(yīng)鯤鵬架構(gòu)的高性能應(yīng)用。在同一個(gè)構(gòu)建流程中,當(dāng)集成BoostKit后,基于鯤鵬架構(gòu)的目標(biāo)軟件包能夠獲益較大的性能提升。11/3-13BoostKit鯤鵬應(yīng)用使能套件鯤鵬應(yīng)用使能套件BoostKit大數(shù)大數(shù) 分布式存 數(shù)據(jù) 虛擬 ARM原 機(jī)密計(jì) ++TrustZoneOmniRuntimeSQL30%1140+20xIOPS1.5x壓縮率25%TPCH4XOS內(nèi)核8x↑BoostKit應(yīng)用使能套件和詳細(xì)的用戶指南,請(qǐng)參見鯤鵬應(yīng)用使能套件BoostKit,詳情可掃描下方/BoostKitBoostKit提供性能倍增的應(yīng)用加速軟件包,使能數(shù)據(jù)處理極致性能、數(shù)據(jù)訪問BoostKit應(yīng)用加速軟件包,詳細(xì)介紹與最新內(nèi)容請(qǐng)參見鯤鵬應(yīng)用使能套件BoostKit→應(yīng)用加速軟件包3-14BoostKitBoostKitBoostKitARMopenEulerNVMeSSDOVSExaGearKAERSAGazelleOVSGCCKAEDPUvCPUMPAM3-15BoostKitBoostKitBoostKit:BoostKitARMECMySQLKboxCRC32IOMySQLMySQLMySQLUcache智能讀緩 MySQL細(xì)粒度鎖優(yōu)MySQLRDMA13/ARMBoostKitARMARM指令集同構(gòu)優(yōu)勢(shì),支持移動(dòng)應(yīng)用無(wú)損上云,同時(shí)將多年技術(shù)積累濃縮到Kbox云手機(jī)容器、指令流引擎、視頻流引擎核心能力等組件,形成了云手機(jī)urbo套件,降低了開發(fā)難度,提升整機(jī)的密度,降低云手機(jī)單路成本,其中HostOSUbuntuopenEuler,GuestOSandroid-9.0.0_r55和android-11.0.0_r48urbo套件進(jìn)行二次開發(fā),從而實(shí)現(xiàn)云手機(jī)極致的性能和業(yè)務(wù)體驗(yàn)。3-16BoostKitARM(TurboTurboAndroidGuestTurboExaGearAArch32HostTurboTurbo(TurboTurbo(ExaGearAArch32ExaGearAArch32指令翻譯軟件為鯤鵬服務(wù)器提供AArch32特性,基于鯤鵬服務(wù)器在ARM原生場(chǎng)景下能夠完全AArch32AArch32V8.0100%pre-translator特性,優(yōu)化翻譯后的APP啟動(dòng)時(shí)間,提升客戶體驗(yàn)。KboxKbox云手機(jī)容器提供了軟件定義手機(jī)的基礎(chǔ)能力,其基于鯤鵬服務(wù)器,在Docker容器技術(shù)和Android(AOSP)基礎(chǔ)上,實(shí)現(xiàn)了將GPU設(shè)備直通到容器的輕量級(jí)設(shè)備仿真層架構(gòu)方案,提供了基于Android系統(tǒng)的云100720p@30fpsKbox云手機(jī)容器高并發(fā)(以托管場(chǎng)景為例,/H.264和H.265硬編碼,H.26530%+渲染成最終的畫面,并進(jìn)行視頻的壓縮流化后,發(fā)送到終端播放顯示。視頻流引擎支持視頻編碼能力、視頻解碼/播放能力等核心功能,客戶可以基于這些引擎進(jìn)行二次開發(fā),實(shí)現(xiàn)在移動(dòng)終端上進(jìn)行操控應(yīng)用和游戲等操作。云端采用專業(yè)顯卡進(jìn)行渲染,可以獲取高畫質(zhì)的業(yè)務(wù)體驗(yàn);對(duì)終端的要求極低,只要求有視頻解碼能力即可;提供統(tǒng)一API,降低二次開發(fā)難度,易集成。指令流云手機(jī)方案采用業(yè)界獨(dú)創(chuàng)的端云分離渲染技術(shù),可實(shí)現(xiàn)云側(cè)免GPU部署,整機(jī)硬件成本下降10%,其實(shí)現(xiàn)原理是云手機(jī)利用云端強(qiáng)大的算力,通過引擎實(shí)現(xiàn)云端復(fù)制應(yīng)用和游戲的渲染指令,并進(jìn)行渲染指令和紋理數(shù)據(jù)壓縮流化,在端側(cè)使用手機(jī)終端的GPU把這些指令渲染出來圖像。指令流引擎,支持機(jī)指令分離渲染、紋理數(shù)據(jù)視頻流化、觸控和音頻抓取/放能力等核心功能,客戶可以基于這些引擎進(jìn)行二次開發(fā),實(shí)現(xiàn)在移動(dòng)終端上進(jìn)行操控應(yīng)用和游戲等操作。通過指令流引擎技術(shù),可以支持云手機(jī)全系統(tǒng)渲染,并提供近乎無(wú)損的畫質(zhì),在1080P/2k/4k分辨率下均不影響傳輸帶寬,并通過資源緩存技術(shù),有效降低網(wǎng)絡(luò)帶寬50%+GPU能力GPU高密運(yùn)行機(jī)制,單路硬件成本降低40%,支持圖形渲染狀態(tài)機(jī)的本地執(zhí)行與遠(yuǎn)端同步,實(shí)現(xiàn)1080P30FPS低響應(yīng)時(shí)延的用戶體驗(yàn)。BoostKit大數(shù)據(jù)聚焦大數(shù)據(jù)查詢效率低、性能優(yōu)化難等挑戰(zhàn),提供大數(shù)據(jù)組件的開源使能和調(diào)優(yōu)、OmniRuntime3-17ShuffleopenEulerJDKHive2.X/3.X、Spark2.X,openEulerHive、SparkIOIO的調(diào)度策略優(yōu)化、NeonJDKJDK社區(qū),通過AppCDS、GCHive、Spark的計(jì)算性能。Hive2%~25%,Spark3%~25%。大數(shù)據(jù)OmniRuntime是鯤鵬BoostKit大數(shù)據(jù)面向應(yīng)用加速推出的一系列特性,包括OmniData算子下推、OmniOperator算子加速、OmniShuffleShuffleOmniMV物化視圖、OmniAdvisor參數(shù)調(diào)優(yōu)和OmniHBaseGSI全局二級(jí)索引,旨在通過插件化的形式,端到端提升數(shù)據(jù)加載、數(shù)據(jù)計(jì)算和數(shù)據(jù)交換的性能,從15/而提升大數(shù)據(jù)分析的性能。Spark使用OmniRuntime加速特性執(zhí)行SQL計(jì)算,相比原生性能提升20%~40%,具?OmniData適用于存算分離場(chǎng)景或大規(guī)模存算融合場(chǎng)景,支持Spark3.0.0/3.1.1、Hive3.1.0(ez0.10.0),是一種將大數(shù)據(jù)引擎的算子下推到存儲(chǔ)節(jié)點(diǎn)或卸載節(jié)點(diǎn)的服務(wù),從而實(shí)現(xiàn)了近數(shù)據(jù)計(jì)算,減少了網(wǎng)絡(luò)帶寬,將該特性集成SparkTP-H12SQL40%HiveTP-H測(cè)4SQL20%。?OmniOperatorSpark3.1.1、Spark3.3.1、Hive3.1.0NativeCode(C/C++)實(shí)現(xiàn)大數(shù)據(jù)SQL算子來提高查詢性能的特性,通過列式存儲(chǔ)和向量化執(zhí)行技術(shù),同時(shí)利用鯤鵬加速庫(kù),提升算子的執(zhí)行SparkTPC-DS99SQLSpark30%。?OmniShuffleShuffleRDMATCPSpark3.1.1、Spark3.3.1、Hive3.1.0版本,其基于TCP/RDMA等網(wǎng)絡(luò)介質(zhì),優(yōu)化數(shù)據(jù)分析過程中跨節(jié)點(diǎn)的數(shù)據(jù)寫入、傳輸和讀取流程,提升Shuffle性能,支持?jǐn)?shù)據(jù)分析過程性能提升,將該特性及算子加速特性集成到SparkTPC-DS99SQL驗(yàn)證,可實(shí)現(xiàn)Spark40%。?OmniMV適用于虛擬化場(chǎng)景,支持Spark3.1.1版本,支持ClickHouse版本,其通過AI算法從歷史SQL查詢中推薦出最優(yōu)物化視圖,并在Spark中自動(dòng)對(duì)用戶SQL進(jìn)行物化視圖匹配,將匹配成功的物化視圖替換用戶執(zhí)行計(jì)劃的部分SQL,大幅減少重復(fù)計(jì)算,提升查詢性能,在將該特性集成到Spark后,基于TPC-DS基準(zhǔn)測(cè)Spark30%ClickHouseStarSchemaBenchMark實(shí)現(xiàn)ClickHouse計(jì)算性能平均提升數(shù)倍。?OmniAdvisorSpark3.1.1Hive3.1.0(HiveonTez模式),Spark/Hive引擎參數(shù)眾多,TPC-DS10SQLSpark10%。?OmniHBaseGSI適用于虛擬機(jī)場(chǎng)景,支持HBase2.4.14版本,因HBase原生提供了主鍵索引,但若使用非Rowkey進(jìn)行查詢,則需要進(jìn)行全表掃描,不僅耗費(fèi)大量資源,查詢時(shí)延也很長(zhǎng),OmniHBaseGSI全局二級(jí)索引,可以在非RowkeyRowkey100并發(fā)下,30ms,P99300ms。SparkAPISpark2.3.2、Spark2.4.5、Spark2.4.6版本,部分Spark3.1.1Spark3.3.1版本,基于算法原理和芯片特征針對(duì)機(jī)器學(xué)習(xí)和圖分析算法進(jìn)行深入優(yōu)化,從而可以大幅提升大數(shù)據(jù)算法場(chǎng)景的計(jì)算性能。鯤鵬的機(jī)器學(xué)習(xí)&圖分析算法加速庫(kù)相比業(yè)界Spark原生MLlibGraphX20%以上。/BoostKitCeph存儲(chǔ)的性能低、成本高等關(guān)鍵挑戰(zhàn),通過存儲(chǔ)算法加速庫(kù)和存Ceph加速庫(kù)等特性提升系統(tǒng)性能和降低存儲(chǔ)成本,充分發(fā)揮鯤鵬算力優(yōu)勢(shì),提供高性價(jià)比存儲(chǔ)方案。適用于塊存儲(chǔ)服務(wù)數(shù)據(jù)壓縮和對(duì)象存儲(chǔ)服務(wù)數(shù)據(jù)壓縮,與主流開源壓縮算法相比,壓縮率可提升25%,帶寬性能10%。Ceph14.2.8版本,其采用鯤鵬優(yōu)化的算法代替主流開源算法,提升存儲(chǔ)性能。當(dāng)前包括EC算法、CRC16T10DIFCRC32C算法,具體介紹如下:?EC適用于塊存儲(chǔ)或?qū)ο蟠鎯?chǔ)場(chǎng)景,支持K+1、K+2、K+3、K+4(2≤K≤25)和28+3配比,其他配比暫不支持,其采用向量化EC編解碼方案,以低階二元XOR操作替代傳統(tǒng)標(biāo)量編碼的高階有限域乘法,配合編碼調(diào)度,復(fù)用中間計(jì)算結(jié)果減少操作數(shù),與主流開源算法相比,EC1倍以上。?CRC16T10DIFCRC32C通過大數(shù)求余算法和配合鯤鵬向量化指令實(shí)現(xiàn)編碼加速,與主流開源算法相比,CRC16T10DIF算法4K性能提100%,CRC32C4K20%。存儲(chǔ)維護(hù)工具庫(kù)(KSML)是華為自研的存儲(chǔ)維護(hù)工具庫(kù),包括HDD/SSDHDD/SSD慢盤檢測(cè)功能,基于機(jī)器學(xué)習(xí)算法,通過收集SMART數(shù)據(jù)訓(xùn)練模型,預(yù)測(cè)與識(shí)別存儲(chǔ)集群潛在故障盤,通過采集系統(tǒng)磁盤的svctm完成慢盤檢測(cè)。17/KAESPDK的BDEV設(shè)備作為虛擬設(shè)備層對(duì)接底層多種設(shè)備類型(虛擬設(shè)備、物理設(shè)備),通過在BDEV設(shè)備中使能壓SPDKKAEZlibOpensslBDEV設(shè)備中支ZlibOpenSSLKAE加速實(shí)現(xiàn)對(duì)應(yīng)能力的硬件卸載。ECCeph14.2.8BcacheCephECIOCephEC,在均衡型配置下,對(duì)于塊存儲(chǔ)服務(wù),ECTurbox8680%50%;對(duì)于對(duì)象存儲(chǔ)服務(wù),ECTurbo(4+2)性能達(dá)到x86三副本80%以上,大IO存儲(chǔ)成本比三副本降低50%,小IO成本與三副本持平。Ceph14.2.8IO直通、QoS控制策略、WritebackGCBcacheCeph集群寫性能。在塊存儲(chǔ)隨機(jī)寫場(chǎng)景下,IOPS性能可提升20%以上。IOIO直通工具是針對(duì)Ceph均衡型場(chǎng)景下的一個(gè)流程優(yōu)化工具,可以自動(dòng)對(duì)Ceph集群進(jìn)行性能優(yōu)化。在均衡型配IO15%以上。通過消除補(bǔ)零對(duì)齊操作帶來的數(shù)據(jù)浪費(fèi)問題,結(jié)合壓緊封裝、空間計(jì)數(shù)分配、粒度分流、聚合提交、批量回調(diào)等手段提升數(shù)據(jù)縮減率并提升系統(tǒng)整體IOPS,實(shí)現(xiàn)成本性能雙收益。數(shù)據(jù)壓緊可將數(shù)據(jù)壓縮率再提高20%以上,對(duì)系統(tǒng)性能無(wú)損失。RocksDB的基礎(chǔ)上,結(jié)合華為自研算法進(jìn)行了性能加速優(yōu)化,在使能鯤鵬加速特性時(shí)可以獲取RocksDB30%。UcacheIOIOIOIO提前載入讀緩存,同時(shí)讀緩存通過LRU算法淘汰冷數(shù)據(jù),從而提高緩存的IO命中率,提升讀性能。Ucache智能讀緩存可提高讀請(qǐng)IOIO100%。在存算分離架構(gòu)下,BoostIO利用計(jì)算側(cè)的內(nèi)存和磁盤資源構(gòu)建分布式多級(jí)緩存,寫緩存通過RDMA高速通信、緩存親和策略、副本冗余和線性布局等特性提升業(yè)務(wù)寫性能,提高數(shù)據(jù)可靠性;讀緩存通過數(shù)據(jù)預(yù)取提前將熱點(diǎn)LRU淘汰策略和冷熱識(shí)別提高讀緩存命中率,從而提升業(yè)務(wù)讀性能。RDMA通過在Ceph網(wǎng)絡(luò)框架AsyncMessage中新增插件支持UCXCeph全閃存場(chǎng)景支持網(wǎng)絡(luò)全RDMAUCXcephUCXRNDV/BoostKitTrustZoneARMTrustZone(rustedExecutionEnvironment,可信執(zhí)行環(huán)境)安全操作系統(tǒng),鯤鵬服務(wù)器BMCBIOS等,結(jié)合開源的操SDK,旨在幫助伙伴更便捷地為行業(yè)客戶構(gòu)建機(jī)密計(jì)算解決方案,從而為用戶的關(guān)鍵數(shù)據(jù)提供完整性、機(jī)密性保護(hù)和可信使用。普通鯤鵬服務(wù)器默認(rèn)不帶有機(jī)密計(jì)算TrustZone完整套件,需要在購(gòu)買鯤鵬服務(wù)器時(shí)明確帶有TEE功能,支持TEETrustZoneiTrusteeTrustZone技術(shù)實(shí)現(xiàn)了整套安全解決方案,包含正常模式的客戶端應(yīng)用(ClientApplication,CA)、安全模式的可信應(yīng)用(TrustedApplication,TA)、安全模式下的可信操作系統(tǒng)。iTrustee應(yīng)用于金融大數(shù)據(jù)數(shù)據(jù)挖掘場(chǎng)景,可保證數(shù)據(jù)處理過程中的機(jī)密性。可應(yīng)用于一體化大數(shù)據(jù)中心場(chǎng)景,確iTrustee安全可靠,其基于華為自研的微內(nèi)核實(shí)現(xiàn),安全OS已在手機(jī)側(cè)商用近10年,用戶數(shù)已過億,同時(shí)安全CCEAL4+GlobalPlatformTEE側(cè)安全內(nèi)存支持按512GB,可支持大數(shù)據(jù)、AI等大型應(yīng)用運(yùn)行。3-18AIAITEEGPTEELinuxTEE TEESDK:提供機(jī)密計(jì)算REE(RichExecutionEnvironment,富執(zhí)行環(huán)境)TEE的接口、TA/CA加密和 REEPatch TEEOSTA19/ BIOSTEEOSTEEOS BMCTEEOSBoostKitMySQLOLAP查詢效率低、OTP場(chǎng)景高并發(fā)下鎖導(dǎo)致的性能問題等關(guān)鍵挑戰(zhàn),提供MySQL可插拔向量化分析引擎、MySQL無(wú)鎖優(yōu)化、MySQL可插拔線程池和CRC32指令優(yōu)化等加速軟件包,深OLAPOTP在線交易事務(wù)處理能力,充分發(fā)揮多核算力極致性能。提供主流開源和商業(yè)數(shù)據(jù)庫(kù)最佳實(shí)踐,幫助開發(fā)者高效完成開源組件遷移和調(diào)優(yōu)。NVMeSSDMySQL各版本,通過SSDDoublewriteSSD硬15%。GazelleMySQLDPDKLwIP協(xié)議棧。能夠大幅提高應(yīng)用的網(wǎng)絡(luò)IO吞吐能力,通過Gazelle網(wǎng)絡(luò)優(yōu)化,TPC-C綜合性能預(yù)計(jì)提升10%。GCCCFGO適用MySQL各版本,采用多模態(tài)(源代碼、匯編碼、二進(jìn)制)、全生命周期(編譯、鏈接、后鏈接)的持續(xù)優(yōu)化TPC-C10%。KAEzip10%。MySQLMySQL8.0.20、MySQL8.0.25版本,MySQLSQLCPU無(wú)法使用,單查詢性能查詢差難于滿足查詢場(chǎng)景的性能要求,通過并行查詢優(yōu)化提升查詢性能??蓪?shí)現(xiàn)查詢性能提升>1倍(性能提升MySQLMySQL8.0.20MySQLOTPDML語(yǔ)句(Insert、Update、Delete)大量并發(fā)操作trx_sys全局結(jié)構(gòu)體中的關(guān)鍵數(shù)據(jù)結(jié)構(gòu),造成臨界區(qū)的競(jìng)爭(zhēng)和同步瓶頸。MySQL無(wú)鎖優(yōu)化改造后使用無(wú)鎖哈希表維護(hù)事務(wù)Sysbench20%。MySQLMySQL8.0.20MySQLOLTPDML語(yǔ)句(Insert,Update,Delete)lock_sys->mutex全局鎖保護(hù)的關(guān)鍵數(shù)據(jù)結(jié)構(gòu),造成鎖競(jìng)爭(zhēng)嚴(yán)重導(dǎo)致性能下降。替換成細(xì)粒度hash桶鎖。減少鎖沖突,TPC-C10%。/MySQLNUMAMySQL8.0.20、MySQL8.0.25版本,在MySQLOLTP場(chǎng)景下高并發(fā)下系統(tǒng)默認(rèn)的線程調(diào)度使得線程頻繁跨NUMA的訪問,這種情況導(dǎo)致CPU開銷增大,性能提升受限制,需要對(duì)用戶處理線程做動(dòng)態(tài)綁定固定NUMACPU減少跨NUMA訪問,同時(shí)需要保證CPU訪問的負(fù)載必須均衡,后臺(tái)線程靜態(tài)綁定固定NUMACPU減少跨NUMAOLTP10%。MySQLMySQL5.7.27、8.0.20、8.0.25、8.0.308.0.35MySQL8.0.25、8.0.308.0.35MySQLOLTPCPU消耗在無(wú)效的資源競(jìng)爭(zhēng)和頻繁切換上,CPU執(zhí)行,CPU2~5OLTPTPC-C場(chǎng)1000010%85%。CRC32MySQL8.0.25CRC32CRC32算法的軟件實(shí)現(xiàn),從而提高系統(tǒng)業(yè)務(wù)的性能。通過CRC32指令優(yōu)化特性,MySQLSysbench寫場(chǎng)景性能有5%的提升。MySQL支持MySQL8.0.25版本,該特性是MySQL預(yù)留接口第二執(zhí)行引擎(SecondaryEngine)的一種輕量實(shí)現(xiàn),通過CPUOLAP性能倍級(jí)提升,且具有可插拔性,支持動(dòng)態(tài)加載。OLAP3倍以上。21/鯤鵬BoostKit提供了OVS(以下簡(jiǎn)稱WAAS通過收集應(yīng)用負(fù)載信息自動(dòng)感知業(yè)務(wù)的應(yīng)用類型、任務(wù)特征、OS特征和微架構(gòu)特征,對(duì)各層性能特征進(jìn)行分析,生成調(diào)優(yōu)策略,通過加速庫(kù)加速、任務(wù)調(diào)優(yōu)、OSCPUSQL任務(wù)進(jìn)行全棧深度優(yōu)化,動(dòng)態(tài)調(diào)整達(dá)到業(yè)務(wù)實(shí)時(shí)最佳。OVS在OVS+DPDK的基礎(chǔ)上,提出流表歸一化的方案,進(jìn)一步加速云計(jì)算中的數(shù)據(jù)包轉(zhuǎn)發(fā)性能,其典型場(chǎng)景為VXLAN+CT組網(wǎng)。卸載場(chǎng)景較不卸載場(chǎng)景網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能提升30%OVSOVS轉(zhuǎn)發(fā)流表卸載到網(wǎng)卡硬件上,利用硬件的查表能力來提升流表的查找速度,提高虛擬化網(wǎng)絡(luò)的處理能力,可實(shí)現(xiàn)虛擬化網(wǎng)絡(luò)的轉(zhuǎn)發(fā)性能提升10倍。通過BoostKit提供的SPDK+CephCephIOPS30%DPU虛擬化DPU卸載支持虛擬化場(chǎng)景下網(wǎng)絡(luò)和存儲(chǔ)的加速,其可以將本來運(yùn)行在物理機(jī)上的軟件(如:OVS-DPDK、SPDK)DPUCPUDPUVirtIO-netVirtIO-blkVirtIO設(shè)備后端,可提高虛擬化網(wǎng)絡(luò)和存儲(chǔ)性能。鯤鵬虛擬化通過軟硬協(xié)同方案,加速虛擬機(jī)中應(yīng)用對(duì)CPU NUMAcluster感知特性,將關(guān)于CPU的拓?fù)浣Y(jié)構(gòu)直通到虛擬機(jī),虛擬機(jī)OS內(nèi)核可通過 鯤鵬加速引擎KAE(KunpengAcceleratorEngine)是基于鯤鵬處理器提供的硬件加速解決方案,包含了KAE加KAEzip。vKAEKAE能力。/vCPUvCPUACPIACPIGEDvCPUMPAM通過限制離線業(yè)務(wù)對(duì)內(nèi)存帶寬和L3 每個(gè)計(jì)算節(jié)點(diǎn)上部署MPAM插件,YAML文件中配置資源組,每個(gè)資源組可指定內(nèi)存帶寬和L3 部署離線業(yè)務(wù)時(shí),在YAML? MAM插件偵聽到部署任務(wù)后,將容器中業(yè)務(wù)的進(jìn)程ID配置到對(duì)應(yīng)的資源組中(OS配置到硬件芯片上)。說明MPAM涉及的共享資源包括:L2Cache、L3CacheDMCBoostKitCDNCDNCDN緩存節(jié)點(diǎn)吞吐量低、時(shí)延大等問題,通過使能鯤鵬處理器內(nèi)置的RSA加速引擎,對(duì)RSA2048算法進(jìn)行硬件卸載,同時(shí)提供了NUMA優(yōu)化等手段,以便充分發(fā)揮鯤CDN緩存節(jié)點(diǎn)提供更大吞吐量,實(shí)現(xiàn)更低時(shí)延。BoostKitWebWebHTTPSWeb開源組件可用性等關(guān)鍵問題,通過使能鯤鵬處理器內(nèi)置的RSA加速引擎,提升Web網(wǎng)站的安全性,并實(shí)現(xiàn)用戶HTTPS訪問的極致體驗(yàn)。KAERSA非對(duì)稱加密算法RSAKeySizes1024/2048/3072/4096Nginx處理HTTPS請(qǐng)求時(shí),SSLRSAHTTPSSSL/TLSRSA非對(duì)稱加解密運(yùn)算進(jìn)行加速。相比x86SSL加速卡方案,鯤鵬RSA加速方案性能高35%。HPC聚焦資源調(diào)度效率低、應(yīng)用性能優(yōu)化難等關(guān)鍵挑戰(zhàn),通過全棧架構(gòu)創(chuàng)新、軟硬件自研、基礎(chǔ)軟件優(yōu)化和行業(yè)應(yīng)用性能調(diào)優(yōu)等技術(shù)構(gòu)建全棧高性能計(jì)算基礎(chǔ)平臺(tái),幫助客戶釋放平臺(tái)算力,縮短產(chǎn)品上市周期,提升企業(yè)產(chǎn)品競(jìng)爭(zhēng)力。23/BoostKitHPC HPC場(chǎng)景多樣化,對(duì)HPC管理與調(diào)度提出了更高的要 HPC多瑙套件,允許用戶方便快捷提交作業(yè),管理運(yùn)維集 21.8%~

60月~24月

5000~100天

13年~1天IO&HPCHyperOceanStor&RoCE數(shù)據(jù)中 液冷 3000/38 高資源分配率:高效靈活的調(diào)度框架,資源分配率達(dá)到90%+ 高資源分配率:高效靈活的調(diào)度框架,資源分配率達(dá)到90%+/3)BoostKitBoostKitARMKAE(鯤鵬硬件加速引擎)開發(fā)的加速庫(kù),覆蓋系統(tǒng)庫(kù)、壓縮、加解密、媒體、數(shù)學(xué)庫(kù)、存儲(chǔ)、網(wǎng)絡(luò)和AI庫(kù)等8類鯤鵬BoostKit基礎(chǔ)加速軟件包,詳細(xì)介紹和最新內(nèi)容請(qǐng)參見鯤鵬應(yīng)用使能套件*基礎(chǔ)加速軟件包WebRSAWebRSA&H.265H.264OSBoostKitBoostKitGKL(GKL(KAE加解密JDK8

OVSOVSAIKAILDNNSmartSSDISA-BoostKit?Glibc-patch:主要對(duì)內(nèi)存、字符串、鎖等接口基于華為鯤鵬微架構(gòu)特點(diǎn)進(jìn)行了加速優(yōu)化。微架構(gòu)特點(diǎn)進(jìn)行了加?Hyperscan:一款高性能的正則表達(dá)式匹配庫(kù),增加鯤鵬計(jì)算平臺(tái)分支,且完全兼容armv8-a,通過使用NON指令、內(nèi)聯(lián)匯編、數(shù)據(jù)對(duì)齊、指令對(duì)齊、內(nèi)存數(shù)據(jù)預(yù)取、靜態(tài)分支預(yù)測(cè)、代碼結(jié)構(gòu)優(yōu)化等方法,實(shí)現(xiàn)在鯤鵬計(jì)算平臺(tái)的性能提升。?AVX2KIIntrinsic(C語(yǔ)言頭文件方式),?KQMalloc:鯤鵬高性能內(nèi)存庫(kù),是專為鯤鵬設(shè)計(jì)的內(nèi)存分配器。此分配器分為單線程和多線程應(yīng)用場(chǎng)景,最大限度地減少內(nèi)部緩存占用空間,最大限度地減少內(nèi)部緩存未命中,可極大地提升應(yīng)用性能。25/?HTL:輕量級(jí)線程庫(kù)(HyperThreadLibary,HTL)是構(gòu)建在內(nèi)核態(tài)線程之上的用戶級(jí)線程庫(kù)。用于解決內(nèi)核級(jí)線程大量使用時(shí),應(yīng)用性能下降、系統(tǒng)資源不足的問題,尤其解決嵌套并行場(chǎng)景下性能極低的問題。在保障減少資源使用的情況下,提升并發(fā)度,改善性能。?KSL_ASN1:ASN.1(AbstractSyntaxNotationOne)是定義抽象數(shù)據(jù)類型規(guī)格形式的一套標(biāo)準(zhǔn),是描述數(shù)據(jù)的表示、編碼、傳輸、解碼的靈活的一種記法。KSL_ASN1可替代開源ASN.1軟件,目前支持PER(PackedEncodingRules)BER(BasicEncodingRules)格式,性能相較開源軟件asn1c有較大的提升。 HAF:同構(gòu)加速框架(HomogeneousAccelerationFramework,HAF),API,快 JDKJDKOpenJDKHuaweiJDK開源版本,基于鯤鵬處理器提供了一些加速能力,如堆轉(zhuǎn)儲(chǔ)增強(qiáng)、JBooster特性的加速。JBoosterCPU占用、加快彈性伸縮的響應(yīng)速度、降低云應(yīng)用部署成本。JDK817版本;JBoosterJDK17版本。BoostKit? Gzip:Gzip(GUNzip)通過數(shù)據(jù)預(yù)取、循環(huán)展開、CRC指令替換等方法,來提升其在鯤鵬計(jì)算平臺(tái)上的壓縮和解壓縮速率,尤其對(duì)文本類型文件的壓縮及解壓具有更明顯的性能優(yōu)勢(shì)。 ZSTD:ZstandardZSTDNEON指令、內(nèi)聯(lián)匯編、代碼結(jié)構(gòu)調(diào)整、內(nèi)存預(yù)取、指令流水ZSTD在鯤鵬計(jì)算平臺(tái)上壓縮和解壓性能的提升。? Snappy:利用內(nèi)聯(lián)匯編、寬位指令、優(yōu)化CPU流水線、內(nèi)存預(yù)取等方法,實(shí)現(xiàn)Snappy在鯤鵬計(jì)算平臺(tái)上的壓縮和解壓速率提升。? KAEzip:鯤鵬加速引擎的壓縮模塊,使用鯤鵬硬加速模塊實(shí)現(xiàn)deflate算法,結(jié)合無(wú)損用戶態(tài)驅(qū)動(dòng)框架,提供Gzip/zlib格式壓縮接口。? LZ4:快速壓縮庫(kù),它能夠以極高的速度對(duì)數(shù)據(jù)進(jìn)行壓縮和解壓縮。該壓縮算法非??焖俸透咝Вm用于各種類型的數(shù)據(jù)壓縮。LZ4庫(kù)可以被廣泛應(yīng)用于數(shù)據(jù)存儲(chǔ)、網(wǎng)絡(luò)傳輸和實(shí)時(shí)數(shù)據(jù)處理等領(lǐng)域,為用戶提供了快速且1.9.3ReleaseNONLZ4在鯤鵬計(jì)算平臺(tái)上壓縮性能的提高。KAE加解密是鯤鵬加速引擎的加解密模塊,使用鯤鵬硬加速模塊實(shí)現(xiàn)RSA/SM3/SM4/DH/MD5/AES算法,結(jié)合無(wú)損用戶態(tài)驅(qū)動(dòng)框架,提供高性能對(duì)稱加解密、非對(duì)稱加解密算法能力,兼容OpenSSL1.1.1a及其之后版本,支持&異步機(jī)制。BoostKit? HMP:鯤鵬超媒體性能庫(kù)(HyperMediaPerformancePrimitivesHMPP包括向量緩沖區(qū)的分配與釋放、向量初始化、向量數(shù)學(xué)運(yùn)算與統(tǒng)計(jì)學(xué)運(yùn)算、向量采樣與向量變換、濾波函數(shù)、變換函數(shù)(快速傅里葉變換),IEEE754浮點(diǎn)數(shù)運(yùn)算標(biāo)準(zhǔn)。/ x265FFmpegX265 x264GPLH.264/MPEG-4AVC (KunpengMathLibaryKML是華為提供的基于鯤鵬平臺(tái)優(yōu)化的高性能數(shù)學(xué)函數(shù)庫(kù),主要完成標(biāo)量、矢量、矩陣上的數(shù)學(xué)計(jì)算,包括基本的四則運(yùn)算、三角函數(shù)、對(duì)數(shù)函數(shù)、指數(shù)函數(shù)、線性代數(shù)計(jì)算等,數(shù)學(xué)庫(kù)所C/C++FortanJava語(yǔ)言封裝的接口。BoostKit SmartPrefetchIO性能,進(jìn)而提升上述解決方IO密集型場(chǎng)景的整體性能。 SPDK:高性能存儲(chǔ)開發(fā)包(StoragePerformanceDevelopmentKit,SPDK)通過使用網(wǎng)絡(luò)技術(shù)、處理技術(shù)和存儲(chǔ)技術(shù)來提升效率和性能。通過運(yùn)行為硬件設(shè)計(jì)的軟件,SPDK已經(jīng)證明很容易達(dá)到每秒鐘數(shù)百萬(wàn)次IO讀取,NVMe驅(qū)動(dòng)去存儲(chǔ),而不需要額外卸載硬件。 ISA-L:ISA-L(IntelligentStorageAccelerationLibrary)RAID、糾刪碼、循環(huán)冗余檢查、密碼散列和壓BoostKit?XPXP(ExtensiblePacketFameworkOV(OpenvSwitch軟件內(nèi)部實(shí)現(xiàn)了一個(gè)智能卸載引擎模塊,該模塊用于跟蹤數(shù)據(jù)報(bào)文在OVS軟件中所經(jīng)歷的所有流表和CTCT行為和所有流表行為項(xiàng)進(jìn)行綜合編排成一條綜合行為項(xiàng)并結(jié)合統(tǒng)一匹配項(xiàng)生成一條集成流表項(xiàng)。后續(xù)的數(shù)據(jù)報(bào)文在進(jìn)入OVS后,若匹配命中該集成流表,則直接執(zhí)行綜合行為,相比開源的處理流程,查詢次數(shù)將減少,性能將大幅度提升。?DPDK:數(shù)據(jù)平面開發(fā)工具包(DataPlaneDevelopmentKit,DPDK),為用戶空間高效的數(shù)據(jù)包處理提供數(shù)AI?KAIL_DNN:深度神經(jīng)網(wǎng)絡(luò)算子庫(kù)(DeepNeuralNetworkLibrary),結(jié)合鯤鵬處理器微架構(gòu)特性,通過向量化、DNNoneDNN庫(kù)提供完整能力。?KAIL_DNN_EXT:深度神經(jīng)網(wǎng)絡(luò)算子拓展庫(kù)(DeepNeuralNetworkExtensionLibrary),旨在作為KAIL_DNN的拓展庫(kù),深度優(yōu)化softmax、random_choice等算子,為AI特定場(chǎng)景封裝為Python語(yǔ)言接口庫(kù)直接27/鯤鵬原生開發(fā)在代碼優(yōu)化階段提供了DevKit親和分析工具,可實(shí)現(xiàn)鯤鵬親和代碼優(yōu)化建議,幫助開發(fā)者寫出更適配鯤鵬平臺(tái)的代碼。3-20通過鯤鵬通過鯤鵬DevKit/BoostKitBoostKitGCCforJava親和分析工具是針對(duì)鯤鵬平臺(tái)的開發(fā)者、用戶和ISV開發(fā)者的應(yīng)用、源碼分析工具。親和分析工具屬于鯤鵬DevKit 643264 C/C++128 makefile、CMakeLists.txt x86平臺(tái)和鯤鵬平臺(tái)運(yùn)行,最終通過對(duì)比輸出結(jié)果,支持Jenkins、Gitlab支持Jenkins、Gitlab等業(yè)界主流CI/CD流水線IDE插件快速安裝,提供開發(fā)態(tài)源碼親和分析工具詳細(xì)介紹請(qǐng)參見參見鯤鵬社區(qū)→DevKit→*有源碼遷移→親和分析

/13-21向量化檢查(VSBC文件,BC23-2229/3-23JDK、GCCforopenEuler。通過上述鯤鵬親和編譯器,在3-20通過鯤鵬通過鯤鵬DevKit/BoostKitBoostKitJavaGCCfor鯤鵬親和編譯器,詳細(xì)介紹與最新內(nèi)容請(qǐng)參見鯤鵬社區(qū)→鯤鵬開發(fā)套件DevKit→編譯,詳情可掃描下方/畢昇編譯器是華為編譯器實(shí)驗(yàn)室針對(duì)通用處理器架構(gòu)構(gòu)建,增強(qiáng)和引入了多種編譯優(yōu)化技術(shù),致力于打造高性能、高可信及易擴(kuò)展的編譯器工具鏈。 C11、C++14/17、Fortran語(yǔ)言標(biāo)準(zhǔn),OpenMP4.5/5.0API /JDKOpenJDKOpenJDKJDK已應(yīng)用于華為內(nèi)部多個(gè)產(chǎn)品上,解決了業(yè)務(wù)實(shí)際運(yùn)行中遇到的多個(gè)疑難問題;在GC、鯤鵬后端代碼生成、類信息共享等方面重點(diǎn)優(yōu)JDKJAVAJDK,也為 JavaJava8、11、17、21LTS 支持架構(gòu):Linux/AArch64、Linux/x86_64 支持操作系統(tǒng):openEulerCentOS7.6Ubuntu20.04Ubuntu22.04V10UOS20GCCforGCCforopenEulerGCC開發(fā)的編譯器工具鏈(包含編譯器、匯編器、鏈接器)openEuler社區(qū) C11、C++14/17、Fortran2018語(yǔ)言標(biāo)準(zhǔn),OpenMP4.5/5.0API 針對(duì)鯤鵬平臺(tái)進(jìn)行質(zhì)量加固,覆蓋開源+31/C/C++/FortranGPU應(yīng)用調(diào)試HPC場(chǎng)景多節(jié)點(diǎn)應(yīng)用并行調(diào)試能力。3-25通過鯤鵬通過鯤鵬DevKit/BoostKitBoostKitGCCforJava編譯調(diào)試工具能一鍵式部署鯤鵬編譯器,支持單機(jī)下GPU應(yīng)用調(diào)試能力,通過統(tǒng)一調(diào)試界面調(diào)試GPU應(yīng)用,實(shí)現(xiàn)CUDA-GDB調(diào)試能力;支持HPC場(chǎng)景多節(jié)點(diǎn)應(yīng)用并行調(diào)試能力以及鯤鵬平臺(tái)遠(yuǎn)程編譯調(diào)試能力。支持C/C++/Fortran代碼調(diào)試能力。支持以下功能: 一鍵式部署鯤鵬編譯器(GCCforopenEulerJDK) C/C++ CUDA HPC3-26顯示變量、監(jiān)視、斷點(diǎn)和調(diào)用堆棧信息HPC顯示變量、監(jiān)視、斷點(diǎn)和調(diào)用堆棧信息HPCMPI+OpenMP2KMPIRank并行調(diào)試,MPIdead-lock檢測(cè)CUDAGPUCPU同步調(diào)試,支持/匯編語(yǔ)言調(diào)試Launch/AttachGPUJavaPvthonREE側(cè)獲得TEE安全應(yīng)用運(yùn)行LogTEE多節(jié)點(diǎn)調(diào)試、異構(gòu)算力調(diào)試、全局分級(jí)調(diào)試支持C/C++/Fortran語(yǔ)言、匯編代碼調(diào)試在IDE中一站式完成應(yīng)用的開發(fā)與調(diào)試編譯調(diào)試工具,詳細(xì)介紹與最新內(nèi)容請(qǐng)參見→DevKit→調(diào)試,

/13-273-2723-28/3-2833/HPCHPCLaunchMPI1HPC3-293-29HPC2HPC3-303-30HPC/步驟3界面左下角呈現(xiàn)RANK、通信組信息。單擊按鈕,可查看通信子組變化概覽、變化詳情以及死鎖信息,3-31所示。3-31CUDACUDACUDA-GDBGPU1CUDA3-323-32CUDA35/2進(jìn)行CUDA3-33KERNELTHREADS信息以及INFOCUDA3-33CUDA13-343-34/2tee.log3-353-35鯤鵬原生開發(fā)在調(diào)優(yōu)階段提供了系統(tǒng)性能分析工具、Java性能分析工具、系統(tǒng)診斷工具。通過通用性能調(diào)優(yōu)和場(chǎng)5%-10%。3-36通過鯤鵬通過鯤鵬DevKit/BoostKitBoostKit畢昇編譯 ?鯤鵬調(diào)試GCCforJava性能調(diào)優(yōu)工具,詳細(xì)介紹與最新內(nèi)容請(qǐng)參見鯤鵬社區(qū)→DevKit→&診斷,詳情可掃描下方37/系統(tǒng)性能分析是針對(duì)基于鯤鵬的服務(wù)器的性能分析工具,能收集服務(wù)器的處理器硬件、操作系統(tǒng)、進(jìn)程/線程、函數(shù)等各層次的性能數(shù)據(jù),分析出系統(tǒng)性能指標(biāo),定位到系統(tǒng)瓶頸點(diǎn)及熱點(diǎn)函數(shù),給出優(yōu)化建議。該工具可以輔助用戶快速定位和處理軟件性能問題。3-37系統(tǒng)性能分析AII/ORoofline3-1調(diào)優(yōu)助手通過系統(tǒng)化組織和分析性能指標(biāo)、熱點(diǎn)函數(shù)、系統(tǒng)配置等信息,形成系統(tǒng)資源消耗鏈條,引導(dǎo)用戶根據(jù)優(yōu)化路徑分析性能瓶頸,并針對(duì)每條優(yōu)化路徑給出優(yōu)化建議和操作指導(dǎo),以此實(shí)現(xiàn)快速調(diào)優(yōu)。支持對(duì)同一種類型分析任務(wù)的結(jié)果,選擇同一節(jié)點(diǎn)或者不同節(jié)點(diǎn)間進(jìn)行比較,從而快速獲得不同分析結(jié)果之間的差別,定位性能指標(biāo)的變化,快速識(shí)別優(yōu)化手段的效果。HPCMPI集群進(jìn)行硬件、軟件配置檢查,并給出集群中各節(jié)點(diǎn)軟硬件配置的一致度報(bào)告。檢CPU、GPUOS、Kernel、環(huán)境變量、MPI、OpenMP、HPC常用依賴庫(kù)等維度。對(duì)于不符合鯤鵬平臺(tái)最佳實(shí)踐的配置,工具會(huì)給出優(yōu)化建議。HPCHPCPMUOpenMPMPI應(yīng)用的關(guān)鍵指標(biāo),從而幫助用戶ParallelregionBarrier-to-BarrierL2L3/CPUIOIO資源的運(yùn)行情況,獲得對(duì)應(yīng)的使用率、飽和度、錯(cuò)誤次數(shù)等指標(biāo),以此識(shí)別系統(tǒng)性能瓶頸。針對(duì)部分系統(tǒng)指標(biāo)項(xiàng),根據(jù)當(dāng)前已有的基準(zhǔn)值和優(yōu)化經(jīng)驗(yàn)提供優(yōu)化建議。ARMPMU(PerformanceMonitorUnit)CPU流水線上的運(yùn)行情況,可以幫助用戶快速定位當(dāng)前應(yīng)用在CPUCPU訪問緩存和內(nèi)存的事件,分析訪存過程中可能的性能瓶頸,給出造成這些性能問題的可能原因及基于處理器訪問緩存和內(nèi)存的PMUL1C、L2C、L3C、TLBHHADDRMissARMSPE(StatisticalProfilingExtension)能力實(shí)現(xiàn)。SPE針對(duì)指令進(jìn)行采樣,同時(shí)記錄一些觸發(fā)PCSPELLCMiss,TLBMiss,RemoteAccess,LongLatencyLoadMiss類事件分析,并精確的關(guān)聯(lián)到造成該事件的代碼?;谶@些信息,用戶NUMAARMSPE(StatisticalProfilingExtension)能力實(shí)現(xiàn)。SPE針對(duì)指令進(jìn)行采樣,同時(shí)記錄一些觸發(fā)事件PCSPE能力可以用于收集系統(tǒng)中所有進(jìn)程的NUMATopN(e.g.N=10)NUMANUMA節(jié)點(diǎn)間內(nèi)存訪問統(tǒng)計(jì)矩陣,識(shí)別節(jié)點(diǎn)IOI/O操作次數(shù)、I/O數(shù)據(jù)大小、I/O隊(duì)列深度、I/O操作時(shí)延等性能數(shù)據(jù),并關(guān)聯(lián)到造成這些I/O性能數(shù)據(jù)的具體I/O操作事件、進(jìn)程線程、調(diào)用棧、I/OAPIsI/O性能數(shù)據(jù)分析給出進(jìn)一步優(yōu)化建議。CPUIO等資源的消耗情況,獲得對(duì)應(yīng)的使用率、飽和度、錯(cuò)誤次數(shù)等指標(biāo),/線程性能瓶頸。針對(duì)部分指標(biāo)項(xiàng),根據(jù)當(dāng)前已有的基準(zhǔn)值和優(yōu)化經(jīng)驗(yàn)提供優(yōu)化建議。針對(duì)單線程的運(yùn)行情況,獲得對(duì)應(yīng)的冷火焰圖、鏈路切換次數(shù)和全局占比等指標(biāo),以此識(shí)別性能瓶頸。C/C++程序代碼,找出性能瓶頸點(diǎn),獲得對(duì)應(yīng)的熱點(diǎn)函數(shù),支持通過火焰圖展示函數(shù)的調(diào)用關(guān)系,給glibc和開源軟件(MySQL、OpenMP)的鎖與等待函數(shù)(sleep、usleep、mutex、cond、spinlockrwlocksemaphore等AIAI調(diào)優(yōu)方案,通過用戶自主選擇測(cè)試用例,對(duì)數(shù)據(jù)庫(kù)和大數(shù)據(jù)場(chǎng)景進(jìn)行自動(dòng)優(yōu)化,自動(dòng)調(diào)39//13-383-3823-393-403-413-39/3-403-4141/系統(tǒng)部件分析包括微架構(gòu)分析、訪存分析、I/O13-423-4223-433-443-453-43/3-443-45I/O43/Roofline13-463-4623-473-483-493-47/3-483-49Roofline45/13-503-5023-513-523-533-543-51/3-523-533-54/47/AI1AI3-553-55AI/步驟23-5649/13-573-573-58HPC/3MPItimeline3-593-59MPIJavaJavaJavaJavaJava程序Java性能分析目標(biāo)Java性能分析目標(biāo)JVM和Java程序的在線分析,精準(zhǔn)度 系統(tǒng)額外開銷小,適用于大型Java程GCIOI/OGC51/3-1JVMJavaJavaHeap,GC活動(dòng),線程狀態(tài)及上層Java程序的性能分析,如調(diào)用鏈分析,熱點(diǎn)函數(shù),鎖分析,程序線程狀態(tài)及對(duì)象生成分布等。AgentJVM運(yùn)行數(shù)據(jù),進(jìn)行精確分析。JVMHeap大小、GC活動(dòng)、Thread數(shù)量、ClassCPUJVMJava存活對(duì)象到GCroot的引用關(guān)系鏈,幫助定位潛在的內(nèi)存問題;對(duì)比分析不同時(shí)刻的堆快照,給出堆使用與分配變化,Java通過工具分析的熱點(diǎn)方法,熱點(diǎn)方法以倒火焰圖形式呈現(xiàn),不同層(Java調(diào)用層、JNI層、Native層、Java方法對(duì)應(yīng)的字節(jié)碼(非必須)JVMJIT編譯器生成的機(jī)器指令,并查看這些GCJVMGCGC原因、GC階段分布、GCGCGCIOIO、SocketIOIOJDBCSQLSQL調(diào)用時(shí)間、耗時(shí)和堆棧跟蹤,幫助用戶定位耗時(shí)最長(zhǎng)的熱SQL操作。NoSQL/NoSQL數(shù)據(jù)庫(kù)調(diào)用時(shí)間、耗時(shí)和堆棧跟蹤,幫助用戶定NoSQL操作。HTTPHTTPHTTP支持在堆、IO、Workload在線分析過程中生成快照,對(duì)快照進(jìn)行比對(duì),輔助用戶發(fā)現(xiàn)資源、業(yè)務(wù)相關(guān)指標(biāo)/JVM性能事件,通過錄制及回放的方式來進(jìn)行離線分析。這種方式對(duì)Java程序。JVMHeap使用情況、GC活動(dòng)、IOCPUJavaHeapHeap最多或數(shù)量分配最多的對(duì)象,發(fā)現(xiàn)潛在問題;通過JavaGCJavaGC配置,HeapGCHeap變化,GC活動(dòng)頻率和暫GC策略。IOJava應(yīng)用中關(guān)于文件讀寫、SocketIO使用瓶頸;分析應(yīng)用對(duì)文件的///寫總量、堆棧跟蹤(可配)及隨時(shí)間變化圖。53/JVMJava1Java3-612Java3-623-62/JVM/13-633-6323-643-6455/系統(tǒng)診斷是針對(duì)基于鯤鵬的服務(wù)器的性能分析工具,通過分析系統(tǒng)運(yùn)行指標(biāo),識(shí)別異常點(diǎn),例如:內(nèi)存泄漏、內(nèi)存越界、網(wǎng)絡(luò)丟包等,并給出優(yōu)化建議,幫助用戶識(shí)別出源代碼中內(nèi)存使用的問題點(diǎn),提升程序的可靠性。3-65IOIOIO提供內(nèi)存診斷能力,幫助用戶識(shí)別應(yīng)用程序中存在的內(nèi)存使用的問題點(diǎn),提升程序的可靠性。OOM提供內(nèi)存診斷能力,幫助用戶識(shí)別應(yīng)用程序中存在的內(nèi)存使用的問題點(diǎn),提升程序的可靠性。OOMCallTree壓測(cè)網(wǎng)絡(luò),為網(wǎng)絡(luò)IO性能優(yōu)化提供基礎(chǔ)參置和異常而導(dǎo)致的性能問題。支持HPC集RDMA診斷。壓測(cè)存儲(chǔ)IO,獲得存儲(chǔ)設(shè)備最大能力,為存儲(chǔ)IO性能優(yōu)化提供基礎(chǔ)參考數(shù)據(jù)。支持HPCDPCNFS診斷。支持單臺(tái)多臺(tái)服務(wù)器部署,

覆蓋80%3-3(),得出具體的泄漏信息,并支持關(guān)聯(lián)出調(diào)用IOIO性能優(yōu)化提供基礎(chǔ)參考數(shù)據(jù);診斷網(wǎng)絡(luò),定位網(wǎng)絡(luò)疑難問題,解IO性能問題。具體包括:網(wǎng)絡(luò)撥測(cè)、丟包診斷(RDMA暫不支持)、網(wǎng)絡(luò)抓包(RDMA暫不支持)IPv4/IPv6UDP和TCP協(xié)議數(shù)據(jù)流、RDMARoCEv2、IB數(shù)據(jù)流進(jìn)行分析,統(tǒng)計(jì)不同階段數(shù)據(jù)流在不同處理核上執(zhí)行的情況。IOIOIOIO壓測(cè),獲得存IO最大能力,包括:吞吐量、IOPS、時(shí)延。/13-663-673-663-6757/23-683-693-683-69/IO1IO3-703-70IO2IO3-713-71IO59/IO1IO3-723-72IO2IO3-733-73IO/3DevKit原生開發(fā)插件支持1小時(shí)接入兩大主流(Jenkins、GitLab)CI/CD流水線,用戶可以在流水線中高效使用鯤鵬遷移掃描、親和分析、編譯、測(cè)試、調(diào)優(yōu)等能力,提升鯤鵬流水線搭建及版本發(fā)布效率的同時(shí),性能開箱即優(yōu)。DevKit快速接入流水線的詳細(xì)介紹與操作指導(dǎo)請(qǐng)參見鯤鵬社區(qū)→鯤鵬原生開發(fā)查看用戶指南→DevKitPipeline介紹鯤鵬原生開發(fā)在流水線門禁檢查階段提供了DevKit應(yīng)用遷移工具、親和分析工具和編碼規(guī)范檢查,可攔截不適配鯤3-74DevKit1CI/CDX86X86X86X86GCCfor&令流水優(yōu)化,性能10%5%~10205DevKitx86VSCode插件、Web、命令行 軟件遷移評(píng)估:自動(dòng)掃描并分析軟件包(非源碼包)? C/C++/ASM/Fortan/解釋型語(yǔ)言等源碼文件,定位出需要遷移的代碼并給出遷移指導(dǎo),支持遷移編輯及一鍵代碼替換功能。用戶可在CI/CD61/應(yīng)用遷移命令行詳細(xì)操作步驟請(qǐng)參見《KunpengDevKit用戶指南(命令行工作模式)》中的應(yīng)用遷移,詳情可掃軟件遷移評(píng)估幫助用戶分析用戶x86環(huán)境上軟件包安裝路徑中的SOC/C++/ASM/Fortran/Go/解釋型語(yǔ)言軟件的可遷移性。/DevKit的擴(kuò)展工具之一,支持鯤鵬平臺(tái)軟件代碼質(zhì)量檢查,提升代碼質(zhì)量、優(yōu)化訪存性能,VSCode插件、Web、命令行等多種使用形態(tài),其中命令行工具支持以下功能: 64 C/C++128 BCBC用戶可在CI/CD親和分析命令行詳細(xì)操作步驟請(qǐng)參見《KunpengDevKit用戶指南(命令行工作模式)》中的親和分析,詳情可掃644GCC4.8.5~GCC10.3.03264位平臺(tái)上,進(jìn)行遷移檢查并給出修63/字節(jié)對(duì)齊檢查就是在需要考慮字節(jié)對(duì)齊時(shí),檢查源碼中結(jié)構(gòu)體類型變量的字節(jié)對(duì)齊情況,提升內(nèi)存訪問效率。命令格式:內(nèi)存一致性檢查就是檢查源碼遷移在鯤鵬平臺(tái)運(yùn)行時(shí)可能存在的內(nèi)存一致性問題,并提供插入內(nèi)存屏障的建議。命令功能:向量化檢查功能用于對(duì)可向量化片段進(jìn)行檢查,并提供向量化修改建議,更好地發(fā)揮芯片性能。命令格式:矩陣化檢查功能用于對(duì)可矩陣化片段進(jìn)行檢查,并提供矩陣化修改建議,更好地發(fā)揮芯片性能。命令功能:/makefile、CMakeLists.txt中可以替換鯤鵬加速庫(kù)的內(nèi)容,并提供替換建議和功能修復(fù)。C/C++128字節(jié)對(duì)齊檢查,提升訪存性能。BCBCBC文件生成過程。鯤鵬原生開發(fā)流水線使用SonarQube進(jìn)行編碼規(guī)范檢查。SonarQube是一個(gè)管理代碼質(zhì)量的開放平臺(tái),涵蓋了架構(gòu)設(shè)計(jì)、注釋、編碼規(guī)范、潛在缺陷、代碼復(fù)雜度、重復(fù)代碼等多個(gè)維度的質(zhì)量分析。幫助檢查代碼缺陷、改Java、C、C++、JavaScript等多種編程語(yǔ)言的代碼質(zhì)量管理與檢測(cè)。 復(fù)雜度分布(complexity):? 重復(fù)代碼(duplications):程序中包含大量復(fù)制、粘貼的代碼而導(dǎo)致代碼臃腫,SonarQube可以展示源碼中重復(fù)嚴(yán)重的地方。 單元測(cè)試統(tǒng)計(jì)(unittests):65/ 代碼規(guī)則檢查(codingrules):通過Findbugs、PMD、CheckStyle 注釋率(comments):若代碼注釋過少,當(dāng)有人員變動(dòng)后,其他人比較難以接手;若代碼注釋過多,又不 Bug(potentialbugs):Findbugs、PMD、CheckStylebug 結(jié)構(gòu)與設(shè)計(jì)(architecture&design):3-75JDKGCCforopenEuler3.1.33-76DevKit1CI/CDX86X86X86X86GCCfor&令流水優(yōu)化,性能10%5%~10205/3-77DevKit1CI/CDX86X86X86X86GCCfor&令流水優(yōu)化,性能10%5%~10205PGO(ProfileGuidedOptimization)是一種編譯器優(yōu)化技術(shù),通過編譯器插樁收集程序運(yùn)行時(shí)信息進(jìn)行優(yōu)化決策。A-FOTGCCforopenEuler AutoFDO:PGOperfprofile,受益優(yōu)化點(diǎn)包括矢量化、循環(huán)展開、 AutoPrefetchDcacheCacheMiss率,獲取數(shù)據(jù)訪問優(yōu)化代碼塊并進(jìn)AutoFDO共同使用。 AutoBOLT:鏈接后二進(jìn)制優(yōu)化,對(duì)控制流復(fù)雜的程序具有顯著的優(yōu)化效果,主要優(yōu)化包括BB重排、函數(shù)重排、AutoFDO、AutoPrefetch部分沖突。A-FOT安裝部署指導(dǎo)請(qǐng)參見《鯤鵬原生開發(fā)用戶指南》中的A-FOT工具67/Java性能測(cè)試工具,在鯤鵬服務(wù)器上對(duì)應(yīng)用進(jìn)行全方位3-78DevKit1CI/CDX86X86X86X86GCCfor&令流水優(yōu)化,性能10%5%~10205鯤鵬原生開發(fā)提供了一系列兼容測(cè)試用例集,實(shí)現(xiàn)了鯤鵬兼容測(cè)試自動(dòng)化,保證應(yīng)用實(shí)現(xiàn)鯤鵬兼容。3-4所示。3-4通過待測(cè)試應(yīng)用軟件在鯤鵬環(huán)境啟動(dòng)前后資源波動(dòng)異常檢測(cè)、驗(yàn)證應(yīng)用軟件啟動(dòng)和停止,自動(dòng)檢測(cè)應(yīng)用軟件在鯤鵬平臺(tái)上的可運(yùn)行性、兼容性問題。通過待測(cè)試應(yīng)用軟件在穩(wěn)定運(yùn)行期間的系統(tǒng)資源內(nèi)存的波動(dòng)異常檢測(cè)、在異常終止測(cè)試場(chǎng)景檢測(cè)應(yīng)用運(yùn)行,自動(dòng)評(píng)估應(yīng)用軟件在鯤鵬平臺(tái)上的穩(wěn)定性和可靠性。單獨(dú)部署兼容性測(cè)試工具,/JavaJavaJmeter,對(duì)目標(biāo)程序進(jìn)行壓測(cè),采集目標(biāo)進(jìn)程的鯤鵬原生開發(fā)Java性能測(cè)試工具安裝部署詳細(xì)內(nèi)容請(qǐng)參見《鯤鵬原生開發(fā)用戶指南》中的安裝工具到執(zhí)行機(jī),3-79DevKit1CI/CDX86X86X86X86GCCfor&令流水優(yōu)化,性能10%5%~10205鯤鵬原生開發(fā)病毒掃描使用開源病毒掃描工具ClamV,ClamV可檢測(cè)數(shù)百萬(wàn)種病毒、蠕蟲、木馬和其他惡意軟MicrosoftOffice?病毒、移動(dòng)惡意軟件和其他威脅。69/3OS(openEuler系操作系統(tǒng)

openEuler openEuler是一個(gè)面向數(shù)字基礎(chǔ)設(shè)施的AI原生操作系統(tǒng),支持服務(wù)器、云計(jì)算、邊緣計(jì)算、嵌入式等應(yīng)用場(chǎng)景, openEuler3.5openEuler? openEuler從用戶場(chǎng)景出發(fā),回溯梳理相應(yīng)的軟件依賴關(guān)系,理清所有軟件包的上游社區(qū)地址、源碼和上游對(duì)應(yīng)驗(yàn)證。完成構(gòu)建驗(yàn)證、分發(fā)、實(shí)現(xiàn)生命周期管理,提供可靠開源軟件供應(yīng)鏈。目前,openEuler1800+的企業(yè)和合作伙伴,覆蓋了全產(chǎn)業(yè)鏈,發(fā)展了近萬(wàn)名社區(qū)貢獻(xiàn)者,國(guó)內(nèi)外主流操作系統(tǒng)廠商均推出基于歐拉的商業(yè)發(fā)行版。openEuler:基于社區(qū)開發(fā)服務(wù)及流水線,構(gòu)建開源軟件原生親和鯤鵬+openEuler:基于社區(qū)開發(fā)服務(wù)及流水線,構(gòu)建開源軟件原生親和鯤鵬+x86_64repoaarch64EulerPipelineopenEulerLicenseABI保障上游軟件的版本更新與特性演進(jìn),持續(xù)同步bug?x/openEuleriSulad?iSuladC/C++編寫實(shí)現(xiàn)的輕量級(jí)容器引擎,具有輕、靈、巧、快的特點(diǎn),不受硬件規(guī)格和架構(gòu)限制,?iSuladopenEuler提供的新的容器引擎,其統(tǒng)一的架構(gòu)設(shè)計(jì)能夠滿足CTIT領(lǐng)域的不同需求。相比GolangDocker,iSulad?iSulad容器引擎提供了與Docker類似的命令行,方便用戶操作使用。其北向支持CRI接口,可以對(duì)接Kubernetes,用戶可以使用iSulad作為底座,通過Kubernetes進(jìn)行容器的編排調(diào)度。iSulad南向支持OCIruntimerunc、lxc、kata、kuasar等多種容器運(yùn)行時(shí),兼容容器生態(tài)。3-81REST(lightmode)/grpc(perf-servicecontainerimagevolumenetworkuserkerneliSuladiSulad iSuladOCIimageiSulad能夠支持業(yè)界主流鏡像。此外,iSulad還支持用于系externalrootfsembedded鏡像格式。 網(wǎng)絡(luò)服務(wù):可以與符合CNI71/iSulad??systemd管理服務(wù)的能力,支持在容器運(yùn)行時(shí)動(dòng)態(tài)添加/釋放磁盤設(shè)備、網(wǎng)卡、路由以及卷。系統(tǒng)容器主要應(yīng)用在重計(jì)算、高性能、大并發(fā)?StratoVirt是一種基于Linux內(nèi)核虛擬化(KVM)的開源輕量級(jí)虛擬化技術(shù),在保持傳統(tǒng)虛擬化的隔離能力和安全能力的同時(shí),降低了內(nèi)存資源消耗,提高了虛擬機(jī)啟動(dòng)速度。StratoVirt可以應(yīng)用于微服務(wù)或函數(shù)計(jì)算等Serverless場(chǎng)景,保留了相應(yīng)接口和設(shè)計(jì),用于快速導(dǎo)入更多特性,直至支持通用虛擬化。StratoVirt3-82interruptlegacyinterruptlegacyvirtio-systemPClePClerootvirtio-QMP-Compatible-StratoVirt API:StratoVirtQMPOCIlibvirt?bootloaderbootloaderBIOSGrubUEFI?microvm:為了提高性能和減少攻擊面,StratoVirtKVM仿GIC、串行、RTCvirtio-mmio設(shè)備。?ACPI表實(shí)現(xiàn)UEFIvirtio-pci以及VFIOI/OStratoVirt配合iSulad容器引擎和KubernetesServerless/openEulerAIopenEuler兼容NVIDIA、Ascend等主流算力平臺(tái)的軟件棧,為用戶提供高效的開發(fā)運(yùn)行環(huán)境。通過將不同AI算力平臺(tái)的軟件棧進(jìn)行容器化封裝,即可簡(jiǎn)化用戶部署過程,提供開箱即用的體驗(yàn)。同時(shí),openEuler也提供豐富的AIopenEulerAI能力。 openEuler已兼容CANN、CUDA等硬件SDKTensorFlow、PyTorchMindSpore等相應(yīng)的AI框架軟件,AIopenEuler上高效開發(fā)與運(yùn)行。 openEulerAI3-83SDK鏡 AI框架鏡 模型應(yīng)用鏡 SDKopenEuler為基礎(chǔ)鏡像,安裝相應(yīng)硬件平臺(tái)的SDKAscend平臺(tái)的CANNNVIDIACUDA AISDKAIPyTorchTensorFlow。此外,通過此部分鏡像也可AIRayAI分布式框架。 模型應(yīng)用鏡像:在AI相關(guān)使用方式請(qǐng)參見《openEulerAI73/openEulerAIOSopenEulerAI容器鏡像可以解決開發(fā)運(yùn)行環(huán)境部署門檻高 SDK鏡像:提供對(duì)應(yīng)硬件的計(jì)算加速工具包和開發(fā)環(huán)境,用戶可進(jìn)行AscendCANN或NVIDIACUDA等應(yīng)用 AIAI? 模型應(yīng)用鏡像:已預(yù)置完整的AI軟件棧和特定的模型,用戶可根據(jù)自身需求選擇相應(yīng)的模型應(yīng)用鏡像來開展模型推理或微調(diào)任務(wù)。oeAwareoeAwareopenEuler上實(shí)現(xiàn)低負(fù)載采集感知調(diào)優(yōu)的框架,目標(biāo)是在系統(tǒng)/業(yè)務(wù)運(yùn)行時(shí)動(dòng)態(tài)感知系統(tǒng)行為后智能使能系統(tǒng)調(diào)優(yōu)特性。傳統(tǒng)調(diào)優(yōu)特性都以獨(dú)立運(yùn)行且靜態(tài)打開/關(guān)閉為主,oeAware將調(diào)優(yōu)拆分為采集、感知和調(diào)優(yōu)三層,每層通過訂閱方式關(guān)聯(lián),各層采用插件式開發(fā)盡可能復(fù)用。oeAware支持單機(jī)部署以及集群協(xié)同方式+啟發(fā)的方式提升調(diào)優(yōu)效率和場(chǎng)景自適應(yīng)能力,并對(duì)業(yè)務(wù)場(chǎng)景透明。調(diào)優(yōu)前后通過性能度量檢測(cè)是否存在負(fù)優(yōu)化。并在問題發(fā)生后及時(shí)上報(bào)問題,第一時(shí)間回滾止損。性能度性能度 調(diào)優(yōu)執(zhí)oeAwareoeAwareoeAware&oeAware通過場(chǎng)景感知使能對(duì)應(yīng)調(diào)優(yōu),支持調(diào)優(yōu)推薦、一鍵使能以及動(dòng)態(tài)回滾。oeAware是openEuler調(diào)優(yōu)的統(tǒng)? 管理面易用性提升:靜態(tài)調(diào)優(yōu)隨著時(shí)間延續(xù),不同場(chǎng)景的調(diào)優(yōu)特性會(huì)逐漸散亂在系統(tǒng)中,無(wú)法高效對(duì)調(diào)優(yōu)進(jìn)行管理和審計(jì)。? 數(shù)據(jù)面靈活性提升:一套靜態(tài)調(diào)優(yōu)配置無(wú)法自動(dòng)適用所有場(chǎng)景;部分調(diào)優(yōu)無(wú)法實(shí)現(xiàn)靜態(tài)配置,如復(fù)雜場(chǎng)景下的調(diào)度策略;場(chǎng)景組合導(dǎo)致調(diào)優(yōu)失效,人工分析成本高。/openEuleropenEulerDevStationopenEulerDevStationopenEuler首個(gè)面向開發(fā)者的開發(fā)者工作站,預(yù)裝VSCODE,大幅提升開發(fā)者效率;在之后版本,DevStationoeDeployoeDeploy完成AIoeDevPlugin插件進(jìn)行一鍵拉取代碼倉(cāng),AI4CEulerMakerDevStationopenEuler上進(jìn)行軟件開發(fā)。EulerMakerEulerMaker構(gòu)建系統(tǒng)是一款軟件包構(gòu)建系統(tǒng),完成源碼到二進(jìn)制軟件包的構(gòu)建,并支持開發(fā)者通過搭積木方式,組裝和定制出適合自己需求的場(chǎng)景化OS/全量構(gòu)建,分層定制與鏡像定制的能力。社區(qū)開發(fā)者及合作伙伴基于統(tǒng)一構(gòu)建系統(tǒng)建設(shè)自己的用戶個(gè)人倉(cāng)、OSOS。3-86configDAG /全量構(gòu)建:基于軟件包變化并結(jié)合軟件包依賴關(guān)系,分析影響范圍,得到待構(gòu)建軟件包列表,按照依賴 75/ repoisoqcow2OS 一鍵工程創(chuàng)建:基于yamlEulerTestEulerestopenEuler社區(qū)孵化的用以承載社區(qū)全流程測(cè)試活動(dòng)的管理平臺(tái)。Eulerestweb端數(shù)據(jù)中臺(tái),幫助社區(qū)版本測(cè)試高效運(yùn)作,使能社區(qū)版本測(cè)試可跟蹤可追溯。具備支撐資源管理以及自動(dòng)化測(cè)試功能的插件化服務(wù),支持對(duì)接多元測(cè)試引擎。CLACLA校驗(yàn)(開務(wù)放力基任開能于區(qū)號(hào)理基社賬管CI調(diào) 個(gè)人使CICI調(diào) 個(gè)人使CICompass-調(diào)度部署執(zhí)行結(jié)果分析與歸檔執(zhí)行部署資源池調(diào)度 支持對(duì)虛擬機(jī)進(jìn)行動(dòng)態(tài)資源管理,提供網(wǎng)卡磁盤配置熱修改以及web ? 支持對(duì)產(chǎn)品和里程碑進(jìn)行數(shù)據(jù)管理,支持和碼云企業(yè)倉(cāng)進(jìn)行數(shù)據(jù)同步管理,提供版本質(zhì)量看板以支撐質(zhì)量看護(hù),使能測(cè)試可信。 IT化管理。具備日志按測(cè)試步驟分 支持自動(dòng)化從openQA、Compass-CI/EulerPipeline面向社區(qū)開發(fā)者,基于EulerPipeline流水線,構(gòu)建多架構(gòu)、高質(zhì)量的源碼及二進(jìn)制倉(cāng)庫(kù)。支持Package-CI/Code-CI/Repo-CI/ISO-CItest-CItest-CI6+40+SaaS服務(wù),OS&軟件包開發(fā)。支持流水線編排、矩陣測(cè)試、一鍵復(fù)現(xiàn)、結(jié)對(duì)聯(lián)調(diào)。3-88Kernel-Kernel--SBOMPortingSBOMPortingepkgepkg 流水線編排:支持流水線自定義,DSL 矩陣測(cè)試:一次聲明,多種組合并行運(yùn)行;提供矩陣總覽視圖,多OS 一鍵復(fù)現(xiàn):通過Web 結(jié)對(duì)聯(lián)調(diào):流水線服務(wù)提供的web77/CVEManager漏洞管理是openEuler從合作漏洞感知系統(tǒng)獲取公開漏洞感知信息,再通過機(jī)器人在碼云平臺(tái)對(duì)應(yīng)項(xiàng)目軟件包倉(cāng)創(chuàng)建并維護(hù)漏洞相關(guān)記錄,漏洞修復(fù)后進(jìn)入通用版本構(gòu)建發(fā)布以及安全公告發(fā)布流程。openEulerCVSSv3進(jìn)行漏洞評(píng)分。openEuler用戶的安全,在進(jìn)行調(diào)查、修復(fù)和發(fā)布安全公告之前,openEuler社區(qū)不會(huì)公開披露、討論或openEuler產(chǎn)品的安全問題。發(fā)布SA和SA發(fā)布SA和SA和? 發(fā)布安全公告:安全公告內(nèi)容包括該漏洞的技術(shù)細(xì)節(jié)、CVE編號(hào)、CVSS安全評(píng)分、嚴(yán)重性等級(jí)以及受到該漏洞影響的版本和修復(fù)版本等信息。 CVRFOM急需將原操作系統(tǒng)遷移到新操作系統(tǒng)上。企業(yè)一方面需要做好操作系統(tǒng)選型(如持續(xù)演進(jìn)、全場(chǎng)景支持、可靠、穩(wěn)定等r助力企業(yè)簡(jiǎn)單、平穩(wěn)、高效進(jìn)行操作系統(tǒng)遷移。x2openEuler是一款將源操作系統(tǒng)遷移到目標(biāo)操作系統(tǒng)的遷移工具套件,可以對(duì)CentOS,Redhat,Ubuntu,SUSE進(jìn)行原地遷移,同時(shí)具有批量化原地升級(jí)能力,工具提供簡(jiǎn)單易用的操作界面,可以批量添加待升級(jí)節(jié)點(diǎn)進(jìn)行遷移分析,設(shè)計(jì)遷移方案并對(duì)兼容性問題進(jìn)行遷移適配,最后對(duì)已適配的待升級(jí)節(jié)點(diǎn)批量升級(jí),實(shí)現(xiàn)端到端的x2openEulerWindows.NetFameworkWeb場(chǎng)景進(jìn)行業(yè)務(wù)無(wú)適配遷移,幫助客戶把應(yīng)openEuler上。openEuler的遷移方案,包括成立遷移保障組織、遷移分析、方案設(shè)計(jì)、移植適配、遷移實(shí)施和測(cè)試上線六個(gè)階段,如下圖所示。/3-90客戶主導(dǎo),OSV/ISV客戶主導(dǎo),OSV客戶主導(dǎo),OSV客戶主導(dǎo),ISV/OSV/ISV主導(dǎo),OSV客戶業(yè)務(wù)部門、IT部門、維護(hù)部門、梳理當(dāng)前業(yè)務(wù)部署的評(píng)估軟件、配置、硬根據(jù)業(yè)務(wù)場(chǎng)景以及業(yè)務(wù)架構(gòu)和自身特性,ISV應(yīng)用遷移:重新IHV適配:整機(jī)板卡適配遷移,重新部署業(yè)務(wù)同步配置:適用于業(yè)務(wù)不兼容需要適配的新建、擴(kuò)容、存原地升級(jí),繼承配置無(wú)需重新部署業(yè)務(wù):適用于業(yè)務(wù)兼容不需對(duì)切換的業(yè)務(wù)進(jìn)行測(cè)支持軟件接口、依賴提供典型場(chǎng)景的遷移支持生成部分遷移腳本,包括兼容的依賴openEuleropenEuler生態(tài)提供超過3+源碼包、百萬(wàn)級(jí)二進(jìn)制軟件包,可為CentOS、FedoraopenEuler遷移3-91openEuler社區(qū)或業(yè)界熱門社區(qū)或業(yè)界熱門或趨的開源軟件包,持續(xù)推進(jìn)openEuler擴(kuò)展

基于open基于openue,對(duì)二進(jìn)制包進(jìn)行適配度、可用性等方位的測(cè)試,確openEuer可用。

對(duì)目標(biāo)包的安全評(píng)估是對(duì)目標(biāo)包的安全評(píng)估是嚴(yán)格控制風(fēng)險(xiǎn)因素,既openuer用戶的openEuer

openEuler著更加嚴(yán)格的生命 面向創(chuàng)新場(chǎng)景開發(fā)者:提供快速的軟件包引入平臺(tái),快速將上游項(xiàng)目形成RPM 面向廣大用戶:提供openEuler 79///行業(yè)案例4—恒生電子是聚焦金融行業(yè),致力于為證券、期貨、基金、信托、保險(xiǎn)、銀行、交易所、私募等機(jī)構(gòu)提供整體IT解16FinTech100全球金融科技百?gòu)?qiáng)榜單,2023年排名第22位,位列亞洲上榜企業(yè)第一。數(shù)字化、智能化趨勢(shì)下,證券用戶的持續(xù)增長(zhǎng),交易數(shù)據(jù)處理量激增、交易響應(yīng)速度要求達(dá)到微秒級(jí),上一代系統(tǒng)在低延時(shí)、高吞吐、易擴(kuò)展、安全方面已經(jīng)無(wú)法滿足需求。因此,證券企業(yè)也紛紛升級(jí)證券核心交易系統(tǒng),以期為用戶提供極速,穩(wěn)定,低延遲的交易體驗(yàn)。考慮到鯤鵬平臺(tái)高吞吐、低時(shí)延、低能耗、高安全等優(yōu)勢(shì),能夠很好的滿足恒生在證券行業(yè)業(yè)務(wù)的要求,此外還提供完善的原生開發(fā)工具鏈生態(tài)快速完成面向鯤鵬的遷移、開發(fā)、編譯調(diào)試和性能優(yōu)化;20243月,恒生與鯤鵬達(dá)成了原生開發(fā)合作計(jì)劃,首批選擇新一代產(chǎn)品:經(jīng)紀(jì)場(chǎng)外業(yè)務(wù)系統(tǒng)軟件,融合鯤鵬原生開發(fā)技術(shù)實(shí)現(xiàn)從開發(fā)----運(yùn)行的全流程優(yōu)化。恒生將鯤鵬DevKitopenEuler操作系統(tǒng),搭建了持續(xù)集成節(jié)點(diǎn)。其中,在構(gòu)建流程中主要接入了鯤鵬DevKit門禁掃描、畢昇編譯器、鯤鵬測(cè)試框架、性能分析工具等能力;在門禁掃描階段可以直接使用DevKit遷移掃描工具快速的提示不兼容代碼和軟件包,確保代碼在多樣性的算力平臺(tái)上兼容;在編譯構(gòu)建階段,無(wú)感切換畢昇JDK優(yōu)化編譯性能;自動(dòng)化測(cè)試階段,通過DevKit提供的測(cè)試框架和樣例81/?原生高效率:流水線改造完成后,開發(fā)人員可以只開發(fā)一套代碼,有架構(gòu)差異的代碼使用?定義隔離,每天快速在門禁階段快速檢查增量代碼兼容性,并在不同平臺(tái)上構(gòu)建出不同的版本,效率更高。恒生基于改造后的流30%以上?原生高性能:在編譯構(gòu)建階段,流水線中能夠無(wú)感知的將編譯器替換為鯤鵬高性能編譯器畢昇JDK;同時(shí)在調(diào)優(yōu)階段,DevKit提供的Java性能測(cè)試工具能夠?qū)浖\(yùn)行性能進(jìn)行采集和分析,通過分析智能合約運(yùn)行容器JVM中內(nèi)存占用和GC回收等瓶頸問題,結(jié)合虛擬化平臺(tái)、數(shù)據(jù)庫(kù)調(diào)優(yōu)等優(yōu)化措施,實(shí)現(xiàn)整體接口性能提升,TPS20%4-1調(diào)優(yōu) 調(diào)優(yōu)經(jīng)過上述一系列的優(yōu)化,場(chǎng)

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論