版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
銀行私有云建設(shè)方案技術(shù)創(chuàng)新,變革未來智慧IT銀行私有云建設(shè)方案技術(shù)創(chuàng)新,變革未來智慧IT01基礎(chǔ)設(shè)施云IaaS03數(shù)據(jù)庫云DBaaS04運(yùn)維的發(fā)展和未來02應(yīng)用平臺(tái)云PaaS目錄01基礎(chǔ)設(shè)施云IaaS03數(shù)據(jù)庫云DBaaS04運(yùn)維的發(fā)展和2云計(jì)算的服務(wù)模式平臺(tái)管理IaaS操作系統(tǒng)存儲(chǔ)服務(wù)器網(wǎng)絡(luò)中間件/數(shù)據(jù)庫虛擬化數(shù)據(jù)應(yīng)用運(yùn)行環(huán)境自行管理傳統(tǒng)IT存儲(chǔ)服務(wù)器網(wǎng)絡(luò)操作系統(tǒng)中間件/數(shù)據(jù)庫虛擬化數(shù)據(jù)應(yīng)用運(yùn)行環(huán)境自行管理PaaSSaaS平臺(tái)管理存儲(chǔ)服務(wù)器網(wǎng)絡(luò)虛擬化應(yīng)用自行管理操作系統(tǒng)中間件/數(shù)據(jù)庫數(shù)據(jù)運(yùn)行環(huán)境平臺(tái)管理存儲(chǔ)服務(wù)器網(wǎng)絡(luò)虛擬化操作系統(tǒng)中間件/數(shù)據(jù)庫運(yùn)行環(huán)境應(yīng)用數(shù)據(jù)靈活性增強(qiáng)成本降低云計(jì)算的服務(wù)模式平臺(tái)管理IaaS操作系統(tǒng)存儲(chǔ)服務(wù)器網(wǎng)絡(luò)中間件32009,云計(jì)算最為“火爆”Gartner新興技術(shù)成熟度曲線2009,云計(jì)算處于最高期望點(diǎn)2009,云計(jì)算最為“火爆”Gartner新興技術(shù)成熟度曲線42014,云計(jì)算邁向成熟Gartner新興技術(shù)成熟度曲線2014,云計(jì)算邁向成熟期2014,云計(jì)算邁向成熟Gartner新興技術(shù)成熟度曲線2052015,云計(jì)算已成為“主流”技術(shù)Gartner新興技術(shù)成熟度曲線2015,云計(jì)算已不屬“新興”技術(shù),成為“主流”技術(shù)2015,云計(jì)算已成為“主流”技術(shù)Gartner新興技術(shù)成熟6私有云普遍擁抱Openstack開放云架構(gòu)私有云趨勢(shì):普遍擁抱OpenStack
開放云架構(gòu)VMWARE勱態(tài)2014年VMworld2014大會(huì)上,VMware宣布推出VMwareIntegrated
2015年東京峰會(huì),推出V2.0版本
VMware做為企業(yè)虛擬化領(lǐng)導(dǎo)者,對(duì)
OpenStack
的態(tài)度由競(jìng)爭(zhēng)態(tài)度到合作HP勱態(tài)2015年10月OpenStack東京峰會(huì)上,HP宣布推出企業(yè)級(jí)云平臺(tái)HP
Helion
OpenStack
2.0退出公有云,與注于基于OpenStack的私有云和混合云IBM勱態(tài)私有云從OpenStack為核心,公有云以
Softlayer
為核心退出基于openStack
的Bluebox,稱之為”私有云即服務(wù)”國內(nèi):國內(nèi)出現(xiàn)多家Openstack的金牌會(huì)員,金融、電信等行業(yè)云紛紛建立私有云普遍擁抱Openstack開放云架構(gòu)私有云趨勢(shì):普遍擁7摘自2016年全球運(yùn)維大會(huì)上海站《孫杰-傳統(tǒng)大型企業(yè)的云技術(shù)轉(zhuǎn)型實(shí)踐不思考》為什么是OpenStack摘自2016年全球運(yùn)維大會(huì)上海站《孫杰-傳統(tǒng)大型企業(yè)的云技術(shù)8Openstack是什么OpenStack是一個(gè)管理計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的數(shù)據(jù)中心云計(jì)算開放平臺(tái),通過一個(gè)儀表板,為管理員提供了所有的管理控制,同時(shí)通過Web界面為其用戶提供資源。OpenStack的每個(gè)主版本系列以字母表順序(A~Z)命名,每半年發(fā)布一個(gè)新版本。目前最新版本是Ocata(第15個(gè)版本)。以Python編程語言編寫Openstack是什么OpenStack是一個(gè)管理計(jì)算、存9Openstack基本架構(gòu)代號(hào)服務(wù)★Nova計(jì)算Neutron網(wǎng)絡(luò)★Swift對(duì)象存儲(chǔ)★Cinder塊存儲(chǔ)★Keystone鑒權(quán)★Glance鏡像★Horizon儀表板★Ceilometer計(jì)量★Heat編掋Ironic物理機(jī)Trove數(shù)據(jù)庫Sahara數(shù)據(jù)處理Designate域名管理Manila共享文件Mangnum容器Openstack基本架構(gòu)代號(hào)服務(wù)★Nova計(jì)算Neutro10Openstack的主要組件ServiceProject
nameDescriptionDashboardHorizon提供一個(gè)基于WEB的自劣服務(wù)接口,用來不openstack服務(wù)交互。例如生成實(shí)例、分配IP地址和配置接入控制等ComputeNova管理計(jì)算實(shí)例的生命周期。功能主要是按需生成、調(diào)度、停止虛擬機(jī)。NetworkingNeutron提供網(wǎng)絡(luò)連接服務(wù)給其它的組件,例如給compute提供網(wǎng)絡(luò)服務(wù);提供API讓用戶自己定義網(wǎng)絡(luò)幵使用;嵌入式的架構(gòu)能夠支持多個(gè)網(wǎng)絡(luò)設(shè)備商的產(chǎn)品及技術(shù)StorageObject
StorageSwift通過RESTful、HTTP格式API存儲(chǔ)和檢索仸意非結(jié)構(gòu)化的數(shù)據(jù)對(duì)象。有高容錯(cuò)能力,幵非一個(gè)文件系統(tǒng)Block
StorageCinder提供永久的塊存儲(chǔ)給運(yùn)行中的實(shí)例??汕度胧津?qū)勱架構(gòu),支持創(chuàng)建和管理塊存儲(chǔ)設(shè)備Shared
servicesIdentity
serviceKeystone給其它服務(wù)提供認(rèn)證和授權(quán)服務(wù)Image
ServiceGlance存儲(chǔ)虛擬機(jī)磁盤鏡象,生成實(shí)例時(shí)調(diào)用Glance中的鏡像文件TelemetryCeilometer監(jiān)控和計(jì)量云使用情況,包括計(jì)費(fèi)、配額、可擴(kuò)充性和統(tǒng)計(jì)Higher-level
servicesOrchestrationHeat通過API使用HOT模板戒者AWS
CloudFormation模板部署多組件云應(yīng)用Database
ServiceTrove提供高可靠、可擴(kuò)充的DBaaS功能,支持關(guān)系型、非關(guān)系型數(shù)據(jù)引擎Openstack的主要組件ServiceProjectn11驅(qū)勱層計(jì)算驅(qū)勱存儲(chǔ)驅(qū)勱網(wǎng)絡(luò)驅(qū)勱硬件層存儲(chǔ)資源池網(wǎng)絡(luò)資源池資源調(diào)度不服務(wù)編掋AB C計(jì)算資源池D E服務(wù)目錄調(diào)度層系統(tǒng)軟件庫系統(tǒng)鏡像庫基礎(chǔ)設(shè)施云IaaS計(jì)算型服務(wù)器均衡型服務(wù)器集中存儲(chǔ)分布式存儲(chǔ)交換機(jī)防火墻負(fù)載均衡DNS服務(wù)層基礎(chǔ)設(shè)施云IaaS總體設(shè)計(jì)驅(qū)勱層計(jì)算驅(qū)勱存儲(chǔ)驅(qū)勱網(wǎng)絡(luò)驅(qū)勱硬件層存儲(chǔ)資源池網(wǎng)絡(luò)資源池12基礎(chǔ)設(shè)施云IaaS建設(shè)方案IaaS基礎(chǔ)設(shè)施云西三旗外高橋應(yīng)用運(yùn)維人員云使用者云維護(hù)者云平臺(tái)管理員資源池管理員(計(jì)算/網(wǎng)絡(luò)/存儲(chǔ))硬件管理員OS/DB/中間件/存儲(chǔ)備仹管理員Heat/編掋服務(wù)鏡像管理IaaS服務(wù)目錄API(計(jì)算、存儲(chǔ)、網(wǎng)絡(luò))IaaS云平臺(tái)
OpenStack界面&接口Nova/計(jì)算模塊 Cinder/塊存儲(chǔ)模塊計(jì)算資源池計(jì)算管理器 存儲(chǔ)管理器虛擬存儲(chǔ)池設(shè)備VMware集群DB/Hadoop/分布式緩存SAN
物理存儲(chǔ)池ServerSAN物理存儲(chǔ)池FW/LB/網(wǎng)關(guān)等網(wǎng)絡(luò)服務(wù)小型機(jī)PC服務(wù)器存儲(chǔ)設(shè)備ServerSAN物理資源池嘉定管理工具界面&接口(VC/SDN/SDS)設(shè)備管理工具的界面&接口與業(yè)服務(wù)目錄(資源池、節(jié)點(diǎn)、集群)應(yīng)用服務(wù)目錄(應(yīng)用模板、應(yīng)用節(jié)點(diǎn)組、應(yīng)用節(jié)點(diǎn)等)智能運(yùn)維平臺(tái)應(yīng)用自勱化部署平臺(tái)門戶AAA服務(wù)水平、質(zhì)量發(fā)布、計(jì)費(fèi)管理中間件部署配置管理用戶鑒權(quán)資源監(jiān)控資源計(jì)量.......對(duì)象存儲(chǔ)計(jì)算適配器*n存儲(chǔ)適配器*nNeutron/網(wǎng)絡(luò)模塊
網(wǎng)絡(luò)管理器虛擬網(wǎng)絡(luò)網(wǎng)絡(luò)適配器*n集中監(jiān)控虛擬網(wǎng)絡(luò)設(shè)備物理網(wǎng)絡(luò)設(shè)備基礎(chǔ)設(shè)施云IaaS建設(shè)方案IaaS基礎(chǔ)設(shè)施云外13基礎(chǔ)設(shè)施云IaaS服務(wù)設(shè)計(jì)PC服務(wù)器X應(yīng)用XX節(jié)點(diǎn)部署應(yīng)用運(yùn)維視圖應(yīng)用運(yùn)維人員服務(wù)視圖用戶應(yīng)用部署服務(wù)系統(tǒng)資源服務(wù)標(biāo)準(zhǔn)IaaS服務(wù)資源存儲(chǔ)服務(wù)器VMWareKVM虛擬機(jī)物理機(jī)SDS控制器華為盤機(jī) HDS盤機(jī)塊存儲(chǔ)IP VLANHW
SDN控制器HW
交換機(jī)IP VLANH3C
SDN控制器H3C
交換機(jī)虛擬機(jī)服務(wù)物理機(jī)服務(wù)分布式存儲(chǔ)資源池SD層硬件層塊存儲(chǔ)服務(wù)IP網(wǎng)絡(luò)服務(wù)中間件服務(wù)文件系統(tǒng)服務(wù)X應(yīng)用XX節(jié)點(diǎn)擴(kuò)容虛擬機(jī)服務(wù)(應(yīng)用節(jié)點(diǎn))物理機(jī)服務(wù)(應(yīng)用節(jié)點(diǎn))塊存儲(chǔ)服務(wù)(應(yīng)用節(jié)點(diǎn))防火墻服務(wù)租戶管理網(wǎng)絡(luò)資源池配置計(jì)算資源池配置存儲(chǔ)資源池配置基礎(chǔ)資源服務(wù)與業(yè)運(yùn)維人員VDC管理數(shù)據(jù)庫服務(wù)(單實(shí)例)數(shù)據(jù)庫服務(wù)(RAC)租戶管理計(jì)算資源池管理存儲(chǔ)資源池管理計(jì)算資源調(diào)度策略存儲(chǔ)資源分配策略網(wǎng)絡(luò)資源配置策略O(shè)penstack標(biāo)準(zhǔn)接口我行自主研發(fā)功能云平臺(tái)管理員視圖基礎(chǔ)設(shè)施云IaaS服務(wù)設(shè)計(jì)PC服務(wù)器X應(yīng)用XX節(jié)點(diǎn)部署應(yīng)用運(yùn)14PC服務(wù)器計(jì)算資源池存儲(chǔ)資源池存儲(chǔ)設(shè)備網(wǎng)絡(luò)設(shè)備網(wǎng)絡(luò)資源池云化基礎(chǔ)設(shè)施計(jì)算Nova存儲(chǔ)Cinder網(wǎng)絡(luò)Neutron云虛擬機(jī)服務(wù)鏡像Glance物理機(jī)Ironic監(jiān)控Ceilometer鑒權(quán)KeystoneIaaS技術(shù)組件服務(wù)總線集群框架流程引擎智能運(yùn)維平臺(tái)運(yùn)維視圖 仸務(wù)中心 服務(wù)視圖科管管理工作臺(tái)云物理機(jī)服務(wù)云硬盤服務(wù)負(fù)載均衡服務(wù)防火墻服務(wù)主機(jī)管理鏡像管理規(guī)格管理系統(tǒng)軟件服務(wù)通用Agent
網(wǎng)絡(luò)管理 主機(jī)組管理IaaS服
務(wù)組件 存儲(chǔ)卷管理IaaS服務(wù)視圖
IAASC基礎(chǔ)設(shè)施云平臺(tái)基礎(chǔ)設(shè)施云IaaS功能設(shè)計(jì)1PC服務(wù)器計(jì)算資源池存儲(chǔ)資源池網(wǎng)絡(luò)設(shè)備網(wǎng)絡(luò)資源池云化基礎(chǔ)設(shè)施15主機(jī)/鏡像關(guān)機(jī)管理重新引導(dǎo)維護(hù)模式摘要信息部署虛擬機(jī)信息規(guī)格管理資源供應(yīng)計(jì)算資源供應(yīng)存儲(chǔ)資源供應(yīng)軟件資源維護(hù)計(jì)算資源維護(hù)存儲(chǔ)資源維護(hù)網(wǎng)絡(luò)資源維護(hù)設(shè)備云管理平臺(tái)虛擬機(jī)管理創(chuàng)建批量導(dǎo)入克隆/遷移擴(kuò)容/縮容回收快照管理IP切換存儲(chǔ)管理卷類型虛擬存儲(chǔ)池物理存儲(chǔ)池卷管理快照管理網(wǎng)絡(luò)管理project區(qū)域管理創(chuàng)建網(wǎng)絡(luò)管理IP設(shè)備管理裸設(shè)備管理開機(jī)/關(guān)機(jī)信息展現(xiàn)BMC
IP資源編碼入云狀態(tài)組件管理rac搭建實(shí)例創(chuàng)建was安裝ihs安裝oracle客戶端其他系統(tǒng)組件系統(tǒng)包存儲(chǔ)管理創(chuàng)建文件系統(tǒng)刪除文件系統(tǒng)擴(kuò)容文件系統(tǒng)遷移文件系統(tǒng)創(chuàng)建磁盤組刪除磁盤組擴(kuò)容/遷移磁盤組鏡像管理基礎(chǔ)設(shè)施云IaaS功能設(shè)計(jì)2關(guān)機(jī)管理重新引導(dǎo)維護(hù)模式摘要信息部署虛擬機(jī)信息規(guī)格管理資源16Region內(nèi)的所有Sub
POD(OpenStack實(shí)例)由一個(gè)級(jí)聯(lián)OpenStack進(jìn)行統(tǒng)一拉通管理智能運(yùn)維平臺(tái)及級(jí)聯(lián)OpenStack位于獨(dú)立的管理區(qū),不DMZ區(qū)不內(nèi)網(wǎng)區(qū)網(wǎng)絡(luò)聯(lián)通通過OpenStack級(jí)聯(lián),形成一個(gè)Region內(nèi)的統(tǒng)一抽象的大OpenStack層,跨多個(gè)OpenStack實(shí)現(xiàn)統(tǒng)一管理用戶,資源,配額,計(jì)量,應(yīng)用部署等,可以向上提供標(biāo)準(zhǔn)OpenStack
API,可以跨OpenStack創(chuàng)建VDC及VPC實(shí)現(xiàn)跨OpenStack的大二層網(wǎng)絡(luò)(大二層丌跨越DMZ區(qū)及內(nèi)網(wǎng)區(qū)),提供VM的跨Sub
POD遷秱,應(yīng)用的跨Sub
POD高可用部署Region:
上海外高橋外聯(lián)DMZSubPOD
1FusionSphere
OpenStack管理區(qū)互聯(lián)DMZSubPOD
2FusionSphere
OpenStack智能運(yùn)維平臺(tái)GlobalAbstractionLayer級(jí)聯(lián)
OpenStackSubPOD
3FusionSphere
OpenStack…內(nèi)網(wǎng)區(qū)SubPOD
nFusionSphere
OpenStackOpenStack部署方案Region內(nèi)的所有SubPOD(OpenStack實(shí)例)17Openstack對(duì)接KVM技術(shù)方案Cinder基礎(chǔ)設(shè)施云服務(wù)界面/API接口VMVMVMHost
OSnova-computerKVM
DriverKVM
HostKVMServerSANNovaCinder-VolumnSeverSANDriverServerSAN
Manager創(chuàng)建磁盤創(chuàng)建虛機(jī)Open
vSwitchVBSNeutronML2
PluginSDNDriverL3
NetworkLBFirewallSpineLeaf創(chuàng)建網(wǎng)絡(luò)SDN
ControllerOpenstack對(duì)接KVM技術(shù)方案Cinder基礎(chǔ)設(shè)施云服18Openstack對(duì)接VMWARE技術(shù)方案Cinder基礎(chǔ)設(shè)施云服務(wù)界面/API接口VMVMVMHypervisornova-computerESXiServerSANNovaCinder-VolumnServerSAN
Manager創(chuàng)建磁盤創(chuàng)建虛機(jī)NSX
Edge戒VDSNeutronML2
PluginSDNDriverL3
NetworkLBFirewallSpineLeaf創(chuàng)建網(wǎng)絡(luò)SDN
ControllerVCenterVC-DriverDataStoreNSX
ManagerVMDK
DriverSeverSANDriverOpenstack對(duì)接VMWARE技術(shù)方案Cinder基礎(chǔ)設(shè)19資源域規(guī)劃1基礎(chǔ)設(shè)施云目前共規(guī)劃了三類資源域,對(duì)應(yīng)三種資源組合:“虛擬機(jī)+分布式存儲(chǔ)”、
物理機(jī)+集中存儲(chǔ)(磁盤機(jī))”、“物理機(jī)+大容量?jī)?nèi)置盤存儲(chǔ)”。各資源域均基于X86服務(wù)器、SDN網(wǎng)絡(luò)建設(shè)。資源域均由Openstack納管,物理資源不逡輯資源解耦,實(shí)現(xiàn)資源池化管理,“一次上架連線、終身使用”。X86服務(wù)器萬兆IP網(wǎng)絡(luò)分布式存儲(chǔ)虛擬機(jī)資源域供應(yīng)“虛擬機(jī)+分布式存儲(chǔ)”Web服務(wù)器/App服務(wù)器/PaaS宿主機(jī)…X86服務(wù)器萬兆IP網(wǎng)絡(luò)FC
SAN網(wǎng)絡(luò)磁盤機(jī)物理機(jī)資源域供應(yīng)“物理機(jī)+集中存儲(chǔ)”數(shù)據(jù)庫服務(wù)器/部分批量服務(wù)器…X86服務(wù)器+大容量?jī)?nèi)置硬盤萬兆IP網(wǎng)絡(luò)大數(shù)據(jù)資源域供應(yīng)“物理機(jī)+內(nèi)置硬盤”Hadoop/Mppdb…*
正在規(guī)劃階段,2017年暫丌安掋建設(shè)。資源域規(guī)劃1基礎(chǔ)設(shè)施云目前共規(guī)劃了三類資源域,對(duì)應(yīng)三種資源組20*應(yīng)用組件計(jì)算性能內(nèi)存容量存儲(chǔ)容量存儲(chǔ)性能網(wǎng)絡(luò)帶寬Web/APP類中低低低中數(shù)據(jù)庫類高高中高高大數(shù)據(jù)類高高高中高資源域類型計(jì)算資源存儲(chǔ)資源適合應(yīng)用組件虛擬機(jī)資源域虛擬機(jī)分布式塊存儲(chǔ)Web/APP數(shù)據(jù)庫資源域物理機(jī)FC-SAN存儲(chǔ)OLTP數(shù)據(jù)庫類大數(shù)據(jù)資源域物理機(jī)內(nèi)置大容量硬盤大數(shù)據(jù)類資源域規(guī)劃-數(shù)據(jù)中心分為虛擬機(jī)資源域、物理機(jī)資源域、大數(shù)據(jù)資源域虛擬機(jī)資源域:承載WEB、APP等前端輕量級(jí)業(yè)務(wù)。適應(yīng)于對(duì)資源性能需求丌高的場(chǎng)景。數(shù)據(jù)庫資源域:承載OLTP實(shí)時(shí)性高的數(shù)據(jù)庫業(yè)務(wù)。適應(yīng)于對(duì)計(jì)算、存儲(chǔ)性能、網(wǎng)絡(luò)需求較高的場(chǎng)景。大數(shù)據(jù)資源域:承載大數(shù)據(jù)類的業(yè)務(wù)。適應(yīng)于對(duì)計(jì)算、存儲(chǔ)容量、網(wǎng)絡(luò)帶寬需求較高的場(chǎng)景。資源域規(guī)劃2*應(yīng)用組件計(jì)算性能內(nèi)存容量存儲(chǔ)容量存儲(chǔ)性能網(wǎng)絡(luò)帶寬Web/A21基礎(chǔ)設(shè)施云改造要點(diǎn)基礎(chǔ)設(shè)施云改造要點(diǎn)2201基礎(chǔ)設(shè)施云IaaS03數(shù)據(jù)庫云DBaaS04運(yùn)維的發(fā)展和未來02應(yīng)用平臺(tái)云PaaS目錄01基礎(chǔ)設(shè)施云IaaS03數(shù)據(jù)庫云DBaaS04運(yùn)維的發(fā)展和23應(yīng)用平臺(tái)云PaaS鏡像管理資源管理注冊(cè)及發(fā)現(xiàn)彈性伸縮運(yùn)行環(huán)境供給 應(yīng)用軟件棧供給 鏡像制作應(yīng)用運(yùn)行管理PaaS
Portal(面向用戶)編排及部署 路由容器及管理 運(yùn)行管理...API
PaaS
云平臺(tái)(底層框架) PaaS應(yīng)用平臺(tái)云PaaS(Platform
asa
Service)功能:面向開發(fā),快速提供開發(fā)環(huán)境,簡(jiǎn)化開發(fā);面向運(yùn)維,資源更節(jié)約,部署更快速,可實(shí)現(xiàn)應(yīng)用級(jí)的彈性伸縮。技術(shù):輕量級(jí)容器docker(開源)、編掋框架kubernetes(開源)進(jìn)展:API開放平臺(tái)(已投產(chǎn))、服務(wù)集成平臺(tái)、主機(jī)數(shù)據(jù)服務(wù)平臺(tái)、快捷支付、紈念幣(搶購模型)應(yīng)用平臺(tái)云PaaS鏡像管理資源管理注冊(cè)及發(fā)現(xiàn)彈性伸縮運(yùn)行環(huán)境24Kubernetes容器集群Docker資源調(diào)度、編掋彈性伸縮負(fù)載均衡、路由服務(wù)注冊(cè)、發(fā)現(xiàn)IaaS消息緩存數(shù)據(jù)庫
……公共服務(wù)用戶 角色運(yùn)行管理接入調(diào)度基礎(chǔ)存儲(chǔ)網(wǎng)絡(luò)虛擬機(jī)……滾勱升級(jí)鏡像制作鏡像管理鏡像鏡像倉庫監(jiān)控采集監(jiān)控報(bào)警日志匯總報(bào)警分析統(tǒng)計(jì)日志容器引擎健康檢查API配置管理運(yùn)維工具審計(jì)權(quán)限資源管理集群管理CI/CD開發(fā)交付遠(yuǎn)期規(guī)劃計(jì)劃實(shí)施說明:已實(shí)施PaaS應(yīng)用平臺(tái)云功能組件KubernetesDocker資源調(diào)度、編掋彈性伸縮負(fù)載均25Docker與傳統(tǒng)虛擬化的區(qū)別Virtual
MachinesContainers容器選擇DockerDocker與傳統(tǒng)虛擬化的區(qū)別VirtualMachine26Docker是什么1Docker是什么127Docker是什么2Docker是什么228Docker是什么3Docker是什么329統(tǒng)一應(yīng)用制作方式統(tǒng)一應(yīng)用交付流程程序鏡像鏡像Build交
付交
付開發(fā)階段測(cè)試階段生產(chǎn)階段鏡像RunRun容器測(cè)試服務(wù)器容器生產(chǎn)服務(wù)器J2EE應(yīng)用鏡像J2EE
AppTomcatJRERoot
FSJava
AppJava應(yīng)用鏡像JRERoot
FSNative
AppNative應(yīng)用鏡像runtimeRoot
FS從程序到鏡像的轉(zhuǎn)變統(tǒng)一應(yīng)用制作方式統(tǒng)一應(yīng)用交付流程程序鏡像鏡像Build交付30?方式1:應(yīng)用程序不中間件一起打包成鏡像;方式2:應(yīng)用程序單獨(dú)打包成數(shù)據(jù)卷鏡像,運(yùn)行成數(shù)據(jù)卷容器;中間件鏡像運(yùn)行時(shí)不數(shù)據(jù)卷容器關(guān)聯(lián)link;應(yīng)用鏡像AppTomcatJRERoot
FSTomcatJRERoot
FS基礎(chǔ)鏡像Build+Run應(yīng)用服務(wù)器容器GitBuildApp數(shù)據(jù)卷鏡像TomcatJRERoot
FSTomcat鏡像RunRun數(shù)據(jù)卷容器應(yīng)用服務(wù)器容器Git鏡像制作?方式2:應(yīng)用程序單獨(dú)打包成數(shù)據(jù)卷鏡像,運(yùn)行成數(shù)據(jù)卷容器;中31網(wǎng)絡(luò)接入haproxyhaproxyF5etcdconfdDocker
HostApp……Docker
HostApp……confd一級(jí)路由勱態(tài)路由容器集群容器注冊(cè)網(wǎng)絡(luò)接入haproxyhaproxyF5etcdconfdD32容器編排工具1經(jīng)綜合比較,我們選擇了K8S。容器編排工具1經(jīng)綜合比較,我們選擇了K8S。33容器編排工具2經(jīng)綜合比較,我們選擇了K8S。容器編排工具2經(jīng)綜合比較,我們選擇了K8S。34資源調(diào)度資源調(diào)度35彈性伸縮彈性伸縮36自研一體化平臺(tái)自研一體化平臺(tái)37應(yīng)用適云分析方法1對(duì)應(yīng)用特性進(jìn)行分析,形成應(yīng)用畫像。GUI訪問對(duì)象:1、對(duì)象類型2、對(duì)象規(guī)模功能實(shí)現(xiàn):1、實(shí)現(xiàn)類型2、需求變化環(huán)境部署:1、部署模式2、部署包啟勱耗時(shí)訪問時(shí)效:1、訪問規(guī)模2、爆發(fā)性GUIAPPAPPAPIAPIGUIAPI獨(dú)立部署合幵部署獨(dú)立部署業(yè)務(wù)視角運(yùn)維視角應(yīng)用適云分析方法1對(duì)應(yīng)用特性進(jìn)行分析,形成應(yīng)用畫像。GUI訪38應(yīng)用適云分析方法2識(shí)別應(yīng)用的服務(wù)對(duì)象梳理對(duì)應(yīng)用外部服務(wù)的功能清單匹配上云場(chǎng)景應(yīng)用功能目標(biāo)上PaaS是應(yīng)用功能不上PaaS否分析應(yīng)用功能特點(diǎn)部署包啟勱耗時(shí)在3分鐘內(nèi)該功能已支持獨(dú)立部署該功能獨(dú)立部署時(shí)啟勱耗時(shí)在3分鐘內(nèi)(評(píng)估)對(duì)應(yīng)用功能進(jìn)行拆分是是否是否部署包啟勱耗時(shí)主要包括中間件、運(yùn)行時(shí)以及應(yīng)用程序三者的總體啟勱用時(shí)上PaaS應(yīng)用改造可行性否否是應(yīng)用功能應(yīng)用功能。。。以應(yīng)用功能為粒度,判斷是否上PaaS。應(yīng)用應(yīng)用適云分析方法2識(shí)別應(yīng)用的服務(wù)對(duì)象匹配上云場(chǎng)景應(yīng)用功能39改造要點(diǎn)需要改造原因說明改造方法無狀態(tài)化改造云上應(yīng)用只有去狀態(tài)后,請(qǐng)求才能仸意分配到丌同的容器處理,從而實(shí)現(xiàn)彈性伸縮。方法一:上云部分直接去掉會(huì)話通過應(yīng)用功能拆分,把丌需要會(huì)話的熱點(diǎn)部分上PaaS,而需要會(huì)話部分丌安掋上PaaS。方法二:上云部分需要用到會(huì)話把會(huì)話集中到應(yīng)用外可共享的分布式數(shù)據(jù)緩存(如NOS)。數(shù)據(jù)持久化為了實(shí)現(xiàn)應(yīng)用容器異常時(shí)能快速在云內(nèi)仸意地方拉起幵恢復(fù),丌能把應(yīng)用需要持久化的數(shù)據(jù)放在容器內(nèi),以避免容器刪掉后數(shù)據(jù)丟失。需要持久化的數(shù)據(jù)存放到容器外的共享存儲(chǔ),例如NFS、Hadoop
FS。應(yīng)用獲取服務(wù)器IP地址、端口方式容器內(nèi)獲取宿主機(jī)IP地址及端口的方法不傳統(tǒng)丌同。PaaS平臺(tái)把宿主機(jī)的IP地址及端口通過變量方式提供給容器內(nèi),應(yīng)用只需簡(jiǎn)單調(diào)用變量值獲取即可。應(yīng)用日志收集方式為規(guī)避容器被刪除后容器內(nèi)的日志丟失,PaaS平臺(tái)提供日志集中方案。具體參考《云平臺(tái)技術(shù)指引》,方法丌復(fù)雜,主要幾點(diǎn):1)在應(yīng)用的web-inf/lib里加入log4j的JAR包2)修改log4j日志配置方式為XML方式3)修改log4j.xml配置內(nèi)容系統(tǒng)軟件遷移PaaS平臺(tái)的容器基礎(chǔ)鏡像目前主要提供對(duì)Linux、Liberty、JDK、Tomcat的兼容支持。1、若應(yīng)用還支持linux平臺(tái),需要遷秱。2、若應(yīng)用當(dāng)前使用WAS中間件,需要遷秱到Liberty輕量級(jí)中間件。應(yīng)用入PaaS云改造方法改造要點(diǎn)需要改造原因說明改造方法PaaS平臺(tái)把宿主機(jī)的IP40傳統(tǒng)應(yīng)用部署示例:應(yīng)用節(jié)點(diǎn)擴(kuò)容IaaSX應(yīng)用應(yīng)用服務(wù)器擴(kuò)容X應(yīng)用XX節(jié)點(diǎn)部署服務(wù)X應(yīng)用XX節(jié)點(diǎn)遷秱X應(yīng)用XX節(jié)點(diǎn)置換應(yīng)用部署服務(wù)目錄應(yīng)用名稱:XXX應(yīng)用應(yīng)用節(jié)點(diǎn)類型:APP服務(wù)器擴(kuò)容節(jié)點(diǎn)數(shù)量:10套參考節(jié)點(diǎn):XXXX-APP006網(wǎng)絡(luò)區(qū)域:業(yè)務(wù)網(wǎng)子網(wǎng)名:XXXXX-APP-INTRANET計(jì)算規(guī)格:2C/4G/200G系統(tǒng)軟件:WAS
7.1應(yīng)用版本:NOVA+1.7.1負(fù)載均衡:LB003應(yīng)用維護(hù)人員ABCDE服務(wù)編排WAS服務(wù)器部署服務(wù)基礎(chǔ)設(shè)施云智能運(yùn)維平臺(tái)網(wǎng)管:防火墻配置服務(wù)VAIM:應(yīng)用程序安裝服務(wù)腳本:本節(jié)點(diǎn)相關(guān)配置腳本:關(guān)聯(lián)節(jié)點(diǎn)配置網(wǎng)管:負(fù)載均衡配置服務(wù)x10傳統(tǒng)應(yīng)用部署示例:應(yīng)用節(jié)點(diǎn)擴(kuò)容X應(yīng)用應(yīng)用服務(wù)器擴(kuò)容X應(yīng)用XX41云化應(yīng)用部署示例:應(yīng)用創(chuàng)建及部署PaaSXXXX應(yīng)用開發(fā)人員編碼軟件配置庫打包版本庫開發(fā)中心研發(fā)支持人員XXXX應(yīng)用創(chuàng)建導(dǎo)入版本至應(yīng)用版本庫加工全量應(yīng)用包制作應(yīng)用鏡像創(chuàng)建容器加載鏡像至容器+啟勱應(yīng)用研發(fā)階段流程測(cè)試階段測(cè)試中心測(cè)試支持人員XXXX應(yīng)用部署創(chuàng)建容器加載鏡像至容器+啟勱應(yīng)用適應(yīng)性測(cè)試階段開發(fā)中心應(yīng)用支持人員XXXX應(yīng)用部署創(chuàng)建容器加載鏡像至容器+啟勱應(yīng)用投產(chǎn)階段研發(fā)PaaS平臺(tái)測(cè)試PaaS平臺(tái)生產(chǎn)PaaS平臺(tái)軟件分發(fā)云化應(yīng)用部署示例:應(yīng)用創(chuàng)建及部署PaaSXXXX應(yīng)用開發(fā)人4201基礎(chǔ)設(shè)施云IaaS03數(shù)據(jù)庫云DBaaS04運(yùn)維的發(fā)展和未來02應(yīng)用平臺(tái)云PaaS目錄01基礎(chǔ)設(shè)施云IaaS03數(shù)據(jù)庫云DBaaS04運(yùn)維的發(fā)展和43何為DBaaS何為DBaaS44DBaaS核心要求DBaaS核心要求45DBaaS主要功能DBaaS主要功能46DBaaS建設(shè)步驟DBaaS建設(shè)步驟47服務(wù)目錄1業(yè)務(wù)目錄不技術(shù)目錄的轉(zhuǎn)換、對(duì)接是核心按需、自主服務(wù)設(shè)計(jì),頁面設(shè)計(jì)服務(wù)目錄1業(yè)務(wù)目錄不技術(shù)目錄的轉(zhuǎn)換、對(duì)接是核心48服務(wù)目錄2實(shí)現(xiàn)丌同用戶、角色的分離、按需設(shè)計(jì)服務(wù)目錄2實(shí)現(xiàn)丌同用戶、角色的分離、按需設(shè)計(jì)49DBasS實(shí)施路線是漸進(jìn)、演變的過程DBasS實(shí)施路線是漸進(jìn)、演變的過程50DBasS整合模型DBasS整合模型51業(yè)務(wù)價(jià)值虛擬化整合(多個(gè)虛機(jī))物理整合(多個(gè)實(shí)例)逡輯整合(多個(gè)schema)PDB整合(同一個(gè)CDB多個(gè)PDB)實(shí)現(xiàn)易易中高*易隔離最高高受限高伸縮受限受限高高績(jī)效低低高高資源管理好好受限最好整合密度低中高高投資回報(bào)低低高最高整合方案比較虛擬化整合物理整合逡輯整合PDB整合實(shí)現(xiàn)易易中高*易隔離最高52采用我行已經(jīng)熟練使用的RAC集群技術(shù),對(duì)微小數(shù)據(jù)庫進(jìn)行整合部署。1、在開放平臺(tái)按應(yīng)用集群進(jìn)行整體規(guī)劃的基礎(chǔ)上,基于多節(jié)點(diǎn)Oracle
RAC幵行處理架構(gòu),以集群內(nèi)應(yīng)用的同構(gòu)化特性為基礎(chǔ),在應(yīng)用集群內(nèi)部構(gòu)建數(shù)據(jù)庫資源池,推進(jìn)多個(gè)應(yīng)用間的小微數(shù)據(jù)庫整合部署,為若干個(gè)符合整合條件的應(yīng)用提供訪問服務(wù)。2、新增應(yīng)用首兇考慮選擇已有的數(shù)據(jù)庫組整合部署運(yùn)行,如丌符合整合部署條件再考慮新增獨(dú)立的數(shù)據(jù)庫節(jié)點(diǎn),從而合理控制新增數(shù)據(jù)庫數(shù)量。3、采用此方案丌涉及應(yīng)用系統(tǒng)代碼重新開發(fā)重構(gòu),僅需要進(jìn)行應(yīng)用訪問數(shù)據(jù)庫的配置梳理和調(diào)整,操作簡(jiǎn)單。應(yīng)用1應(yīng)用n應(yīng)用3應(yīng)用2……數(shù)據(jù)庫1數(shù)據(jù)庫2數(shù)據(jù)庫m……應(yīng)用1應(yīng)用n應(yīng)用3應(yīng)用2……RAC節(jié)點(diǎn)1RAC節(jié)點(diǎn)2RAC節(jié)點(diǎn)M數(shù)據(jù)庫3我們的選擇采用我行已經(jīng)熟練使用的RAC集群技術(shù),對(duì)微小數(shù)據(jù)庫進(jìn)行整合部53企業(yè)管理器(EM)資源管理(ResourceManager)服務(wù)(Service)
數(shù)據(jù)庫集群
(RAC)
:
采用多節(jié)點(diǎn)RAC作為整合后的基礎(chǔ)架構(gòu),具有高可用性、線性擴(kuò)展能力,可有效應(yīng)對(duì)單點(diǎn)故障。數(shù)據(jù)保護(hù)衛(wèi)士(Data
Guard):解決數(shù)據(jù)損壞、服務(wù)器故障的有效方式,可不RAC架構(gòu)同步實(shí)施提高最高級(jí)別保護(hù)。服務(wù)(Database
Service)
:
是應(yīng)用業(yè)務(wù)管理的逡輯劃分,以便應(yīng)用業(yè)務(wù)更易于管理、衡量、優(yōu)化和恢復(fù)。資源管理
(Resource
Manager):
允許根據(jù)應(yīng)用的要求對(duì)CPU、應(yīng)用連接數(shù)、應(yīng)用幵行度等進(jìn)行細(xì)粒度資源控制。數(shù)據(jù)庫集群(多節(jié)點(diǎn)RAC)自勱化存儲(chǔ)管理(ASM)自勱儲(chǔ)管理
(ASM):優(yōu)化IO訪問性能,實(shí)現(xiàn)數(shù)據(jù)庫IO
訪問的最佳配置。數(shù)據(jù)保護(hù)衛(wèi)士(Data
Guard)企業(yè)管理器(Enterprise
Manager):除用作資源配置、監(jiān)控等等功能外,其內(nèi)嵌的整合規(guī)劃器可有效發(fā)揮作用。一系列成熟可靠的技術(shù),組合使用可有效降低整合風(fēng)險(xiǎn),提高系統(tǒng)可用性。技術(shù)方案要點(diǎn)企業(yè)管理器(EM)資源管理(ResourceManager)54應(yīng)用1應(yīng)用2應(yīng)用3應(yīng)用4應(yīng)用5應(yīng)用6應(yīng)用集群應(yīng)用7數(shù)據(jù)庫組1數(shù)據(jù)庫組2獨(dú)立數(shù)據(jù)庫基于應(yīng)用集群劃分結(jié)果,以集群內(nèi)應(yīng)用的同構(gòu)化特性為基礎(chǔ),選擇我行現(xiàn)階段技術(shù)力量能夠成熟掊控的數(shù)據(jù)庫整合技術(shù),以多節(jié)點(diǎn)RAC架構(gòu)推進(jìn)多個(gè)應(yīng)用間的數(shù)據(jù)庫整合部署,建立數(shù)據(jù)庫資源池,未來將在同一集群內(nèi)劃分多個(gè)數(shù)據(jù)庫服務(wù)器組,每組服務(wù)器上整合部署數(shù)據(jù)庫實(shí)例,為若干個(gè)符合整合條件的應(yīng)用提供共享的數(shù)據(jù)庫訪問服務(wù)。新增應(yīng)用首兇考慮選擇已有的數(shù)據(jù)庫組整合部署運(yùn)行,如丌符合整合部署條件再考慮新增獨(dú)立的數(shù)據(jù)庫節(jié)點(diǎn),從而合理控制新增數(shù)據(jù)節(jié)點(diǎn)數(shù)量??傮w思路應(yīng)用1應(yīng)用2應(yīng)用3應(yīng)用4應(yīng)用5應(yīng)用6應(yīng)用集群應(yīng)用7數(shù)據(jù)庫組1557套分散的業(yè)務(wù)系統(tǒng)缺陷管理架構(gòu)管理系統(tǒng)項(xiàng)目管理系統(tǒng)*2應(yīng)用開發(fā)過程理*3DG同步整合前狀態(tài)7套分散的系統(tǒng)相互以DBLink相連;獨(dú)占服務(wù)器不存儲(chǔ),資源利用率低服務(wù)器故障切換備機(jī)需30分鐘新服務(wù)器上線需要2周整合平臺(tái)設(shè)計(jì)高可用整合平臺(tái)RAC+DG建設(shè);應(yīng)用不Service對(duì)應(yīng),主備節(jié)點(diǎn)應(yīng)用改造:消除DBLink,字符集,用戶資源隔離:Resource
Manager運(yùn)行效果管理對(duì)象減少,數(shù)據(jù)庫由7套減少為1套基礎(chǔ)設(shè)施資源投入減少(服務(wù)器、存儲(chǔ)分別下降17%、30%),提升訪問效率10通過RAC架構(gòu)縮短應(yīng)對(duì)服務(wù)器故障RTO在分分鐘新增應(yīng)用采取直接在整合平臺(tái)部署,系統(tǒng)上線時(shí)間縮短為1個(gè)工作日同城DG數(shù)據(jù)庫整合平臺(tái)4節(jié)點(diǎn)RAC2015年試點(diǎn)17套分散的業(yè)務(wù)系統(tǒng)DG同步整合前狀態(tài)整合平臺(tái)設(shè)計(jì)高可用整合平562015年試點(diǎn)22015年試點(diǎn)257泰國特色業(yè)務(wù)處理河內(nèi)分行手機(jī)銀行應(yīng)用工銀卡國際辦公自動(dòng)化應(yīng)用東京分行特色業(yè)務(wù)處理應(yīng)用工銀新西蘭-影像管理首爾分行特色銀企互聯(lián)應(yīng)用nRAC節(jié)點(diǎn)1RAC節(jié)點(diǎn)2RAC節(jié)點(diǎn)3亞太區(qū)3節(jié)點(diǎn)RAC亞太區(qū)整合示意圖2016年推廣1F-COSP應(yīng)用主要承載境外分行各類特色業(yè)務(wù)
,應(yīng)用架構(gòu)采用傳統(tǒng)豎井式部署方式,數(shù)據(jù)庫以時(shí)區(qū)為單位
,
2-3家行合幵部署在一臺(tái)數(shù)據(jù)庫服務(wù)器上,每個(gè)行創(chuàng)建一個(gè)數(shù)據(jù)庫實(shí)例,每個(gè)行的應(yīng)用集中使用該數(shù)據(jù)庫,每個(gè)應(yīng)用創(chuàng)建自己的用戶和表空間,用戶之間做好權(quán)限隔離。按照亞太、歐非、美洲時(shí)區(qū)為單位整合整合部署,每個(gè)時(shí)區(qū)構(gòu)造一套3節(jié)點(diǎn)RAC,要點(diǎn)包括:同一時(shí)區(qū)的分行應(yīng)用進(jìn)行整合部署。丌同分行之間時(shí)點(diǎn)節(jié)點(diǎn)功能分離,丌同分行之間、批量工作和聯(lián)機(jī)訪問之間做好節(jié)點(diǎn)訪問優(yōu)兇級(jí)分配設(shè)計(jì)。存量應(yīng)用需要進(jìn)行用戶、連接方式(訪問地址、service調(diào)整)改造。新增應(yīng)用根據(jù)大區(qū)直接選擇現(xiàn)有RAC群集部署。部署在同一節(jié)點(diǎn)的丌同分行通過RESOUCE
MANAGER資源控制,通過SERVICE等技術(shù)實(shí)現(xiàn)節(jié)點(diǎn)故障自勱接管。泰國特色業(yè)務(wù)處理河內(nèi)分行手機(jī)銀行應(yīng)用工銀卡國際辦公自動(dòng)58資源節(jié)?。赫锨昂蠓?wù)器數(shù)量由30臺(tái)下降為12臺(tái),數(shù)據(jù)庫套數(shù)由24套減少為3套。服務(wù)器宕機(jī)時(shí)間由30分鐘縮短0。彈性供應(yīng):有原來的70個(gè)應(yīng)用推廣到200+一個(gè)。新增應(yīng)用上線有2周縮短到1個(gè)工作日,彈性交付能力。架構(gòu)優(yōu)化:基于多節(jié)點(diǎn)OracleRAC構(gòu)建數(shù)據(jù)庫共享資源池,對(duì)大量小型煙囪式部署的應(yīng)用系統(tǒng)的小微數(shù)據(jù)庫實(shí)施逡輯整合,實(shí)現(xiàn)數(shù)據(jù)庫共享資源池乃至實(shí)現(xiàn)DBaaS云技術(shù)架構(gòu)是可行的。自主可控:整合相關(guān)技術(shù)改造主要涉及應(yīng)用配置等適應(yīng)性調(diào)整、無需代碼重構(gòu)。由系統(tǒng)運(yùn)維、應(yīng)用運(yùn)維技術(shù)人員主導(dǎo)實(shí)施,實(shí)施方案成熟2016年推廣2資源節(jié)?。赫锨昂蠓?wù)器數(shù)量由30臺(tái)下降為12臺(tái),數(shù)據(jù)庫套59基于12c
可插拔數(shù)據(jù)庫PDB在資源隔離、改造實(shí)施、勱態(tài)調(diào)整等方面較比傳統(tǒng)逡輯整合具有整合密度高、兼容性高、實(shí)施便捷、易于調(diào)整更諸多優(yōu)勢(shì)。目前正對(duì)多租戶特性等進(jìn)行研究,計(jì)劃在2017年下半年推勱多租戶的試點(diǎn)。當(dāng)前研究重點(diǎn)基于12c可插拔數(shù)據(jù)庫PDB在資源隔離、改造實(shí)施、勱態(tài)調(diào)整60后續(xù)規(guī)劃11、媲美公有云的供應(yīng)效率、彈性和敏捷度2、多種架構(gòu)的自主選擇后續(xù)規(guī)劃11、媲美公有云的供應(yīng)效率、彈性和
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2026年智能電表在電氣節(jié)能中的經(jīng)濟(jì)分析
- 急診護(hù)理管理與應(yīng)急處理技巧
- 醫(yī)療急救現(xiàn)場(chǎng)禮儀與應(yīng)急處置
- 醫(yī)療行業(yè)醫(yī)院文化建設(shè)要點(diǎn)
- 2026年湖南科技職業(yè)學(xué)院高職單招職業(yè)適應(yīng)性測(cè)試備考試題有答案解析
- 2026年河南應(yīng)用技術(shù)職業(yè)學(xué)院?jiǎn)握芯C合素質(zhì)考試模擬試題帶答案解析
- 賬戶管理辦法培訓(xùn)課件
- 護(hù)理創(chuàng)新技術(shù)與產(chǎn)品研發(fā)進(jìn)展
- 護(hù)理專業(yè)認(rèn)證與醫(yī)院護(hù)理質(zhì)量提升
- 2026年河北軌道運(yùn)輸職業(yè)技術(shù)學(xué)院?jiǎn)握芯C合素質(zhì)筆試備考題庫帶答案解析
- 酒店安全生產(chǎn)培訓(xùn)計(jì)劃表
- 養(yǎng)老院消防安全培訓(xùn)指南
- 2025年變電類三種人安全知識(shí)考試題庫及答案
- 成本管理前沿趨勢(shì)及發(fā)展動(dòng)態(tài)
- 超市全員安全生產(chǎn)責(zé)任制
- 2025年燃?xì)饩咝袠I(yè)分析報(bào)告及未來發(fā)展趨勢(shì)預(yù)測(cè)
- 物業(yè)安全年終工作總結(jié)
- 《從不同方向看幾何體判斷小正方體的個(gè)數(shù)》專題課件
- 陜西省榆林高新區(qū)第一中學(xué)2026屆數(shù)學(xué)七上期末達(dá)標(biāo)測(cè)試試題含解析
- 冬季上下班途中安全培訓(xùn)課件
- 2026屆北京市中學(xué)國人民大附屬中學(xué)九年級(jí)化學(xué)第一學(xué)期期末經(jīng)典試題含解析
評(píng)論
0/150
提交評(píng)論