版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、HCNP-CLOUDCOSM實驗指導(dǎo)手冊1目錄 HYPERLINK l _bookmark0 實驗環(huán)境介紹4 HYPERLINK l _bookmark1 關(guān)于本課程4 HYPERLINK l _bookmark2 組網(wǎng)拓?fù)? HYPERLINK l _bookmark3 設(shè)備參數(shù)描述4 HYPERLINK l _bookmark4 配置 FusionSphere OpenStack(可選)5 HYPERLINK l _bookmark5 實驗?zāi)繕?biāo)5 HYPERLINK l _bookmark6 實驗準(zhǔn)備5 HYPERLINK l _bookmark7 配置思路5 HYPERLINK l _b
2、ookmark8 配置步驟5 HYPERLINK l _bookmark9 配置網(wǎng)絡(luò)5 HYPERLINK l _bookmark10 配置系統(tǒng)默認(rèn)網(wǎng)關(guān)11 HYPERLINK l _bookmark11 配置External OM 平面反向代理配置12 HYPERLINK l _bookmark12 配置磁盤12 HYPERLINK l _bookmark13 配置域名14 HYPERLINK l _bookmark14 配置OpenStack(Glance/Cinder 等各組件)15 HYPERLINK l _bookmark15 結(jié)果驗證20 HYPERLINK l _bookmark
3、16 配置對接虛擬化環(huán)境21 HYPERLINK l _bookmark17 實驗?zāi)繕?biāo)21 HYPERLINK l _bookmark18 實驗準(zhǔn)備21 HYPERLINK l _bookmark19 配置思路21 HYPERLINK l _bookmark20 配置步驟21 HYPERLINK l _bookmark21 創(chuàng)建FusionCompute VRM21 HYPERLINK l _bookmark22 安裝并配置FusionStorage30 HYPERLINK l _bookmark23 接入FusionCompute 資源池49 HYPERLINK l _bookmark25
4、結(jié)果驗證53 HYPERLINK l _bookmark26 安裝 FusionSphere OpenStack OM54 HYPERLINK l _bookmark27 實驗?zāi)繕?biāo)54 HYPERLINK l _bookmark28 實驗準(zhǔn)備54 HYPERLINK l _bookmark29 配置思路54 HYPERLINK l _bookmark30 配置步驟54 HYPERLINK l _bookmark31 安裝FusionSphere OpenStack OM 虛擬機(jī)54 HYPERLINK l _bookmark32 配置資源對接56 HYPERLINK l _bookmark33
5、 結(jié)果驗證56 HYPERLINK l _bookmark34 FusionSphere OpenStack 操作維護(hù)57 HYPERLINK l _bookmark35 實驗?zāi)繕?biāo)57 HYPERLINK l _bookmark36 實驗準(zhǔn)備57 HYPERLINK l _bookmark37 配置步驟57 HYPERLINK l _bookmark38 資源池配置57 HYPERLINK l _bookmark39 鏡像和規(guī)格配置61 HYPERLINK l _bookmark40 資源管理(計算、存儲、網(wǎng)絡(luò))(可選) 71 HYPERLINK l _bookmark41 結(jié)果驗證75 HY
6、PERLINK l _bookmark42 ManageOne ServiceCenter 安裝76 HYPERLINK l _bookmark43 實驗?zāi)繕?biāo)76 HYPERLINK l _bookmark44 實驗準(zhǔn)備76 HYPERLINK l _bookmark45 配置思路76 HYPERLINK l _bookmark46 配置步驟76 HYPERLINK l _bookmark47 安裝ServiceCenter(CPS)76 HYPERLINK l _bookmark48 配置ServiceCenter78 HYPERLINK l _bookmark49 接入云資源池80 HYP
7、ERLINK l _bookmark50 結(jié)果驗證82 HYPERLINK l _bookmark51 ManageOne ServiceCenter 服務(wù)管理與云服務(wù)發(fā)放83 HYPERLINK l _bookmark52 實驗?zāi)繕?biāo)83 HYPERLINK l _bookmark53 實驗準(zhǔn)備83 HYPERLINK l _bookmark54 配置思路83 HYPERLINK l _bookmark55 配置步驟83 HYPERLINK l _bookmark56 創(chuàng)建組織83 HYPERLINK l _bookmark57 創(chuàng)建VDC85 HYPERLINK l _bookmark58
8、服務(wù)目錄創(chuàng)建89 HYPERLINK l _bookmark59 外部網(wǎng)絡(luò)關(guān)聯(lián)90 HYPERLINK l _bookmark60 創(chuàng)建VPC 并配置路由96 HYPERLINK l _bookmark61 云主機(jī)服務(wù)98 HYPERLINK l _bookmark62 云磁盤服務(wù)107 HYPERLINK l _bookmark63 彈性 IP 服務(wù)111 HYPERLINK l _bookmark64 結(jié)果驗證116 HYPERLINK l _bookmark65 ManageOne OperationCenter 安裝117 HYPERLINK l _bookmark66 實驗?zāi)繕?biāo)117
9、 HYPERLINK l _bookmark67 實驗準(zhǔn)備117 HYPERLINK l _bookmark68 配置思路117 HYPERLINK l _bookmark69 配置步驟117 HYPERLINK l _bookmark70 安裝OperationCenter(虛擬機(jī))117 HYPERLINK l _bookmark71 配置對接(OpenStackFCSC)124 HYPERLINK l _bookmark72 結(jié)果驗證139 HYPERLINK l _bookmark73 ManageOne OC 日常操作(可選)140 HYPERLINK l _bookmark74 實
10、驗?zāi)繕?biāo)140 HYPERLINK l _bookmark75 實驗準(zhǔn)備140 HYPERLINK l _bookmark76 配置思路140 HYPERLINK l _bookmark77 配置步驟140 HYPERLINK l _bookmark78 性能監(jiān)控140 HYPERLINK l _bookmark79 告警管理142 HYPERLINK l _bookmark80 資源管理146 HYPERLINK l _bookmark81 拓?fù)鋵?dǎo)航149 HYPERLINK l _bookmark82 報表管理149 HYPERLINK l _bookmark83 容量監(jiān)控150 HYPER
11、LINK l _bookmark84 結(jié)果驗證151 1實驗環(huán)境介紹關(guān)于本課程本課程介紹基于開放的 OpenStack 架構(gòu)的華為 FusionSphere 云操作系統(tǒng)解決方案。組網(wǎng)拓?fù)渖蠄D為本實驗的拓?fù)鋱D。具體組件介紹請參考相關(guān)產(chǎn)品文檔。設(shè)備參數(shù)描述具體的設(shè)備參數(shù)請參考實際的組網(wǎng)場景。 2配置 FusionSphere OpenStack(可選)實驗?zāi)繕?biāo)完成 FusionSphere OpenStack 的初始配置。實驗準(zhǔn)備已完成所有主機(jī)的安裝。已完成 FusionSphere OpenStack 的安裝部署。已通過反向代理 IP 地址登錄 FusionSphere OpenStack 的安
12、裝界面。配置思路配置網(wǎng)絡(luò)配置系統(tǒng)默認(rèn)網(wǎng)關(guān)配置 External OM 平面反向代理配置配置磁盤配置 OpenStack 各組件配置步驟配置網(wǎng)絡(luò)前提條件已完成所有主機(jī)的安裝。已完成 FusionSphere OpenStack 的安裝部署。已通過反向代理 IP 地址登錄 FusionSphere OpenStack 安裝界面。通過反向代理 IP 地址登錄 FusionSphere OpenStack 安裝部署界面時,需確保已在安裝階段正確配置了反向代理。登錄地址格式為“https:/反向代理 IP 地址:8890”。如果沒有配置反向代理,可使用 HYPERLINK /hdx/pages/DOC1
13、000262725YZF0919M/02/DOC1000262725YZF0919M/02/resources/06_stack/install/it_63_23_000008.html 安裝 FusionSphere OpenStack 階段使用的本地 PC 通過“2:8890”登錄。網(wǎng)口映射配置.1 自動分組步驟 1在 FusionSphere Cloud Provisioning Service 界面,單擊“配置網(wǎng)絡(luò)”。進(jìn)入“配置網(wǎng)絡(luò)”界面。步驟 2在“配置網(wǎng)絡(luò)”界面,單擊“網(wǎng)口映射配置”。步驟 3在展開的“網(wǎng)口映射配置”中,單擊“自動分組”。彈出“正在執(zhí)行操作”、“操作成功,正在加載”
14、彈窗。網(wǎng)絡(luò)平面配置步驟 1在 FusionSphere Cloud Provisioning Service 界面,單擊“配置網(wǎng)絡(luò)”。進(jìn)入“配置網(wǎng)絡(luò)”界面。步驟 2在“配置網(wǎng)絡(luò)”界面,單擊“網(wǎng)絡(luò)平面配置”。步驟 3單擊 external_api 網(wǎng)絡(luò)后面的。步驟 4根據(jù)規(guī)劃修改 External API 平面的“VLAN ID”,并單擊“提交”。(External API 用于與云用戶進(jìn)行交互,與后續(xù)的 ServiceCenter 所處同一個 VLAN 中)步驟 5單擊 external_om 網(wǎng)絡(luò)后面的。步驟 6修改 external_om 對話框中的參數(shù)。External OM 網(wǎng)絡(luò)用于管
15、理OpenStack 管理虛擬機(jī)集群例如 FusionSphere OpenStack OM, FSM 虛擬機(jī)等,與 External API 所屬不同 VLAN。開始 IP 地址結(jié)束 IP 地址:用于創(chuàng)建單節(jié)點管理虛擬機(jī)時自動分配的地址池,請確保該地址段無IP 沖突。步驟 7填寫完畢后,單擊“提交”。修改網(wǎng)絡(luò)時,應(yīng)確?!癶aproxy、apacheproxy、keystone、neutron-server、neutron- openvswitch-agent、neutron-dhcp-agent、CPS-server、CPS-client、network-server、network-cli
16、ent、gaussdb”這些組件的功能正常。檢查方法:選擇“運維系統(tǒng)檢查”, 選擇“初始安裝全量檢查”,勾選“組件狀態(tài)檢查”后單擊“執(zhí)行用例”,查看用例執(zhí)行結(jié)果,確保狀態(tài)異常組件中不包含上述組件。配置 Rabbitmq 服務(wù) IP 地址步驟 1在 FusionSphere Cloud Provisioning Service 界面,單擊“配置OpenStack”。進(jìn)入“配置OpenStack”界面。步驟 2單擊“Rabbitmq”,參照下圖執(zhí)行操作,配置 Rabbitmq 服務(wù) IP 地址。配置 Rabbitmq 在 External Base 或 External OM 平面的 IP 地址、
17、子網(wǎng)掩碼及網(wǎng)關(guān)。配置的 IP 地址需要在“網(wǎng)絡(luò)”頁面配置的 External Base 或 External OM 的 VLAN ID 所在的網(wǎng)絡(luò)平面內(nèi)。例如:步驟 3修改成功后,等待 5 分鐘,在已登錄的 FusionSphere OpenStack 安裝部署界面,選擇“運維 系統(tǒng)檢查 ”。步驟 4在“初始安裝全量檢查”頁簽,勾選“檢查 rabbitmq 服務(wù)狀態(tài)”,單擊“執(zhí)行用例”。步驟 5等待用例執(zhí)行結(jié)果。用例執(zhí)行成功,結(jié)束。用例執(zhí)行失敗,按照處理建議處理。配置 FNM 組件的 IP 地址FNM 是 FusionSphere OpenStack 中為管理員提供網(wǎng)絡(luò)運維能力的組件。在云數(shù)據(jù)
18、中心場景下,配套 FusionCompute 使用時,必須配置此 IP 地址,即 FNM 中“oam-network-server”組件的 IP 地址。FusionSphere OpenStack 和 FusionCompute 之間通過此 IP 地址互通,以提供運維能力,包括虛擬機(jī)端口流量統(tǒng)計、靜態(tài)檢查和連通性檢查,方便網(wǎng)絡(luò)故障的定位和分析。步驟 1單擊“Health”,參照下圖執(zhí)行操作,配置 FNM 組件的 IP 地址。配置“oam-network-server”組件在 External Base 或 External OM 平面的 IP 地址、子網(wǎng)掩碼及網(wǎng)關(guān)。配置的 IP 地址需要在“網(wǎng)
19、絡(luò)”頁面配置的 External OM 的 VLAN ID 所在的網(wǎng)絡(luò)平面內(nèi), 且不能和 Rabbitmq 配置的 IP 地址相同。例如:配置系統(tǒng)默認(rèn)網(wǎng)關(guān)操作場景當(dāng)系統(tǒng)中服務(wù)需要跨網(wǎng)段對接外部服務(wù),即 AZ 內(nèi)服務(wù)和外部服務(wù)之間已經(jīng)通過網(wǎng)關(guān)隔離時,需要配置默認(rèn)網(wǎng)關(guān)。例如,AZ 內(nèi)的日志和備份服務(wù)跨網(wǎng)段對接 AZ 外的 UDS 服務(wù), FusionSphere OpenStack 需要與 FusionCompute 主機(jī)互相通信等場景。前提條件已完成所有主機(jī)的安裝。已完成 FusionSphere OpenStack 的安裝部署。已通過反向代理 IP 地址登錄 FusionSphere Open
20、Stack 的安裝部署界面。操作步驟步驟 1在已登錄的 FusionSphere OpenStack 安裝部署界面,選擇“配置 系統(tǒng) ”。步驟 2在“系統(tǒng)”界面,單擊“主機(jī)網(wǎng)絡(luò)配置”,在展開的配置框中填寫默認(rèn)網(wǎng)關(guān)。步驟 3在“系統(tǒng)”界面最下方,單擊“提交”。配置 External OM 平面反向代理配置操作場景FusionCompute 需要通過 External OM 網(wǎng)絡(luò)訪問 FusionSphere OpenStack,所以需要配置External OM 平面的反向代理。只有 FusionSphere OpenStack 需要對接 FusionCompute 時才需要進(jìn)行如下配置。前提條
21、件已完成所有主機(jī)的安裝。已完成 FusionSphere OpenStack 的安裝部署。已通過反向代理 IP 地址登錄 FusionSphere OpenStack 的安裝部署界面。操作步驟步驟 1在已登錄的 FusionSphere OpenStack 安裝部署界面,選擇“配置系統(tǒng)”。步驟 2單擊“反向代理”區(qū)域框。并在展開的區(qū)域框中,單擊 。增加一個反向代理。步驟 3參照下圖執(zhí)行操作,配置 External OM 平面反向代理的信息。步驟 4配置完成后,在頁面下方單擊“提交”。步驟 5重新進(jìn)入“概要”頁面,觸發(fā)Keystone 自動對接。如果概要頁面沒有顯示對接失敗信息,則表示對接成功。
22、配置磁盤前提條件已完成所有主機(jī)的安裝。已完成 FusionSphere OpenStack 的安裝部署。操作步驟為每個管理組配置磁盤步驟 1在已登錄的 FusionSphere OpenStack 安裝部署界面,選擇“配置磁盤”。步驟 2參考下圖執(zhí)行操作,為管理組的角色配置磁盤。管理組的角色可以使用本地磁盤,也可以使用遠(yuǎn)端存儲即磁陣上的磁盤。根據(jù)業(yè)務(wù)需要,可以將管理組的部分角色部署在遠(yuǎn)端存儲上。若使用本地磁盤,需先點擊界面右上方的 “自動分組”或“手動分組”。 :選中一個管理組。 :將所有角色的“使用遠(yuǎn)端存儲”設(shè)置為 “關(guān)閉”。:默認(rèn)選擇CPSVG,如果需要使用單獨的卷組,則在此處選擇新創(chuàng)建的
23、卷組。若CPSVG 卷組容量不足,則需創(chuàng)建新的卷組進(jìn)行擴(kuò)容,可單擊卷組頁簽中操作后面的創(chuàng)建卷組,彈出“創(chuàng)建卷組”對話框,填寫卷組名稱,選擇磁盤。例如: :參照圖中進(jìn)行填寫。鼠標(biāo)停留在框中可顯示其實際大小,略大于實際大小即可。:單擊 ,在彈出的對話框中單擊“確定”。提交配置后,配置生效還需要等待一段時間,待提示配置已生效后則表示配置成功。配置域名步驟 1在已登錄的 FusionSphere OpenStack 安裝部署界面,選擇“配置系統(tǒng)”。步驟 2單擊“域名修改”。步驟 3在展開的“域名修改”框中,單擊 。彈出“域名修改”對話框。步驟 4在 “域名修改”對話框中,填寫相關(guān)參數(shù)。本地:格式為 a
24、z1.dc1. Keystone:格式為 :443Glance:格式為 :443OpenStack 可用域:az1.dc1DNS 域名:IP 地址:反向代理中 External API 所對應(yīng)的地址步驟 5單擊“提交”。配置 OpenStack(Glance/Cinder 等各組件)操作場景使用 FusionSphere OpenStack 安裝部署界面完成 FusionSphere OpenStack 安裝部署后,參考此章節(jié)配置 FusionSphere OpenStack 中的服務(wù)。前提條件已完成所有主機(jī)的安裝。已完成 FusionSphere OpenStack 的安裝部署。已完成 Ke
25、ystone 的對接。操作步驟.1 配置Glance步驟 1在已登錄的 FusionSphere OpenStack 安裝部署界面,選擇“配置OpenStack”,進(jìn)入配置 OpenStack 界面。步驟 2參照下圖執(zhí)行操作,配置 Glance 相關(guān)參數(shù)。 :選擇“Glance”。 :設(shè)置“Glance”參數(shù),默認(rèn)選擇 “swift”。 :單擊“提交”。配置 Neutron操作步驟步驟 1單擊“Neutron”,展開 Neutron 配置框。步驟 2參考圖片執(zhí)行操作,配置 Neutron 相關(guān)參數(shù)。 :單擊“Neutron”。 :設(shè)置開關(guān)類相關(guān)參數(shù)。 :單擊“配置”進(jìn)行創(chuàng)建 External
26、API 網(wǎng)絡(luò)。步驟 3配置 External API 網(wǎng)絡(luò)。VLAN ID:External API 所處 VLAN 的 ID,與 網(wǎng)絡(luò)平面配置填寫的 External API 的VLAN ID 相同。子網(wǎng)的開始IP 地址結(jié)束 IP 地址:該 IP 地址為后續(xù)部署 ServiceCenter 所用地址,若有多個 ServiceCenter 則需要容量較大的地址池。步驟 4單擊“提交”。配置 Nova.1 操作步驟步驟 1單擊“Nova”,展開 Nova 配置框。步驟 2參照圖片執(zhí)行操作,配置 Nova 相關(guān)參數(shù)。 :單擊“Nova”。 :設(shè)置 Nova 參數(shù),參照上圖。 :單擊“提交 ”。配置
27、 Ceilometer步驟 1單擊“Ceilometer”,展開Ceilometer 配置框。步驟 2參照圖片執(zhí)行操作,設(shè)置 Ceilometer 相關(guān)參數(shù)。 :單擊“Ceilometer”。 :設(shè)置“Ceilometer”參數(shù),參照上圖。 :單擊“提交”。結(jié)果驗證在“配置 OpenStack”處查看每個角色的配置情況。 3配置對接虛擬化環(huán)境實驗?zāi)繕?biāo)將 FusionCompute 作為虛擬化資源池接入到 FusionSphere OpenStack 中。將 FusionStorage 作為虛擬機(jī)存儲池接入到 FusionCompute 中。實驗準(zhǔn)備已登錄 FusionSphere OpenSt
28、ack 安裝部署界面。已在 FusionSphere OpenStack 安裝部署界面,“配置 OpenStack”頁面“Nova”區(qū)域框開啟“創(chuàng)建管理主機(jī)組開關(guān)”。已獲取 VRM 虛擬機(jī)模板的軟件包:FusionCompute V100R006C00U1_DC.zip。已獲取 FSM 虛擬機(jī)模板的軟件:FusionStorage_Block_V100R006C00_UVP.tar.gz。配置思路創(chuàng)建 FusionCompute VRM接入 FusionCompute 資源池創(chuàng)建 FusionStorage接入 FusionCompute 存儲集群配置步驟創(chuàng)建 FusionCompute VR
29、M創(chuàng)建 VRM步驟 1通過反向代理 IP 地址登錄 FusionSphere OpenStack 的安裝部署界面。登錄地址格式為 https:/FusionSphere OpenStack 反向代理 IP 地址:8890,例如“:8890”。默認(rèn)用戶:“admin”,初始密碼為“FusionSphere123”,密碼已經(jīng)在 PXE 方式安裝主機(jī)(推薦)首次登錄時更改。步驟 2上傳 VRM 虛擬機(jī)模板軟件包。 選擇 VRM 虛擬機(jī)模板的軟件包“FusionCompute V100R006C00U1_DC.zip”所在路徑。 單擊“上傳”。步驟 3虛擬機(jī)模板軟件包上傳成功后,單擊 。 設(shè)置 VRM
30、 虛擬機(jī)參數(shù):HA 模式選擇單節(jié)點模式“Single”。 選擇用于部署 VRM 虛擬機(jī)的主機(jī)。單擊“創(chuàng)建虛擬機(jī)”,創(chuàng)建 VRM 虛擬機(jī)大約需要 30 分鐘??蓡螕舨榭磩?chuàng)建進(jìn)度。配置對接 FusionSphere OpenStack請先完成對接 FusionSphere OpenStack,再添加主機(jī)。步驟 1在 FusionSphere CPS 界面,單擊“云化服務(wù) FusionCompute”。步驟 2在虛擬機(jī)列表找到創(chuàng)建好的 VRM 虛擬機(jī),單擊 FusionCompute 頁面鏈接,進(jìn)入FusionCompute 界面。步驟 3在 FusionCompute 界面,輸入賬號密碼。默認(rèn)賬號
31、為“admin”,默認(rèn)密碼為“HuaweiCLOUD8!”。首次登錄,需更改密碼,建議更改為“Huawei123”。步驟 4在 FusionCompute 上,選擇“系統(tǒng)管理第三方對接OpenStack”。步驟 5勾選“對接OpenStack”。步驟 6在“基本配置”中,填寫相關(guān)數(shù)據(jù):Keystone URL:必選參數(shù),Keystone 是 FusionSphere OpenStack 的權(quán)限管理服務(wù)。格式為:“https:/identity.Keystone 域名/identity/v2.0”。其中,“Keystone 域名”可通過以下方法查詢:登錄 FusionSphere OpenSta
32、ck 的安裝部署界面,在“配置系統(tǒng)域名修改”中單擊“修改”,查詢“Keystone”配置的域名。Keystone IP 地址:必選參數(shù)。登錄 FusionSphere OpenStack 的安裝部署界面,在“配置系統(tǒng)反向代理”中,查看 external_om 網(wǎng)絡(luò)平面的 system 代理服務(wù)的 IP 地址。Region Name: 必選參數(shù)。對接 FusionSphere OpenStack 的本地域名前綴,例如: az1.dc1。可通過以下方法查詢:登錄 FusionSphere OpenStack 的安裝部署界面,在“配置系統(tǒng)域名修改”中單擊“修改”,查詢“本地域名”中前兩個字段。用戶名
33、:此處用戶名為“neutron”。密碼:輸入“neutron”用戶關(guān)于 KeyStone 服務(wù)的密碼,默認(rèn)密碼為:“FusionSphere123”。MQ IP 地址:必選參數(shù)。在配置網(wǎng)絡(luò)信息時,設(shè)置的“rabbitmq”服務(wù)的IP 地址。登錄FusionSphere OpenStack 的安裝部署界面,在“配置 OpenStackRabbitmq”中, 查看其 IP 地址。MQ 密碼:必選參數(shù)。FusionSphere OpenStack 的 rabbit 帳戶的密碼,默認(rèn)密碼為“FusionSphere123”。Nova URL: 必選參數(shù)。格式為:“https:/compute.本地域名
34、:443/v2”。其中,“本地域名”可通過以下方法查詢:登錄 FusionSphere OpenStack 的安裝部署界面,在“配置 系統(tǒng)域名修改”中單擊“修改”,查詢“本地”配置的域名。Nova IP: 必選參數(shù)。登錄 FusionSphere OpenStack 的安裝部署界面,在“配置 系統(tǒng)反向代理”中,查看 external_om 網(wǎng)絡(luò)平面的 system 代理服務(wù)的 IP 地址。Neutron URL: 必選參數(shù)。格式為:“https:/network.本地域名:443/v2.0”。其中,“本地域名”可通過以下方法查詢:登錄 FusionSphere OpenStack 的安裝部署界
35、面,在“配置系統(tǒng)域名修改”中單擊“修改”,查詢“本地”配置的域名。Neutron IP: 必選參數(shù)。登錄 FusionSphere OpenStack 的安裝部署界面,在“配置 系統(tǒng)反向代理”中,查看 external_om 網(wǎng)絡(luò)平面的 system 代理服務(wù)的 IP 地址。步驟 7在填寫完畢后,單擊“保存”。配置 FusionCompute創(chuàng)建集群步驟 1使用 admin 賬戶登錄 FusionSphere OpenStack 環(huán)境中的 FusionCompute。步驟 2在上方導(dǎo)航欄,單擊“計算池”。進(jìn)入“計算池站點”界面。步驟 3在站點名稱下方導(dǎo)航欄中,單擊“入門創(chuàng)建集群”。跳轉(zhuǎn)到“創(chuàng)建
36、集群”界面。步驟 4在“基本信息”界面,填寫“集群名稱”,如“ManagementCluster”。其余選項保持默認(rèn)即可。步驟 5單擊“下一步”。 進(jìn)入“基本配置”界面。步驟 6所有選項保持默認(rèn)即可,單擊“下一步”。進(jìn)入“性能配置”界面。步驟 7所有選項保持默認(rèn)即可,單擊“下一步”。進(jìn)入“確認(rèn)信息”界面。步驟 8確認(rèn)信息無誤后,單擊“確定”。完成集群的創(chuàng)建。添加主機(jī)步驟 1使用 admin 賬戶登錄 FusionSphere OpenStack 環(huán)境中的 FusionCompute。步驟 2在上方導(dǎo)航欄,單擊“計算池”。進(jìn)入“計算池站點”界面。步驟 3右鍵單擊集群名稱,如“Management
37、Cluster”,選擇“添加主機(jī)”。 彈出添加主機(jī)對話框。步驟 4在“選擇位置”界面,選擇“ManagementCluster”,并單擊“下一步”。 進(jìn)入“主機(jī)配置”界面。步驟 5填寫主機(jī)的名稱和 IP 地址。如“CNA01”,“1”。CNA 已經(jīng)提前預(yù)裝完成,請查看 IP 地址表或聯(lián)系實驗老師獲取 CAN 所在IP 地址。步驟 6填寫完成后,單擊“下一步”。進(jìn)入“確認(rèn)信息”界面。步驟 7確認(rèn)無誤后,單擊“確定”。完成主機(jī)的添加。步驟 8重復(fù)步驟 3-步驟 7,完成對其余主機(jī)的添加。創(chuàng)建分布式虛擬交換機(jī)步驟 1使用 admin 賬戶登錄 FusionSphere OpenStack 環(huán)境中的
38、FusionCompute。步驟 2在上方導(dǎo)航欄,單擊“網(wǎng)絡(luò)池”。進(jìn)入“網(wǎng)絡(luò)池站點”界面。步驟 3單擊“入門”選項,單擊“創(chuàng)建分布式交換機(jī)”。跳轉(zhuǎn)到“創(chuàng)建分布式交換機(jī)”界面。步驟 4在“基本信息”界面,填寫基本信息。名稱:自定義,分布式交換機(jī)的名稱,如:physnet1。交換模式:普通模式。物理網(wǎng)絡(luò)名稱:FusionCompute 的分布式交換機(jī)對接FusionSphere OpenStack 物理網(wǎng)絡(luò)的名稱,如“physnet1”,可在 CPS 界面中“配置網(wǎng)絡(luò)物理網(wǎng)絡(luò)配置”中查詢。勾選“添加上行鏈路”與“添加 VLAN 池”。步驟 5單擊“下一步”。進(jìn)入“添加上行鏈路”界面。步驟 6點擊“
39、綁定網(wǎng)口”,將主機(jī)的管理口綁定為“Mgnt_Aggr”,并選擇“Mgnt_Aggr”作為上行鏈路口。步驟 7單擊“下一步”。進(jìn)入“添加 VLAN 池”。步驟 8單擊“添加 VLAN 池”,并填寫起始 VLAN ID 與結(jié)束 VLAN ID。如“1-4094”。步驟 9單擊“下一步”。 進(jìn)入“確認(rèn)信息”界面。步驟 10確認(rèn)無誤后,單擊“創(chuàng)建”。步驟 11完成分布式虛擬交換機(jī)安裝并配置 FusionStorage安裝 FSM 虛擬機(jī)本實驗使用的是 FusionStorage 云存儲,所以需要在 FusionSphere OpenStack 上安裝部署 FSM虛擬機(jī)。步驟 1使用 admin 用戶登
40、錄 FusionSphere OpenStack 管理界面。默認(rèn)密碼為“Huawei123”。步驟 2在左側(cè)導(dǎo)航欄,單擊“云化服務(wù)FusionStorage”。進(jìn)入 FusionStorage 界面。步驟 3單擊選擇 FSM 虛擬機(jī)模板軟件包“FusionStorage_Block_V100R006C00_UVP.tar.gz”所在路徑。步驟 4單擊“上傳”。步驟 5等待 FSM 包上傳完畢后,在“虛擬機(jī)列表”右側(cè),單擊“創(chuàng)建”。步驟 6在展開的虛擬機(jī)創(chuàng)建框中,進(jìn)行如下操作:選擇 HA 模式:單節(jié)點部署,選擇“single”。虛擬化類型:選擇“FusionCompute”。其余選項保持默認(rèn)即可
41、。步驟 7選擇用于部署 FSM 虛擬機(jī)的主機(jī)。步驟 8單擊“創(chuàng)建虛擬機(jī)”。步驟 9等待虛擬機(jī)創(chuàng)建完成。安裝 FSA步驟 1在 FusionSphere OpenStack 管理界面,單擊“云化服務(wù)FusionStorage”。步驟 2在虛擬機(jī)列表找到創(chuàng)建好的 FSM 虛擬機(jī),單擊 FusionStorage 頁面鏈接。進(jìn)入 FusionStorage 界面。步驟 3登錄 FusionStorage Block 自助維護(hù)平臺。默認(rèn)管理員賬戶為“admin”,默認(rèn)密碼為“HuaweiCLOUD8!”。首次登錄需要修改密碼,建議更改為“Huawei123”。步驟 4在上方導(dǎo)航欄,選擇“硬件服務(wù)器”。
42、進(jìn)入“硬件服務(wù)器”界面。步驟 5單擊。彈出對話框。步驟 6在“單機(jī)接入”對話框中,填寫相關(guān)參數(shù):管理 IP:即服務(wù)器的 CNA 的地址。請查看實驗拓?fù)鋱D或聯(lián)系實驗老師獲取。產(chǎn)品型號:請根據(jù)具體的實驗環(huán)境選擇型號。機(jī)柜:自定義即可。步驟 7單擊“確定”。完成單機(jī) CNA 的添加。步驟 8重復(fù)步驟 5-步驟 7,完成其他 CNA 的添加,只需加入 3 臺主機(jī)即可。步驟 9在添加 CNA 完畢后,單擊“安裝 FSA”。彈出對話框。步驟 10在“安裝 FSA選擇軟件包”中,單擊“選擇”。彈出對話框。步驟 11選擇“DSWareAgent.tar.gz”,并單擊“添加”。步驟 12單擊“下一步”。進(jìn)入“
43、選擇服務(wù)器”界面。步驟 13單擊“選擇”。彈出對話框。步驟 14在列表中勾選服務(wù)器,單擊“添加”,返回“選擇服務(wù)器”界面。步驟 15單擊“下一步”。進(jìn)入“登錄參數(shù)配置”界面。步驟 16選擇“密碼認(rèn)證”,并填寫以下參數(shù):服務(wù)器登錄用戶名:gandalf密碼:HuaweiCLOUD8Root 密碼:服務(wù)器 CNA“root”用戶的密碼,如“HuaweiCLOUD8!”步驟 17單擊“安裝”。開始安裝 FSA,約耗時 5 分鐘。添加存儲接口本實驗使用的是 FusionStorage 云存儲,在添加存儲資源等操作之前需要在 FusionCompute 中為每個 CNA 節(jié)點配置對接 FusionSto
44、rage 存儲接口。步驟 1使用 admin 賬戶登錄 FusionSphere OpenStack 環(huán)境中的 FusionCompute。步驟 2選擇“計算池站點集群主機(jī)”,如“計算池siteManagementClusterDC_CNA01”。進(jìn)入主機(jī)“入門”界面。步驟 3單擊“配置系統(tǒng)接口”。進(jìn)入“系統(tǒng)接口”界面。步驟 4單擊“添加存儲接口”。 跳轉(zhuǎn)到“添加存儲接口”界面。步驟 5在“關(guān)聯(lián)網(wǎng)口”界面,選擇一個狀態(tài)為“連接”的網(wǎng)口,并單擊“下一步”。步驟 6在“連接設(shè)置”中,填寫相關(guān)參數(shù)。名稱:自定義。如“StoragePort”IP 地址:選擇環(huán)境中特定給存儲劃分的網(wǎng)段中一個無沖突的 I
45、P 地址,如“1”VLAN ID:存儲網(wǎng)段所在 VLAN,如“212”交換模式:選擇“Linux 子接口模式”其余選項保持默認(rèn)即可步驟 7單擊“下一步”。步驟 8確認(rèn)信息無誤后,單擊“添加”。步驟 9重復(fù)步驟 2-步驟 8,完成其他主機(jī)存儲接口的添加。FusionStorage 初始配置步驟 1使用 admin 用戶登錄 FusionSphere Opestack CPS 界面。步驟 2在左側(cè)導(dǎo)航欄,選擇“云化服務(wù)FusionStorage”。步驟 3在虛擬機(jī)列表找到創(chuàng)建好的 FSM 虛擬機(jī),單擊 FusionStorage 頁面鏈接,進(jìn)入FusionStorage 界面。步驟 4登錄 Fus
46、ionStorage Block 自助維護(hù)平臺,賬號為“admin”,密碼為“Huawei123”。步驟 5在上方導(dǎo)航欄,單擊“資源池”。彈出提示框。步驟 6單擊“配置向?qū)А?。進(jìn)入初始配置流程。步驟 7在“配置系統(tǒng)參數(shù)”界面,填寫如下參數(shù):性能監(jiān)控周期:30 分鐘存儲網(wǎng)絡(luò)類型:以太存儲網(wǎng)絡(luò):勾選“IP 區(qū)間/網(wǎng)段”,并填寫 IP 區(qū)間:此區(qū)間為 中存儲接口 IP 地址所在網(wǎng)段。步驟 8單擊“下一步”。進(jìn)入“創(chuàng)建控制集群”界面。步驟 9在界面上,進(jìn)行以下操作:填寫集群名稱:如 Cluster1:選擇元數(shù)據(jù)存放位置:獨立磁盤中的“SSD 盤”步驟 10單擊 “添加”。彈出對話框。步驟 11單擊來展
47、開顯示每臺服務(wù)器的磁盤情況。步驟 12查看完成后,在 槽位號上填寫可用的元數(shù)據(jù)存放位置。步驟 13單擊 “添加”。步驟 14單擊 “創(chuàng)建”。等待控制集群創(chuàng)建,耗時約 5 分鐘。步驟 15創(chuàng)建完成后,單擊 “下一步”。進(jìn)入“創(chuàng)建存儲池”界面。步驟 16在“創(chuàng)建存儲池”界面,填寫參數(shù)并選擇選項。名稱:自定義,如“StoragePool”副本數(shù):選擇“2(最大支持 96 塊磁盤)”安全級別:服務(wù)器級主存類型:SAS 盤緩存類型:SSD 盤緩存主存比:2%步驟 17單擊“添加”。進(jìn)入“添加服務(wù)器”界面。步驟 18勾選三個 CNA 所在節(jié)點,并單擊查看閑置硬盤以選擇主存盤槽位范圍以及緩存盤槽位范圍。步驟
48、 19單擊 “添加”。步驟 20單擊 “創(chuàng)建”。等待存儲池的創(chuàng)建。步驟 21單擊“下一步”。 進(jìn)入創(chuàng)建塊客戶端界面。步驟 22單擊“創(chuàng)建”。進(jìn)入“創(chuàng)建客戶端”界面。步驟 23勾選需要添加的服務(wù)器。步驟 24單擊“創(chuàng)建”。步驟 25單擊 “完成”。 完成 FusionStorage 的配置。添加 FusionCompute 存儲池步驟 1使用 admin 賬戶登錄 FusionSphere OpenStack 環(huán)境中的 FusionCompute。步驟 2在上方導(dǎo)航欄,單擊“存儲池站點存儲資源”。進(jìn)入存儲資源界面。步驟 3單擊“添加”。進(jìn)入“添加存儲資源”界面。步驟 4 “存儲類型資源”選擇最下
49、方的“FusionStorage”。步驟 5單擊“下一步”。 進(jìn)入“基本信息”界面。步驟 6填寫基本信息。名稱:存儲資源的名稱,如“FusionStorageDC”。管理 IP:即登錄到 FusionStorage Block 界面的 IP 地址??稍凇癋usionSphere OpenStack云化服務(wù)FusionStorage”中查看。步驟 7單擊“完成”。 完成存儲資源的添加。步驟 8在添加好的 FusionStorage 存儲資源所在行,單擊“更多關(guān)聯(lián)主機(jī)”。彈出“關(guān)聯(lián)主機(jī)”對話框。步驟 9勾選所有的主機(jī),并單擊“確定”。完成主機(jī)的關(guān)聯(lián)。步驟 10在上方導(dǎo)航欄選擇“存儲池存儲設(shè)備”,單
50、擊“掃描”。彈出對話框。步驟 11選擇集群中的所有主機(jī)進(jìn)行掃描。成功提交掃描數(shù)據(jù)存儲任務(wù)。步驟 12在右側(cè)任務(wù)欄顯示“掃描存儲設(shè)備”任務(wù)完成后,單擊“數(shù)據(jù)存儲”。步驟 13在數(shù)據(jù)存儲界面,單擊“虛擬化 SAN 存儲平面配置”。彈出對話框。步驟 14單擊“關(guān)閉”并“確定”,關(guān)閉虛擬化 SAN 存儲平面。步驟 15單擊“添加”。跳轉(zhuǎn)到“添加數(shù)據(jù)存儲”界面。步驟 16選擇相關(guān)選項。選擇“存儲資源類型”為 FusionStorage。存儲資源為之前添加過的“FusionStorageDC”。存儲設(shè)備為掃描出的“FusionStorage_0”。步驟 17單擊“下一步”。 進(jìn)入“基本信息”界面。步驟 1
51、8填寫數(shù)據(jù)存儲名稱,如“FusionStorageDC”。步驟 19單擊下一步。 進(jìn)入選擇主機(jī)界面。步驟 20勾選所有主機(jī)。步驟 21單擊“下一步”。 進(jìn)入“確認(rèn)信息”界面。步驟 22確認(rèn)無誤后,單擊“確定”。完成 FusionStorage 數(shù)據(jù)存儲的添加。創(chuàng)建對接 FusionSphere OpenStack 的用戶步驟 1登錄 FusionCompute 管理界面。步驟 2在上方導(dǎo)航欄,選擇“系統(tǒng)管理權(quán)限管理用戶管理”。步驟 3在用戶管理界面,單擊“添加用戶”。彈出“添加用戶”對話框。步驟 4在對話框中,選擇“接口對接用戶”,并填寫賬戶名與密碼。從屬角色中勾選“administraotr
52、”。步驟 5單擊“確定”。彈出對話框,顯示創(chuàng)建成功。接入 FusionCompute 資源池步驟 1在 FusionSphere OpenStack 安裝部署界面,選擇“配置資源池管理”。步驟 2在“資源池管理”頁面右側(cè)“新增資源池”區(qū)域框,單擊 FusionCompute 后的 。進(jìn)入“添加 FusionCompute 資源池”頁面。步驟 3參照下圖,配置 FusionCompute 相關(guān)參數(shù)。參數(shù)說明:FusionCompute 服務(wù) IP 地址:如果 VRM 單節(jié)點部署,則填 VRM 地址;如果 VRM 主備部署,則填寫填寫 VRM 浮動地址。如“1”。對接用戶名稱:默認(rèn)為角色為admi
53、nistrator 的接口用戶,如“fcsysman”。對接用戶密碼:接口用戶的密碼,由在 FusionCompute 上創(chuàng)建賬戶時自行設(shè)定,如“Huawei123”。VXLAN DVS 名稱:當(dāng)使用 VXLAN 網(wǎng)絡(luò)時所需的 DVS 的名稱,需與 FusionCompute 上的創(chuàng)建的 DVS 名稱保持一致,如“physnet”。如無,可關(guān)閉“VXLAN DVS 開關(guān)”。步驟 4單擊 。自動返回“資源池管理”頁面。完成資源池的配置。添加 FusionCompute 計算集群步驟 1單擊資源池區(qū)域新添加的 FusionCompute 資源池后面的 。進(jìn)入“集群管理”頁面。步驟 2單擊“計算集群
54、”區(qū)域的。進(jìn)入“添加計算集群”頁面。步驟 3在“配置參數(shù)”中設(shè)置“集群名稱”, 如下圖。參數(shù)說明:“FusionCompute 集群名稱”:填寫 .1 步驟 5 中的 FusionCompute 集群名稱。如 “ManagementCluster”。名稱一定要相同,否則會資源對接失敗??稍?“FusionCompute計算池站點”查看?!皏CPU 復(fù)用比”:設(shè)置待接入集群的 vCPU 的復(fù)用比,將計算資源實際能提供的 CPU 提供給更多虛擬機(jī)使用。建議配置為“3”。在“選擇主機(jī)”中選擇主機(jī),用于部署fc-nova-compute 角色。步驟 4單擊 。返回“集群管理”頁面。通過 編輯已接入的集
55、群信息,或通過 刪除已接入的集群。接入 FusionCompute 存儲集群步驟 1單擊“存儲集群”區(qū)域的 。進(jìn)入“添加存儲集群”頁面。步驟 2在“配置參數(shù)”中設(shè)置“可用分區(qū)”。名稱可自定義,需與后續(xù)在 FusionSphere OpenStack 管理控制臺頁面創(chuàng)建主機(jī)組時設(shè)置的可用分區(qū)名稱一致。注意盡量不要使用“az1.dc1”,可以使用如“az1.dc2”。步驟 3單擊“配置后端存儲”后的。彈出“配置后端存儲”對話框,如下圖所示。將“數(shù)據(jù)存儲名稱”設(shè)置為 FusionCompute 中對接的集群所使用的數(shù)據(jù)存儲的名稱,如“FusionStorageDC”。名稱一定要相同,否則會資源對接失
56、敗。在“通用配置”中設(shè)置“鏡像導(dǎo)出類型”,建議選擇“Glance”。步驟 4單擊“確認(rèn)”完成后端存儲的配置。步驟 5在“選擇主機(jī)”中選擇主機(jī),用于部署 cinder 組件。步驟 6單擊 。返回“集群管理”頁面。通過 編輯已接入的集群信息,或通過 刪除已接入的集群。結(jié)果驗證在資源池中查看 FusionCompute 與其計算集群和存儲集群。 4安裝 FusionSphere OpenStack OM實驗?zāi)繕?biāo)安裝 FusionSphere OpenStack OM 虛擬機(jī)并進(jìn)行相關(guān)配置。實驗準(zhǔn)備已完成 FusionSphere OpenStack 的安裝配置。已獲取第一個 AZ 內(nèi)第一個主機(jī)的管理
57、 IP 地址。已獲取登錄 FusionSphere OpenStack 安裝部署界面的反向代理 IP 地址。已獲取 FusionSphere OpenStack OM 軟件包“FusionSphere OpenStack V100R006C00_OM.zip”。配置思路安裝 FusionSphere OpenStack OM 虛擬機(jī)配置資源對接配置步驟安裝 FusionSphere OpenStack OM 虛擬機(jī)步驟 1通過反向代理 IP 地址登錄 FusionSphere OpenStack 的安裝部署界面。登錄地址格式為 https:/FusionSphere OpenStack 反向代
58、理 IP 地址:8890,例如“:8890”。默認(rèn)用戶:“admin”,密碼為“FusionSphere123”。步驟 2在左側(cè)導(dǎo)航欄選擇“運化服務(wù)FusionSphere OpenStack OM”。步驟 3在“FusionSphere OpenStack OM”界面,單擊,將“FusionSphere_OpenStack_V100R006C00_OM.zip”文件上傳。步驟 4上傳完畢后,在該界面的“虛擬機(jī)列表”右側(cè),單擊 ,進(jìn)行虛擬機(jī)的創(chuàng)建。步驟 5參照下圖,設(shè)置 FusionSphere OpenStack OM 虛擬機(jī)參數(shù)的設(shè)置。參數(shù)說明:應(yīng)用場景:選擇 FusionSphere。類
59、型:選擇AllinOne OM。HA 模式:選擇單節(jié)點。管理規(guī)模:選擇需要管理的虛擬機(jī)規(guī)模。CPU 綁核:選擇虛擬機(jī)的 vCPU 是否綁定服務(wù)器的CPU。級聯(lián)類型:選擇 Standalone。步驟 6選擇部署 FusionSphere OpenStack OM 虛擬機(jī)的主機(jī)。步驟 7單擊“創(chuàng)建虛擬機(jī)”。安裝過程耗時約 35 分鐘,當(dāng) FusionSphere OpenStack OM 通過 External API 網(wǎng)絡(luò) IP 可以登錄時,表示安裝成功。配置資源對接步驟 1通過反向代理 IP 地址登錄 FusionSphere OpenStack 的安裝部署界面。登錄地址格式為 https:/
60、FusionSphere OpenStack 反向代理 IP 地址:8890,例如“:8890”。步驟 2選擇“云化服務(wù)FusionSphere OpenStack OM”。進(jìn)入“FusionSphere OpenStack OM”頁面。步驟 3在 FusionSphere OpenStack OM 虛擬機(jī)所在區(qū)域,單擊“對接 Keystone”對應(yīng)的,配置 FusionSphere OpenStack OM 和 FusionSphere OpenStack 的對接。結(jié)果驗證能夠通過 IP 地址成功登陸 FusionSphere OpenStack 管理控制臺。 5FusionSphere O
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2026年品牌營銷策劃跑腿品牌便捷性營銷調(diào)研
- 2026年會計基礎(chǔ)與財務(wù)報表練習(xí)集
- 2026年礦山安全生產(chǎn)與B證考試專業(yè)知識點
- 2026年營銷策略師企業(yè)品牌建設(shè)與市場推廣試題集
- 2026年網(wǎng)絡(luò)通信協(xié)議原理與技術(shù)要點考題
- 2026年計算機(jī)編程技術(shù)能力測試與方案編制題
- 2026年成功者之路職業(yè)發(fā)展與實踐應(yīng)用題庫
- 2026年泉州輕工職業(yè)學(xué)院單招職業(yè)適應(yīng)性考試題庫附答案
- 2026年河南地礦職業(yè)學(xué)院單招職業(yè)技能測試題庫及答案1套
- 2026年基礎(chǔ)市場營銷知識初級認(rèn)證題庫
- 兒童口腔科主任解析兒童口腔保健
- 醫(yī)院開工第一課安全生產(chǎn)課件
- 西南交通大學(xué)本科畢業(yè)設(shè)計(論文)撰寫規(guī)范
- 七上歷史期中??夹≌撐挠^點+范文
- 2025年高中語文必修上冊《赤壁賦》文言文對比閱讀訓(xùn)練含答案
- DB31-T 977-2023 戶外招牌設(shè)置技術(shù)規(guī)范
- 國家安全生產(chǎn)十五五規(guī)劃
- 醫(yī)院培訓(xùn)課件:《醫(yī)務(wù)人員不良執(zhí)業(yè)行為記分管理辦法》
- 電力施工流程七步驟電力
- 內(nèi)校員培訓(xùn)課件
- 污水處理廠設(shè)備安裝與調(diào)試方案
評論
0/150
提交評論