國家醫(yī)保信息平臺藥品和醫(yī)用耗材招采管理子系統(tǒng)

上線應(yīng)急預(yù)案為確保甘肅省醫(yī)療保障信息平臺藥品和醫(yī)用耗材招采管理子系統(tǒng)（以下簡稱“平臺”）于2022年8月22日順利上線，實現(xiàn)平臺風(fēng)險可控，穩(wěn)定運行，形成科學(xué)、有效、反應(yīng)迅速的應(yīng)急保障工作機制，提供“端對端，手把手”的運行保障服務(wù)，確保信息系統(tǒng)的實體安全、運行安全和數(shù)據(jù)安全，最大限度地減輕突發(fā)時間的危害，特別制定本工作方案。1.甘肅省平臺上線工作分工L1項目辦/指揮中心組長：令桂蓮副組長：楊微、顏子欽組員：趙振武、曲彥華工作職責(zé)：負責(zé)平臺上線的組織實施、工作協(xié)調(diào)和應(yīng)急處置工作，明確和發(fā)布信息系統(tǒng)應(yīng)急故障級別、決策處置方案。指揮中心下設(shè)指揮中心現(xiàn)場保障組。1.2指揮中心現(xiàn)場保障組組長：周劍鋒副組長：劉偉、王慧兵如判斷不影響業(yè)務(wù)使用、則繼續(xù)定位故障原因，通過重啟、復(fù)位等方式直至告警信息消失；如果判斷影響業(yè)務(wù)正常使用時，則通過倒換切換等方式緊急將故障設(shè)備退出服務(wù)，首先確保業(yè)務(wù)正常使用，后續(xù)再繼續(xù)處理。如果影響平臺業(yè)務(wù)使用的硬件故障修復(fù)時間超過1天，則應(yīng)第一時間發(fā)出通告,同時硬件工程師盡快通過更換硬件等方式恢復(fù)業(yè)務(wù)的使用O（2）操作系統(tǒng)或中間件或數(shù)據(jù)庫或大數(shù)據(jù)工具等故障:上線期間，相關(guān)工程師在駐場待命，發(fā)生故障時，集中診斷，并根據(jù)實際情況快速會診回復(fù)。3.7.依賴系統(tǒng)問題3.7.1.風(fēng)險描述當(dāng)出現(xiàn)業(yè)務(wù)中臺服務(wù)調(diào)用失敗、與公共服務(wù)系統(tǒng)集成失敗或與門戶集成失敗問題，導(dǎo)致用戶訪問報無權(quán)限、獲取用戶信息失敗、發(fā)送消息失敗、獲取基礎(chǔ)信息失敗等問題。3.7.2,防控措施在上線前，做好與依賴系統(tǒng)驗證工作，各依賴系統(tǒng)建設(shè)單位確保各自子系統(tǒng)運行正常。3.7.3.應(yīng)急預(yù)案緊急聯(lián)系依賴系統(tǒng)承建方及運維護人員進行排查，根據(jù)排查結(jié)果、編制處理單，進行問題修復(fù)，并告知修復(fù)時間，根據(jù)修復(fù)時間、由業(yè)務(wù)負責(zé)人做好疏導(dǎo)、解釋或延時處理等方式。8.公服無法訪問(單位網(wǎng)廳)8.1.風(fēng)險描述當(dāng)出現(xiàn)單位網(wǎng)廳無法訪問或無法登錄時，則新系統(tǒng)無法對外提供招采服務(wù)，其中分為如下幾種：(1)個別機器或用戶無法登錄；(2)全省市無法登錄。8.2.防控措施在上線前，結(jié)合壓力測試報告及功能測試報告，及時調(diào)整服務(wù)器負載，出現(xiàn)問題及時聯(lián)系系統(tǒng)管理員協(xié)調(diào)解決。8.3.應(yīng)急預(yù)案(1)個別機器或用戶無法登錄：當(dāng)出現(xiàn)這種問題時，其他人員能夠正常登錄，先排查是否是瀏覽器版本問題，然后聯(lián)系后臺系統(tǒng)管理，協(xié)調(diào)甘肅電信排查是否是域名解析問題。(2)全省無法登錄：一般都是服務(wù)器出現(xiàn)故障或醫(yī)保云網(wǎng)絡(luò)鏈路出現(xiàn)問題。由省醫(yī)療保障局協(xié)調(diào)應(yīng)用和硬件集成商檢查應(yīng)用和集成環(huán)境。甘肅省平臺上線問題處理機制問題定義分類1、一般問題系統(tǒng)需要進行優(yōu)化處理，在系統(tǒng)層面可通過配置、權(quán)限調(diào)整等無需調(diào)整代碼層面的問題。一般問題響應(yīng)處理需要當(dāng)天完成。2、嚴(yán)重問題系統(tǒng)出現(xiàn)異常、菜單功能報錯已經(jīng)影響到業(yè)務(wù)辦理情況，涉及代碼層面調(diào)整，需要明確反饋處理時間周期、問題處理負責(zé)人。3、特大問題指系統(tǒng)出現(xiàn)異常，部分功能報錯，已經(jīng)影響業(yè)務(wù)辦理的情況。2.問題受理及處置流程1、問題、事故上報。平臺上線后，在運行過程中，提供7*24小時專線電話以及用戶群進行問題的上報。2、問題受理流程問題上報后，由運維專人進行問題記錄（記錄在上線問題跟蹤表中）并轉(zhuǎn)發(fā)至內(nèi)部溝通群，對應(yīng)負責(zé)人問題進行處理完畢后，點對點通知運維專人進行問題跟蹤表狀態(tài)更新,運維專人將處理結(jié)果反饋問題上報人。5.甘肅省平臺特大問題應(yīng)變細則由自然災(zāi)害引起的故障由省醫(yī)療保障局牽頭成立重大災(zāi)難應(yīng)急專項小組，對重大災(zāi)難問題制定應(yīng)急預(yù)案。各經(jīng)辦機構(gòu)應(yīng)告知相關(guān)定點醫(yī)療機構(gòu)，目前因系統(tǒng)故障，招采業(yè)務(wù)系統(tǒng)無法使用，做好解釋工作，引導(dǎo)定點醫(yī)療機構(gòu)老平臺進行采購工作。2.核心骨干網(wǎng)絡(luò)出現(xiàn)大面積故障由省醫(yī)療保障局項目辦牽頭，組織移動、聯(lián)通、電信協(xié)助成立應(yīng)急專項小組，立即組織故障區(qū)域人員，進行緊急故障排查與分析。各經(jīng)辦機構(gòu)在故障發(fā)生的24小時內(nèi)無需張貼通知，做好解釋工作；同時與本市縣醫(yī)療保障局密切溝通,咨詢問題處理的最新進展，如24小時后故障仍未解決，可視情況張貼通知。組員：韓龍飛、王瑞、許仕奇、王宇峰、宋凱工作職責(zé)：負責(zé)甘肅省平臺以及市云平臺、應(yīng)用系統(tǒng)上線的組織實施、工作協(xié)調(diào)和應(yīng)急處置工作，建立信息系統(tǒng)運維管理體系。2.甘肅省平臺上線工作方案甘肅省醫(yī)療保障局相關(guān)工作2.1.1.系統(tǒng)運行保障甘肅省醫(yī)保局針對本次平臺上線成立聯(lián)合指揮中心。負責(zé)協(xié)調(diào)各項上線事項、把控上線工作進度；跟蹤市醫(yī)保局、醫(yī)保經(jīng)辦機構(gòu)、定點醫(yī)療機構(gòu)工作的開展；保障甘肅省醫(yī)療保障信息平臺上線工作順利開展。責(zé)任單位：甘肅省醫(yī)保局完成時間：長期1.2.上線宣傳與答疑各級醫(yī)保行政部門須做好醫(yī)療保障信息平臺上線宣傳與答疑工作，由省醫(yī)療保障局下發(fā)平臺上線通知，甘肅省醫(yī)療保障局統(tǒng)籌轄區(qū)醫(yī)保經(jīng)辦機構(gòu)、各定點醫(yī)療機構(gòu)在相關(guān)途徑發(fā)布上線宣傳，同時安排專人通過熱線提供指導(dǎo)，做好對上線運行過程中出現(xiàn)的問題以及業(yè)務(wù)咨詢進行答疑工作，并指定1名聯(lián)系人，建立及時有效的反饋渠道。責(zé)任單位：省醫(yī)療保障局及各區(qū)（縣）醫(yī)療保障局。完成時間：2022年8月24日前3.省公共資源交易中心發(fā)放正式上線切換通知上線通知由甘肅省公共資源交易中心負責(zé)擬定并發(fā)放給相關(guān)企業(yè)。責(zé)任單位：甘肅省公共資源交易中心完成時間：2022年8月24日前2.1.4.組織上線使用甘肅省醫(yī)療保障局負責(zé)組織并召集相關(guān)醫(yī)療機構(gòu)和配送企業(yè)。廈門海西醫(yī)藥交易中心有限公司相關(guān)駐場實施人員負責(zé)完成系統(tǒng)功能的使用指引，監(jiān)督相關(guān)醫(yī)療機構(gòu)和配送企業(yè)的上線使用情況。責(zé)任單位：甘肅省醫(yī)療保障局、廈門海西醫(yī)藥交易中心有限公司完成時間：2022年8月24日前2.2.上線數(shù)據(jù)準(zhǔn)備招采子系統(tǒng)于2022年8月19日完成進行老系統(tǒng)基礎(chǔ)數(shù)據(jù)（包括掛網(wǎng)目錄、配送關(guān)系、配送企業(yè)信息及其賬號數(shù)據(jù)）遷移工作，同時省藥采中心組織相關(guān)單位于2022年8月19日前完成數(shù)據(jù)比對。2.3.預(yù)防機制2.3.1.應(yīng)用系統(tǒng)日常運行維護建立系統(tǒng)上線核驗機制，在應(yīng)用系統(tǒng)上線前，做好軟件測試驗證及審核工作，嚴(yán)格把控系統(tǒng)上線版本；建立系統(tǒng)日常運維檢測機制，對系統(tǒng)運行情況、日志情況進行巡檢分析,發(fā)現(xiàn)異常情況及時處理，保障系統(tǒng)穩(wěn)定運行。責(zé)任單位：各軟件承建單位2.3.2.網(wǎng)絡(luò)及云平臺設(shè)施準(zhǔn)備在上線前預(yù)備好鏈路測試工具（如測線器、光纖、光纜、光模塊、傳輸設(shè)備配件等），同時預(yù)備好關(guān)鍵設(shè)備的備品備件庫（庫中包含主要核心設(shè)備、預(yù)備服務(wù)器、交換機、防火墻、光模塊、硬盤、內(nèi)存、cpu等），并加強日常服務(wù)器等資源占有情況及網(wǎng)絡(luò)安全設(shè)備運行情況進行監(jiān)控、監(jiān)控告警通報機制。責(zé)任單位：數(shù)據(jù)中心3.3.省級平臺數(shù)據(jù)容災(zāi)機制省級醫(yī)保云平臺A、B中心整體上采用一朵云的部署架構(gòu)，提供應(yīng)用雙活，數(shù)據(jù)主備的能力。1）業(yè)務(wù)層，通過A、B機房的虛擬化ECS同時承載業(yè)務(wù)，滿足應(yīng)用雙活部署的建設(shè)需求；2）數(shù)據(jù)庫層，通過部署在A、B機房的數(shù)據(jù)庫實例，提供跨機房的數(shù)據(jù)庫主備部署；并通過數(shù)據(jù)庫主備實例之間的同步機制，保障A、B機房數(shù)據(jù)庫的一致性；3）存儲層：跨A、B機房部署兩個OSS集群，通過OSS內(nèi)置的同步組件實現(xiàn)數(shù)據(jù)的同步；4）網(wǎng)絡(luò)層：跨A、B機房部署的XGW、SLB等網(wǎng)絡(luò)設(shè)備配置通過，通過大小段路由方式控制業(yè)務(wù)流量流向；當(dāng)A機房發(fā)生故障時，可以通過路由實現(xiàn)流量的自動切換，當(dāng)A中心發(fā)生故障時，可以將業(yè)務(wù)、數(shù)據(jù)、存儲、網(wǎng)絡(luò)的運行切換到B中心，保障B中心的運行。2.3.4.市級平臺容災(zāi)備份機制市醫(yī)保平臺采用單數(shù)據(jù)中心部署，異地容災(zāi)到省級數(shù)據(jù)中心。當(dāng)省主中心（主AZ）正常運行時，市單數(shù)據(jù)中心向省主中心進行容災(zāi)備份。當(dāng)市單中心無法正常提供服務(wù)時，由省級云平臺主中心提供臨時業(yè)務(wù)服務(wù)支撐。1）接入層/流量層災(zāi)備控制臺ASR通過調(diào)用GSLBAPI來調(diào)配兩個機房公網(wǎng)SLBVIP之間的DNS權(quán)重，切換兩個機房的外部寫入流量；2）業(yè)務(wù)層：業(yè)務(wù)應(yīng)用在主備機房的ECSVM集群獨立部署，外部用戶通過域名訪問業(yè)務(wù)應(yīng)用。一朵云內(nèi)的多個ECSVM通過SLB對外宣告一個公網(wǎng)VIP,并在GSLB上與應(yīng)用的全局域名做綁定；3）數(shù)據(jù)庫：RDS實例級，通過DTS實現(xiàn)跨云復(fù)制DRDS；4）存儲層：OSSBucket級，通過自身的跨云復(fù)制接口實現(xiàn)主備實體之間的數(shù)據(jù)同步。3.甘肅省平臺上線后業(yè)務(wù)中斷應(yīng)急預(yù)案系統(tǒng)程序故障1.1.風(fēng)險描述定點醫(yī)療機構(gòu)、相關(guān)配送企業(yè)，系統(tǒng)操作問題導(dǎo)致全部或大范圍定點醫(yī)療機構(gòu)無法正常處理相關(guān)業(yè)務(wù)或?qū)е铝鞒滩豢捎?。?jīng)技術(shù)人員緊急排查處理后，2個小時內(nèi)問題仍沒有得到解決的。2.防控措施(1)上線前做好聯(lián)調(diào)聯(lián)測工作，確保測試質(zhì)量，做好驗證工作。(2)雙系統(tǒng)并行，確保業(yè)務(wù)不因系統(tǒng)原因?qū)е聼o藥可用。1.3.應(yīng)急預(yù)案向所屬市縣醫(yī)保局報告有關(guān)情況，啟動本機構(gòu)應(yīng)急預(yù)案,切換至老平臺進行采購業(yè)務(wù)。2.統(tǒng)一門戶無法登錄2.1.風(fēng)險描述當(dāng)出現(xiàn)統(tǒng)一門戶無法訪問或者無法登錄，平臺無法對外提供服務(wù)時需要判斷是否如下幾種情況：(1)個別機器或者用戶無法訪問或者登錄(2)某單位無法訪問或者登錄(3)登錄后部分子系統(tǒng)無法訪問2.2,防控措施在上線前，各經(jīng)辦機構(gòu)檢查客戶端訪問登錄環(huán)境，出現(xiàn)問題及時聯(lián)系指揮中心協(xié)調(diào)解決。2.3.應(yīng)急預(yù)案(1)個別機器或者用戶無法訪問登錄：當(dāng)出現(xiàn)該問題時，其他人員能正常登錄，說明用戶名、用戶權(quán)限或者客戶端機器存在問題，應(yīng)聯(lián)系本地系統(tǒng)管理員檢查網(wǎng)絡(luò)、授權(quán)等查找客戶端機器問題。（2）某個單位無法正常訪問或登錄：其他區(qū)域能正常使用、僅本單位無法訪問或者登錄，則屬于本地網(wǎng)絡(luò)問題,由本地系統(tǒng)管理員和網(wǎng)絡(luò)運營商逐個查找網(wǎng)絡(luò)原因。（3）登錄后部分子系統(tǒng)無法訪問：對于出現(xiàn)登錄后無法訪問子系統(tǒng)，基本斷定是平臺應(yīng)用或者基礎(chǔ)環(huán)境問題，由指揮中心運行保障團隊檢查并解決。3.3.系統(tǒng)數(shù)據(jù)權(quán)限問題3.3.1.風(fēng)險描述當(dāng)出現(xiàn)賬號訪問系統(tǒng)菜單數(shù)據(jù)缺失或者只是顯示部分?jǐn)?shù)據(jù)，其他菜單顯示數(shù)據(jù)正常。其中分為如下幾種情況：（1）部分賬號出現(xiàn)上述問題。（2）所有賬號出現(xiàn)上述問題。3.3.2,防控措施（1）部分賬號出現(xiàn)菜單查看數(shù)據(jù)不全屬于賬戶授權(quán)問題，根據(jù)系統(tǒng)管理員對角色賬號進行分配授權(quán)。（2）所有賬號都無法查看數(shù)據(jù)菜單數(shù)據(jù)不全，則屬于業(yè)務(wù)中臺獲取數(shù)據(jù)問題或者數(shù)據(jù)遷移過程中數(shù)據(jù)缺失等，需要研發(fā)人員對業(yè)務(wù)中臺數(shù)據(jù)進行數(shù)據(jù)測試校驗。3.3.3.應(yīng)急預(yù)案緊急聯(lián)系指揮中心上線保障運維團隊人員進行排查，根據(jù)問題受理等級啟動問題受理處置流程進行問題解決。3.4.數(shù)據(jù)遷移過程問題3.4.1.風(fēng)險描述上線切換數(shù)據(jù)遷移過程期間出現(xiàn)突發(fā)問題，導(dǎo)致數(shù)據(jù)轉(zhuǎn)換的時間不足。3.4.2,防控措施通過多輪數(shù)據(jù)遷移演練，減少突發(fā)問題發(fā)生概率。3.4.3.應(yīng)急預(yù)案(1)在數(shù)據(jù)遷移預(yù)計時間不足的情況下，則及時調(diào)整遷移的方法，把業(yè)務(wù)必須的數(shù)據(jù)先進行遷移，把歷史數(shù)據(jù)放在之后進行數(shù)據(jù)遷移，避免影響系統(tǒng)切換；(2)必要時適當(dāng)延長數(shù)據(jù)轉(zhuǎn)換時間，系統(tǒng)正式運行時間順延，同時通知必要的單位(如：醫(yī)保經(jīng)辦機構(gòu)、定點醫(yī)療機構(gòu))切換時間延退；(3)如出現(xiàn)數(shù)據(jù)遷出、數(shù)據(jù)遷入比較慢，數(shù)據(jù)正常遷移，同時通報指揮協(xié)調(diào)組檢查網(wǎng)絡(luò)問題，必要時延長切換時間。5.專線故障5.1.風(fēng)險描述(1)當(dāng)省級到市縣連接的專線，在運行過程中發(fā)生鏈路被挖斷、被老鼠咬斷等導(dǎo)致鏈路中斷的問題。(2)數(shù)據(jù)中心機房通過光纜進行互聯(lián)，當(dāng)在運行過程中發(fā)生因為人員施工或其他因素導(dǎo)致光纜故障，從而造成所有業(yè)務(wù)中斷。3.5.2.防控措施系統(tǒng)上線初期，相關(guān)承建單位網(wǎng)絡(luò)工程師留守現(xiàn)場，通過運維平臺實時監(jiān)控專線運行情況，直到系統(tǒng)運行平穩(wěn)。3.5.3.應(yīng)急預(yù)案(1)當(dāng)市縣到省級的專線發(fā)生中斷時，鏈路上的流量會自動切換到政務(wù)外網(wǎng)專線，同時運維平臺會發(fā)生告警，將會在短期內(nèi)對鏈路進行修復(fù)。(2)當(dāng)A、B數(shù)據(jù)中心機房OTN環(huán)單方向光纜