1、 金融行業(yè)新IT架構(gòu)分析中國建設銀行中國建設銀行北京數(shù)據(jù)中心建設銀行數(shù)據(jù)中心在“新一代”核心系統(tǒng)、“兩地三中心”基礎設施建設中，進行了一系列技術架構(gòu)創(chuàng)新，提高了系統(tǒng)吞吐能力和資源供給效率，提升了系統(tǒng)可靠性，大大增強了數(shù)據(jù)中心風險防范水平。以電子渠道為例，業(yè)務量從2012 年每月21 億筆增加到2016年179 億筆， 年均增長72%。2016 年“雙十一”的核心業(yè)務系統(tǒng)交易峰值接近8000 筆/ 秒，較2015 年增長81%，所有系統(tǒng)均順利應對業(yè)務高峰，充分驗證了建行新一代系統(tǒng)架構(gòu)的健壯性。1、融合架構(gòu)：主機平臺+分布式開放平臺核心賬務系統(tǒng)，部署在主機平臺上主機平臺可用性高，運行穩(wěn)定，適合作為

2、銀行核心系統(tǒng)運行平臺，但也存在風險集中、處理能力瓶頸、敏捷性不夠、價格昂貴等不足。主機資源用于核心賬務系統(tǒng)，利用開放平臺處理查詢業(yè)務或者普通維護性交易，采用削峰填谷的方法優(yōu)化主機資源使用，確保賬務交易的資源。為了更好地利用主機資源，建設銀行提出“主機+ 開放”的融合架構(gòu)，確?！昂娩撚迷诘度猩稀薄２樵兿到y(tǒng)，部署在分布式平臺上查詢系統(tǒng)包括：個人客戶綜合積分、貸記卡管理、客戶信息查詢、對公/ 對私存款查詢、客戶渠道。目前各類查詢交易總計下移日均交易量1.4 億筆，節(jié)省主機資源2.6 萬MIPS，相當于8.22 億元。查詢系統(tǒng)與賬務系統(tǒng)分離，既分散了系統(tǒng)風險，又提高了并發(fā)處理能力。最近三年在實際業(yè)務量

3、年均增長32% 的情況下，主機MIPS資源零增長，取得了節(jié)省投資的良好效果。在分布式開放平臺上，X86服務器替代小型機在開放平臺的選擇上，由于同等計算能力的X86服務器價格只有小型機的1/20，所以首先在新一代架構(gòu)的應用（AP）層中大量采用X86服務器替代小型機，隨著替代技術逐步成熟，繼續(xù)提高在數(shù)據(jù)庫（DB）層使用X86服務器的比例，進一步減少小型機的數(shù)量。自新一代實施以來，應用層和數(shù)據(jù)庫層部署的X86服務器替代小型機已累計節(jié)省12.2億元。新一代實施前后，小型機占開放計算資源比例已從1/3逐步下降到1/12，計算資源的總體可靠性和可用性保持不降。圖1 基礎設施云部署架構(gòu)2、私有云，能提供10

4、00臺以上的虛擬機建設銀行自2013 年起采用云計算技術來構(gòu)建基礎設施環(huán)境，將計算資源、存儲資源、網(wǎng)絡資源統(tǒng)一打包成共享資源池。根據(jù)每種資源池的特點，采用不同的云部署單元（CDP）模型，構(gòu)建了X86 虛擬化資源池、Power 虛擬化資源池、HP 資源池以及大數(shù)據(jù)資源池等。以云部署單元為基本單位進行部署、更新和替換，統(tǒng)一了標準，提高了通用性，降低了成本。目前已經(jīng)在私有云環(huán)境中部署了1000臺以上物理機，提供10000 臺以上虛擬機，有力地支撐了“ 新一代”核心系統(tǒng)上線。3、網(wǎng)絡架構(gòu)：一網(wǎng)雙平面，可靠性達到99.999%新一代核心網(wǎng)絡平臺采用“一網(wǎng)雙平面”的網(wǎng)絡架構(gòu)，用多協(xié)議標簽交換技術，采用層次

5、化、模塊化的網(wǎng)絡結(jié)構(gòu)，將網(wǎng)絡局部可靠性逐步提高到99.999% 水平，支持無中斷維護。新一代局域網(wǎng)通過推廣柜頂接入架構(gòu)，以虛擬端口聚合技術為基礎，采用插入式服務架構(gòu)來提高網(wǎng)絡綜合服務能力，接入層交換機使用板卡延伸技術，大規(guī)模標準化網(wǎng)絡交換機配置。圖2 新一代局域網(wǎng)柜頂接入架構(gòu)通過采用“雙平面”冗余設計避免邏輯單點，采用分散部署模式來分散整體性風險，逐步采用自動化變更手段杜絕操作失誤。采用松耦合的理念，模塊化、層次化，網(wǎng)絡服務資源池化，將二三層網(wǎng)絡與四七層網(wǎng)絡服務解除耦合關系，減少管理復雜度，有利于橫向擴展，大幅提高數(shù)據(jù)中心網(wǎng)絡平臺的可靠性、健壯性。4、安全：“多層水閘式”防范體系原安全架構(gòu)的安

6、全功能與應用系統(tǒng)集成實現(xiàn)，嵌入到應用系統(tǒng)中，與應用系統(tǒng)緊密耦合，導致安全策略與安全功能固化?！靶乱淮踩軜?gòu)”的應用系統(tǒng)只集成通用、標準化的安全代理，所有安全功能通過安全代理為應用系統(tǒng)提供，后臺的安全服務可以統(tǒng)一調(diào)度、靈活組合，安全服務的調(diào)整不會導致業(yè)務系統(tǒng)的改造。5、標準池化存儲結(jié)構(gòu)NAS、SAN 存儲SAN 存儲從應用（AP）層、數(shù)據(jù)庫（DB）層混合部署轉(zhuǎn)變?yōu)槿珨?shù)據(jù)庫層部署，大面積在應用層使用NAS 存儲替代SAN 存儲。打造“存儲標準化”實行存儲配置標準化、資源池化，屏蔽了不同產(chǎn)品帶來的差異化，減少了維護成本，同時實現(xiàn)了存儲資源快速、靈活的供給。采用龐大的“邊緣核心邊緣”三層SAN 存儲

7、網(wǎng)絡實現(xiàn)了樓宇內(nèi)任意地點的存儲網(wǎng)絡接入。圖3 新一代標準化資源池化存儲架構(gòu)6、自主研發(fā)云管理平臺自主開發(fā)了全面自動化的云管理平臺，先后實施了IT 基礎設施的服務器安裝、版本部署、服務啟停、日常巡檢、配置比對等一系列自動化工具，極大提升了數(shù)據(jù)中心運營管理的自動化水平，形成全生命周期的自動化管理模式，完美支持了應用項目以及相關IT 框架、平臺、技術和安全組件的投產(chǎn)上線。圖4 云管理平臺架構(gòu)創(chuàng)造了5 個工作日內(nèi)交付上千臺虛擬化服務器的行業(yè)紀錄，在簡化流程、提高效率的同時，有效控制了操作風險。中國工商銀行中國工商銀行數(shù)據(jù)中心（上海）從2014 年開始，工商銀行就開始布局集中式和分布式架構(gòu)體系，結(jié)合云計

8、算、大數(shù)據(jù)等新技術手段，以架構(gòu)優(yōu)化為核心。1、IT架構(gòu)改變，來源于銀行壓力越來越大一是，客戶群體多樣化增大面對多樣化、個性化、國際化的客戶群體，銀行信息系統(tǒng)需要支撐更加差異化、綜合化的產(chǎn)品和服務，并滿足國際化帶來的監(jiān)管要求。二是，互聯(lián)網(wǎng)類營銷壓力變大客戶服務不再依賴網(wǎng)點柜員，一些營銷，特殊時點秒殺搶購等互聯(lián)網(wǎng)營銷帶來的負載沖擊，對銀行信息系統(tǒng)架構(gòu)提出了高并發(fā)、易擴展、抗沖擊的高要求。三是，網(wǎng)絡安全壓力變大以APT 為代表的有針對性、持續(xù)性的網(wǎng)絡攻擊日益突出，銀行信息系統(tǒng)需要實現(xiàn)從“被動防護”轉(zhuǎn)向“主動防御”，提高對安全態(tài)勢的感知能力，建設全方位的安全防護體系。四是，出了故障，輿論壓力變大在依托

9、移動互聯(lián)網(wǎng)快速傳播的“自媒體時代”，銀行信息系統(tǒng)運行的任何故障都會被大眾資訊無限放大，并直接影響銀行服務的經(jīng)營和品牌價值。工商銀行信息科技以建設云數(shù)據(jù)中心為目標，以“兩地三中心”為核心，持續(xù)提升業(yè)務連續(xù)性運作管理水平。2、“兩地三中心”，讓業(yè)務切換只需2分鐘工行于2014年初步建成了以上海外高橋園區(qū)和嘉定園區(qū)為同城雙活中心、北京西三旗園區(qū)為異地災備的“兩地三中心”體系架構(gòu)。比如：2016 年末，人民銀行領導現(xiàn)場觀摩了工商銀行數(shù)據(jù)中心的同城切換運行。工行核心系統(tǒng)在業(yè)務高峰期間，由上海外高橋園區(qū)成功切換至嘉定園區(qū)，運行1 個多小時后回切至外高橋園區(qū)，整個切換時間約2 分鐘，符合預期。接管運行期間全

10、集團各項業(yè)務正常開展，交易響應及系統(tǒng)運行性能良好。亮點自主設計研發(fā)了“一鍵式”自動化切換系統(tǒng)，具備了同城中心之間快速切換和接管業(yè)務負載的能力。研發(fā)設計了“異地多點接入”和“同城雙活”相結(jié)合的開放平臺應用系統(tǒng)雙活方案，在保障業(yè)務一致性的情況下實現(xiàn)站點間的靈活切換。正在研究，重要應用系統(tǒng)的“多站點多活模式”3、“云架構(gòu)”真正落地基礎設施，資源池云化基礎設施云已經(jīng)在工行數(shù)據(jù)中心逐步推廣，實現(xiàn)了大規(guī)模計算、存儲和網(wǎng)絡資源的池化管理和彈性供給。容器技術，實際在用開展了基于容器技術的應用云平臺規(guī)劃和建設工作，已經(jīng)在互聯(lián)網(wǎng)金融、第三方支付、紀念幣預約等應用系統(tǒng)實施了云化和微服務化改造，基于分布式系統(tǒng)框架實現(xiàn)

11、資源彈性供應，快速響應業(yè)務突發(fā)增長需求，有效應對了“雙十一”、“紀念幣發(fā)行”、“微信紅包”等互聯(lián)網(wǎng)業(yè)務沖擊。采用“云化管理”利用流數(shù)據(jù)平臺對各環(huán)節(jié)負載數(shù)據(jù)進行引流分析，實時掌握主機、網(wǎng)絡、應用、數(shù)據(jù)庫各環(huán)節(jié)的負載壓力和性能指標，通過動態(tài)調(diào)節(jié)資源配置，全流程保障快捷支付業(yè)務的服務需求。4、擁抱SDN、開源產(chǎn)品在數(shù)據(jù)中心部署SDN網(wǎng)絡全面啟動了工商銀行新一代網(wǎng)絡架構(gòu)的規(guī)劃和落地引入開源產(chǎn)品通過開源軟負載產(chǎn)品低成本、可擴展的優(yōu)勢，解決目前負載均衡技術領域存在的性能瓶頸和難以快速擴展問題。5、安全管控，依然是重中之重安全重點關注點有：互聯(lián)網(wǎng)入侵防護、網(wǎng)絡安全隔離與訪問控制、客戶端安全管理、數(shù)據(jù)安全管理

12、等中高風險領域。措施：優(yōu)化安全架構(gòu)重點推動APT 攻擊防護、云網(wǎng)絡安全防護等方案落地，與現(xiàn)有外部攻擊檢測形成有效互動和互補。加強數(shù)據(jù)分析和安全風險模型研究通過研究科技與業(yè)務數(shù)據(jù)之間的關聯(lián)關系，實施系統(tǒng)、網(wǎng)絡、應用、業(yè)務等各環(huán)節(jié)日志分析挖掘，全面推動信息安全數(shù)據(jù)分析工作。中國農(nóng)業(yè)銀行中國農(nóng)業(yè)銀行數(shù)據(jù)中心1、融合架構(gòu)：主機+分布式開放平臺自農(nóng)行全國數(shù)據(jù)大集中以來，核心業(yè)務處理和數(shù)據(jù)信息全面集中到主機上運行，開放平臺主要承擔交易前置處理、轉(zhuǎn)發(fā)功能。通過主機的高可靠性及商品化程度，打造了一個高度集中的銀行信息系統(tǒng)架構(gòu)。這種融合架構(gòu)的優(yōu)點：這種架構(gòu)性能可靠，開發(fā)人員無需過多關注底層技術實現(xiàn)方式，成熟穩(wěn)定

13、。但高度的業(yè)務及數(shù)據(jù)集中也使得風險高度集中，系統(tǒng)負載過大等問題導致業(yè)務連續(xù)運行的風險不斷增加。隨著云計算與虛擬化技術發(fā)展、硬件制造能力提升，開放平臺在處理能力橫向擴展方面有了很大進步。通過負載均衡機制，將業(yè)務分攤到多個節(jié)點處理，各節(jié)點松耦合，對底層產(chǎn)品的可靠性、可用性依賴降低。這種架構(gòu)成本更低，可用性、可擴展性更好，尤其是隨著應用規(guī)模的擴大，邊際成本將更低。但這種架構(gòu)的難點是做好各節(jié)點的協(xié)同工作，尤其是要處理好數(shù)據(jù)的一致性、完整性問題。必須根據(jù)業(yè)務特點，通過較復雜的應用設計，放棄實時一致性，保障最終一致性。以穩(wěn)定核心系統(tǒng)運維與減少IT 投入為出發(fā)點，農(nóng)行利用云計算和分布式處理技術，構(gòu)建開放型、

14、高容量、易擴展、成本可控、安全穩(wěn)定的“主機+ 開放”融合式架構(gòu)，顯著降低了主機依賴，有力保障全行金融業(yè)務連續(xù)穩(wěn)定運行。2、幾大措施，確保架構(gòu)轉(zhuǎn)型的成功農(nóng)行從多方面推進技術架構(gòu)轉(zhuǎn)型。1. 統(tǒng)一技術架構(gòu)規(guī)范，推進運維技術標準化根據(jù)技術適度收斂的總體原則，制定技術架構(gòu)和軟硬件平臺使用標準，規(guī)范IT 基礎架構(gòu)建設。將計算平臺統(tǒng)一到X86 架構(gòu)，基本實現(xiàn)小型機零增長；并構(gòu)建Linux+ 集群數(shù)據(jù)庫為主的聯(lián)機業(yè)務計算環(huán)境、Linux-+MPP 架構(gòu)為主的數(shù)據(jù)分析計算環(huán)境、構(gòu)建集中存儲與分布式存儲相結(jié)合的存儲模式。目前，農(nóng)行已將這些使用標準明確到企業(yè)標準中。通過系統(tǒng)架構(gòu)標準化，進一步提升信息系統(tǒng)的可擴展性和

15、可移植性，降低系統(tǒng)運維風險。2. 構(gòu)建主機開放融合架構(gòu)，推進生產(chǎn)運行集約化以BoEing 系統(tǒng)建設為契機，對核心業(yè)務系統(tǒng)和相關的120多個外圍系統(tǒng)進行整體升級改造，構(gòu)建了一個主機開放融合核心系統(tǒng)架構(gòu)。一是創(chuàng)新主機通訊接入模式。將基于主機的三層架構(gòu)簡化為兩層，在主機上直接采用TCP/IP 短連接接入方式，去除了主機接入中間層，形成扁平化架構(gòu)。這種架構(gòu)減少了出錯環(huán)節(jié)，減輕了分行運維壓力，構(gòu)建了一個彈性好、可擴展性強的基礎平臺。二是合理均衡系統(tǒng)應用負載。在BoEing 系統(tǒng)的兩層架構(gòu)中，采用應用層負載均衡設備作為橋梁，隔離了數(shù)以萬計的前臺終端設備對后臺的直接沖擊，也可以動態(tài)調(diào)配交易負載，自動偵測和規(guī)

16、避主機系統(tǒng)單個分區(qū)運行異常，從而顯著提升系統(tǒng)整體可用性。三是大力推廣基礎架構(gòu)云平臺。針對開放平臺系統(tǒng)多、運行環(huán)境復雜的特點，引入虛擬化、負載均衡、大數(shù)據(jù)等新技術，推廣基礎架構(gòu)云平臺，實現(xiàn)IT 資源和服務快速交付、動態(tài)調(diào)整、彈性伸縮，提高資源利用率。云平臺自下而上分為基礎設施層、資源池層、資源調(diào)度層和云管平臺層。目前，農(nóng)行生產(chǎn)環(huán)境和開發(fā)測試環(huán)境虛擬化率分別達70%、89%，云平臺已成為農(nóng)行基礎架構(gòu)領域不可或缺的首選工具和平臺。3. 加快自動化平臺建設，推進運行管理智能化。大力推進基礎架構(gòu)與應用的監(jiān)、管、控自動化平臺建設，實現(xiàn)基礎設施的自動化構(gòu)建、自動化監(jiān)測、智能化控制和智能化管理。4. 提高安全可控技術應用，有效保障網(wǎng)絡和信息安全。按照監(jiān)管部門“安全可控”總體要求，采用各類措施保障業(yè)務連續(xù)性和可持續(xù)發(fā)展，規(guī)避廠商集中和供應鏈風險。一是積極開展主機應用下移。通過將主機中非核心產(chǎn)品服務剝離至開放平臺，逐步降低核心業(yè)務對主機系統(tǒng)的依賴。主機系統(tǒng)中實時交易下移后，單交易對主機MIPS 消耗平均降低了74%。進一步將歷史交易明細數(shù)據(jù)下移到Hadoop 集群，使歷史數(shù)據(jù)交易的存儲和查詢完全脫離主機系統(tǒng)。這些措施顯著降低了主機的運行負載和資源投入成本。二是在應用交付、計算、存儲領域，大力采用標準開放、安全可控的技術架構(gòu)和產(chǎn)品，同等條件下優(yōu)先采用國產(chǎn)產(chǎn)品。大力推廣分布式架構(gòu)和多中心多活架構(gòu)，從