文 / 洛陽銀行CIO 李曉東
「科技是第一生產力」。近年來，金融科技已成為銀行業金融機構的核心競爭力。各家銀行業金融機構持續推進數位化轉型，通過信息技術提升金融服務能力和風險防控能力，打通金融服務的「最後一公里」，提高了金融可獲得性，優化了金融資源配置。數據中心是銀行科技的信息化基礎設施，是銀行數位化轉型的基礎載體，是應用系統安全穩定運行的重要保證。從2018年開始，洛陽銀行逐步推進雙活中心建設，先後實現了內網業務雙活、資料庫雙活、網際網路業務雙活和IPv6業務雙活。在建設過程中，逐步提升數據中心運維的可視化、自動化和智能化，較好地支撐了業務的發展，提升了業務的連續性水平。
同城雙活中心的架構演進
洛陽銀行同城主備中心分別位於洛陽市的洛龍區和瀍河區，異地災備位於河南省信陽市。在雙活數據中心建設過程中，洛陽銀行統籌規劃、分步實施、急用先行，從內網雙活和網際網路雙活入手，逐步實現資料庫雙活和IPv6雙活，最終實現了傳統櫃面渠道、網際網路渠道和內網業務的雙中心安全穩定交付。
1.方案先行、細化網絡設計。為滿足生產中心（以下簡稱H1）、同城災備數據中心（以下簡稱H2）都對外發布業務，所有業務請求都能夠在兩個數據中心無縫切換，網絡的設計和規劃至關重要。洛陽銀行的雙中心雙活的網絡設計有如下特點：一是利用F5的GTM設備提供DNS智能解析，雙中心GTM三層互聯，信息同步，從而通過算法和數據中心出口的狀態判斷,將流量引導至符合策略的、服務正常的數據中心，實現流量的自動負載。二是集群化部署，雙中心的DNS與LTM（Local Traffic Manager）均採用集群化設計，雙中心的LTM設備跨中心集群部署，通過2層傳輸心跳，形成N+M（N主M備）集群。業務域名對應的IP位址可根據雙活業務實時添加，提高了業務的可用性和靈活性。三是統籌規劃網絡區域，非網際網路行內業務、分行網絡與總行數據中心（H1、H2）之間基於BGP路由策略劃分多個自治區域，控制路由傳播、選擇最優路由，提供豐富的路由策略。四是處理好異常情況，為了避免雙活數據中心產生網絡上的腦裂（Split Brain）或場地分割（Site Isolation）狀況，一方面，實現了雙中心DWDM波分四線路多發選收的冗餘設計；另一方面，預設了明確的仲裁機制，能夠實現一個中心的設備的主動降級。
2.審慎實施、推進應用雙活。私有云為應用雙活提供了彈性資源池，使我們更便捷的管理應用資源。在具體實踐中，我行採用了雙中心分布式雙活部署私有雲的模式，每種應用服務節點按需、對稱部署到雙中心，如雙2、雙4、雙8節點等，同時提供服務，實現應用雙活。這種部署方式增加了管理複雜度，要求應用系統支持分布式部署，但避免了雙中心單一私有雲模式中可能存在的系統性風險，業務連續性能力顯著提升。同時也有利於系統的擴展，可以在不同數據中心迅速擴展應用節點增加吞吐量，從而較好應對業務量激增的現象。
網際網路業務應用雙活的規劃充分考慮了網際網路業務的實時性、多樣性和複雜性，不但要保證響應迅速，還要提升架構的魯棒性。一是避免跨運營商訪問服務，通過智能DNS解析策略確保客戶優先得到本運營商的服務地址，避免跨運營商路由，提升客戶體驗。二是避免跨中心訪問服務，如，針對跨Wifi和行動網路之間的跨網遷移，通過在HTTP回覆中插入特殊的Cookie欄位，後續再根據Cookie欄位進行流量跨中心轉發保證客戶業務訪問同一中心，避免業務中斷。三是提升系統檢活的深度，增加跨中心探測，以避免由於運營商在IP或埠層面的封禁對客戶訪問帶來的影響。
3.逐步推進，實現數據雙活。分布式雙活數據中心建設的「精髓和靈魂」是數據雙活，而多數雙活項目建設止步於數據層面。洛陽銀行結合自身實際，以數據定義存儲為基礎，利用Oralce Extend RAC技術，真正實現了RTO/RPO接近零的應用級容災，雙中心數據雙活。一是在數據讀寫方面，使用IBM SVC HyperSwap方案，通過雙中心各兩節點的「IBM SVC+FS9200存儲+SAN交換機」組成單一「容災池」，實現了實時雙讀雙寫，RTO=0。同時採用SAN網絡磁碟仲裁和IP網絡仲裁兩種方式，確保數據同步正確，優先保證生產中心運行。二是在資料庫容災方面，我們採用了Oracle Extend RAC解決方案，實現了跨中心資料庫集群。目前，核心等主要交易系統均在使用Active-Active模式，主備四節點RAC運行。但對於批量交易的系統，為減少數據交互，採用了Active-standby模式，如總帳系統只有生產中心兩個節點運行。三是在網絡方面，Oracle Extend RAC要求較高的IO響應時間和心跳網絡質量。由於洛陽銀行主備數據中心的距離不超過30KM，我們通過四條裸光纖+波分復用設備，並通過多發選收的策略，保障了數據的可靠傳輸，完全滿足了資料庫Extended RAC技術實現雙活的條件。
4.統籌部署，實現IPv6雙活。IPv6作為國家信息基礎設施快速演進升級的重大安排部署，對於加強網絡強國、加速信息化進程有著重大意義。洛陽銀行高度重視IPv6建設工作，成立了全行級別的領導小組，制定全面詳細的IPv6改造方案，按照監管要求，逐步實現了門戶網站和應用系統的IPv6改造。在網信辦評測的IPv6支持度中，洛陽銀行在河南省金融行業機構中排名居首。在方案設計上，一是採用了建立獨立IPv6區域的方式，實現了協議棧隔離，確保任何一個協議棧發生故障時不影響其他協議棧。二是大膽採用軟體定義建設模式，按照「功能優先、適度超前、確保安全」的基本原則，使用已有設備或在已有設備上增加軟體模塊的方式實現IPv6雙活，不僅易於擴展而且也為未來雲化環境積累經驗。三是確保安全，我行IPv6接入區同樣部署了SSL網關、WAF、抗DDOS等設備。通過在抗DDOS上添加IPv6網際網路入口地址，實現對IPv6流量的監控和保護。針對IPv6的攻擊也越來越多的現狀，通過在WAF上配置針對IPv6的特徵庫有效防止Web漏洞攻擊，並對基於http的請求進行分析，匹配規則阻斷攻擊提高業務安全性。
圖4 洛陽銀行IPv6同城雙活示意圖
加強數據中心的安全防護
在整體安全架構的設計上，洛陽銀行立足同城雙活整體架構，遵循縱深防禦的思想，建立了對抗式、可編排、彈性化的雙模安全防控體系。一是採用網際網路雲清洗服務和部署抗DDOS產品相結合的方式，針對網際網路流量進行實時採集和分析，對異常流量的IP進行記錄和阻斷，及時發現針對我行的DDOS攻擊。二是WAF採用資源池部署的方式，當攻擊事件發生時可隨時通過在資源池內加入更多的WAF設備直接擴展對抗能力，有效防護應用層各類攻擊。三是充分利用不同設備分擔負載，使用LTM負載將Https的流量進行解密後發送給WAF設備，減輕WAF設備處理SSL流量時的性能壓力。四是DNS設備上新增AFM模塊，在完成網際網路域名解析的前提下可有效防止DNS Cache中毒攻擊、NXDOMAIN請求攻擊、UDP flood等。五是部署IDS設備，將全網流量旁路鏡像到入侵檢測設備上，通過匹配規則監測並分析用戶和系統的活動狀況，針對已發現的攻擊行為進行告警並聯動防火牆進行阻斷。
推進數據中心智能化運維
雙活數據中心為業務連續運營提供了良好的保障，但對數據中心的運維管理提出了更高的要求。洛陽銀行在運維實踐中，從運維的機制體制入手，逐步引入大數據和AI算法，提升運維管理的自動化、可視化、智能化水平。一是完善基於ITIL最佳實踐的IT服務流程，明確一、二、三線人員崗位職責，增強運行維護體系的標準化水平，提升運維人員的工作效率。二是從統一監控向統一管理演進。通過藍鯨平台、Zabbix、F5-BIGIQ聯動，實現了各類設備監控信息的統一納管，並逐步實現藍鯨平台ITSM工單對接F5資源，自動創建Monitors、Pools和Virtual Servers。提高了資源交付效率，更快的響應業務需求，減少了運維人員的重複勞動。三是建立了基於ELK的基礎設施、平台組件、應用系統及業務流程的可視化平台，為一線運維提供集中監控展示，為二線人員提供精準的故障排查平台，有效降低了故障處理時間，提高事件、問題的解決效率。四是通過運維基線實現提前預警和故障自愈，基於業務系統、網絡、伺服器、存儲等運行數據，通過特定算法，建立運維基線。如，突發業務流量超過基線閾值時，算法判斷提前預警，並自動實現流量調配或者擴容。針對空間不足、伺服器負載過高等故障場景，設定故障自愈模式，實時觸發運維操作，提高故障處理的可靠性，降低故障時間。五是通過運維數據反哺業務，通過抽取、沉澱系統運行數據，輸入到大數據處理平台，提供海量業務特徵數據，業務部門通過數據分析實現精準營銷和風險防控。
結 語
經過近兩年的雙活建設，洛陽銀行逐步實現了內網、網際網路的應用及數據雙活，增強了業務連續性能力，並持續提升安全保證。同時，積極探索和實踐數據中心運維的自動化、可視化和智能化，為洛陽銀行推進數位化轉型，加速布局金融科技奠定了堅實的基礎。
（欄目編輯：韓維蜜）
