中信銀行信用卡中心于2017年開始啟動分布式新核心系統(tǒng)建設(shè)，目標是擴展業(yè)務范疇、完善經(jīng)營模式、提升活躍客戶量、提升業(yè)務交易量。要求核心系統(tǒng)具備架構(gòu)的前瞻性，構(gòu)建資源可擴展的開放平臺，能夠快速響應業(yè)務大規(guī)模增長，實現(xiàn)面向決策的核心信用卡系統(tǒng)。
中信銀行卡中心新核心系統(tǒng)于2019年10月27號正式開業(yè)。采用中信銀行與中興通訊聯(lián)合研發(fā)的分布式數(shù)據(jù)庫GoldenDB來承載核心業(yè)務系統(tǒng)，該數(shù)據(jù)庫是國內(nèi)第一家在大型股份制銀行信用卡核心系統(tǒng)成功落地的國產(chǎn)分布式數(shù)據(jù)庫。
GoldenDB分布式數(shù)據(jù)庫
GoldenDB主要由4個功能模塊節(jié)點構(gòu)成：
- 計算節(jié)點：與業(yè)務通過標準JDBC連接，主要用于解析業(yè)務SQL請求，分布式優(yōu)化，分布式路由以及分布式事務控制。
- 數(shù)據(jù)節(jié)點：由數(shù)據(jù)庫實例構(gòu)成，用于承載業(yè)務數(shù)據(jù)，支持橫向水平擴展，多數(shù)據(jù)副本保證數(shù)據(jù)安全可靠。
- 全局事務管理節(jié)點：負責分布式事務生命周期的管理，與計算節(jié)點一起進行分布式事務控制。
- 管理節(jié)點：對集群進行管理，負責系統(tǒng)集群的高可用，管理系統(tǒng)元數(shù)據(jù)。同時對備份恢復、主備切換、監(jiān)控分析都提供了可視化的操作界面。
GoldenDB產(chǎn)品架構(gòu)圖
中信銀行核心數(shù)據(jù)庫應用實踐
中信銀行信用卡核心系統(tǒng)，主要包括授權(quán)、賬務、數(shù)據(jù)服務等三塊業(yè)務系統(tǒng)。每種業(yè)務場景不一樣，性能要求也不一樣，分布式優(yōu)化方案也各有側(cè)重點。另外，如何保證在盡可能短的時間內(nèi)，順利正確地完成數(shù)據(jù)遷移也是非常重要的。
核心分布式數(shù)據(jù)庫部署
核心系統(tǒng)的三個業(yè)務內(nèi)部的故障不能相互感染。因此，在設(shè)計業(yè)務連接實例時，把業(yè)務連接的計算節(jié)點進行物理隔離，杜絕業(yè)務故障的傳染性。且業(yè)務系統(tǒng)要求的隔離級別和運行模式也不一樣，在集群配置上也能做到統(tǒng)一管理，靈活多變，方便后期運維管理。
在底層數(shù)據(jù)節(jié)點，配置的X86服務器性能很高，從成本和可用性上考慮，一個數(shù)據(jù)服務器中部署了兩個數(shù)據(jù)庫實例，不同服務器之間做交叉主備，同時主備機磁盤也相互獨立。保障單機內(nèi)主備機磁盤IO隔離，單機異常也不會影響系統(tǒng)可用性。
中信銀行核心業(yè)務系統(tǒng)架構(gòu)圖
核心業(yè)務分布式設(shè)計應用實踐
卡中心核心業(yè)務中最重要的業(yè)務是授權(quán)聯(lián)機交易業(yè)務，對時延非常敏感，以快捷支付業(yè)務為例，單筆業(yè)務30多條SQL語句，時延必須小于40ms。因此，替換分布式數(shù)據(jù)庫后，必須消除分布式帶來入侵性并提供穩(wěn)定的高性能服務。
中信銀行信用卡新核心分布式設(shè)計
首先，在數(shù)據(jù)模型方面，所有業(yè)務表按照客戶號進行拆分。大表先分表再分區(qū)，減少單分片上的壓力。常用的小表加載到Redis上，減少網(wǎng)絡消耗的同時，提升數(shù)據(jù)查詢性能。
其次，梳理交易場景，對業(yè)務進行分布式優(yōu)化。優(yōu)化后的交易，GoldenDB僅作簡單路由，業(yè)務語句直接下推到DB層執(zhí)行，減少分布式事務開銷，提升業(yè)務響應時間。
最后，增加業(yè)務映射表，減少業(yè)務層的復雜性。在核心系統(tǒng)內(nèi)添加客戶號映射表，業(yè)務中只需增加獲取客戶號的流程，即可方便的拿到客戶號，這樣后續(xù)業(yè)務中的事務控制就可直接下推到數(shù)據(jù)庫底層DB節(jié)點完成，業(yè)務層不必關(guān)注事務控制邏輯。
最終性能壓測達到1.8W TPS達到上線標準，穩(wěn)定通過網(wǎng)聯(lián)4500TPS壓測，以及雙11和雙12實際考驗。
核心批處理業(yè)務分布式應用實踐
批處理業(yè)務的特點就是在一定時間窗口內(nèi)，集中處理一批數(shù)據(jù)文件。這個期間內(nèi)業(yè)務會調(diào)起大量的并發(fā)，在短時間內(nèi)完成跑批作業(yè)，對于分布式系統(tǒng)來說，如何做好跑批作業(yè)的分布式優(yōu)化也是難點。
如按照原有邏輯批量處理業(yè)務，業(yè)務統(tǒng)一按照分布式業(yè)務場景處理，部分業(yè)務場景未優(yōu)化，并行度不高，我們對業(yè)務進行了分布式和非分布式業(yè)務場景的識別，優(yōu)化邏輯處理流程。梳理出可分布式改造的業(yè)務場景，數(shù)據(jù)文件先導入到的分片表中，然后對一個分片內(nèi)的數(shù)據(jù)進行批量操作，所有分片并行處理，提升并行度，縮短了處理時間。
業(yè)務劃分后，從系統(tǒng)穩(wěn)定性角度出發(fā)，再梳理批處理業(yè)務邏輯，按照業(yè)務場景并行處理批處理作業(yè)。提升業(yè)務的并發(fā)度，降低系統(tǒng)資源壓力。
最終核心日終批處理性能提升1倍，處理時長優(yōu)化到1.5小時以內(nèi)。
核心數(shù)據(jù)遷移應用實踐
數(shù)據(jù)遷移作為卡中心核心系統(tǒng)下移關(guān)鍵一步，整個遷移要在很短的窗口期內(nèi)完成，業(yè)務會以數(shù)十萬的并發(fā)來加快遷移過程，大量遷移數(shù)據(jù)會使得網(wǎng)絡長期維持在高負荷的狀態(tài)。要求數(shù)據(jù)庫能夠在高并發(fā)、重負載的業(yè)務場景下，提供穩(wěn)定可靠的數(shù)據(jù)服務。
中信銀行信用卡新核心數(shù)據(jù)遷移流程
數(shù)據(jù)遷移的主要流程：外圍系統(tǒng)數(shù)據(jù)文件通過文件傳輸平臺落到共享存儲上，舊核心的DB2數(shù)據(jù)文件通過FTP下載到Hadoop集群，通過調(diào)用MCO轉(zhuǎn)碼工具轉(zhuǎn)碼后，生成標準的數(shù)據(jù)文件落到HDFS上。遷移工程運行在容器云中，通過生成insert語句和調(diào)用遷移工具兩種方式將兩部分數(shù)據(jù)遷移到GoldenDB內(nèi)：
在整個遷移過程中，采用了如下方案確保數(shù)據(jù)遷移的效率：
- 優(yōu)化業(yè)務邏輯。在高并發(fā)場景下，合理使用索引，調(diào)整業(yè)務邏輯順序，最大程度減少鎖沖突問題。
- 優(yōu)化數(shù)據(jù)庫參數(shù)。使得數(shù)據(jù)庫在遷移階段具備一定的容錯能力，如適當調(diào)大鎖等待時間，將切換閾值調(diào)高，容忍系統(tǒng)心跳延遲等。
整個核心業(yè)務投產(chǎn)數(shù)據(jù)遷移期間，最大活躍連接數(shù)達到24萬，網(wǎng)絡流量峰值達到900MB/s。在這種極端的業(yè)務場景下，歷經(jīng)了數(shù)十次的演練，順利完成了核心業(yè)務投產(chǎn)數(shù)據(jù)遷移工作。
自2014年以來，中信銀行與中興通訊共同研發(fā)分布式數(shù)據(jù)庫GoldenDB，穩(wěn)中求進，不斷深入。在冠字號、門戶網(wǎng)站、金融同業(yè)平臺、統(tǒng)一零售積分系統(tǒng)、電商管家、開放銀行、用戶權(quán)益系統(tǒng)以及信用卡中心核心系統(tǒng)陸續(xù)成功投產(chǎn)。
中信銀行信用卡中心分布式核心系統(tǒng)StarCard于2019年10月27日正式開業(yè)，支撐1億用戶，日均交易9000萬筆，順利通過雙十一的業(yè)務峰值考驗，數(shù)據(jù)庫性能表現(xiàn)平穩(wěn)。經(jīng)過5年的不斷打磨，GoldenDB經(jīng)歷了嚴苛的商用考驗，已經(jīng)具備全面替換銀行交易類業(yè)務數(shù)據(jù)庫的能力。、中興通訊領(lǐng)導參加了啟動儀式。
�。ㄔ妮d于《金融電子化》2020年1月刊，作者：中信銀行 張興強 陳建峰 中興通訊 付裕 戴扶）
