1、技術(shù)創(chuàng)新，變革未來銀聯(lián)分布式緩存的異地多活實(shí)踐目錄1. AOF-BINLOG多寫沖突與CRDTLWW-Element-Set應(yīng)用場(chǎng)景UPREDISmasterUPREDISslaveredis分片復(fù)制UPREDISmasterUPREDISslaveredis分片復(fù)制UPREDISmasterUPREDISslaveredis分片復(fù)制UPREDISProxyUPREDISProxyUPREDISProxy集群sentinelsentinelsentinel健康集群應(yīng)用API應(yīng)用API應(yīng)用API應(yīng)用API應(yīng)用APIUPREDISProxysentinelsentinel連接 池負(fù) 載 均 衡高

2、可 用數(shù)據(jù)分片自動(dòng)主備切換讀寫分離支持雙活和 異地容災(zāi)方案支持冷熱數(shù)據(jù)分離兼容redis-5.0支持?jǐn)?shù)據(jù)加密UPREDISserver 集群UPRedis 集群架構(gòu)上海中心應(yīng)用層：無狀態(tài)redis 集群#1#2#3分分分分分 片片片片片#n北京中心應(yīng)用層：無狀態(tài)數(shù)據(jù)層：有狀態(tài)redis 集群#1#2#3分分分分分 片片片片片#n外部流量數(shù)據(jù)層：有狀態(tài)數(shù)據(jù)雙向同步WHY多中心？多中心趨勢(shì)，單數(shù)據(jù)中心資源 有限， 應(yīng)用逐漸擴(kuò)展到多中心就近原則，請(qǐng)求盡量就近處理， 降低延遲可靠性要求，可靠性要求高的 系統(tǒng)，數(shù)據(jù)需要異地存儲(chǔ)WHY雙向同步？應(yīng)用層無狀態(tài)，隨時(shí)切換；數(shù)據(jù)層有狀態(tài)，異地中心需要有全 量數(shù)據(jù)

3、，因此需要數(shù)據(jù)異地同步。目錄1.異地多活的必要性2. 多寫沖突與CRDTLWW-Element-Set應(yīng)用場(chǎng)景AOF-BINLOG格式BINLOG相關(guān)（server-id, opid, timestamp）一、循環(huán)復(fù)制相同server-id的日志被過濾，避免回放自身產(chǎn)生的日志二、斷點(diǎn)續(xù)傳已經(jīng)應(yīng)用過的日志被過濾，避免回放已經(jīng)回放過的日志（021,001, 2020-12-23 00:00:01）（021,001, 2020-12-23 00:00:01）server-id與上海中心 相同，日志被丟棄（021,002, 2020-12-23 00:00:02）（021,003, 2020-12-2

4、3 00:00:03）（021,004, 2020-12-23 00:00:04）（021,005, 2020-12-23 00:00:05）（021,006, 2020-12-23 00:00:06）傳輸中斷斷點(diǎn)續(xù)傳正常傳輸（021,002, 2020-12-23 00:00:02）（021,003, 2020-12-23 00:00:03）（021,004, 2020-12-23 00:00:04）（021,005, 2020-12-23 00:00:05）（021,006, 2020-12-23 00:00:06）（021,007, 2020-12-23 00:00:07）（021,00

5、8, 2020-12-23 00:00:08）（021,005, 2020-12-23 00:00:05）（021,006, 2020-12-23 00:00:06）（021,007, 2020-12-23 00:00:07）（021,008, 2020-12-23 00:00:08）上海中心(021)北京中心(010)上海中心北京中心UPREDIS異地同步REDIS-MORAY后端REDIS-MORAY后端UPREDIS主專線 網(wǎng)絡(luò)UPREDIS主UPREDIS備REDIS-MORAY前端REDIS-MORAY前端UPREDIS從異地同步主從庫(kù)開啟AOF日志，UPREDIS-MORAY訂閱從

6、庫(kù)AOF數(shù)據(jù)，傳輸?shù)疆惖鼗胤拍夸洰惖囟嗷畹谋匾訟OF-BINLOG3. LWW-Element-Set應(yīng)用場(chǎng)景上海中心(021)（021,001, 2020-12-23 00:00:01）（010,001, 2020-12-23 00:00:01）keyspace北京中心(010)（010,001, 2020-12-23 00:00:01）（021,001, 2020-12-23 00:00:01）keyspace多寫沖突由于數(shù)據(jù)多寫沖突，以上數(shù)據(jù)同步方法將導(dǎo)致兩個(gè)中心的數(shù)據(jù)不一致。高性能，低延遲CRDT一致性CRDT是一類實(shí)現(xiàn)多中心無協(xié)作并發(fā)更新，能保證最終一致的數(shù)據(jù)結(jié)構(gòu)。CRDTop-b

7、ased(CmRDT)中心間只傳操作日志中心間傳操作日志和數(shù)據(jù)狀態(tài)元信息 各中心merge本地?cái)?shù)據(jù)達(dá)到最終一致state-based(CvRDT)典型的比如op-based counter：DECR counter 10INCR counter 15無論以何種順序復(fù)制，最終counter結(jié)果為5但由于日志回放非冪等，必須保證日志傳輸不丟不重G-Set 2P-Set OR-SetLWW-element-SetUPRedis最終采用了LWW-Element-Set+ op-based counter方案G-Set (Grow-only Set)2P-Set (Two-Phase Set)ABK:X

8、K:XSADD K XSADD K XK:XK:XSADD K XSADD K X只支持添加元素，不支持刪除元素。2P-Set采用了remove優(yōu)先策略，刪除的元素不能重新添加。ABK:+XK:+XSADD K XSADD K XK:+XK:-XSREM K XK:+XK:-XK:+XK:-XSADD K XSREM K XSADD K XOR-Set (Observed-Remove Set)ABK:Xu1K:Xu2SADD K XSADD K XK:SREM K XK:Xu2K:Xu2SADD K Xu1 SREM K Xu1,u3SADD K Xu2添加元素：添加元素和uniqe tag

9、刪除元素：刪除元素以及當(dāng)前該元素所有uniqe tag與G-Set,2P-Set相比，OR-Set功能無明顯短板；阿里云和redis-labs都使用了OR-Set作為最終一致性的算法。LWW-Element-Set (Last-Write-Wins-Element-Set)ABK:X:+t1K:X:+t2SADD K XSADD K XK:X:-t3SREM K XK:X:-t3K:X:-t3SADD K Xt1SADD K Xt2t1t2t3SREM K Xt3添加元素：添加元素和當(dāng)前時(shí)間戳刪除元素：更新時(shí)間戳并標(biāo)記元素已刪除(tombstone)LWW-Element-Set沒有明顯短板，

10、UPRedis采用的就是LWW-Element-Set算法。目錄異地多活的必要性AOF-BINLOG多寫沖突與CRDT4. 應(yīng)用場(chǎng)景A中心B中心SADD myset eSADD myset eSREM myset e-sync-mysetemysetLWW-Element-Set元素更新時(shí)間刪除時(shí)間(tombstone)OR集合每個(gè)元素都帶有更新或者刪除時(shí)間回放異地傳輸來的日志與時(shí)，數(shù)據(jù)以更新時(shí)間最新 為準(zhǔn)(LWW)保存tombstone主要為了防止已刪除數(shù)據(jù)復(fù)活LWW-Element-SetA中心B中心D中心#$#%# unsigned encoding:4;unsigned lru:RED

11、IS_LRU_BITS; int refcount;union uint64_t ts;void *tombstone; crdt; /* crdt元信息 */ void *ptr; robj;string(kv)T1:t1T2:t2T:tV1V2Vserver.db.tombstone原始hash表Tombstone表原始hash表每個(gè)robj多8B overhead（用于存更新時(shí)間） Tombstone表保存該歷史刪除數(shù)據(jù)和刪除時(shí)間8B overheadmyhash.ptrhashmyhash.tombstoneF1:t1F2:t2F:tV1V2VT1:t1T2:t2T:tV1V2VKmy

12、zset.dictzsetmyzset.tombstoneE1:t1E2:t2E:tS1S2ST1:t1T2:t2T:tS1S2Shash/zset與string(kv)的實(shí)現(xiàn)類似，都有8B overhead用于存更新時(shí)間或者tombstone。不 同點(diǎn)僅在于存儲(chǔ)tombstone的字典位置不同數(shù)據(jù)結(jié)構(gòu)是否支持編碼實(shí)現(xiàn)算法string(hyperloglog)int, embstr, rawop-basedstring(kv)int, embstr, rawLWW-Element-Setstring(bit)int, embstr, raw-string(counter)int, embstr

13、, rawop-basedhashziplist,hashtableLWW-Element-Setsetintset, hashtableLWW-Element-Setzsetziplist, skiplistLWW-Element-Setgeoziplist, skiplistLWW-Element-Setlistquicklist-UPRedis采用了op-based counter + LWW-Element-Set。CDRT不是銀彈，并不能完美支持所有Redis命令。比如string命令不能混用counter和kv類型命令，此外支持的編碼也有有限的。限制和注意點(diǎn)跨類別不能保證最終一致M

14、ulti-key命令A(yù)中心B中心INCR counterINCR counterDEL counter- sync -counter:1A中心B中心SET a aSET b bDEL a b- sync -不同CRDT類別算法可能不一致，不能保證最終一致lua、expire、eviction不保證最終一致A中心的DEL a b命令本身刪除了B中心的bTombstone的GC策略barrier=min(dc1.ts,dc2.ts,dcn.ts)dc1dc2dcndc1: t1 dc2: t2 dc3: t3數(shù)據(jù)中心的時(shí)間單調(diào)遞增日志傳輸通道能保證有序且不丟不重時(shí)間戳小于barrier的tombstone都可以安全GC一些優(yōu)化：和超時(shí)機(jī)制類似，采用active+inline兩種觸發(fā)策略中心間定時(shí)同步時(shí)間，防止災(zāi)備場(chǎng)景造成無法GCKmyhash.ptrhashmyhash.tombstoneF1:t1F2:t2F:tV1V2VT1:t1T2:t2T:tV1V2V全量方案主要問題：1.解析全量RDB文件2.全量和增量的接續(xù)moray全量增量復(fù)制協(xié)議+增量日志A中心B中心B中心根據(jù)RDB協(xié)議解析生成AOF-BINLOG日志全量數(shù)據(jù)使用fa